对于ChatGPT的工作原理,一个常见的解释是根据统计学规律预测下一个词。
但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论:
若是如此,所需的信息量足以让整个宇宙都坍塌成黑洞。
这一数据量是50000^8000,根据贝肯斯坦上限(Bekenstein bound)原理,如果把这些信息分配到空间当中,所需要的信息密度已经远超宇宙能承受的最大值。
而这仅仅是把数据存储起来的消耗,更不必说还要进行运算了。
而ChatGPT与单纯统计预测的区别,可以做这样的类比:
如果天文学家通过历史观测记录推算出月食的周期,这可以算是统计学。
但当他们总结出牛顿万有引力定律的时候,就已经超越了统计学。