一点点担忧

太长不看

暴力堆砌网络规模可能可以达成通用人工智能

最近 AGI（通用人工智能）的讨论相当火热，虽然我不认为 GPT-4 可以被称为 AGI，尽管已经有研究人员认为其触碰到了 AGI 的门槛[1]。

不知道你有没有听说过一个概念叫做涌现（Emergence）。

涌现描述的是一种现象，即在一个系统中出现的整体性质或行为，这些特性或行为并不是由系统中每个组成部分的简单相加所能解释的。相反，这些特性或行为是由系统中各个部分之间的相互作用和反馈引起的，这些部分在局部上表现为简单的规律和行为，但在全局上则表现出了复杂、多样和新颖的现象。

对于人类个体来说，每个神经元是简单的，一个人总共的神经元数量在 10^10 量级。但是简单地相加神经元的功能并不能解释智慧是如何产生的。相反，它是由大量神经元之间的相互作用和反馈引起的，这些神经元在局部上表现出简单的规律和行为，但在全局上则表现出了复杂、多样和新颖的智慧。

GPT-3 中已经有了 1750 亿参数，这在十年前是不敢想象的。如此庞大规模的计算，即使是超级计算机，也很难胜任。

这种超大规模的并行化的计算能力，在可见的未来的很长一段时间中都将保持着这种线性增长，甚至会出现指数增长。而这种计算能力的增长，所代表的是，可以暴力堆砌网络规模，来试图完成某些之前认为可能是不可能的任务。

而我所担忧的是，涌现在这个过程中所具有的强大潜力，超大规模神经网络可能并且很有可能在某种程度上诞生智能。如同比尔·希恩斯在三体里试图模拟人脑一样，也许很快，这种暴力堆砌就会达到一个奇点。

[1]: Sparks of Artificial General Intelligence: Early experiments with GPT-4 https://arxiv.org/abs/2303.12712