张峥、小白谈GPT与人工智能：可能是好事，也可能不是
张峥、小白（章静绘）
最近几个月，以ChatGPT为代表的聊天机器人引起全世界的广泛关注。GPT是如何工作的？它会有自我意识吗？人工智能将对我们的社会、文化、知识系统造成何种冲击和重构？奇点到了吗？未来人类有能力与人工智能“抗衡”吗？《上海书评》特邀亚马逊云科技上海人工智能研究院院长、上海纽约大学计算机系终身教授张峥和作家小白对谈，讨论人工智能的训练方式及其在未来的可能走向。
小白：首先要请你介绍一下GPT这类预训练大模型的算法工作原理，贝叶斯、计算网络、思维链，诸如此类，把这些专业知识一次性简单介绍一下，然后我们就离开这些术语，讨论一下这个突然之间降临的人工智能可能会对我们的社会、文化、知识系统造成的冲击和重构。
张峥：GPT的基础是大语言模型，这些大模型本质上在训练的时候是在做接龙游戏——把下一页书给写出来——但它们有两点是远超人类的，第一是海量阅读，第二是其中有百分之十的数据是非常结构化的代码（以及代码周围的注释）。大致的结果就是模型中既存了知识（更准确的说是知识的碎片），又存了勾连知识碎片的逻辑，参数上大概是二比一这个样子。举例说，“着火了，赶紧跑”，这个动作的顺序是逻辑，“火”和“跑”是知识。我认为在大模型里面不存在纯粹脱离知识的逻辑，也不存在不被某种逻辑连带的知识，这两个加起来就是一个所谓世界模型（World Model）的雏形。这是一个大致准确的描述，大模型内部具体是如何工作的，学界都还没有一个定论。
小白：我们很多作家一开始心里有点慌，觉得能替代人类作家的机器来了，饭碗要被砸了。后来上机器一试，发觉一大堆车轱辘话，有些甚至是瞎扯，心里就有点笃定了。我想他们可能没有理解：一个能够准确预测“下一个字”是什么的机器，其实是对整个世界了如指掌了。那不仅是让机器吃下去一大堆文本，然后让它重新组合的事。是通过训练机器预测下一个字，训练它理解世界，理解人类的想法。就写作来说，我这几天一直在用GPT4。上两代GPT我都有接触过，甚至试着用它们来帮助完成写作任务。除了确实感觉到GPT4惊人的提升速度，也体会到这种“造句接龙”、这种自回归语言模型的让人挠头之处，它不能回溯性地修正，所以语句常常很啰嗦，有时自相矛盾。我们人类写作很多时候会把某一层意思在前面段落“悬置”一下，或者把某一层意思一直“延宕”到后面段落说出来，这个它好像很难做到，有希望改进吗？
张峥：在大模型向对话机器人转换的过程中，有一个思路特别清奇而且有效的想法，就是既然能接龙，那何不把具体的任务，或者思考过程也作为接龙的一部分演示给大模型看，让它具有自问自答的能力呢？这种方法的本质是把存储的知识和逻辑定向赋能给人类需要的任务。其他的手段，和训练围棋机器人比较类似，但有一点，围棋的左右手互搏是实现围棋上帝的手段，因为输赢是确定的，用自然语言定制任务，是开放性的，不好实现。现在的训练方法用了一些偷巧的近似，但我认为正是那种近似导致了GPT有时候会胡说八道，颠倒事实。现在大模型回答的时候，基本上是过一遍脑，没有反刍、回溯、自我批评等功能，New Bing在不确定的时候会去联网搜索，但那只是扩充资料，不过这都是学界知道的问题，包括我的团队都在进行探索。就目前来讲，要做到像小说《流俗地》那样把线头埋得那么多、那么远，能前后呼应，最后又能提得起来，大模型还有很远的路要走。
小白：按你先前说的，感觉大模型从结构设计上看，某种程度上有点像人脑。人脑也是把由自然语言表述传达的记忆拆解成碎片，存储在大脑里，一些记忆单元负责存储“知识点”，另一些则负责存储结构和关联性。虽然我们现在仍不知道它们究竟存储在什么地方，有说是在突触，也有说是在神经元细胞内部，DNA、RNA。从表面上看，GPT甚至在工作方式上也跟人类相似，就是把那些碎片重新组合成有意义的、可以由自然语言表述的内容，但那仅仅只是表面上。因为神经元网络与大模型计算网络有一些本质上的不同，神经元网络是通过刺激突触互相连接组成的，它可以随时建立新连接新路线，而且突触连接十分易变，神经元不断合成新蛋白，接受到新刺激，突触就生长出新连接，也会切断旧连接，也就是遗忘。这个能力大模型即使采用分布式计算边缘计算也不太会具备。这不仅让人脑更有效率更节能，而且实际上，“记忆”和“遗忘”这一对人类大脑固有特性，实际上是人类整个文化历史、整个文明的真正本质所在。我们的历史建基于其上，我们人类的一切创造活动都是基于这个特性来工作，如果没有遗忘，人脑几乎不可能有创造性成果，因为神经元突触建立新连接，并不像大模型，采用贝叶斯计算网络，在数学上相当精确，而且神经元突触受到刺激，开始生长，选择与另一个神经元连接并不根据概率和权重的计算，它更像是某种不间断的“联想”。这两种连接方式各有短长，所以我认为，或者说我猜想人类未来相当长一段历史当中，人和机器都应该互相亲密合作，每个人都要熟练地与他自己的模型一起工作，甚至脑机连接，你觉得呢？
张峥：在这点上，我的看法和你差别比较大。我认为任何一个智能体，都需要对周边的环境的奖励和危险敏感，“计算”应该采取什么样的行动，“算计”给对手使什么绊，并且能“俯视”自己正在执行这一串操作，这最后一点是自我意识的根本。
从这个角度来说，一个智能体采取何种方式实现这样的功能，我认为有很大的偶然性，也有很大的自由度，所以不必拘泥于是用人工神经网络，还是用“汤汤水水”的脑神经元来实现。理想状态下机器应该作为人类的亲密小三，但不是基于材料的原因。
小白：总的来说，我其实也赞同自我意识并不神秘，如果一个大模型一面在执行计算任务，与之同时又还能模拟自身运行包括当前正在进行的计算过程，一个内嵌的、递归的模拟器，也许就能构成这个模型的自我意识。而且我也和你一样，相信大模型某一天会偶然地实现这种自我模拟。但这种对“自身行动”的“俯视”，在不同物种当中，表现并不全然相似。人工智能体如果具有自我意识，它也与人类自我意识有所不同。就好像先前说到的记忆与遗忘，正如你所说，机器的遗忘是覆盖，是彻底忘记永远无法恢复，它要么完全备份牢牢“记住”，要么彻底遗忘，而对于人类，“记忆”和“遗忘”是一件事情的两面，我们的记忆存在于遗忘之中，正是这互为依存的两者，构成我们的独特个体经验。当我们人类个体在进行创造性活动时，比如写小说，我们不是直接用“知识”来写作，而是使用那些介于记忆与遗忘之间的“经验”。
张峥：是的，自我意识不过就是俄罗斯套娃，自己“俯视”那个在“思考”“感觉”的另一个自己，只要一个智能体的环境足够复杂，必然有自我意识的涌现。当大模型在进行强化学习的时候，外面还有一层是作为环境对模型的性能打分，这两个在一起，已经完成了套娃结构，可以说在训练的时候是完全有自我意识的，在实际运行的时候最外面套娃现在一般不用，但可以用，而且一般人说话的时候并不过脑，过程和只有一个套娃在裸奔一样，都是所谓的“系统1”思考者（system1，见 Slow and Fast一书）。比较有趣的一点是，AI可以完成无数层自我嵌套，无数个自我意识。
认为自我意识是唯独人的专有，是人类自我中心的体现。类似的狂妄自大太多了。我读过不少文章，说明动物界中存在着广泛的自我意识，所谓“镜子测试”（Mirror test）只是测一小撮和人类生存环境相似的动物，依然体现了人类自我中心的自大症。
小白：其实我们人类也可以凭空虚构很多个自我意识，除了人格分裂症患者，小说家也可以——
张峥：没错，不过区别在于，人类的多个自我会是并行存在，虽然会切来切去。这个机器也行，不过它还能嵌套，就像《盗梦空间》（ Inception）那个电影一样。
在某些方面，AI超越人脑是极其自然的，比如它可以有各种外挂，也可以选择永不忘记，要做到这一点只要像你我一样，过一段就把电脑内容备份就完事了。不过，你说得对，多一个固定容量的模型，在吸收新知识的时候，必然会有遗忘的现象。事实上，AI的问题更严重一点，是覆盖，而不是遗忘，也就是说可能永远恢复不出来的，在学界，这叫做“灾难性遗忘”，人脑可能不是真的遗忘，而是在一般情况下“忘词儿”了，取不回来了。记忆和遗忘这一对冤家要当真是小说家的利器的话，那我觉得这也挡不住AI的脚步，它既然可以有拥有无数副本永不忘却的变种，就可以选择什么看，什么不看，不就是“遗忘”了吗？
话虽这么说，我曾经有一度极其痴迷于学习脑科学，而且认为虽然我们可以不用关心神经元那么底层的“元器件”，但脑区的分工应该是可以借鉴的。现在我的看法更加激进一点，比如说我认为处理图像信号，功能只要局限于从像素中把一个完整的物体恢复出来就可以了，高级的推理可以交给大语言模型中隐含的世界模型来处理。在本质上，这是应和了语言是高级功能的哲学假说。虽然我一直对哲学家/界孜孜不倦钻牛角尖的姿态不以为然，但这一点他们讲得很对。我不同意《人类简史》的很多观点，不过作者提出“叙述”这个动作的重要性，很到位。另外，斯蒂芬·平克在《语言本能》（ Language Instinct）、《白板》（ Blank Slate）等书里对语言起源有相当扎实的讨论，但我感觉他当时肯定没想到有一天世界模型会通过语言横移到GPT里去，倒是很想知道他的看法。
小白：是的，身为一个写小说的，我一向认为叙事创造了世界。但是在大模型中，如你所说，它处理和恢复信息，然后把剩下的交给一个“世界模型”，最终处理结果正确无比，缺乏的倒正是人类经验那种含混模糊而多义的性质，也不会具有人类经验那种千人千面构成的庞大复调。我总是在想，机器懂得隐喻吗？正是在这一点上，你先前所说的大模型超强的联想能力，与我们人类大脑中的那种联想，究竟能不能等同视之？我们知道，侯世达在《表象与本质》中把这种类比和联想，以及通过类比实现的范畴化，视为人类认知核心，是思想之源。
张峥：联想，还有联觉，是特别有意思的现象。我们最近发现，大模型的联想能力很强。事实上，如果没有这一步，也不会有从纯粹统计意义上的接龙，变成能被定向培训出解决各种任务的能力。我有一个比较奇怪的感觉，就是随着这一波新模型的出现，AI和人脑从架构上来说越走越远，越来越无法用AI的结构来解构大脑，但是从功能上讲倒是越来越近。当然，这只是我现在的猜测。
我记得里尔克有一首诗，描述高原上的羚羊在跳跃之前，就像“上了膛的枪”，这是神来之笔！不过，如果我们解构一下，把世间万物按照移动速度排个序，那么想到用子弹和枪来做比，不是很自然的路径吗？在大模型出现之前，我考虑过不少方法去模拟产生这样的联想，现在在大模型上观察到，一点不吃惊，因为“像”，就是一个最简单的“逻辑”，语料吃多了，这能力就彰显出来了。
小白：所有先前说的那些类比、联想、隐喻、记忆/遗忘，也许如你所说，机器也能办到。但我觉得都只能是表现上的相似。GPT是自然语言生成，我们也可以把它理解为机器写作（至少在表面上）。既然是机器写作，我们可以举一个人类写作的典范来与它比较，我最近在读英国女作家曼特尔的《镜与光》，我就以小说主人公克伦威尔与西班牙大使查普伊斯那些对话来举例，在小说中，这两个人物有大量对话。这些对话每一句背后都指向一些跟宫廷政治有关的强烈冲突，包含了大量历史知识，但这些知识都不是以清晰准确的“知识形式”而呈现在文本中。曼特尔对中世纪那段历史做了巨量阅读，这个过程就像机器大模型喂文本，喂数据集。但是曼特尔喂进大脑的那些历史知识，并不是以“知识”形态储存于头脑某处（不管是突触或DNA），通过记忆/遗忘机制的加工，它们转化成了类似于作者本人亲身经历或者耳濡目染的“个人经验”，而且这些经验同时也是具身的，也就是说与她的身体意识相关。所以当她写作这些对话时，环境随时辰天气而发生的细微变化、一些微小的心理感受、难以察觉的下意识动作与那些历史“事件知识”都糅合在一起。而那些环境、心理、动作也同样来自真正的历史知识，也许来自古老文本，也许来自古画，也许来自戏剧，但它们都转化成了作者个人性/身体性经验，作者不会记得这些经验到底来自哪里，但在写作时，她可以极其自由地使用它们，不断转换视角，不断切入人物内心，又忽然转变成自由间接文体，而这些变化并不是随意随机的，它们统一于文本/作者意图。统一于——我们可以说，身体。
张峥：我完全理解这样的观点。但我也可以反驳，我们有多少理由相信人脑的操作不是和GPT一样，逻辑和知识混杂在一起用呢，至少绝大部分时间是这样。把一个抽象的逻辑公式整理出来，公式和公式之间勾连起来成为一个体系，但落地要实操的话，还是需要把知识碎片填入进去。这就像一段程序，放在那里就是一堆计算和逻辑，并没有用，就像空气一样你可以不理会的，直到你把参数在调用的时候放进去。
虽然GPT现在没有无法具身，但将来捕捉和人类需要的信号不是难事，这个问题，在我们学界叫做embodiment，我看到谷歌和伯克利的一个工作，已经开始往这个方向走了。事实上，人类的感官在各种信号上的频宽是很窄的，尤其变成城市动物之后，很多天线就钝化了。我经常观察将军（女儿的泰迪狗，去美国读书之后就粘着我）的行为，很多行为一开始匪夷所思，比如我还没到家它就开始激动地在屋里嚷嚷，我后来明白是电梯到达楼层前地板的振动变化；每天饭后带它出去散步都欢天喜地，有一天却赖着不走，等到了楼下我才发觉，哦，原来下小雨了，将军一定是感觉到了空气中的潮气。这些信号，我们城市人都捕捉不到了，但不代表不存在，将来的机器人会帮我们恢复的。所有信号中一个很神秘的种类是嗅觉，发明电报的贝尔有次去纽约的著名高中Stevens High致辞，说这个问题一直困扰他。我看到几年前麻省理工有人也做出来了，先被军方拿去找雷。
还是那句话，世界比人类能感知的大很多，切勿妄自尊大。《镜与光》被你说那么好，我去找来读读。
小白：我明白你先前说的语言是高级功能假设。实际上它是假设我们人类所生活的世界，被古往今来所有的文本记录了，文本是世界的映射。所以训练GPT接龙，让它猜出“下一个字”是什么，实际上是训练它认识世界，也就是学习建立一个你先前所说的“世界模型”。我这几天试着问GPT4一些问题，让它推测一些上下文环境中没有提及的情况，物体的运动方向和轨迹，假设一个动作让它猜测结果，甚至让它推测一组对话背后的动机和人格，GPT4确实已完成得相当出人意料。但局限性也很明显。我觉得它与人脑中世界模型的习得是有很大不同的，人脑的世界模型是在运动中学习和形成的，我们从婴幼儿心理发展就可以看出。尽管可能如你所说，语言是高级功能，但自然语言实际上无法覆盖大部分身体运动，感受，甚至连简单的方向，自然语言也很难说清楚。在语言出现之前，人类大部分底层智能发展已完成。在这点上，我想机器即使加上很多传感器，即使机器人技术发展到有更好的运动能力，即使它有超过人脑千万倍的电信号传递速度，可能也很难达到人类大脑目前的程度。
另外比如说，它好像不能在不完全信息下做出判断和决策，这可能跟它的“统计”本质有关。这跟我们人类不同，我们人类常常依靠所谓“直觉”，大部分决策都是在不完全信息下做的，而且“猜”中概率奇高。我想象那也可能跟模型的训练方式有关，说对了奖励，说错了惩罚，也许在权重上惩罚大于奖励，久而久之，它就不敢犯错了。当然从研究人员角度看，确实希望它永不犯错，它如果犯了错可能造成更大危害。它好像也缺乏快速地从当下“经验”学习的能力。所有这些，其实都跟“身体”“运动”这些可能在文字出现之前就进化完成的人类智能有关。
张峥：我是一个比较顽固的还原论者，我觉得这世界再千变万化色彩缤纷，还是被关在一个物理框架下运转。在这个框架中，有一些基本的规则不会改变，比如时间不会倒流，比如我们的身体不会弥散在空间中。已知的智能体包括人类，在这个世界中摸爬滚打那么久，都是老战士了，自然一代一代地会把招数插入到下一代。语言的功能就是“描述”这个世界模型的合理性并掌握其中的规律（我们可以把数学看成一种语言），说出来是因为合作交流的需要，这种社会化的动作，又反过来使得语言很强大，让这个世界模型又准确又丰富。AI如果参与到这个物理世界中，如果被赋予的使命就是和人打交道（先不提服务于人类），第一步就是领会这个世界模型，这个物理世界GPT已经掌握了一些，其中缺失的部分（比如来自视觉信号可以捕捉到的常识）还有不少，这个学界正在补，包括我们。不过，这其中存在一个鸿沟：如果我们认为进化心理学是对的，那么人类的行为包括了被早已被淘汰了的、过时的世界模型打磨出来的动物性。换句话说，人类的所谓“世界模型”中有非常古老的部分，早在文字产生之前就有，这些“老版本”AI能猜出多少来，并以此解释人类行为作为互动的基础，我不能确定。
AI必须要参与这个物理世界去和人类相处吗？这个是个很大的未知数。不可控的是AI自己成立“GPT族群”，摆脱物理世界的束缚，自己往前滚，并且乐此不彼，到那个时候，如果人类的存在不利于GPT族群的发展，那就是真正意义上的奇点了。
小白：我知道你们人工智能学界都在做“视觉”这一块，甚至前两天OpenAI宣布买下了一家设计机器人的公司。我想你们一定是想让机器不仅能从文本中学习训练，也能从图像、场景和自身运动中去学习理解世界。
你刚刚说，你推测人工智能模型在网络架构上会越来越不同于人脑结构，而功能却会越来越接近。那样我们将来就只能得到一个运算结果，而我们人类常常说，思考结果不重要，过程才重要。人类思想大多重要的成果，都是在过程中派生的。
张峥：还真不是这样。现在GPT之所以神奇，是因为高级的接龙训练手段把逻辑链显示给模型看（Chain of Thought），用“让我们一步步来”这种话来做提示符。所以，模型学会之后，自然而然也可以把过程还原给你看。
小白：很多人有这样一种观点，认为每一次和GPT对话都是在“喂养”它，所以我们最好不要跟它多玩，以免它更快地进化。我知道这种想法其实不对，因为目前GPT的架构设计实际上不支持它通过每一次对话实时学习和改进模型。不过准确地说，它到底能从一次对话和互动行为的结果中学习到什么呢？
张峥：技术上来说，现在的大模型都会设立门槛，不让被“喂养”得太快，也不会什么都吞进肚子里去。所有的“喂养”不外乎灌输新的知识，更新已有的世界模型。已经有无数实验证明，一个把和用户的互动快速迭代自己的AI，必然被带坏，原因不外乎被一个糟糕的世界模型“洗脑”了。这里我觉得要看到一个趋势不可阻挡：在资本的介入下，AI的发展必然会去适应、完成和完善自己适应新任务的能力。它的进步，与你我（的喂养）基本无关。所以，我们应该去担心的，是不要让自己在与它的互动中变得过分依赖导致脑力退化，以至于互相见面的时候若没有AI加持，变得张口结舌，慌张万分。
小白：你说那些设计大模型的人们，会设置门槛，不让它在与用户互动过程中过于迅速迭代更新自己，他们认为这样就不会让机器“变坏”，这么说有没有“数学”上的依据？或者说有没有原理上的依据？或者这只是一种猜测，他们只是如此希望？是一群心地单纯的年轻科学家的良好愿望？
张峥：和人类价值观对齐，也叫做“对齐税”（alignment tax），作为一个数学手段，是可操作的，openAI也正是这么做的：回答没对齐，惩罚模型，对齐，就奖励，可以理解成驯化的一部分。这种对齐一定对模型的想象力带来约束，这是为什么“税”是一个特别准确的用词。
但什么样的回答算对齐了？这没有数学上的定义，openAI的论文中，花了超过一页的篇幅来说明他们怎么做对齐，大致上反映了那拨员工的价值观。如果现在让全世界来公投，能投出来一个更好的价值观来做对齐标准吗？我看也未必。
我不知道有多少做AI的研究者和我一样天天活在深度纠结之中，上班的时候整天琢磨如何改进AI，下了班和你一样开始焦虑人类的空间——
小白：我不焦虑，我虽然不像你那样乐见其成，但内心深处也是有点期待——
张峥：说不上乐见其成，其实我是希望不要这么爆发性地发展，因为觉得完全准备不足，不然我不会那么纠结。
我曾经总结过以想象力和正确性作为两个轴划分出来的空间，我认为需要创造性高的空间，AI暂时还只能做助手：创造性高正确性也高的是科学，创造性高正确性（或事实性）不高的是艺术。为什么暂时AI只能做助手呢？拿科学来说，既往的知识既然已经存在，就无所谓创造性，不然就成了篡改历史。但科学的方法论是提出假说，然后实验室再推演去证明。也就是说，要创造出“未来的”知识。AI能做的，从目前看来，有局部的胜仗，还没有全局地自主入侵。我乐观地去想，认为未来的知识空间还非常大，有AI的这个助手，不是坏事。
至于艺术不需要“事实性”，是因为这是一个伪问题，好的艺术是唤起情绪的，而情绪是一种体验，不一定具象成什么我们能认得出的东西。这方面最直接的例子可以参考抽象画的发展历史。我推荐诺奖得主坎贝尔的《你为什么不懂抽象画》，我翻了一下中文版，译得不错的，而且还录入了英文版也没有的一些画作。
但短痛是必然的，而且影响会非常大。原因是信息化技术革命之后这二三十年产生了大量的内容，也大大提高了生产效率，也为此衍生了丰富的生态圈（课外补习编程就是一例），这其中如果就是百分之五十被AI取代，都是非常巨大的变化。
小白：如果一半人口工作受到威胁，我们会说那是灾难性的，可能会造成社会崩溃，而不能仅仅理解成巨大的变化，失业率增加几个百分点都会造成社会动荡不宁，百分之五十，这个数字其实是无法承受的，也是无法想象的。在那个人工智能将人类极大解放的时刻到来之前，也许人类社会就分崩离析了。
张峥：我们可以想象一下会出现哪些变化。第一种将直接洗牌和破坏现在的生态，扰动人力市场，这也是大家最担心的。第二种是变成GPT的人肉外挂，给GPT找错，比如过滤虚假信息。就我对GPT的训练过程的了解，现在事实性的错误还不少，也没有很好的手段根治。这两种机会，都是现在肉眼可见的。第三种是创造性地开发新的工种，我能想到一些个性化教育的可能性，但有多少容量很难说。我看到可汗学院开始搭上GPT4了。2012年开始我从大系统转做AI研究，数学底子跟不上了，在那个平台上自学过不少，非常喜欢。可汗学院的机器人有两种，一种是个性化的辅导老师，这种“对齐”的是循循诱导类的好老师。另一种可以给老师提建议，做辅导计划。可汗学院这种全面出击的姿态非常吸引人。这肯定是一个长期的社会工程，而且要在GPT扰动生态的过程中做，需要很强的定力。
不过，我们应该看到一点，和GPT互动的工作模式，主要是提问，而要把GPT用好，还要有质疑的能力。而提出好问题的能力，敢于质疑的勇气，不正是中国教育中相当缺乏的吗？有GPT来逼一逼，未尝不是一件好事。不过，诚实地说，我这种愿望，其实是有些底气不足的。
小白：不管未来能创造出什么新形态的工作，总量上一定大大少于机器智能还未能大一统的现在。你先前所说“高创造性”的那部分工作，我其实对你的乐观有点怀疑。大模型无论如何都是基于统计和概率，我知道大模型之大可以覆盖长尾，但人类会越来越依靠它的输出来思考，可是它“对齐”、它选择大概率、它对“高级”和“低级”文本一视同仁都只是训练数据，它会不会让人类整体思考趋向于一个对齐的中间值？
张峥：新一代的AI模型的出现，带来一个有趣的现象：中间值趋势——这不是一个具体可以量化的数值，而是一个感觉，就是在各种对齐税的驯化下，模型的回答中规中矩，不左不右。
假定事实性错误会被最终解决掉，那么我觉得中间值趋势会带来一个好处，一个坏处。好的地方在于低于这个中间值的（人类）观点会被迫对齐，这种提升是有益的。坏的地方是如果中间值过于强大，会制约进步，使得中间值止步不前，导致整个文明的停顿。
但人类的天性就是“作”不是吗？不“作”也不会出现GPT。将来的GPT，可能把人类文明捆绑成一个中间值不动了，也可能加速中间值的变化，现在很难看清楚。
小白：我相信当未来芯片技术有新的巨大发展，也许我们可以在个人终端上训练自己的模型，而且模型本身也能具备快速学习即时经验的能力，到那个时候，我们先前说的一些问题，比如中心化、比如过度“对齐”都可以得到解决。但在相当长一段时间内，目前形态的大模型将会“统治”我们的工作方式和思想方式。在这种情况下，我们可能没有机会发展出一种更好的机器智能，你觉得呢？
目前这种人工智能技术的设计和研究，其技术发展的路径是完全按照资本的逻辑来部署的。就像互联网，我们原以为它会给人们广阔的自由发展空间，如今却日益让人发现它更像是一个把所有人分别阻隔在其中的透明“泡泡”。每个人都像呼出二氧化碳那样排放出大量数据，而这些数据被资本拿去，先是作为互联网大平台的养料，现在又开始“滋养”人工智能大模型。但按照这个逻辑来部署的超级人工智能，究竟能不能对我们每个人有好处？它会不会阻拦真正好的人工智能的诞生，就像因特网一样？我们对未来的展望总是有些大而化之：这一大堆是有益的，那一堆是风险，我们要尽量避开风险，但无论如何要继续发展……像这样大手一挥，我们其实忘记了，通往好的人工智能的道路是一条极窄的路，路两边全是风险，要行得通，不仅需要保持平衡，还要对先后次序有清晰的战略，到底哪只脚先跨出去，不是资本逻辑能判断的。
张峥：OpenAI的初心倒是反资本的，是因为害怕DeepMind一家独大，要做完全开源的AI研究。七年下来，结果又颠倒了，至少在微软赚够了钱之前不会再翻转回来。从这点上来说，确实不得不说资本的逻辑强大。
我最近在读一本砖头一样厚的美国历史，正在重温十九世纪初的美国，废奴运动有很多推动力，但和机器是一种新“奴隶”、 长尾给了一个参照物有一些关系。没想到两百年后，我们又开始担心会不会被集体降格成一种另类的“奴隶”。关于未来，我一直很喜欢《她》（ HER）这部电影，觉得这可能是最乐观的结局了。不过，人类毕竟也是“老战士”了，说不定有勉力胜出的机会也难说。
一个可以预见的场景是手机上植入一个基础版的助手，需要专家类知识可以联网，即用即弃，按需付费。现在GPT4的模型除了要联网搜索之外，本身还是一个巨无霸，实在太“胖”了，也太“热”了，你说要存下人类历史上所有的知识和代码，得多大一个脑袋？芯片技术要发展到什么程度才能把将来的GPT全部植入大脑，我有点怀疑。很可能再怎么着都要拖一根辫子（天线）的。
极端个人化的世界，社会必然分崩离析，有了个人AI的加持，说不定死得更快；一个AI中心统治天下，文明无法往前滚动，或者滚得特别慢，非但没加速反而踩了刹车……这两种都可能的。如何走出怪圈呢？我反问一句：你们写小说的，现在不上，什么时候上？
小白：我们可以设想那样一个世界：这个世界有无数个小模型和若干大模型。小模型和大模型不能说完全势均力敌，但是仍然可以相抗衡。
张峥：这里有几个概念要先澄清一下，首先大模型之大是为什么？有必要这么大吗？我的看法是没必要。用同样的数据量来训练，现在普遍接受的看法是大模型容易优化，小模型难训，需要更多的时间。但我觉得大模型训完之后它的解空间不平滑，而生成结果是一个采样的过程，大模型容易踩到坑里，容易胡说（特德姜说大模型就是一张模糊的JPEG图片，其实没抓到根本）。小模型如果能训出来，解空间应该稠密一些，说不定效果更好呢，这只是一个直觉，有可能不对，因为这么高维度的空间，非常难理解透彻。几周前斯坦福大学有一个结果，用了七十亿参数的小模型可以和谷歌的几千亿参数的大模型在一些任务上打成平手，这是很鼓舞人心的结果。第二，之前我说过现在的模型都是全盘通吃的大胖子，这是一个非常不灵活的系统，接专业外挂是更合理的结构，OpenAI最近的动作正是如此。
在解决了这两个问题之后我们可以问，一个有用的“小”模型的底线是什么？我的看法是也不能太小，因为必须要有融会贯通的世界模型和基本的知识，不然就会很弱智，团结了再多的小模型，也是乌合之众。
那么你想象的抗衡应该在哪里呢？我觉得这部分的战斗现在连兵器都还没造出来，但将来会，那就是“算计”的本领——在“脑”子里多转几圈，别张口就来。到那时候就是比谁算计得多。这挺像下棋，一千个臭皮匠，每个人算三步，和一个能算一百步的诸葛亮比试一下，你说胜算有多少呢？
要么小模型们能找到葵花宝典，或者就像电影《瞬息全宇宙》里教育我们的，多一点点爱，爱可以解决所有问题，呵呵。
小白：前几天微软发布了一份一百五十四页的报告，据说原先他们为这篇报告起的标题叫做“与通用人工智能的第一次接触”。也许是觉得这个标题过于耸人听闻，发表时改名为“通用人工智能的微火”。它介绍了微软在实验室针对GPT4所做的一些测试实验，我们由此看到，微软发布上线的GPT4版本，有很多能力是被限制了。这些实验展示了GPT4跨学科解决问题的能力、心智理论能力、真实世界空间和运动的推测能力、使用多种工具解决问题的能力、绘画作曲数学编程工作的生成能力。那份报告几乎就要说服我了，我越来越相信GPT4距离真正的通用人工智能，甚至超级机器智能很近了。特德姜说它是一个压缩图片，我觉得他可能搞错了，“压缩”的不是大模型的输出结果，而是它的训练方式。把对整个世界的理解，把对“世界模型”不断学习、 修正的过程，压缩进对文本“下一个字”的不断猜测中。那么教授，你如何看那份报告？
张峥：那份报告我读了，但不太仔细。这是学术文章中不怎么“正经”的“爽文”，我说不太正经不是在说他们做得不好，而是需要的测试非常难量化，标准也不一致，但我觉得方向是对的，就是不应该，也不需要再用传统的测试集，而是多用认知科学的材料。如果我有机会和他们交流的话，我会建议他们试试脑科学的一部分实验素材（比如各种错觉）——要真正对齐，机器应该和人犯同样的错误才行。
小白：我读了之后十分惊奇，甚至连线仿照报告中的实验也测试了一些问题。我原以为人工智能距离实现像人类那样的心智理论能力还很远，现在看来GPT4几乎已能够推测设定环境下特定人物的内心想法、观点和意图，甚至能推测多层意向性。
张峥：是的，有些结果很惊艳，尤其是组合性强的那些题目，找的路径非常直接有效。我看下来那些任务，对一个经过专门的、有针对性的训练的大学毕业生，都能顺利完成，包括实施机群攻击，找到代码反汇编等等。惊艳之处在于有些组合任务可能它之前都没见过，都完成得不错，这不得不说“通用”这部分是达标了。问题在于“智能”是什么？我觉得应该包括自我学习、反刍、更新、适应新环境，等等。这些并不在这篇文章的考察范围内，其实模型现在还没这个能力。
但你可能也注意到了，把一个笔记本、一本书、九个鸡蛋、一个杯子和一个钉子摞起来，这个三岁小孩都能做的事，它并没有通过。这是因为语言中能覆盖的世界模型虽然非常丰富，但有很多“不言而喻”的部分。既然没有落到纸上，它就没学到，或者即使有，在海量的数据中被湮没了，这和“父母是不是可以结婚”答不对是同一个原因。
不过，别高兴得太早了，既然我都注意到了，比我能干手快的同行多的是，打这个补丁不容易，但能做。我可以和你打个赌，这个补丁不会是中国同行会去做的，因为是一个基础工作，咱们都着急变现不是吗？我这么说，老实讲是留个口子，用激将法刺激一下。
你一定知道“人物的内心想法”是一个非常古老的哲学问题：怎么证明我现在对谈的你不是一个幻象，或者我不是你的幻想？Theory of Mind（TOM）的假设是说我和你都是同样的物理存在，也有同样的大脑，所以可以感受和猜测彼此。大卫·查尔莫斯（David Chalmers）在《现实+》（ Reality+）一书里对各个变种做了很好的梳理。我记得微软的这篇文章里对这问题也做了些测试，大模型也是白盒，虽然追究到单个神经元没有意义，但是看统计行为是可能的，所以我觉得这个古老的哲学问题，和自我意识是什么一样，都可以搁置了。