大卫·查尔默斯：ChatGPT等大型语言模型可以有意识吗？

当我在1990年代初期在印第安纳大学攻读研究生时，我花了很多时间思考人工神经网络。我发表的第一篇文章就是关于语言中主动语态和被动语态转换的神经网络模型。

当然，那时的网络规模较小。学习能力弱，语言模型也很小。随着90年代的推进，神经网络的进展放缓了，我的注意力也被分散到了思考意识的问题，这一思考就是几十年。我一直对机器学习保持着业余的兴趣，并在过去十年中随着神经网络变得更加庞大和强大，持续关注着这一领域的大量研究。但直到今年（2022），我对于神经网络的兴趣和对意识的思考开始碰撞。

这始于OpenAI的Ilya Sutskever发布的这条臭名昭著的推文：这可能意味着今天的大型神经网络具有初步的意识。

几个月后，这个领域爆发了一个轰动事件，谷歌开除了软件工程师Blake Lemoine，他声称在他们的语言模型系统LaMDA 2中检测到了感知能力。这引起了一些头条报道。

这立即引起了很多争议。谷歌表示：「我们的团队已经审查了Blake的担忧，并告知他证据不支持他的说法。他被告知没有证据表明LaMDA具有感知能力（并且有很多证据反对它）。」

关于证据的问题引起了我的好奇心。有哪些证据支持大型语言模型（Large Language Model，简称为LLM，下同）可能具有意识？又有哪些证据反对它？当会议组织者邀请我就机器学习系统中意识的问题提出哲学观点时，我开始思考这个问题。我很乐意这么做。

我不需要向这个听众介绍LLM。它们是巨大的人工神经网络，通常使用transformer架构，在大量文本数据的基础上进行训练以预测和生成新文本。我认为GPT模型仍然是最知名的，而我们都在等待GPT-4的推出*。

*译者注

本论文于2023 年3月4日提交，写作期间GPT-4还望推出。

Chalmers, David J. "Could a large language model be conscious?." arXiv preprint arXiv:2303.07103 (2023).

我还会谈到扩展的大型语言模型，我将其称之为LLM+系统。这些模型在纯文本或语言能力之外增加了更多的功能。有一些视觉-语言模型添加了图像处理，而语言-动作模型则添加了对物理或虚拟机身的控制。还有一些模型添加了代码执行、数据库查询、计算机仿真等功能。我感兴趣的不仅仅是今天的LLM，而是未来几年内可能开发的系统，其中将包括超越语言范畴的LLM+系统。

我的问题将是：首先，目前的LLM是否具有意识？第二，未来的LLM及LLM+是否可能具有意识？第三，实现具有意识的机器学习系统需要克服哪些挑战？尽管存在挑战和反对意见，但我认为这是一个建设性的项目，并且最终可能会为实现AI系统中的意识提供潜在的指南。

我的计划如下： 

首先，我将尝试澄清一些关于意识的问题。其次，我将简要探讨支持当前的LLM具有意识的原因。第三，我将更深入地研究认为LLM不具有意识的原因，并将其视为需要被克服的一系列挑战。最后，我将得出一些结论，并提出一个可能的路线图，用于实现LLM及其扩展版本LLM+中的意识。

意识

首先让我们看看意识。在这次演讲的标题里，我本来用的是「感知」（sentience）一词。最后我认为这个词太模糊而且令人困惑，甚至比「意识」（consciousness）一词还要更加令人困惑。 

在我的使用中，意识（consciousness）和感知 （sentience）大致相等。就我的理解而言，意识和感知它们是主观经验。一个生物如果具有主观经验，例如看到、感觉到或思考等经验，那么它就是有意识的。

用我同事Thomas Nagel的话来说，一个生物如果具有某种感觉，那么就可以说是有意识的（或具有主观经验）。Nagel曾写过一篇著名的文章《成为蝙蝠是什么感觉？》，我们很难确切地知道蝙蝠在使用声纳四处走动时的主观体验是什么样的，但我们大多数人都相信作为一只蝙蝠是有某种感觉的。它是有意识的。它有主观经验。

另一方面，大多数人认为，做一个水瓶不会有任何感觉。瓶子没有主观体验。

意识有许多不同的维度。有与知觉相关的感官体验，比如看到红色。有与感觉和情绪相关的情感体验，比如感觉疼痛。有与思想和推理相关的认知体验，比如认真思考一个问题。有与行动相关的代理体验，比如决定采取行动。还有自我意识和自我注意。它们中的每一个都是意识的一部分，尽管它们都不是意识的全部。这些都是主观体验的维度或组成部分。

正如我提到的，感知（sentience）这个词有许多不同的用法。有时它只是用于对环境的反应。有时它用于情感体验，如快乐、快乐、疼痛、痛苦——任何具有积极或消极价值的事物。有时它用于自我意识。有时人们使用有感知能力的 （sentient）只是指响应的（responsive），正如最近一篇文章所说的那样，神经元是有感知能力的（sentient）。

所以我会坚持意识（consciousness），它至少是一个标准化的术语。你必须做出一些区分。例如，意识与自我意识并不相同。意识也不应等同于智力，例如复杂的目标导向行为。这是两种不同的事物——主观体验和客观行为——尽管它们之间可能存在联系。

重要的是，意识与人类水平的智力不同。在某些方面，它实际上处于一个更低的水平。例如，研究人员一致认为，许多非人类动物都是有意识的，比如猫、老鼠或者鱼。所以LLM是否可以有意识的问题与他们是否具有人类水平的智能的问题是不同的。生物演化过程在达到人类水平的意识之前就已经有了意识。人工智能可能也不例外。

我对意识有很多看法，但今天我会尽量不去假设太多。例如，对于接下来的大部分内容，我不需要假设存在意识方面的难问题（hard problem）。我推测过泛心论（panpsychism），即万物皆有意识的观点。如果你假设一切都是有意识的，那么你就有了一条通往有意识的大型语言模型的非常简单的道路。所以我不会在这里假设泛心论是对的。我会在这里提出自己的观点，但我主要会尝试从科学和意识哲学中相对主流的共识观点出发，思考LLM及其后继者的后续发展。

也就是说，我会假设意识是真实的而不是错觉。这是一个实质性的假设。如果你认为意识是一种错觉，事情就会朝着不同的方向发展。

我应该说意识没有公认的可操作的定义。意识是主观体验，不是外在表现。这就是让意识研究变得棘手的原因之一。但是，意识的证据仍然是可能的。在人类中，我们依赖口头报告。我们用别人所说的作为研究他们意识的切入点。对于非人类动物，我们使用它们行为的各个方面作为意识研究的切入点。

缺乏可操作的定义使得在AI中研究意识变得更加困难，在其中我们通常受客观表现的驱动。在人工智能中，我们至少有一些熟悉的测试，比如图灵测试，许多人认为它至少是意识的充分条件，但肯定不是必要条件。

机器学习中的很多人都专注于基准测试。这里的一个挑战（可能是针对NeurIPS数据集和基准跟踪）是找到意识的基准。也许至少可以有意识的方面的基准，比如自我意识、注意力、情感体验、有意识与无意识的处理？我们可以为这些开发客观测试吗？我怀疑任何这样的基准都会遇到一些争议和分歧，但我认为它仍然是一个非常有趣的项目。

顺便说一句，我将使用红色方块标记在寻找人工智能的意识的道路上可能需要遇到的一些挑战。

为什么意识很重要？为什么人工智能系统是否有意识很重要？我不会说意识会给你带来一组惊人的新功能，而你无法在没有意识的神经网络中获得这些功能。这可能是真的，但意识在行为中的作用还不够了解，因此做出这样的承诺是愚蠢的。虽然这么说，我确实认为意识可以很好地为人工智能系统带来某些独特的性能，无论是关于推理、注意力还是自我意识。

意识在道德上也很重要。有意识的系统具有道德地位。如果鱼有意识，我们如何对待它们就很重要。他们在道德圈内。如果AI系统在某个时候变得有意识，它们也会处于道德圈内，而我们如何对待它们也很重要。更一般地说，有意识的人工智能将是通往人类水平人工智能的道路上的一步。这将是极为重要的一步，而我们不应该不假思索或者不知不觉地迈出这一步。

我们面临着重大的道德挑战。我们应该创造有意识的人工智能吗？这个问题很重要，但答案远非显而易见。我自己不是伦理学家，但很明显，现在我们面临着许多关于LLM的紧迫伦理挑战。存在关于公平、关于安全、关于真实性、关于正义、关于问责制的问题。如果有意识的AI在未来的某个地方出现，那么这将带来一组新的困难的伦理挑战，并有可能在旧的不正义之上增加新的不正义形式。一个问题是有意识的人工智能很可能会对人类造成新的伤害。另一个是它可能会对人工智能系统本身造成新的危害。

关于道德问题我不会在这里多说，但我不会掉以轻心。我不想要我在这里列出的走向有意识人工智能的道路被视为我们必须走的路。我在下文中提出的挑战同样可以被视为一组危险信号。我们克服的每一个挑战都让我们更接近有意识的人工智能，无论是好是坏。我们需要意识到我们在做什么，并认真思考我们是否应该这样做。

支持大型语言模型

有意识的证据

现在我将重点关注支持大型语言模型中有意识的证据。我会以某种有条理的形式提出我的证据要求。如果你认为大型语言模型是有意识的，那么阐明一个特征X，使得 (i) 大型语言模型具有X，并且 (ii) 如果一个系统具有X，那么它可能是有意识的；并给出 (i) 和 (ii) 的充分理由。

这里有一些X的潜在候选者。我会考虑四个。

X 是自我报告

一个明显的X是自我报告。当Blake Lemoine报告他在LaMDA 2上的经历时，他在很大程度上依赖于系统自己的报告，即它是有意识的。

这些报告至少很有趣。我们依靠口头报告作为人类意识的指南，那么为什么不在人工智能系统中也同样如此？另一方面，正如人们立即注意到的那样，让语言模型报告几乎相反的情况并不难。例如，这是ReedBerkowitz对GPT-3的测试，对Lemoine的问题进行了小改动，并从不同的运行中得到了一些不同的答案。

因此，自我报告的证据并不太令人信服。许多人注意到的另一个相关事实是，LaMDA实际上是在大量谈论意识的人的语料库上进行训练的。它学会模仿这些说法的事实并没有太大的意义。哲学家Susan Schneider和物理学家Ed Turner建议在描述意识的基础上对AI意识进行基于行为的测试。如果你得到一个以令人信服的方式描述意识特征的人工智能系统，那就是一些证据。但正如Schneider和Turner制定的测试一样，系统实际上没有接受这些功能的训练是非常重要的。如果AI接受了相关的训练，则证据要弱得多。

这给我们的研究计划带来了另一个挑战。我们能否建立一个语言模型来描述意识的特征，但是不接受任何相关的训练？这至少可以成为某种意识形式的更有力的证据。

X 是表面意识

作为X的第二个候选者，其建立在这一事实之上，即某些语言模型对某些人来说似乎是有感知能力的。我不认为这很重要。我们从发展心理学和社会心理学中了解到，人们经常将意识归因到不存在的地方。在AI中，即使是像Eliza这样的简单系统，我们也会发现这一点。在心理学中，人们发现任何有眼睛的系统，都特别容易被认为是有意识的。所以我不认为这种反应是有力的证据。真正重要的是促使这种反应的系统行为。

X 是对话能力

这让我们想到了认真对待LLM的意识的更有力的理由之一，这与这些系统的能力有关。首先，语言模型显示出了非凡的对话能力。ChatGPT、LaMDA 2和Character.AI等系统针对对话进行了优化，结果令人印象深刻。在谈话中，目前的LLM往往表现出连贯的思维和推理。他们特别擅长给出理由和解释，这种能力通常至少被视为智力的标志。

在图灵著名的测试中，他本人强调对话能力是思考的标志。当然，即使是针对对话进行了优化的LLM目前也无法通过图灵测试。现在的人工智能对话还有很多小故障和露馅的地方。但他们离通过图灵测试并不遥远。他们的表现通常看起来至少可以与一个见过世面的小孩子相提并论，而且这些系统正在快速发展。

- Feral - -

X 是通用智力

对话不是这里最根本的。但它确实是更深层事物的潜在标志：通用智力。当前的LLM显示了一些领域通用能力的开端，在许多领域具有相当智能的回复。一些系统，比如Deepmind的Gato，是明确为通用性而构建的，在几十个不同的领域接受过训练。但即使是像GPT-3这样的基本语言模型也已经显示出明显的通用性迹象。这些系统可以写代码，可以写诗，可以玩游戏，可以回答问题，可以提供建议。他们并不总是擅长这些任务，但通用性本身令人印象深刻。

在思考意识的人中，领域通用的信息利用通常被视为意识的中心标志之一。因此，我们在这些语言模型中看到的增长的通用性表明了意识方向的发展。当然，这种通用型还没有达到人类智能的水平。但正如许多人在二十年前观察到的那样，如果我们在不知道其工作原理的情况下看到一个系统表现得像LLM一样，我们很有可能就会把这种行为作为智力和意识的有力证据。

现在，也许该证据可以被其他东西打败。一旦我们了解了背后的架构、行为或训练，也许这会削弱任何关于意识的证据。尽管如此，通用能力至少提供了一些初步的理由来认真对待这个假设。

总而言之：我认为没有强有力的证据表明当前的LLM是有意识的。尽管如此，他们令人印象深刻的通用能力至少提供了一些有限的初步支持。这足以让我们考虑反对LLM拥有意识的最强烈理由。

反对大型语言模型

有意识的证据

认为语言模型没有或不能有意识的最佳理由是什么？我认为这是我讨论的核心。我的想法是，一个人对此问题的反对意见，可能就是另一个人的研究计划。这些原因对应于大型语言模型面临的重要挑战。克服挑战可能有助于在LLM或LLM+中展示通往意识的道路。

我将以类似的形式要求提供反对LLM意识的证据。如果您认为大型语言模型没有意识，请阐明特征X，使得 (i) 这些模型缺少X，(ii) 如果系统缺少X，它可能没有意识，并给出 (i) 和 (ii) 的原因。

我们并不缺乏X的候选者。在更长的讨论中，我可以轻松给出十个或二十个。但在这里我们只是对这个问题的快速梳理，所以我将只阐述六个最重要的候选答案。

X是生物

我很快想到的第一个原因，是意识需要碳基生物作为身体的想法*。语言模型并不是碳基生物，因此它们没有意识。当然，这个理由如果正确的话，就排除了所有硅基的意识。这实际上是反对AI意识的一个非常普遍的理由。我的同事Ned Block赞同这种观点，但我却不这么认为。我在早期的工作中已经解决了这个问题以及其他反对人工智能的一般论点。今天，我将把这些反对意见放在一边，专注于更具体的关于神经网络和大型语言模型的问题。你可以说我假设有意识的AI是可能的，而且我正在研究一些具体针对LLM的反对意见。

*注

Ned Block. Comparing the major theories of consciousness. In (M.Gazzaniga, ed.) The Cognitive Neurosciences IV. MIT Press, 2009.

X 是感官和具身

一个突出的问题是感官和身体的作用。很多人观察到，LLM没有感官处理，所以无法感知。同样，它们没有身体，所以它们不能行动。这至少表明，它们没有感官意识和身体意识。一些研究人员认为，在没有感官的情况下，LLM没有真正的意图或认知。在1990年代，Stevan Harnad和其他人认为*，人工智能系统需要奠基（grounding）在某个环境中，才能具有意图、理解力和意识。近年来，许多研究人员认为，感官基础是深刻理解LLM所必需的。

*注

Stevan Harnad, The symbol-grounding problem. Physica D 42:335-346, 1990. Note that grounding has quite different meanings among AI researchers (roughly, processing caused by sensory inputs and the environment) and among philosophers (roughly, constitution of the less fundamental by the more fundamental).

我对于意识和理解需要感官和具身表示怀疑。我认为一个没有感官和身体的系统，就像经典的哲学思想实验缸中大脑那样，仍然可以有意识地思考，即使它的意识是有限的。同样，没有感官的人工智能系统可以对数学、自身存在甚至世界进行推理。最重要的是，LLM接受了来自世界各地的文本的训练。有人可能会争辩说，这种与世界的联系可以作为一种奠基*。Ellie Pavlick及其同事的研究表明，文本训练有时会产生与感官训练同构的颜色和空间表征。我正在其他一些工作中探索所有这些问题，但我不会在这里深入探讨。

一个更直截了当的回答是观察到这个问题可以在LLM+中避免，因为它有很多基础。视觉语言模型奠基在环境图像之上。例如，这里是Deepmind的Flamingo，它以结合的方式响应文本和图像。

*注

Roma Patel and Ellie Pavlick, Mapping language models to

grounded conceptual spaces. International Conference on Learning Representations, 2022. Mostafa Abdou, ArturKulmizev, Daniel Hershcovich, Stella Frank, Ellie Pavlick, and Anders Søgaard. Can language models encode perceptual structure without grounding? A case study in color. Proceedings of the 25th Conference on Computational Natural Language Learning, 2021.

语言动作模型奠基于对物理或虚拟身体的控制。这是谷歌的SayCan，它使用扩展语言模型来帮助控制机器人执行各种功能。

这两种范式自然地结合在感知-语言-动作模型中，从而使得其在虚拟世界中具有感官和身体。这是Deepmind的MIA（多模态交互代理）。

虚拟世界比物理世界更容易处理，接下来会有很多具身的AI相关的工作使用虚拟具身。有些人会说这不算作奠基所需的内容，因为环境是虚拟的。我不同意。在我关于虚拟现实哲学的书Reality+中，我认为虚拟现实在各种用途上与物理现实一样合法和真实。所以我认为这种工作是未来人工智能意识工作的一个重要挑战。

X 是世界模型和自我模型

一个相关的问题是世界模型。这与Emily Bender、Timnit Gebru及其同事的著名的批评有关*，即LLM是「随机的鹦鹉」——粗略地说，它们只是在模仿文本，而不是思考世界。同样，许多人认为LLM只是在进行统计学上的文本处理。这里的关键思想是LLM对于世界的模型只是文本的建模而不是世界的建模。它们并不像你一样，能够从世界的模型中得到的那种真正的理解和意义。

*注

Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Schmargaret Schmitchell. On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. pp. 610-623, 2021.

关于这一点有很多话要说，但我只能简单谈谈。我认为在这里区分训练中和训练后的在线处理很重要。诚然，LLM被训练来最小化字符串匹配中的预测误差，但这并不意味着它们的处理只是字符串匹配。为了最小化字符串匹配中的预测误差，其他的过程可能会被涉及，其中很可能就包括世界模型。

打个比方：在自然选择的演化中，在演化过程中最大化适应性，可以导致后演化的全新处理方式。批评家可能会说，所有这些系统所做的就是最大化适应性。但事实证明，让生物体最大限度地提升适应性的最佳方式，是拥有这些惊人的能力——比如看东西、飞，甚至拥有世界模型。同样，事实证明，系统在训练期间最小化预测误差的最佳方法，是使用全新的处理方式，包括世界模型。

Transformer等神经网络系统至少在原则上能够拥有深度和稳健的世界模型，这似乎是合理的。从长远来看，具有这些世界模型的系统，在预测任务中的表现将优于没有这些模型的系统。如果是这样的话，人们会期望真正最小化这些系统中的预测误差，将需要对世界进行深度建模。例如，要优化有关纽约市地铁系统的讨论中的预测，拥有一个稳健的地铁系统模型将大有帮助。推而广之，这表明在足够广泛的模型空间上对预测误差进行足够好的优化，应该会产生稳健的世界模型。

如果这是正确的，那么潜在的问题不是LLM原则上是否可能拥有世界模型和自我模型，而是这些模型是否已经存在于当前的LLM中。这是一个实证问题。我认为这里的证据仍在发展中，但可解释性研究至少提供了一些存在稳健世界模型的证据*。例如，Kenneth Li及其同事训练了一个LLM，该LLM在棋盘游戏奥赛罗中接受了一系列动作的训练，并提供了强有力的证据表明它构建了64个棋盘正方形的内部模型，并使用该模型来确定下一步动作。寻找事实在语言模型中的哪里以及怎样被表征还有很多的工作要做。

*注

Kenneth Li, Aspen K. Hopkins, David Bau, Fernanda Viégas, Hanspeter Pfister, and Martin Wattenberg, Emergent world representations: Exploring a sequence model trained on a synthetic task. arXiv.2210.13382, 2022. Belinda Z Li, Maxwell Nye, and Jacob Andreas, Implicit representations of meaning in neural language models. arXiv:2106.00737, 2021.

目前的LLM的世界模型肯定有很多局限性。标准模型往往看起来十分脆弱而不是稳健的，语言模型经常混淆和自相矛盾。当前的LLM似乎具有特别有限的自我模型：也就是说，他们关于自我处理和推理的模型很差。自我模型至少对自我意识至关重要，并且在某些观点（包括所谓的意识的高阶观点）中，它们对意识本身至关重要。这些都是特别重要的挑战。无论如何，我们可以再次将反对变成挑战：构建具有稳健世界模型和自我模型的扩展的语言模型。

X 是循环处理

现在我将转向两个与意识理论相关的更具技术性的反对意见。我以前的博士学生，Rob Long一直在研究这个问题*——使用意识的科学理论来思考语言模型中的意识——我建议密切关注他的工作。

*注

For an initial discussion, see Robert Long, Key questions about artificial sentience: An opinionated guide. Experience Machines (Substack), 2022.

这里的第一个反对意见，是基于transformer的LLM是没有循环处理的前馈系统。许多意识理论都赋予循环处理以核心作用。Victor Lamme的循环处理理论使其成为意识的核心要求。Giulio Tononi的整合信息理论认为前馈系统的综合信息为零，因此缺乏意识。全局工作空间理论等其他理论也赋予循环处理以重要角色。

如果需要循环处理的理论是正确的，那么基于transformer的LLM似乎不是有意识的。一个潜在的问题是，因为这些大型语言模型是前馈系统，所以它们缺乏随时间持续存在的类似记忆的内部状态。许多理论认为，持久的内部状态对意识至关重要。

我们可以以多种方式进行回应。首先，当前的LLM具有一些有限形式的循环和记忆，这些循环和记忆源自过去输入和输出的再循环，以及通过权重共享等工具。

其次，并非所有意识都涉及记忆，这似乎是合理的。并且可能存在某些意识形式是前反馈的。

第三，对我们的研究项目来说也许是最重要的：存在循环的大型语言模型。就在几年前，语言模型还以循环的长短期记忆系统（LSTM）为中心。目前我了解到LSTM在某种程度上落后于transformer，但差距并不大。还有很多LLM是通过外部记忆组件以记忆和循环的形式构建的。很容易想象，循环可能会在未来的LLM中发挥越来越大的作用。再一次，这个反对意见基本上等同于一个挑战：建立拥有意识所需要的真正循环和真正记忆的LLM+。

X 是全局工作空间

也许认知神经科学中当前领先的意识理论，是由Bernard Baars提出并由Stanislas Dehaene及其同事发展的全局工作空间理论*。该理论认为，意识涉及一个容量有限的全局工作空间：一个用于从众多非意识模块收集信息并使它们能够访问信息的中央信息交换平台。任何进入全局工作空间的东西都是有意识的。

Bernard J. Baars, A Cognitive Theory of Consciousness. Cambridge University Press,

1988. Stanislas Dehaene, 2014. Consciousness and the Brain. Penguin.

许多人观察到标准语言模型显然没有全局工作空间，但我们可以扩展它们来生成工作空间。已经有越来越多的多模态LLM+相关研究就使用工作空间来协调不同模态。这些系统具有针对图像、声音或文本的输入和输出模块，这可能涉及高维的工作空间。要想把这些模块整合起来，就需要一个低维空间作为接口。模块之间的低维空间接口看起来很像全局工作空间。

人们已经开始将这些模型与意识联系起来。Yoshua Bengio和他的同事认为，多个神经模块之间的全局工作空间瓶颈，可以发挥缓慢的有意识推理的一些独特功能。Arthur Juliani、Ryota Kanai和Shuntaro Sasai最近发表了一篇不错的论文*，认为其中一个多模态系统Perceiver IO通过自我关注和交叉关注机制实现了全局工作空间的许多方面。同样，这是一个有趣的研究项目。

Arthur Juliani, Ryota Kanai, Shuntaro Sasai. The Perceiver Architecture is a Functional Global Workspace. Proceedings of the Annual Meeting of the Cognitive Science Society, vol. 44, 2021. https://escholarship.org/uc/item/2g55b9xx.

X 是统一代理

LLM的意识的最后一个障碍，也许是最深的障碍，是统一的代理的问题。我们都知道这些语言模型可以呈现出许多角色。正如我在GPT-3于2020年首次出现时在一篇文章中所说的那样，这些模型更像是变色龙，可以呈现出许多不同代理人的形状。除了预测文本的目标之外，他们似乎常常缺乏稳定的目标和自己的信念。在许多方面，它们的行为不像统一的代理。许多人认为意识需要某种统一性。如果是这样，LLM的不团结可能会使他们的意识受到质疑。

我们同样可以有很多答复。第一：有争议的是，很大程度上的不统一与有意识是相容的。有些人是高度不统一的，比如患有分离性身份障碍的人，但他们仍然有意识。第二：有人可能会争辩说，一个单一的大型语言模型可以支持多个代理的生态系统，这取决于上下文、提示等。

但是要重点看最有建设性的回复：貌似更统一的LLM是可以的。一个重要的类型是代理模型（或人模型或生物模型），它试图模拟单个代理。目前，在Character.AI等系统中，最流行的方法是采用通用LLM并使用微调或提示工程，使用来自一个人的文本来帮助它模拟该代理。

当前的代理模型非常有限，并且仍然显示出不统一的迹象。但原则上可能以更深入的方式训练代理模型，例如使用来自单个个体的数据从头开始训练LLM+系统。当然，这会引发棘手的伦理问题，尤其是当涉及真人时。但是，我们也可以尝试对，比方说，一只老鼠的感知-行动进行建模。原则上，代理模型可以导致LLM+系统比当前的LLM更加统一。因此，异议再次变成了挑战。

我已经给出了六个候选的X，它们可能是当前的LLM拥有意识所必需的，同时也是缺失的。当然还有其他候选者：高阶表征（表征自己的认知过程，与自我模型有关）、刺激独立处理（无输入思考，与循环处理有关）、人类级别的推理（LLM目前展示出来的一些众所周知的推理问题）等等。此外，完全有可能存在独立于其中任何一个的未知X，而这个X也是意识所必需的。尽管如此，这六个候选项至少抓住了一些最重要的挑战。

以下是我对这六个挑战的大致评估：

其中一些X依赖于关于意识的极具争议的前提，最明显的是意识需要生物体以及感官基础。其他的挑战依赖于关于LLM的不明显前提，比如声称当前的LLM缺乏世界模型。也许最强烈的反对意见来自循环处理、全局工作空间和统一代理，在这些方面，当前的LLM（或至少是GPT-3等范例LLM）缺乏这些X是合理的，而且意识缺乏X也是合理的。

仍然：对于所有这些候选项，也许除了生物体，反对意见似乎是暂时的。对于其他五个，有一个开发具有相关X的LLM或LLM+系统的研究计划。在大多数情况下，至少已经存在具有这些X的简单系统，而且我们似乎完全有可能在未来十年或二十年内拥有具有这些X的稳健而且复杂的系统。因此，对当前的LLM的意识的反对意见。比未来的针对LLM+的反对意识的意见强得多。

总结

支持或反对LLM存在意识的总体情况如何？

就当前的LLM（如GPT-3）而言：我认为在这些系统中否认意识的存在的理由都不是决定性的，但它们共同发挥着作用。

为说明这一点，让我来给出一些极其粗略的数字：根据主流假设，认为意识至少有25%的机会（即，主观概率或可信度至少为0.25）需要生物体作为条件并不是不合理的，对于感官奠基和自我模型也是如此。同样，认为意识需要循环处理的可能性为50%，全局工作空间和统一代理也是如此。如果这六个声明是独立的，那么一个诸如LLM的系统最多有5%左右的机会（0.753*0.53）缺乏所有这六个因素，但与此同时还是有意识的。

当然这些说法不是独立的，所以这个数字应该高一些。另一方面，这个数字可能会被我们没有考虑过的其他潜在要求X压低，包括LLM缺乏这些意识所需要的X的可能性。考虑到所有这些因素，我们可能会将这个数字确定在低于10%的概率。我们不应该对这个数字太过于较真，这只是一个推测的数字，但是我在这里想说的是，鉴于关于意识的主流假设，认为当前的范例LLM（例如GPT-3）是有意识的给予一个较低的可信度是合理的。

就未来的LLM及其扩展形式而言，情况看起来大不相同。在未来十年内，我们似乎完全有可能拥有具有感官、具身化、世界模型和自我模型、循环处理、全局工作空间和统一代理的强大系统。（可以说，像Perceiver IO这样的多模态系统已经具有感官、具身化、全局工作空间和一种循环的形式，只剩下世界模型、自我模型和统一代理作为挑战。）我认为有50%的概率可以相信，我们将拥有更复杂的，拥有所有这些属性的LLM+系统（也就是说，LLM+系统具有相当复杂的行为，似乎与我们认为有意识的动物的行为相当）。同样，有50%的概率可以相信，如果我们开发出来具有所有这些属性的复杂系统，它们将具有意识。综上所述，我们有25%的概率认为它们会有意识。同样，你不应该太认真地对待这些数字，但这种推理表明，根据主流假设，有理由相信我们将在十年内拥有有意识的LLM+。

解决这个问题的一种方法是通过"NeuroAI"挑战，即在虚拟具身系统中匹配各种非人类动物的能力。可以说即使我们在未来十年内没有达到人类水平的认知能力，我们也很有很大的概率在拥有世界模型、循环处理、统一代理等的具身系统中达到鱼类水平的能力。如果我们达到那个程度，这些系统很有可能是有意识的。将这些机会相乘，我们就有很大的机会至少在十年内获得鱼类水平的意识。我们可以将其视为另一个挑战。鱼类水平的认知至少是通向鱼类水平的意识并最终在某个地方达到人类水平意识的垫脚石。

当然这里还有很多我们不明白的地方。一个潜在的问题是我们不了解意识。这是一个难问题（hard problem）。这里的挑战是发展更好的科学和哲学的意识的理论。在过去的三十年里，他们取得了长足的进步，但还需要做更多的工作。第二个主要问题是我们并不真正了解这些大型语言模型中发生了什么。机器学习可解释性中的可解释性项目已经走过了漫长的道路，但还有很长的路要走。因此，我们需要将这两个挑战添加到考虑之中。

我的结论是，关于AI意识的问题不会消失。在未来十年内，即使我们没有人类水平的通用人工智能，我们也可能拥有非常适合意识的系统。尽管机器学习系统中的意识存在许多挑战和反对意见，但应对这些挑战会产生一个潜在的有意识的AI的研究计划。

我在这里总结了挑战和研究计划，其中有四个基本挑战，然后是七个面向工程的挑战。

假设在未来十年或二十年内，我们将在一个系统中满足所有的工程挑战。那么我们会拥有有意识的人工智能系统吗？不是每个人都会同意，但这导致了最后的挑战。如果这对有意识的AI来说还不够，还缺少什么？

最后，我将重申伦理挑战。我并不是说我们应该继续研究伦理问题。如果你认为有意识的AI是可取的，那么伦理问题可以作为一种实现目标的指南。如果你认为有意识的AI是应该避免的，那么该问题可以突出显示最好避免的方向。

我对创建代理模型特别谨慎。虽然这么说，我认为研究人员很可能会追求这个方向的许多元素，无论他们是否认为这是在追求有意识的AI。在不知不觉中和不加思索地偶然发现有意识的人工智能，可能是一场灾难。所以我希望明确这些可能的路径，这至少能帮助我们反思性地思考有意识的AI并谨慎处理这些问题。

Notes

Transformation network: David J. Chalmers, Syntactic transformations on distributed representations. Connection

Science 2:53-62, 1990.

Google fires engineer: New York Times, July 23, 2022.

No evidence that LaMDA was sentient: Washington Post, June 11, 2022.

Many LLM+ systems that go well beyond language: Perhaps I should have called this paper “Could large language models or their extensions be conscious?”, or something more general like “Could foundation models be

conscious?”.

Thomas Nagel’s phrase: Thomas Nagel, What is it like to be a bat? Philosophical Review 83:435-50, 1974.

Many ethical issues: See Matthew Liao, 2020. Ethics of Artificial Intelligence. Oxford University Press.

Blake Lemoine reported: Blake Lemoine, Is LaMDA sentient? An interview. Medium, 2022. 

https://cajundiscordian.medium.com/is-lamda-sentient-an-interview-ea64d916d917.

Small alteration to Lemoine’s question: Reed Berkowitz. How to talk with an AI: A Deep Dive Into “Is LaMDA

Sentient?”. Medium, 2022. https://medium.com/curiouserinstitute/guide-to-is-lamda-sentient-a8eb32568531.

The philosopher Susan Schneider: Susan Schneider, Artificial You. Princeton University Press, 2019.

In his famous test: Alan Turing, Computing Machinery and Intelligence. Mind 49: 433-460, 1950.

Gato: Scott Reed et al, A generalist agent. Transactions on Machine Learning Research, 2022. arXiv:2205.06175

GPT-3: Tom Brown et al, Language models are few shot learners. arXiv:2005.14165, 2020.

Consciousness requires carbon-based biology: Ned Block. Comparing the major theories of consciousness. In (M. Gazzaniga, ed.) The Cognitive Neurosciences IV. MIT Press, 2009.

Grounding: Stevan Harnad, The symbol-grounding problem. Physica D 42:335-346, 1990. Note that grounding has quite different meanings among AI researchers (roughly, processing caused by sensory inputs and the environment)

and among philosophers (roughly, constitution of the less fundamental by the more fundamental).

A number of researchers have argued that sensory grounding is required for understanding in LLMs. Emily M. Bender and Alexander Koller, Climbing towards NLU: On meaning, form, and understanding in the age of data.

Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5185–5198, 2020.

Brenden Lake and Greg Murphy, Word meaning in minds and machines. Psychological Review, 2021. Jacob

Browning and Yann Lecun, AI and the limits of language. Noēma, 2022.

Text training sometimes can produce representations: Roma Patel and Ellie Pavlick, Mapping language models to

grounded conceptual spaces. International Conference on Learning Representations, 2022. Mostafa Abdou, Artur

Kulmizev, Daniel Hershcovich, Stella Frank, Ellie Pavlick, and Anders Søgaard. Can language models encode

perceptual structure without grounding? A case study in color. Proceedings of the 25th Conference on

Computational Natural Language Learning, 2021.

I’m exploring all of these issues in some other work. My January 2023 presidential address to the American

Philosophical Association (Eastern Division) on “Can Large Language Models Think?” focused on whether sensing

is required for thinking and on the question of world-models.

Flamingo: Jean-Baptiste Alayrac et al, Flamingo: a Visual Language Model for Few-Shot Learning. Proceedings of

Neural Information Processing Systems, 2022.

SayCan: Michael Ahn, et al. Do as I can, not as I say: Grounding language in robotic affordances. https://saycan.

github.io/. 2022.

MIA: Josh Abramson et al, 2021. Creating multimodal interactive agents with imitation and self-supervised learning. arXiv:2112.0376.

My recent book: David J. Chalmers, Reality+: Virtual Worlds and the Problems of Philosophy. W. W. Norton,

2022.

World models: Representationalist theories of consciousness (see William Lycan, Representational theories of consciousness, Stanford Encyclopedia of Philosophy hold that world-models (or at least representations of the world) are required for consciousness.

Self-models: Higher-order theories of consciousness (see Rocco Gennaro, ed, Higher-Order Theories of Consciousness:An Anthology, John Benjamins, 2004) hold that self-models (representations of one’s own mental

states) are required for consciousness. In addition, illusionist theories of consciousness (see Keith Frankish, ed.

Illusionism as a Theory of Consciousness, Imprint Academic, 2016, and Michael Graziano, Rethinking

Consciousness, W.W. Norton, 2019) hold that self-models are required for the illusion of consciousness.

Stochastic parrots: Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Schmargaret Schmitchell. On the

dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on

Fairness, Accountability, and Transparency. pp. 610-623, 2021.

Interpretability research gives at least some evidence of robust world models: Kenneth Li, Aspen K. Hopkins,

David Bau, Fernanda Viégas, Hanspeter Pfister, and Martin Wattenberg, Emergent world representations: Exploring

a sequence model trained on a synthetic task. arXiv.2210.13382, 2022. Belinda Z Li, Maxwell Nye, and Jacob Andreas, Implicit representations of meaning in neural language models. arXiv:2106.00737, 2021.

Rob Long has been working on this issue: For an initial discussion, see Robert Long, Key questions about artificial

sentience: An opinionated guide. Experience Machines (Substack), 2022.

Recurrent processing theory: Victor A. Lamme, How neuroscience will change our view on

consciousness. Cognitive Neuroscience 1: 204–220, 2010.

Information integration theory. Giulio Tononi. An information integration theory of consciousness. BMC Neuroscience, 2004.

Long short-term memory. Sepp Hochreiter and Jürgen Schmidhuber, Long short-term memory. Neural Computation

9: 1735-80, 1997.

Global workspace theory: Bernard J. Baars, A Cognitive Theory of Consciousness. Cambridge University Press,

1988. Stanislas Dehaene, 2014. Consciousness and the Brain. Penguin.

Yoshua Bengio and colleagues: Anirudh Goyal, Aniket Didolkar, Alex Lamb, Kartikeya Badola, Nan Rosemary Ke,

Nasim Rahaman, Jonathan Binas, Charles Blundell, Michael Mozer, Yoshua Bengio. Coordination among neural

modules through a shared global workspace. arXiv:2103.01197, 2021. See also Yoshua Bengio, The consciousness

prior. arXiv:1709.0856, 2017.

Recent paper by Arthur Juliani: Arthur Juliani, Ryota Kanai, Shuntaro Sasai. The Perceiver Architecture is a

Functional Global Workspace. Proceedings of the Annual Meeting of the Cognitive Science Society, vol. 44, 2021.

https://escholarship.org/uc/item/2g55b9xx.

Perceiver IO: Andrew Jaegle et al. Perceiver IO: A general architecture for structured inputs and outputs.

arXiv:2107.14795, 2021.

Given mainstream assumptions about consciousness: Compared to mainstream views in the science of

consciousness, my own views lean somewhat more to consciousness being widespread. So I’d give somewhat lower

credences to the various substantial requirements for consciousness I’ve outlined here, and somewhat higher

credences in current LLM consciousness and future LLM+ consciousness as a result.

It’s reasonable to have a low credence that current paradigmatic LLMs such as the GPT systems are conscious:

Three months later [March 4, 2023], I don’t think new systems such as ChatGPT and Bing change anything

fundamental. They display some progress, especially in conversational abilities. Perhaps there is some small

progress toward better world-models and more elements of agency, but the major obstacles regarding consciousness

are still present.

NeuroAI: Anthony Zador et al. Toward next-generation artificial intelligence: Catalyzing the NeuroAI revolution.

arXiv:2210.08340, 2022.

Mouse-level capacities: At NeurIPS I said “fish-level capacities”. I’ve changed this to “mouse-level capacities”

(probably a harder challenge in principle), in part because more people are confident that mice are conscious than

that fish are conscious, and in part because there is so much more work on mouse cognition than fish cognition.

I’ll finish by reiterating the ethical challenge: This is an addition to what I presented at the NeurIPS conference.

作者：David J. Chalmers | 译者：温世豪

排版：光影 | 封面：Feral -

原文：https://arxiv.org/abs/2303.07103

本文转载自微信公众号“Posthumanism”：

https://mp.weixin.qq.com/s/zq0UPqXuJuwIWTfD_3MbjA