有自己想法的AI将在10年内诞生，这意味着什么？｜黑智编译
来源｜MIT Technology Review
作者｜Grace Huckins
翻译｜杨雪涵
去年九月，David Chalmers惊喜地收到了一封邀请函。作为认知科学家专家，Chalmers常常出现在世界各地的大学、学术论证会上发表演讲，以吸引那些对于认知科学感兴趣的哲学家。这些哲学家，大多数情况下会花上几个小时争论自己头脑以外的世界是否真实，然后再无忧无虑地度过剩下的一天。此次邀请来自于一个出乎他意料的邀请方——神经信息处理系统会议（NeurIPS）的组织者，邀请他参加人工智能领域研究学家每年一次的聚会。
在大会正式举办的不到六个月前，谷歌工程师Blake Lemoine公开了他的想法——他认为LaMDA（谷歌的人工智能系统之一）已经获得了意识。但媒体很快驳回了Lemoine的说法，他随即被解雇。2022年11月ChatGPT发布之后，突然间，任何人都能够与有礼貌、有创造力的聊天机器人进行复杂的对话。
如果要选择一位专家谈论人工智能意识，Chalmers是一个不二之选。他在印第安纳大学人工智能实验室取得了哲学博士学位。在那里，他与计算机科学家们常常在休息期间激辩机器是否会在不远的将来会产生意识。在他1996年所撰的《意识》中，他用了整整一章的笔墨来阐明人工意识的可能性。
他认为，如果他能够在1990时期与LaMDA和ChatGPT等系统进行交互，在世界知道这类语言模型的存在前，他将成为第一个发现人工智能可能会有意识的人。但当他穿着标志性的皮夹克，在新奥尔良的洞穴式会议厅里，站在NeurIPS参会者面前时，他给出了一个不同的评估——“大语言模型为了尽可能准确地模仿人类写作，进行了大量的文本语料库训练，这让人印象深刻。但是，它们缺乏太多意识能动性的潜在必要条件，难以让我们相信它们真地知晓世界的运转法则。”
“意识能动性难以定义 为研究者带来挑战”
——Liad Mudrik，特拉维夫大学神经科学家
在人工智能的极速发展之下，事态也有可能发生极大变化。对于那些富有数学头脑的观众，Chalmers给出了一个具体的数据：预计未来10年内，将有超过五分之一的几率开发出具有意识能动性的人工智能。
并没有多少人认为他的提议是荒谬的，Chalmers表示：“一定会有一些人质疑我，但这些人从未同我进行过交流。”相反，在与人工智能专家交谈后，在接下来的几天里，Chalmers与他们进行了深度交流，这些专家认真地对待他所描述的可能性。有一小部分人和Chalmers一样，对于机器有可能具有意识充满热情。然而，其他人则更多地感到震惊。他们认为，如果人工智能是有意识的，那么它会从个人角度看待世界，并因此被影响。
人工智能意识不仅仅是一个极其考验脑力的谜题，更是一个较为沉重的道德问题，可能带来可怕的后果。如果不能识别出一个拥有意识的人工智能，你可能会在无意之中被征服甚至是被折磨；把无意识的人工智能误认为有意识的人工智能，可能陷入为了代码而损害人类安危及幸福的困境。这是两个常见误区，特拉维夫大学神经科学家Lad Mudrik说道：“意识能动性在我们的研究中构成了一个独特的挑战，它本质上是主观的，因此它很难被定义。”
在过去几十年里，一个小型研究团体一直在探讨意识是什么以及它如何运作的问题。这些努力，在曾经看似无法解决的问题上取得了实质性进展。现今，随着人工智能技术的快速发展，这些见解可能会成为我们的唯一指引，引领我们进入未经测试、伦理上较为复杂的人工意识领域。”
Mudrik表示，“如果我们这些人能够利用所拥有的理论、发现成功地进行良好的意识测试，这将会是我们可以做出的最重要的贡献之一。”
当Mudrik对于她的意识研究进行阐释时，她会用她最喜欢的事物之一巧克力进行举例。把一块巧克力放在嘴里会引发神经的交响乐——舌头的糖和脂肪受体激活了大脑结合的通路，脑干中的细胞簇刺激着唾液腺，头部深处的神经元释放着多巴胺。然而，这些过程并没有捕捉到从铝箔包中抓取巧克力方块并融化在嘴里的感觉。Mudrik表示：“我认为大脑可允许我们处理信息，是一项艰巨的挑战和惊人成就，除此之外，大脑还能对这些体验有所感知。”
从专业角度来说，学习处理信息对Mudrik来说是更直接的选择。长期以来，意识能动性一直是神经科学中的边缘话题。1996年版《国际心理学词典》中，“意识”词条写道：“意识是一种迷人但难以捉摸的现象，在意识范畴中没有任何值得一读的东西。”
Mudrik没有放弃。从21世纪初的本科时代开始，她便认为，除了意识，她不想研究其他任何东西。她说：“作为一名年轻的研究人员，这可能不是最明智的决定，但我忍不住对它产生好奇，对它爱不释手。”由于想要破译人类意识本质的决心过于坚决，她最终获得了神经科学、哲学双博士学位。
如同意识一样毫无具体概念的话题，如果要真正确定下来也并非不可能——简单地说，就是体验事物的能力。它经常与“情绪”和“自我意识”等术语混淆，但根据许多专家使用的定义，意识是“更复杂能力的”先决条件。要想获得知觉，一个生命必须需要有积极和消极的经历——换句话说，快乐和痛苦。自我意识不仅意味着有感知，还意味着你对于自己有无感知有所了解。
在她的实验室里，Mudrik并不担心知觉和自我意识，她感兴趣的是操纵人们的意识体验时大脑中会发生什么。原则上，这是一件容易做到的事情。给某人吃一块西兰花，和品尝一块巧克力是截然不同的体验，并有可能导致不同的脑部活动。但问题是这些差异是无法解释的，我们无法分辨哪些是与信息变化相关的——西兰花和巧克力激活了迥异的味觉受体——哪些是与意识体验变化相关的。
其中的诀窍是在不改变任何刺激因素的情况下，改变体验，比如给受试者一块巧克力，然后进行微小的改变，让他有种像在吃西兰花的感觉。这在口味上是不可能的，但在视觉上是有可能做到的。曾经有一个著名实验：科学家让人们用两只眼睛分别观察两个不同的图像。虽然两只眼睛分别留下了这两种图像的视觉印象，但无法做到同时感知，因此受试者往往表示他们的视觉体验得到了“翻转”：他们首先会看到一个图像，然后自发地驱使他们看到另一个图像。通过追踪这些意识翻转过程中的大脑活动，科学家可以观察当输入信息保持不变，但对它的体验发生变化时，会发生什么。
利用上述方法，Mudrik及其同事发现意识在人类大脑中是如何运作的。位于颅骨底部的小脑，，是一团类似拳头大小的细面条般的脑部区域。尽管它对于潜意识的运动任务（如骑自行车等）至关重要，但它似乎在意识体验中并未起到任何作用；此外，从大脑中的“高级”认知区域到参与更基本的感官处理区域的连接似乎也对意识至关重要。反馈连接——例如，从大脑的“高级”认知区域到参与更基本的感觉处理的区域的连接——似乎对意识是至关重要的。（这成为了一个怀疑LLM拥有自主意识的好理由：它们缺乏实质性的反馈连接。）
十年前，一群意大利和比利时的神经科学家成功设计出了一种利用经颅磁刺激意识的测试。这是一种非侵入性的大脑刺激方法，主要通过将一个八字形磁棒靠近受试者的头部进行测试。仅通过分析大脑活动的结果，该团队就能够区分有意识的人、处于麻醉状态或深度睡眠的人，甚至能够检测出植物人状态（患者醒着但没有意识）与完全瘫痪综合症（患者有意识但无法移动）之间的区别。
这是意识研究的一项重大进展，但这对于AI的意识问题来说，意义并不大：OpenAI的GPT模型没有可供颅磁棒刺激的大脑。要测试AI的意识，不仅仅要识别导致人类大脑意识生成的结构，还需要知道为什么这些结构对意识有贡献，而且可以适用于任何结构系统。
“我们最终需要的是一个理论，”艾伦研究所前主席、著名意识研究者Christof Koch表示，“你不能仅仅依赖于你的直觉，更多的是需要一个基础理论，告诉你意识是什么，它如何进入世界，以及谁能拥有它。”
以下是一个关于如何进行意识筛选测试的理论：任何足够智能、并能够成功应对不同环境和挑战的生物必须是有意识的。从表面上来看，这并不荒谬。人类拥有最为聪慧的大脑，并且明显是有意识的。更聪明的动物会产生意识的可能性也会更大，例如，有关于黑猩猩会拥有意识的共识远远会多于螃蟹会产生意识。
但意识和聪明并不是一回事。Mudrik并没有要求她的实验对象对于测试图像产生思考，亦不是在测试他们解决问题的能力。螃蟹在海底爬行，它对于过去和未来所发生的事情一无所知，没有任何想法。但如果它能够品尝到美味的小虾或是感受到受伤的钳子带来的疼痛，此时此刻，它仍然会有意识。
佛罗里达大西洋大学未来思维中心主任Susan Schneider认为，人工智能可以放弃意识为代价，从而达到更高的智能水平。譬如瞬时记忆等有意识的过程是相当有限的——我们一次只能关注几件事情，因此在打电话期间，通常记不住对方所说的电话号码等这些看起来简单的事情。而这些系统在没有意识的情况下取得了令人印象深刻的成就，那么从中获取什么对于AI来说似乎并不具有吸引力。
随着正在迭代的GPT证明自己愈加智能并能够满足广泛的需求，它们的成功本身便不能被视为它们具有意识的证据。即使一个机器的行为与人类无法区分，也不一定意味着它有任何意识。
理解人工智能内部运转方式可成为决定其是否拥有意识的决定性步骤
Schneider并未对测试失去信心。她协同普林斯顿大学的物理学家Edwin Turner一起制定了名为“人工意识测试”的测试方法。这个测试并不容易进行：它要求在整个训练过程中将AI与有关意识的任何信息全部隔离。（这很重要，这样它就不能像LaMDA那样只是机械地模仿人类关于意识的陈述）一旦系统经过训练，测试人员会向它提出一些问题，这些问题只有在它了解意识的情况下才能回答，而其中所需的知识只有在AI已然拥有了意识后才能获得。它或许能够理解电影《怪诞星期五》的情节吗，其中一个母亲和女儿互换了身体，然后把意识从肉体中分离出来；它能够理解梦的概念吗，甚至能够明确表明自己是否有过梦境；它是否能够构想轮回或来世的概念？
这类测试方法中有一个很大的缺陷：这需要具备语言能力。例如婴儿和小狗，这些都被认为是已然具有意识的生物，但有很大可能不会通过本次测试，同理，AI也可以在完全不使用语言的情况下拥有意识。如果在此测试中接入类如GPT等大语言模型是不可能的，因为这就涉及到在测试中对于有关意识方面的概念有所接触。（如果尝试着对ChatGPT输入指令，让它解释怪诞星期五，它会做得相当不错）由于我们对先进人工智能系统所知甚少，如果要完全保护AI免受这种暴露是困难乃至不可能的。我们的语言本身就充满了意识——像“思维”、“灵魂”和“自我”这样的词汇对我们来说是具有意义的，谁又能说极其智慧但并不具备意识的AI系统不能理解这一点呢？
如果Schneider的测试不是绝对可靠的，那就只剩下了一个选择：对机器的内部进行深入了解。理解AI内部运作的方式可能是判断它是否有意识的关键一步，但其前提是需要一个良好的意识理论，用于对你所看到的做出解释。
几十年前，我们可能会完全迷失方向。当时唯一可用的理论来自哲学，我们不清楚它们是如何适用于物理系统的。但自那时以来，Koch和Mudrik等研究人员帮助发展并完善了一些理论，而这些理论可能会对理解人工意识提供有用的指导。
虽然许多理论已被提出，但暂无一个被证明或被认为是领跑者。因此研究人员对AI意识提出了截然不同的预测。
有些理论将意识视为大脑软件的一部分：其中唯一重要的是确保大脑能够以正确的方式执行一组特定任务。例如，根据全球工作空间理论所说，系统具备所需的结构时即具备意识：其结构为多个独立模块，以及一个“全球工作空间”，该空间用于接收来自这些模块的信息，并选择其中一部分广播至整个系统中。
也有些理论会将意识与物理硬件更紧密地联系在一起。综合信息理论提出，系统的意识取决于其物理结构的具体细节，特别是物理组件的当前状态如何影响它们的未来，并指示它们的过去。此理论表明，传统计算机系统及当今的人工智能永远无法具备意识——因为它们没有正确的因果结构。（最近，一些研究人员认为本理论已受到过多关注而提出了批评。）
苏塞克斯大学的神经科学教授Anil Seth认为生物学很重要，因此他的观点更偏向于后者。众所周知的是，每一个拥有意识的生物都会分解有机分子以获取能量，以保证其内部环境能够维持稳定，并通过神经元网络处理信息，以化学和电信的结合来实现。一些科学家认为，如果这对所有已具备意识的生物都成立，那么如果怀疑这些特征中的任何一个，这对于意识本身来说都不是牵强的。
他们认为生物学对于意识非常重要，因此Anil Seth表示，他关心更多的是脑器官类似物中是否可能存在意识，而不仅仅是关于人工智能。他认为：“其问题在于，正确率是未知的，而我们很有可能是错的。”
并不是只有他对自己提出质疑。每位研究学家都有自己所偏爱的意识理论，但没有人将其视为意识形态，他们永远都在警惕着自己是否陷入了正在支持错误理论的误区。在过去的五年里，意识科学家们开始协同进行一系列“对抗性协作实验”，他们支持持有不同理论的人共同设计神经科学实验，以帮助彼此进行测试。研究人员事先就哪些实验结果模式将支持哪一种理论达成一致。然后开始实验，并观察结果如何。
今年六月，Mudrik、Koch、Chalmers以及大批合作者发布了一项对抗性协作实验的结果，比较了全球工作空间理论与综合信息理论。两种理论都没有完全占据上风。但 Mudrik表示，这一过程仍然是富有成效的：迫使每种理论的支持者做出具体的预测有助于使这些理论本身更加科学精确。“它们都是持续发展中的理论。”她说道。
同时，Mudrik一直在努力理解这些多种理论对人工智能来说究竟意味着什么。她与一个跨学科团队的哲学家、计算机科学家和神经科学家合作发布了一份白皮书，书中提出了一些建议，有关于如何检测人工智能是否具有意识。在这份白皮书中，团队借鉴了各种理论，构建出一种意识的“报告卡”，列出了一些标志，表明一个人工智能如果能够满足其中一个理论的要求，就可以被认为具有意识。这些标志包括具有某种反馈连接、使用全球工作空间、灵活追求目标以及与外部环境（无论是真实的还是虚拟的）进行互动。
实际上，这一策略认识到，有一些意识的主要理论可能成为真实的机会，因此如果更多理论主张人工智能具有意识，那么可能是正确的。同样，如果一个系统缺乏这些标志，那么只有在我们当前的理论非常错误的情况下，它才可能具有意识。这便是像LaMDA这样的LLMs当前所处的状态：它们不具备正确类型的反馈连接，不使用全球工作空间，似乎也没有任何其他意识的标志。
然而，“意识委员会”的问题在于，这种状态不会持续下去。白皮书中所述：构建得分较高的人工智能系统以符合其意识报告并无主要的技术障碍。那么我们即将面临的则是一个来自科幻小说的问题：对于一个可能具有意识的机器，我们应该怎么处理？
就在意识神经科学真正崭露头角之前，1989年，《星际旅行：下一代》播出了名为“人的尺度”的剧集。这一集的重点是角色Data，一名机器人，在剧中一直在探讨具有争议性的人性。在这一集中，一位科学家想要强制拆解Data，以弄清楚他是如何工作的；Data担心拆解可能等同于杀死他，因此拒绝接受；于是Data的船长Picard必须在法庭上捍卫他拒绝该程序的权利。
Picard从未成功证明Data具有意识。但既然无人可以证明Data没有意识，因此伤害Data的风险是不可容忍的，以及在Data之后出现的机器人定为奴隶也是同理。这是对具有争议的人工智能意识难题的较为诱人的解决方案：将任何可能具有意识的系统视为已然具有意识，同时避免伤害那些可能真正受苦的存在。
用对待人类的方式对待Data是简单的：他可以轻松表达他的需求和愿望，而这些需求和愿望在大致上与他的人类船员相似。但旧金山人工智能安全中心的哲学研究员Robert Long在白皮书中表示，保护现实世界中的人工智能免受痛苦可能会更加困难。他说：“对于动物来说，它们想要的基本与我们一样，这是一个方便的特性。但在人工智能的情况下，很难知道它们到底想要什么。”保护人工智能不仅需要了解关于人工智能意识的理论，还需要了解人工智能的愉悦和痛苦、以及愿望和恐惧。
"对于动物来说，它们想要的基本上与我们一样。但要知道人工智能到底想要什么有点困难。"
——Robert Long，旧金山人工智能安全中心哲学家
然而，这种方法并非没有代价。在《星际旅行》中，希望拆解Data的科学家同时也希望制造更多像他一样的机器人，他们可以代替其他人员执行危险任务。对于观众来说，他们将Data视为一位与剧中其他角色同样拥有意识的角色，这个提议是可怕的。但如果Data只是一个较为令人信服的人类模拟体，那么将一个人置于危险中必然是不可接受的。
对其他生物格外关怀意味着保护它们免受伤害，这限制了人类在道德上可以做出的选择。Long表示：“我不太担心我们对于动物关心过多的情况。”取消工厂养殖几乎没有什么不利之处。他补充说：“但我认为如果我们对人工智能系统过多地赋予意识，这可能会存在许多危险。”人工智能系统可能会发生故障不得不被关闭；它们可能需要接受严格的安全测试。如果人工智能没有生命，那么这些都是容易的决策，但如果需要考虑人工智能的需求，就会引发哲学难题。
尽管Seth认为，在可预见的未来，人工智能产生意识相对来说不太可能——我们仍然担心人工智能意识的可能性对人类情感来说意味着什么。他说：“这将改变我们分配关心事物的有限方式。”这似乎是未来的问题。但人工智能意识的看法已经存在：Blake Lemoine为了一台他认为拥有意识的人工智能而冒险，最终失去了工作。又有多少人可能会为无生命的计算机系统牺牲时间、金钱和个人关系？
即使是最基本的聊天机器人也能产生令人不寒而栗的吸引力：20世纪60年代构建的一个名为ELIZA的简单程序，用于模拟谈话疗法，使许多用户相信它具有感受和理解的能力。意识的感知与意识的存在之间完全不一致，随着人工智能系统能够进行更加逼真的对话，这种不一致只会加剧。“我们将无法避免将它们视为拥有意识，就像某些视觉错觉在认知上无法被穿透一样，”Seth说道。正如我们知道缪勒-莱尔错觉中的两条线长度完全相同并不会阻止我们感知其中一条比另一条短，即使知晓GPT没有意识并不会改变你认为你正与一个有主见的、且及其具有个性的存在交谈的错觉。
在这些担忧逐渐加剧之前，哲学家Eric Schwitzgebel和Mara Garza于2015年提出了一套旨在防范此类风险的建议。其中一项建议被称为“情感一致性设计政策”，主张任何无意识的人工智能都应该被有意地设计成让用户不会认为它有意识。一些公司已经朝着这个方向迈出了一些小步，例如ChatGPT，如果你对它发出是否有意识的询问，它会生成一个编码形式的否定，但这种回应对总体错觉的影响很小。
Schwitzgebel是加利福尼亚大学河滨分校的哲学教授，他希望彻底避免任何模棱两可的情况。在2015年的论文中，他和Garza还提出了一套 “排除中间政策”——如果对于一个人工智能系统是否具有意识并不确定，那么就不应该构建这个系统。这实际上意味着所有相关专家必须达成一致的意见，即一个潜在的人工智能很大几率不会具有意识（至少对于目前的LLMs来说，这是他们的结论）或是极大可能具有意识。Schwitzgebel说：“我并不想让人们感到困惑。”
避免意识灰色区域的同时也巧妙地规避了伤害具备意识的人工智能的风险，也规避了将无生命的机器视为有意识的人工智能的不利因素。但其问题在于，这样做可能不太现实。类如法国国家科学研究中心的研究主任Rufin VanRullen等许多研究人员最近都获得了资金，用于赋予人工智能具备潜在意识的基础。
VanRullen说，禁止构建具有潜在意识的系统的不利之处在于，他正在尝试创建的系统可能比目前的人工智能更加有效。“每当我们对目前的人工智能性能感到失望时，其中的缘由都是因为它落后于大脑的能力，”他说，“所以我的目标不一定是创建有意识的人工智能，更多的是现在许多人工智能领域的专家目标是朝着先进的推理能力迈进。”这些先进的能力可能会带来实际的好处：由人工智能设计的药物已然投入临床试验，人工智能拥有在灰色区域中挽救生命的能力并非不可想象。
VanRullen对于有意识的人工智能的风险非常敏感，他曾与Long和Mudrik一起合作撰写了关于检测机器中意识的白皮书。但他表示，正是这些风险使他的研究变得重要。产生意识的人工智能有很大几率不会首次出现在像他这种公开资助的项目中，更可能是由谷歌或OpenAI等公司提供深厚的资金支持。VanRullen表示，这些公司不太可能欢迎已产生意识的系统所引入的伦理困境。他问道：“如果此种伦理困境在实验室中发生，这些人工智能有没有可能只是假装没有发生？而这是否意味着我们将无从知晓？我觉得这种情况相当令人担忧。”
通过更好地了解意识本身在人类和机器中的工作方式，像他这样的学者可以此种方法减轻风险。对于最有可能开始涉足人工智能大脑创建领域的公司，这一方法可以帮助监管机构更有效地实施监管。我们对于意识的理解越深入，这个不稳定的灰色区域就越小，我们就更有可能知道我们是否深陷于其中。
至于Schwitzgebel，他更倾向于完全避开灰色区域的想法。但考虑到涉及的不确定性之大，他认为这一希望可能的确是不现实的，如果人工智能产生意识，最终可能会变得有利可图。一旦我们进入灰色区域——一旦我们需要认真对待那些有待争议的意识实体——我们将面对更加困难的地带，需要处理前所未有的复杂道德问题，这其中没有任何明确的解决之道。从哲学家到神经科学家再到计算机科学家，我们都应该承担起绘制这张地图的艰巨任务。
*本号系数智云科旗下人工智能领域垂直号。黑智，人工智能领域产业服务平台，专注AI行业报道，探讨AI商业价值。
人工智能领域垂直号黑智
了解更多AI产业资讯
👇👇👇