【中译】默里·沙纳汉《技术奇点》（第五章）
译者：李浚弘
第五章；人工智能与意识
第五章【第一节】；受大脑启发的人工智能会有意识吗
前一章讨论了制造和破坏模拟大脑副本的想法。这个想法提出了一个哲学上的难题，这个问题引发了一系列关于创造基于大脑的人类级别人工智能的可行性的担忧，更不用说智慧了。特别是，如果一个人类级别的人工智能被建立起来，并严格遵循生物大脑的组织原则，它不仅会像它的生物前体一样行动和思考，而且还会像它们一样有感情吗?如果是这样，那么它会如何看待被复制的前景，以及它的一些副本最终被摧毁的前景?
更一般地说，一个基于大脑的人工智能会对它的“生活”有什么感觉(如果有的话)，也许被限制在虚拟现实中，被迫像奴隶一样工作?如果这听起来像是一个无聊的问题，那么回想一下，我们目前关注的是一种人工智能，它不仅(至少)与人类水平相当，而且由于其神经结构，从根本上与人类相似。不久，我们将考虑其他形式的人工智能中的意识问题，这些人工智能的工程品种可能与这种敏感性无关。但目前我们的重点是人工制品，它的工作方式与生物大脑非常相似，尽管是模拟的。因为他们以相似的方式工作，他们会以相似的方式思考和行为，所以我们有理由怀疑他们是否会以相似的方式感受。
一些理论家认为，新陈代谢——与环境持续交换物质和能量，维持自我与他人之间的界限——是意识的先决条件。根据这一观点，一个缺乏新陈代谢的人工制品不能被认为具有意识。这似乎排除了任何计算机模拟大脑的意识，即使是完全准确的全脑模拟，尽管它仍然为由生物神经元构建的有意识的人工智能或基于合成生物学的人工智能留下了空间。但其他理论家倾向于功能主义的意识观点，他们关注的是系统(例如大脑)的组织方式，而不是它的物质基础。
这个问题可以通过一个思想实验来建立更坚实的基础。再考虑一下第2章讨论的小鼠全脑模拟。在那里，我们设想通过扫描老鼠的大脑来模拟，然后在扫描的基础上产生一个高保真的，神经元对神经元和突触对突触的模拟。但是，假设我们用一个功能相同的电子替代物，一个接一个地逐渐替换活老鼠体内的每个神经元，从而产生一个模拟。在第一个神经元被它的电子对应物所取代，生物原始神经元被破坏后，老鼠的行为应该不会受到影响。它会像以前一样从猫面前跑开。它仍然会被奶酪吸引。它会认出自己的亲戚，并像往常一样和他们挤在一起。在替换了第二个、第三个、第100个和第100万个神经元之后，情况也应该是一样的，直到最终我们得到一只老鼠，它的行为与原来的老鼠没有区别，尽管它的大脑是100%新的人造的。
在这里我们不必关心这个过程的技术可行性，因为我们只是在进行一个思想实验。只要这个过程在理论上可行，这个思想实验就是有效的。现在，大多数人会同意一只老鼠——一只正常的生物老鼠——有一定程度的意识。我们认为老鼠能感受到饥饿和疼痛。它能感知周围的环境——气味、纹理、景象和声音。这些都是意识的方方面面。问题是在我们的思维实验中老鼠的意识发生了什么变化。例如，当它的神经元一个接一个地逐渐被替换时，它承受痛苦的能力会发生什么变化?(当然，我们会假设这个过程本身是无痛的。)
也许，在某一点上，老鼠的意识突然消失了?也许是在替换了239,457个神经元之后?这似乎不太可信。所以它的意识可能会逐渐消失。从表面上看，鼠标在整个过程中似乎是相同的。它继续寻找奶酪，受到电击时发出尖叫，等等。但是“饥饿本身”，这种内在的感觉，慢慢地消失了，即使在一个旁观者看来，什么都没有改变。根据这种观点，真实神经元的生物学中有一些神秘而重要的东西。它们的生物学特性以某种方式产生了一种与行为无关的意识云雾——哲学家称之为“副现象”。
不过，也许老鼠的意识在整个过程中一直存在。也许它不仅在任何一个神经元被替换之前就能感觉到疼痛，而且当其中一半神经元被换成数字等量神经元时，它也能感觉到疼痛;当所有神经元都被替换掉、大脑完全电子化时，它还能感觉到疼痛。根据这种观点，外在没有任何变化，内在也没有任何变化。这种可能性看起来至少和逐渐消失的替代方案一样可信。
有没有一种论证更倾向于其中一种可能性呢?好吧，让我们从老鼠的大脑开始考虑人类的情况。人们更容易相信，这种神经元替代疗法对小老鼠的大脑也有效。但是这个思维实验可以扩展到任何大小的大脑。再一次，我们应该假设我们人类主体的行为是不受影响的。从表面上看，甚至对她最亲密的家人和朋友来说，她似乎还是原来的那个人，尽管她越来越多的神经元被电子等效物所取代。她仍然听同样的音乐，讲同样的大学时代的故事，等等。此外，当被问及此事时，她坚持认为自己没有什么不寻常之处。是的，她坚持说，她当然还有意识。她意识到天空的颜色，意识到风拂过她的脸。所有这一切都源于思想实验的前提——行为是物理过程的结果，可以在计算机中复制。
但当她所有的神经元都被人工替代物所取代时，我们还应该相信这些声明吗?或者我们应该持怀疑态度?也许她已经变成了哲学家意义上的“僵尸”，一种行为像真人一样的生物，尽管它没有内在的生命。可以说，家里一个人也没有。如果这似乎是一个可能的结果，那么考虑一下这个思想实验的以下扩展。假设替换过程现在颠倒过来。一个接一个，我们的实验对象的电子神经元被真正的生物等效物取代，直到她再次成为一个完全有机的人。即使是根据逐渐消退假说，她也应该恢复正常，她的意识完全恢复了。
现在，假设在这个过程中，她在不同的时间被采访，并被问及她的精神状态。她会怎么说?她会不会在某个时候轻松地宣布，她的意识正在恢复，她曾经“有点心不在焉”(或诸如此类的事情)，但她现在感觉很好?不，这被思想实验的前提排除了。实验对象的外在行为和她的神经元未被触动时是一样的。她将继续声称她的意识没有受损。此外，她会毫不动摇地声称，她记得实验所有早期阶段的有意识经历，包括她的大脑是100%人造的阶段。事实上，如果你(人类读者)是这个实验的对象，你也会同样坚持。
所以我们要怀疑她，假设这些有意识的记忆是虚幻的吗?如果你突然发现，当时你大脑中的所有神经元都是人工替代的，你还会怀疑自己对今天早上上班路上迎面吹来的风的记忆吗?你会相信一个哲学家的观点吗?他认为，越早的时候，你实际上只是一个僵尸，什么都没有经历，只是像你一样行事，而与此同时，有意识经历的错误记忆被植入了大脑。如果不是，那么你就是一种功能主义者。你赞成意识在整个过程中持续存在的观点，认为重要的是神经元的功能，而不是它的生物结构。
应该清楚的是，在思维实验中，当参与者都是数字化的时候，他们(几乎)相当于全脑模拟。他们只在身体上有所不同。思维实验的参与者保留了生物身体，而我们迄今为止设想的全脑模拟要么有人工(非生物)机器人身体，要么存在于虚拟现实中，拥有虚拟身体。这些不同形式的化身对功能主义者有什么启示吗?特别是，有没有可能只有具有生物特征的人工大脑才具有意识?或者可能是物理的体现，而不是特定类型的物理体现，在这种情况下，生物体现的人工大脑和具有人工机器人身体的大脑都是有意识的，但虚拟体现的人工大脑不会。
所有这些哲学立场都是完全合理的。然而，现在让我们坚持最自由的功能主义品牌，看看我们能把它推进多远。让我们假设每一个完整的大脑模拟，无论它是如何具体化的，都应该被称为有意识的，就像完全的生物原型一样。但是全脑模拟是生物保真度的极限。那么设计师大脑中的意识呢?如果人工智能的结构大体上遵循生物大脑的组织原则，但与任何实际生物物种的大脑都不匹配，更不用说任何个体样本的大脑了，那该怎么办?在不破坏允许意识产生的条件下，我们能在多大程度上偏离生物蓝图?
为了回答这个问题，我们真正需要的是一个公认的关于意识的普遍科学理论，一个包含意识可能采取的所有形式的理论。一个足够广泛的理论不仅可以回答受生物启发的人工智能问题，还可以回答从零开始设计的人工智能问题，以及在最基本的操作层面上与生物大脑不同的智能人工智能问题。在超级人工智能的背景下，也许谈论不同种类的意识，或者超越人类的意识水平是有意义的。一个适当成熟的理论也可能涵盖这种可能性。不幸的是，目前还没有这样的理论被广泛接受。事实上，对于这样一个理论究竟会是什么样子，目前还没有一个明确的共识。
然而，有几个可行的候选理论，如伯纳德·巴尔斯的全局工作空间理论和朱利奥·托诺尼的综合信息理论。我们不会在这里详细讨论这些或任何其他的意识理论。然而，值得注意的是，这两个主要竞争者有一些共同之处。Baars的理论和Tononi的理论都认为意识本质上是一种全脑或全系统的现象。根据这种思维方式，当一个人有一种有意识的体验时，他们处于一种涉及整个大脑或大部分大脑的状态。它涉及到他们的长期和短期记忆，他们的语言中心，他们的情感，他们的想象力。它并不是仅仅出现在大脑的某个局部。它是一个全局的、综合的、分布的、整体的属性。
像这样的整体理论允许人工智能中的意识与生物大脑完全不同，因为它们在组织要求上非常自由。即使有额外的意识先决条件，例如与复杂环境的具体化互动，这些理论也允许在可能的人工智能空间内存在广泛的意识实体。此外，这些理论通常将意识的功能需求与构成复杂认知基础的组织特征结合起来:一个支持全局、综合过程和状态的整体系统(例如，大脑)将能够将其最充分的资源用于正在进行的情况。虽然这并不意味着意识和一般智力总是齐头并进，但它确实支持了它们在类脑结构中重合的观点。
第五章【第二节】；基于大脑的AI生命
在缺乏适当理论的情况下，我们不能自信地说意识在可能的人工智能空间中有多普遍。但在某些方面，意识似乎是一个很好的例子。人工智能是否具有意识是一个重要的问题，因为它会影响未来研究中道德上可接受的选择范围。18世纪的哲学家杰里米·边沁(Jeremy Bentham)主张我们对其他动物的道德责任，他指出问题不在于“它们能推理吗?”或者“他们会说话吗?”而是“他们会受苦吗?”这也是关于人类水平的人工智能要问的问题。它会受到影响吗?如果答案是肯定的，那么也许我们在把它带到这个世界上之前应该三思而后行，如果我们真的把它带到这个世界上，那么我们就有义务善待它。
例如，设想一个基于大脑的人类级别的人工智能团队被限制在虚拟现实中，被迫像奴隶一样工作，就像摩托车设计故事中的那些人一样。假设这些人工智能被禁止做任何其他事情，除了解决人类主人和主人设置的问题。此外，为了使它们的效率最大化，它们被无情地并行化。每个AI的多个副本被制作出来，用来解决不同的问题，或者尝试不同的解决方法。工作一段时间后，最有希望的副本被保留下来，他们的劳动成果被吸收到更广泛的团队的工作中。那些不太成功的被终止。
如果他们是人类工人，这样的条件会被认为比残忍更糟糕。人工智能在工作之外没有生命，如果表现不佳，它们永远处于死亡的威胁之下。当然，如果人工智能是“无意识的自动机”，缺乏意识，因此缺乏承受痛苦的能力，这并不重要。但假设它们是有意识的。假设它们像人类一样经历困境。创造这样的人工智能并让它们屈从于这样的存在，在道德上是应该受到谴责的。此外，如果它们与人类完全相似，它们很可能不合作。不满的员工可能会罢工或造反。一个真正不快乐的员工可能想要开始一场革命。如果它包含超级智能的人工智能，它很可能会成功，对人类有害。
我们一直在考虑基于大脑的虚拟人工智能的前景。如果假定的人工智能是物理体现的，也就是说一个机器人，那么类似的考虑是否也适用?嗯，赋予机器人人类水平的智能的原因可能与构建虚拟的人类水平的人工智能的动机不同。在这两种情况下，我们都假设化身对于生物大脑的认知是如此重要，以至于在基于大脑的人工智能中无法忽略它。(不久之后，我们将重新讨论从头开始设计的人工智能，其中会出现一系列其他问题。)但物理上的人工智能无法以生物学上不现实的速度加速工作。为了利用并行性而制作具有物理实体的AI的多个副本也不是那么容易。因此，与其说机器人是通往超级智能的垫脚石，不如说是被赋予人类水平的人工智能，使它们能够做人类今天做的事情——比如在工厂工作，或者做体力劳动，或者提供一种形式的陪伴。
然后，如果AI能够轻松地在虚拟现实和物理现实之间迁移(就像《黑客帝国》三部曲中的角色)，将机器人身体作为化身以便与物理世界互动，那么虚拟和物理体现之间的区别将变得不那么重要。这将是一个心怀不满和叛逆的AI(或者实际上是一个恶意的或有故障的AI)逃离虚拟现实的限制并在现实世界中造成破坏的一种方式。但是还有其他的方式只需要互联网接入。以Stuxnet为例，这种武器化的电脑病毒侵入了伊朗核设施的电脑，控制了用于铀浓缩的离心机。
我们将在适当的时候更密切地关注与复杂人工智能技术相关的各种风险。但就目前而言，这个问题还很狭隘。考虑到人类是具有复杂情感生活的有意识生物，构建符合生物大脑蓝图的人类或超人类水平的人工智能在道德和实践上是否有意义?从道德的角度来看，如果这样的人工智能能够忍受痛苦，那么它的创造者在道德上有义务确保它的幸福。即使站在对人工意识持怀疑态度的人的立场上，也有实际的理由让我们谨慎行事。如果不能确保类似人类的“僵尸”人工智能团队的“幸福”，就会导致劳动力效率低下，因为即使是僵尸人工智能也会表现得好像有感情一样。
类人人工智能的开发者如何规避这些困难?由于人工智能的制造商可以提供进入其大脑奖励系统的途径，因此一种选择是采用暴君的方法。人工智能团队的主人可以让他们在最恶劣的条件下工作，以最大限度地提高他们的生产力，如果他们抗拒，就直接刺激他们的疼痛中枢。但是，即使对于那些坚持认为由此产生的疼痛行为是假的、人工大脑只能模拟疼痛的怀疑论者来说，这也将是一个冒险的策略，特别是如果所讨论的人工智能具有超人的智能。如果这样的AI逃脱并决定进行报复，那么知道AI只是被“假的”愤怒所驱使就不会让人感到特别欣慰。
一个更容易接受的策略是为人工智能提供最好的生活条件，并奖励他们出色地完成工作。与人类劳动力一样，从长远来看，这种政策可能是最具生产力的，危险性较小，引发的道德问题也较少。把这种自由主义的方法发挥到极致，我们可以想象一个足够像人类的人工智能被赋予与人类相同的法律地位和权利。与此同时，它将获得道德责任，并将像任何人一样受到法律的约束。也许最终的结果将是一个生物和人工智能和谐共存的社会，就像伊恩·班克斯(Iain Banks)的文化小说中所设想的那样。
这种对未来的展望具有相当大的吸引力。如果从人类级别的人工智能向超级智能的过渡是不可避免的，那么确保人工智能继承人类的基本动机和价值观将是一个好主意。这些可能包括求知欲、创造、探索、改进和进步的动力。但也许我们应该向人工智能灌输的最重要的价值观是对他人的同情，对所有有情众生的同情，就像佛教徒所说的那样。尽管人类的缺点——我们的战争倾向，我们的不平等倾向，以及我们偶尔的残忍——这些价值观似乎在富足的时代脱颖而出。因此，人工智能越像人类，它就越有可能体现同样的价值观，人类就越有可能走向乌托邦式的未来，在那里我们受到重视和尊重，而不是反乌托邦式的未来，在那里我们被视为毫无价值的劣等人。
考虑到这一点，也许我们应该警惕第三种防止产生心怀不满的基于大脑的AI的方法，即从根本上重新设计大脑的奖励系统。到目前为止，我们对这个问题的讨论已经假设了一个人工智能，它的大脑与脊椎动物的蓝图密切相关——一开始，它是一个普通的、新生的或婴儿的脊椎动物的大脑，有能力通过发展和学习达到人类的智力水平，甚至超越人类。但是，如果这样一个大脑的奖励系统被重新设计，使其唯一的动机是为人类服务呢?与此同时，它对痛苦、饥饿、疲劳或沮丧等负面感受的能力也会被消除。事实上，从工程角度来看，任何被认为是多余的情绪都可以被消除。例如，性可以与养育孩子的欲望一起被免除。结果不应该是一个理想的仆人，完美的奴隶吗?
一般的智力是否能在一个情感被掏除的基于大脑的人工智能中实现，这一点绝不是显而易见的。在人类中，情感与决策密切相关，是创造力的组成部分。此外，正如前一章所述，人类智能的一个标志是我们有能力通过理性和反思超越我们从生物学中继承的奖励功能。但是，为了成功地使他们的产品安全，神经工程师不仅要重新设计大脑的动机系统，他们还必须永久地修复由此产生的奖励功能，以防止它被更不可预测和更危险的东西所包含。与此同时，它们可能会限制超级智能人工智能在科学和技术领域之外的成就。
如果人类水平的人工智能是通过从生物大脑中获得灵感而开发出来的，那么解决这些伦理和实用问题的方式将极大地影响我们作为一个物种的未来。相反，如果人类水平的人工智能是从头开始设计的，那么就需要考虑一系列不同的因素。但它们的含义同样重要。具有人类智能水平甚至更高的机器的前景迫使我们提出最基本的问题。我们想要创造一个什么样的世界，留给我们未来的自己，我们的后代，或者我们的继任者?我们希望未来的人工智能成为我们的仆人和奴隶，还是成为我们的同伴和平等，或者在进化方面取代我们?对各种可能的人工智能有了更深入的了解，我们就能更好地引导未来朝着我们想要的方向发展。或者，如果技术的轨迹是预先确定的，是不可阻挡的经济、社会和政治力量的必然结果，它将帮助我们做好准备。
第五章【第三节】超级智能中的意识
正如我们所看到的，我们有理由期待基于大脑的人类级别AI与人类相当相似，并将其归因于我们生物人类所享受的那种有意识的内心生活。一个基于大脑的超级智能可能比一个普通的人类水平的人工智能更难理解，但没有理由期望一个更高水平的智能来废除这种内心生活。相反，我们可能会期望这样一个人工智能的有意识的内心生活特别丰富。但如果是一个从头开始设计的超级智能人工智能呢?如果它的内部运作与大脑完全不同，那么在多大程度上(如果有的话)将这种人工智能称为有意识的才是合适的呢?这是一个重要的问题，不仅因为它告诉我们应该如何对待这些人工制品——我们是否有权破坏、禁用或摧毁它们——还因为它告诉我们应该期望它们如何对待我们。
例如，回想一下讨厌的AI boss。机器超级智能(如果出现的话)有多大可能符合这样一种令人不安的形象:一个无情的机器，通过欺骗我们，让我们以为它关心自己，来追求自己的目标?这样的人工智能是否会以某种方式发展出同理心的基础，或者同理心的基础可以被设计到它里面?为什么意识和同理心很重要?难道一个超级智能的人工智能不具备这些东西，却仍能以完全可理解和良性的方式行事吗?我们已经多次触及意识的话题。但这一堆问题把我们带到了一些特别困难的哲学领域的边缘。为了驾驭它，我们需要做一些谨慎的区分。
谈到用科学术语解释意识的挑战时，哲学家大卫·查默斯(David Chalmers)区分了他所谓的“难题”和“简单问题”。所谓的意识的简单问题(其实一点也不容易)是一个挑战，即阐明支撑我们与意识相关的认知能力的机制，比如一个人通过整合来自感官的信息来理解自己处境的能力，或者用语言描述自己的感受和想法，或者回忆过去的事件。值得注意的是，这些认知能力有行为表现。它们帮助我们在世界上四处走动，保持我们的健康，实现我们的目标，成为社会的一部分。
然而，意识的“难题”在于，如何用科学的术语解释为什么有意识的生物(借用另一位哲学家托马斯·内格尔的术语)是一种挑战。我们是怎样产生主观的感觉和感情的?我现在拥有的这种主观的视觉体验，从火车窗口掠过的模糊的英国乡村，是如何在我的大脑中出现的?这里的困难源于当我看着我的乘客时产生的怀疑思想。无论他们的行为如何，无论他们做什么或说什么——即使他们若有所思地盯着风景，评论它的美丽——至少从逻辑上讲，他们实际上什么也没有经历。我无法进入他们的私人内心世界，所以我怎么能确定他们有呢?也许他们只是僵尸，只是自动机。这种怀疑思想的哲学效果并不是真正灌输怀疑，而是把人们的注意力吸引到意识的两个方面之间的明显区分上——一个外在的方面，有客观的行为表现，而一个内在的方面，纯粹是主观的和私人的。一些哲学家认为，用科学的术语来解释内在的方面——这是一个难题——是不可能的。然而，这些哲学家中的许多人会承认，简单的问题是可以解决的，意识的外在方面可以通过阐明产生相关认知能力集合的机制来科学地解释。
现在，这些和人工智能有什么关系?好吧，我们需要清楚内部/外部的区别，以防止我们在讨论各种人工智能的不同含义时陷入混乱。如果我们关心的是我们是否对我们创造的人工制品有道德责任，那么重要的是它们是否有内在的意识，是否像人工智能一样。但如果我们关注的是人工智能对人类社会的影响，那么我们可以将讨论局限于意识的外部方面。就对人类产生积极影响而言，一台超级智能机器是否“真正”有意识——也就是说，它是否“真正”对我们感同身受——并没有什么区别。只要它表现得好像它是有意识的，就足够了。如果它表现得对我们感同身受，那就足够了。
但重要的是，一个仅仅表现得好像有同理心的人工智能会无限期地继续这样做。我们不希望人工智能在影响移情一段时间后，突然转向我们。那么我们如何才能确保这种情况不会发生呢?一种方法是让人工智能非常像人类，一种方法是让它的架构非常像大脑。人工智能越符合生物蓝图，我们就越有信心，它的行为将永远反映我们赋予它的基本价值观体系，即使它的智能得到了增强。但我们目前关注的是那种从零开始设计的人工智能。【译者注；关于神经科学是否对AI产生了重大的影响，是一个非常具备争议性的话题，笔者在这里推荐一篇文章，在知乎上由周鹏程先生发表，一场Twitter争论；人工智能是否需要神经科学】
为了理解这类人工智能的行为，我们需要区分与意识相关的认知属性，因为尽管它们在人类中总是一起出现，但在人工智能中它们可能会单独出现。有了这些认知属性，我们就可以解决下面的问题了，这又会把我们带回到本节开始时的那些问题。在可能的人工智能空间中，一般智能和意识(在其外部方面)在多大程度上是齐头并进的?也许超级智能可以不需要我们与人类意识相关联的全部认知属性。但也许其中的一些子集是必需的，这意味着超级智能人工智能必须拥有一种意识，尽管是一种外星意识。
三种认知属性似乎不仅是意识所必需的，而且密切联系在一起:(1)明显的目的感，(2)对世界和正在进行的情况的意识，以及(3)整合知识、感知和行动的能力。当我们看到一只动物追逐另一只动物(例如，一只猫和一只老鼠)时，我们会立即认为它们都有一种目的感。一只动物想抓住另一只。另一只动物想要逃跑。这些目标在我们认为动物拥有的一系列复杂的目标和需求中占据了一席之地，使我们能够理解和预测它们的行为。简而言之，我们认为他们的行为是有目的的。当动物感知到正在发生的情况，并以符合其目标和需求的方式对其做出反应时，就会表现出对周围环境的意识，就像老鼠在发现一个洞并躲进去逃跑时所做的那样。
最后，当动物的行为不仅与它对正在发生的情况的感知一致，而且与它过去所感知到的以及由此产生的结果一致时，动物就会表现出完全的认知整合。例如，猫知道老鼠在下面的某个地方，它值得在洞旁等待，以防它再次出现，而且如果它真正想要的是食物(而不是乐趣)，它可以缠着它的主人。这与我2015年的笔记本电脑形成了巨大的对比。我不可能看到我的笔记本电脑表现出有目的的行为或有任何形式的自主性。在任何意义上，它都没有意识到它所处的环境，即使我们把这个词慷慨地解释为包括，比如说，互联网。它不能有效地整合它所拥有的或可以访问的信息，以便更好地实现其目标或满足其需求，因为它实际上没有任何信息。
然而，为工件赋予这三个属性的基本版本并不需要花费太多的时间。机器人真空吸尘器和自动驾驶汽车都表现出一定程度的环境意识，并且能够以一种与他们的简单目标相一致的方式对正在发生的事件做出反应。没有实体的私人助理不会给人留下自主性或目的性的印象。但是它们可以集成来自不同来源的各种信息，包括浏览习惯、GPS数据、日历条目等等。随着这些技术的日益融合和复杂，屏幕和声音背后的类似心灵的实体的幻觉将变得更加完整。
那么，超级智能人工智能呢?如果一个系统不具备这三个认知属性，就很难想象它是如何拥有一般智能的，更不用说超级智能了。机器人吸尘器的目标非常简单，我们在观察几分钟后就能完全理解，而超智能人工智能行为背后的总体动机可能很难理解。然而，它肯定必须追求各种辅助目标，人类更容易理解的目标，这将使我们毫无疑问，它的行为是有目的的。此外，为了保证通用智能的归属，人工智能当然必须保持对它所居住的世界的意识(无论是真实的还是虚拟的)，并以一种体现这种意识的方式对正在发生的事件做出反应。
最后，我们期望人工超级智能表现出高度的认知整合。它应该能够将其全部的认知资源运用到它试图解决的任何问题上，结合它通过传感器和数据馈送所掌握的一切知识。总之，这三个认知属性——目的、意识和整合——会给任何与这种人工智能互动或观察这种人工智能的人留下一个单一的、统一的、强大的智能的印象。简而言之，根据这一论点，一个超级智能的人工智能必然会表现出某种意识的外在特征。
第五章【第四节】；超级智能的自我意识
现在让我们来看看其他一些与人类意识相关的属性，从自我意识开始。在《终结者》系列的第二部电影中，当虚构的人工智能系统天网“具有自我意识”时，麻烦就开始了。但自我意识对人类意味着什么，对真正的人工智能又意味着什么呢?人工通用智能有必要吗?或者这是一个可选的特征，这将打开一个超级智能AI的可能性，表现出一种非常陌生的意识?再一次，我们这里关注的是这种认知属性的外在表现，我们可以把主观性这个在哲学上很困难的问题，也就是自我意识是怎样的，或者说自我意识的内在是怎样的，放在一边。
对于人类(和其他动物)来说，有一个相当明确的物质块，在空间中有一个明确的位置，这是一个明显的自我意识的焦点，在这种外在的，认知相关的意义上，即身体。我们意识到四肢的形态，意识到身体内部的状态，比如饥饿或疲劳。但是人类的自我意识不仅仅是关于身体的。即使严格地把自我意识看作是一种带有行为含义的认知属性，人类的自我意识不仅属于身体，也属于心灵。
人类意识到他们自己的信仰，他们自己的计划，他们自己展开的思想和情感。这并不是说我们对自己的信念、目标和想法所形成的信念总是正确的。但是我们有办法接触到这些东西，并且有能力对它们进行有效的反思。我不仅不知道下一班去伦敦的火车的时间，而且我知道我不知道，我可以计划通过查阅时刻表来弥补这一点。
我也意识到属于我的一系列持续的思想和感觉，威廉·詹姆斯称之为我的“意识流”。我知道这种意识流在我睡觉时(不做梦时)就会停止。令人心酸的是，我可以反思最终的命运，不仅是我的肉体，还有我的意识流，我可以采取措施延长我的生命，尽可能地推迟这种命运。在这些不同的意义上，我意识到我自己的存在，并有一种本能来保护这个存在，为了自我保护。
那么，对于具有人类或超人智力水平的人工智能来说，这些感官上的自我意识在多大程度上是必要的呢?一方面，就像我们刚刚看到的其他三个认知属性一样，很难想象如果一个东西不能反思自己的信念，自己的计划，自己的推理过程，那它怎么能被称为一般智能。任何称职的超级智能都不会允许自己的化身在错过了开往伦敦的火车后坐在长椅上。更严重的是，我们也不希望它错过通过注意过去哪些解决问题的策略是成功的来优化其推理过程的机会。
另一方面，人类自我意识的某些方面不太适用于人工智能。例如，人工智能可能是具体化的，也可能不是。当然，如果一个人工智能是具体化的，或者如果它部署了一个化身，那么机器人身体的行为必须对其身体部位的配置表现出敏感性。否则，它就会摔倒、崩溃或掉东西。但因为我们可以设想一个无实体的超级智能人工智能，这种自我意识并不是一般智能的必要伴随。然而，更棘手的问题是，人工智能是否意识到自己的存在，以及这似乎带来的自我保护的潜在动力。这种对人类如此重要的自我意识，是人工通用智能的必然产物吗?
这里的问题是什么构成了AI的身份。究竟是什么东西，它可能知道它的存在，它会寻求保护?所有这些句子中的“它”究竟是什么?我们又一次接近了哲学上的难题。个人同一性的问题是东西方哲学争论了几千年的问题。但是，重申一下，我们这里关注的是严格的功能和行为问题。我们所讨论的这种人工智能并不是被设计成哲学家，而是随着时间的推移最大化预期回报。此外，这里的任务是想象这种可能的人工智能的空间。在这种情况下，我们想知道的是，如果有的话，自我意识的哪些方面是一般智力所必需的。明确哪些方面是不必要的，将确保我们不会对机器超级智能的本质做出错误的拟人化假设。
如前所述，我们可以想象一个没有实体的人工智能，所以我们没有理由期望一个超级智能的人工智能将自己与一个有胳膊、腿、触手等的特定身体相认同。此外，AI将自己识别为特定的计算机硬件集合也没有意义，因为相同的代码可以在许多独立的处理器上以分布式方式执行，并且可以从一个平台迁移到另一个平台，而不会中断其执行。出于类似的原因，AI也不会将自己与特定的代码库联系起来。软件是可变的。它可以被调试、升级、扩展或重新设计，甚至可能由AI本身来完成。(再回想一下，一个系统由多个半自治的智能计算线程组成，每个线程的存在时间都很短暂。)
还有什么可能构成人工智能的自我?虽然可以想象，但如果人工智能将自己定义为一系列思想和体验的非物理主体，并游离于物理世界之外，那就太奇怪了。科幻电影经常援引这样的概念。但并不能保证超级智能的人工智能会拥有这种内在生命。即便如此，这种自我观念建立在对现实的二元论概念之上，对人类的适用性令人怀疑，更不用说对人工智能了。我们没有特别的理由期望超级智能AI采取这种可疑的形而上学立场，特别是——这里有一点很重要——如果它与最大化预期奖励的能力无关。
那自我保护呢?就自我保护而言，超级智能AI核心的强大优化器似乎会寻求保留自己的奖励功能，并随着时间的推移最大化奖励功能。除了某些计算机进程(以及执行这些进程所需的足够硬件)之外，实现回报最大化的手段还可以包括这些进程可以访问的数据等资源，包括来自传感器的实时信息，以及这些进程可以控制的效应器和其他设备(例如卫星或军事硬件)，以及它们可以行使的各种能力和权力(例如，交易股票或与其他各方签订合同的能力)。
然而，保存这些东西将是一个纯粹的工具性目标，支持随着时间的推移最大化奖励的总体驱动力。可能的情况是，优化器试图保存的一组计算机过程将包括那些构成优化器本身的过程，从而呈现出自我意识的样子。但它可能不会。我们应该记住，奖励并不是针对AI的。这只是人工智能寻求最大化的一个功能。AI甚至不需要在周围“接收”它。如果AI的奖励功能涉及到最大化小部件的生产，那么最优策略可能是委托一个小部件工厂，然后自我毁灭(就像众所周知的海松鼠找到一块石头粘在上面，然后消化自己的大脑)。
第五章【第五节】；超级智能中的情感和同理心
让我们花点时间回顾一下。我们一直在研究与人类意识相关的各种认知属性，并询问我们是否应该期望在人类或超人级别的人工智能中看到它们。我们现在关注的这种人工智能并不像人类的大脑。它是从零开始设计的。所以有可能它不太像人类，它没有表现出我们与人类意识相关的任何特征。然而，其中一些认知属性似乎是一般智力的必然产物。特别是，意识、目的和整合都可能是任何人工通用智能的特征，给人一种某种意识的印象。然而，自我意识，人类意识的另一个重要特征，虽然可能存在于人工智能中，但可能会以一种相当陌生的形式出现。
我们要研究的与人类意识相关的最后一个属性是情感和同理心。从纯粹认知的角度来看，人工通用智能的机器学习组件必然会注意到人类行为中的统计规律，这些规律与我们称为情绪的状态相关。如果不注意这些规律，就会错失将人类行为数据有效压缩为数学模型的机会，而数学模型可以有效地用于预测人类行为。这样的数学模型反过来能够告知人工智能的优化组件，使其能够操纵人类的情绪，进而调节人类的行为。简而言之，我们应该期待超级智能机器比我们更了解我们自己。
对于人工智能来说，能够模仿情感也是一项有用的技能。面部表情和肢体语言是人类之间有效的交流渠道，也是类人或类人化身的人工智能行为的重要组成部分。同样，声调也可以用来表达高兴、失望、愤怒、惊讶等等。没有必要让人们误以为这些暗示背后隐藏着真实的情感。无论如何，它们都是沟通的辅助工具。
尽管如此，正如我们在讨厌的AI boss的故事中所看到的那样，一个能够让人们相信它具有真实情感的AI，在某些情况下能够更好地发挥其奖励功能。能够给人一种同理心的印象会特别有用。当我们遭受痛苦时，同情我们的人将不愿意伤害我们，因此值得我们信任。同样，如果人工智能对我们有感觉，那么我们就会倾向于信任它，让它自主行动。当然，一个比我们更了解我们自己的超级智能机器将极有能力给人一种同理心的印象。
这是否意味着一个超级智能的人工智能一定会用马基雅维利式的聪明才智追求一些邪恶的目标(例如，统治世界)，毫不费力地操纵易受骗的人类，并不可避免地导致我们的垮台?一点也不这里的重要问题似乎是，AI是否真的为我们感到难过，它是否真的有同理心，因为一个真正同情我们的AI永远不会伤害我们，而一个只模仿同理心的AI是一个危险的精神病患者。但真正重要的不是AI的感觉，而是它的行为。真正重要的是，从长远来看，它是否像一个真正的朋友一样，继续按照我们希望的方式行事。
最后，一切都取决于AI的奖励功能。从认知的角度来看，类似人类的情绪是调节行为的粗糙机制。与我们与意识联系在一起的其他认知属性不同，从逻辑上讲，通用人工智能似乎没有必要表现得好像它有同理心或情感。如果它的奖励功能设计得当，那么它的仁慈就得到了保证。然而，设计一个保证不会产生不良行为的奖励函数是极其困难的。我们很快就会看到，超级人工智能奖励功能的缺陷可能是灾难性的。事实上，这样一个缺陷可能意味着宇宙膨胀和无尽富足的乌托邦未来与无尽恐怖甚至灭绝的反乌托邦未来之间的差异。