译者：李浚弘 

第六章【人工智能的影响】

第六章【第一节】；人类级别人工智能的政治和经济

我们已经听到了许多关于人类水平人工智能可行性的争论，无论是通过大脑启发的途径，还是通过从零开始的工程。我们看到，一旦实现了人类级别的AI，精灵就可能从瓶子里出来。从人类水平的人工智能向超级智能的过渡似乎是不可避免的，而且可能非常迅速。如果由于递归的自我完善，出现了智力爆炸，那么由此产生的一个或多个系统很可能非常强大。它们的行为方式，它们是友好的还是敌对的，它们是可预测的还是不可预测的，它们是有意识的，能够移情还是痛苦，都取决于它们的底层架构和组织，以及它们隐式或显式执行的奖励功能。

我们很难估计，在我们今天所能设想的各种人工智能中，哪一种(如果有的话)会真正出现。然而，如果机器超级智能以这样或那样的形式成为现实，我们可以试着思考一下对人类社会可能产生的一些后果。首先，让我们来看看可能推动或阻碍其发展的一些经济、社会和政治力量。为什么会有人想要创造人类水平的人工通用智能呢?最明显的动机是经济方面的，而增长的主要焦点是自动化。当然，自18世纪以来，自动化程度的提高一直是工业发展的趋势。但是，如果开发出通用人工智能，许多传统上不受这一趋势影响的职业将可以实现自动化。

这里讨论的职业是那些由人工智能完成的。如果实现人类水平的人工智能是构建能够解决问题的计算机的先决条件，那么这个问题就被认为是人工智能完成的。通过图灵测试(正确地)是一个人工智能完备的问题，机器翻译(专业标准)也是。律师、公司高管、市场研究员、科学家、程序员、精神病学家等职业似乎都与人工智能有关。要胜任这些工作，需要对物质世界和人类事务有常识性的了解，以及一定程度的创造力。但如果达到人类水平的人工智能，那么机器就可以完成这些工作，而且比人类更便宜、更有效(只要它们可以被当作奴隶而不受道德惩罚)。因此，企业将有强大的经济激励来开发所需的技术。

自动化只是复杂的通用人工智能的一个潜在增长领域。新技术可以产生全新的应用领域，并导致完全重新定义的生活方式。想想互联网或智能手机的影响吧。人工智能至少有同样大的潜力融入我们的日常生活。必不可少的家用机器人是科幻小说的主要内容。但现实情况更有可能是一种环境人工智能，它可以暂时“寄居”在许多类似机器人的身体上，比如汽车、吸尘器和割草机，还可以陪伴用户使用可穿戴或便携式设备，并控制任何数量的固定家用和工作场所电器，比如炊具和3D打印机。

当你离开家时，你与吸尘器或机器人宠物进行的同样的对话将与你的无人驾驶汽车无缝地进行，就好像一个“人”居住在所有这些设备上。(然而，底层计算很可能分布在多个平台上，这些平台可能位于世界任何地方。)虽然它不会吸引所有人，但这是一幅诱人的画面。人工智能促进的生活方式的巨大市场前景可能会推动许多使能技术的发展，包括计算机视觉、机器学习、自然语言处理和优化。

这些技术的不断改进，以及越来越多地使用无处不在的传感技术，以及互联网上越来越多的有用数据，可能足以把我们带到人类水平的人工智能的边缘。它可能不需要一个大项目或一个概念上的突破，只需要一个聪明而简单的最后一步，可以结合创造力或其他一些缺失的成分。但是，如果需要更大的推动，特殊用途(即非通用)人工智能技术日益增长的经济重要性可能会确保相关基础研究获得资金和资源。

市场经济是推动通用人工智能发展的一个因素。但是，除了刺激经济增长之外，也有充足的理由让国家资助加速其发展。军事指挥官对自己的角色被人工智能篡夺持保留态度，这是可以理解的。然而，自主武器的出现创造了对快速决策的需求。例如，使用自主飞行器进行战斗的一个基本原理是速度和机动性。与人类飞行员相比，自动驾驶飞机可以更快、更准确地探测、避免和消除威胁。在这种情况下，一个人在循环中会减慢速度。

如果我们考虑到空战可能会涉及到一群这样的飞机相互对抗，那么部署人工智能做出快速战术决策的优势就很明显了。在这种背景下，军事指挥官的疑虑可能会消失，促使他们收购复杂的人工智能技术，用于多层次的军事决策。这里的政治动态与20世纪40年代和50年代的核武器发展相呼应。起初，发展强大武器的主要动机是担心对方(无论对方被认为是谁)会先到达那里。这种担忧足以克服任何最初的道德保留。然后，当双方都拥有武器时，军备竞赛随之而来。

尽管有这种悲观的评估，但支持将人工智能用于军事用途的论点也值得关注。自主武器可能比人类战斗人员更准确，更不易出错。它们可以更多地用于临床，减少所谓的附带损害。他们的决定从不受恐惧、报复或愤怒的影响。(当然，我们这里讨论的不是类人的、基于大脑的人工智能。)但我们目前的重点不是军事人工智能的对与错。重点很简单，军事应用的潜力是复杂人工智能技术未来发展的另一个动力。

开发人类级别AI的其他动机则更为理想主义。几个世纪的技术进步给人类带来了巨大的利益。由于医药和农业的进步，发达国家数以亿计的人今天享受着过去很少有人能梦想到的生活水平，拥有相对较好的医疗保健、营养和长寿。我们拥有省力的设备，减轻了日常琐事的负担，如做饭、洗衣和清洁。我们有充足的闲暇时间，享受闲暇的方式在我们的祖先看来就像魔法一样。然而，人类面临着许多全球性挑战，如气候变化、化石燃料减少、持续冲突、普遍贫困以及癌症和痴呆症等无法治愈的疾病。

解决这些问题的最大希望当然是通过科技进步，而加快科技发展的最好方式当然是招募、培养和应用更多的人才。因此，人类水平的人工智能的到来，可能会带来一种智力优势和弱点的模式，以补充人类的智力，应该会带来更快的进步。如果人类级别的AI很快被超人级别的AI所取代，可能会引发智能爆炸，如果最终系统的行为符合我们的期望，那么进展的速度确实会非常快。如果雷•库兹韦尔(Ray Kurzweil)等乐观的评论员是正确的，那么机器超级智能可能有助于带来一个前所未有的富足时代，消除贫困和疾病。

但是，与开发具有人类智能水平甚至更高的机器的宇宙动机相比，即使是这种乌托邦式的愿景也显得苍白无力。机器学习专家汉斯·莫拉维克(Hans Moravec)预计，在遥远的未来，宇宙的一部分将“迅速转变为一个网络空间，(在那里)人类建立、扩展和捍卫身份，作为信息流的模式……最终成为一个以接近光速扩张的心灵泡沫。”不受地球生物需求的阻碍，能够承受对人类致命的极端温度和辐射剂量，并且心理上不受穿越星际空间数千年的前景的困扰，自我复制的超级智能机器将处于殖民银河系的有利地位。从一个足够大的角度来看，促进这种未来可能被视为人类的命运，即使(未增强的)人类自己在身体和智力上都太弱而无法参与其中。

第六章【第二节】；超级智能何时会出现

一些作者，尤其是雷·库兹韦尔(Ray Kurzweil)，对机器超级智能何时出现做出了非常精确的预测。库兹韦尔在2005年写道，到2045年，地球上非生物智能的数量将大大超过整个人类人口的数量。他的预测是基于指数级的技术趋势，并以此推断未来。这些指数趋势中最著名的是摩尔定律，我们已经遇到过好几次了。这表明，在给定面积的硅上可以制造的晶体管数量大约每18个月翻一番。

从20世纪60年代中期提出摩尔定律到2010年代中期，半导体行业一直在努力遵守摩尔定律，并将许多其他计算统计数据与之相结合。例如，自20世纪60年代以来，世界上最快的超级计算机每秒执行的浮点运算次数(FLOPS)呈指数级增长。在其他技术领域也可以看到类似的指数趋势。1990年，人类基因组计划开始在15年内对整个人类基因组进行测序。在项目开始时，每年只能对人类基因组的1%进行测序。但DNA测序技术得到了指数级的进步，该项目于2003年提前完成，尽管耗资27亿美元。十多年后，用1000美元就能测序一个人的DNA。

这些以及其他技术领域的指数趋势体现了库兹韦尔所说的加速回报定律。根据库兹韦尔的理论，技术进步基本上与复利金融投资遵循同样的原则:你拥有的越多，它增长得越快。如果你投资x美元到一个年收益率为10%的账户，那么一年后你就有1.1X美元。但是第二年你赚得更多，因为你的10%被再投资了，产生1.1美元的10%而不是x美元的10%。类似地，如果某一技术领域的改进反馈到该技术的发展中，从而提高了改进的速度，那么该技术领域就服从加速回报定律。

Kurzweil的2045年日期是通过(1)外推每美元计算能力的持续指数增长(2)估计实时模拟人类皮层功能所需的计算能力的数量得到的。库兹韦尔的外推曲线显示，到本世纪40年代中期，计算能力将以指数级增长，达到每秒10的26次方条指令，价格为1000美元。根据每秒10的16次方条指令来实时模拟人类大脑皮层的估计，这将足以让“每年创造的智能(在2045年)比所有人类智能强大10亿倍……代表着人类能力的深刻和颠覆性转变。”对库兹韦尔来说，这就是奇点。

对库兹韦尔的推理有一个明显但被误导的反对意见，那就是人们似乎理所当然地认为摩尔定律将持续到21世纪40年代。事实上，距库兹韦尔的预言已经过去了十年，摩尔定律仍然或多或少有效。但它已经显示出放缓的迹象，并可能在本世纪20年代的某个时候达到平稳期。然而，摩尔定律只是更大的指数趋势的一部分。它描述了计算技术的一个范例，即在二维硅片上大规模集成晶体管电路。在集成电路发展之前的20世纪60年代，计算机是由单个晶体管构成的，在那之前是由真空管构成的。如果将一台最先进的机器中开关元件的数量随时间绘制出来，我们就会得到一条指数曲线，它可以追溯到帕斯卡的机械装置。

如果我们放大这条更大的曲线，我们会发现，从机械开关到大规模集成，每一种不同的计算范式，在技术处于起步阶段时，都遵循一种模式，即最初的缓慢增长，然后是快速(指数)增长，在技术达到最大潜力时，以平稳期结束。换句话说，整体指数由一系列较小的s曲线组成，其中一条符合摩尔定律。物理定律保证了更大的指数趋势最终也会达到一个平台，并显示出自己只是另一个更大的s曲线。但要实现这一目标还有很长的路要走。(回想一下赛斯·劳埃德(Seth Lloyd)理论上完美的电脑。)与此同时，我们应该期待一系列新的计算范式取代主导半导体行业数十年的CMOS技术。

对库兹韦尔预测的一个更有力的批评是，它依赖于这样一个假设，即足够的计算能力将很快导致人类水平的人工智能的发展，从而低估了跟上这一步伐所需的科学进步。只有野蛮的全脑模拟方法可以通过简单地扩大现有技术来取得成功，而这取决于大脑扫描技术和计算能力的指数级提高。任何其他达到人类水平的人工智能的方法，无论是通过逆向工程和重新设计生物大脑，还是从头开始设计强大的算法，都需要重大的科学突破。

这里有乐观的理由。但这些都不足以证明一个自信的预测是合理的。例如，秀丽隐杆线虫。这种微小的线虫是生物学家的模式生物，已经成为无数研究的主题。它的神经系统仅由302个神经元组成，其完整的接线图自20世纪80年代以来就已为人所知。尽管如此，尽管一个名为OpenWorm的众筹开放科学项目正在取得良好进展，但在2010年代中期，秀丽隐杆线虫神经系统(和身体)的功能计算机模拟仍然悬而未决。这在很大程度上是由于缺乏关于302个神经元信号特性的基本数据。

考虑到理解秀丽隐杆线虫神经系统的302个神经元所花费的时间，按照库兹韦尔的时间表，到本世纪20年代中期，逆向工程人类皮层的200亿个神经元的希望有多大?答案是，希望还是有的。但希望就是一切。没有人知道必要的突破是否以及何时会实现，什么时候会出现大脑领域的达尔文(或者人工智能领域的爱因斯坦)。这是否意味着我们应该把技术奇点视为科幻小说，不再谈论它?一点也不!试图确定确切的日期是一件令人分心的事。人工超级智能很有可能在21世纪的某个时候到来，它对人类的潜在巨大影响足以引起我们今天的注意。

在讨论人工智能的时候，那些不在这个领域工作的人，尤其是媒体，通常会犯两个相反的错误。第一个错误是给人一种人工智能已经出现或即将到来的印象。一些专门的人工智能技术正越来越多地进入日常应用。但今天的人工智能技术距离人类水平的人工通用智能，距离拥有常识和创造力的人工智能还有很长的路要走。一个可以讲几个笑话的聊天机器人，或者一个眼睛可以在房间里跟着你转的人形机器人，很容易给人一种相反的印象。但是，人工智能怀疑论者很快就会正确地指出，这只是一种错觉。

然而，同样是这些怀疑论者，他们自己也犯了一个错误，认为人类水平的人工通用智能永远不会出现。库兹韦尔的时间表可能会公布(也可能不会)。但正如前几章所述，通往人类级别AI或更高级别AI的道路有许多可行之处，而且每条道路上的每一步在技术上都是可行的。时间表是什么并不重要，除非你希望奇点的出现能及时促进医学研究从而延长你的寿命。但比你我的生活更重要的是我们留给子孙后代的世界，而人类水平的人工智能的出现可能会深刻地重塑这个世界。正如弗里德里希·尼采(Friedrich Nietzsche)所说，在未来思想家的门上立着一块牌子，上面写着:“我有什么要紧“

第六章【第三节】；工作，休闲，富足

没有必要为人工智能的进步制定时间表，也没有必要确定超级智能到来的日期，因为人工智能技术有可能在几代人之内重塑人类社会。早在具备通用认知能力的人类水平的人工智能出现之前，各种专门的人工智能技术就会被开发出来，它们可以在各种领域超越人类，这些领域要么需要一种常识，而这种常识到目前为止还超出了计算机模拟的范围，要么以前是受过教育的专业人士的专利。

我们可以将其视为颠覆性人工智能技术的第一波浪潮。了解这种颠覆可能采取的形式，将有助于我们想象第二波颠覆性人工智能技术可能是什么样子。如果人类水平的人工智能确实被开发出来，那么第二次颠覆将会发生，超级智能紧随其后。很重要的一点是，要清楚这两种潜在的颠覆事件之间的区别。瓦解的第一阶段很有可能发生。如今，随着自动驾驶汽车和智能数字个人助理的出现，它的早期隆隆声已经清晰可见，而且很可能在本世纪20年代展开。第二次颠覆是一个更遥远的前景，更难充满信心地预测，尤其难以确定日期，但潜在影响要大得多。

日益复杂的专业化人工智能最明显、最直接的影响可能是在工作领域。在许多方面，这是自工业革命以来一直持续的趋势的延续，其影响，无论好坏，都是相似的。一方面，自动化程度的提高降低了生产商品的成本，刺激了经济增长，这反过来又减少了工作时间，提高了生活水平(可以说)，延长了预期寿命。另一方面，自动化程度的提高导致失业，威胁到传统的生活方式，并且(可以认为)将财富、权力和资源集中在更少的人手中。今天的问题与19世纪英国卢德分子(Luddites)捣毁权力织布机时的问题一样，而且两极分化程度丝毫不减。

然而，复杂的人工智能技术可能在一个重要方面不同于前几代人的创新。在过去，人们可能会说，新技术创造的就业机会与它们所带来的威胁一样多。由于机械化和自动化，20世纪的就业出现了从农业和制造业向服务业、教育和医疗保健的转变。但总体而言，失业率并没有上升。相反，制造业产出增长了，受过教育的白领工人所占比例越来越高，劳动力能够接触到的商品种类越来越多。然而，随着复杂的专业人工智能的出现，更多的职业将变得脆弱，而机器人技术的进步将威胁到制造业中剩余的体力工作。

简而言之，发达经济体要求人类从事的有偿工作总量可能会大幅减少。如果发生这种情况，事情可能会有多种发展方向。一方面，我们可能会看到一个更加分裂的社会，在这个社会中，最赚钱的工作由一小部分人从事。这些受过高等教育、极具创造力的精英们会逆流而上，从事人类仍胜过机器的为数不多的职业，比如创业或创造性职业。剩下的人口将失业。但他们的基本需求将得到满足。事实上，这很可能是一个富足的时代，即使经济实力较弱的人也能获得越来越多的商品和服务。

或者，我们可以看到一个更公平的社会，在这个社会中，每个人都能得到最高质量的教育，创造力得到普遍的促进和适当的奖励。如果能够建立一种制度，使具有社会价值的休闲活动也具有货币价值，那么有偿工作和休闲之间的区别就会消失。例如，作家和信息技术评论家杰伦·拉尼尔(Jaron Lanier)提出了一种小额支付系统，通过这种系统，个人生产的每一项数据或数字内容每次被消费都会为个人带来收入。也许这种安排，或者类似的安排，可以促进权力、财富和资源的更均匀分配。也许它还能激发一个前所未有的文化表达时代，在这个时代里，人们不再被工作的需要所束缚，而是可以自由地追求艺术、音乐、文学或任何他们喜欢的东西。

但要实现这一目标，可能需要相当大的社会和政治意愿。权力、财富和资源向少数人集中的自我延续趋势是历史不变的。在这方面，在颠覆性的专业化人工智能技术时代，什么都不可能改变。对生产工具的控制——在这个例子中是人工智能技术——很可能仍然掌握在少数强大的公司和个人手中。与此同时，如果流行文化被推到最低限度，休闲时间被花在削弱而不是增强普通人的创造力和批判能力的追求上，也就不足为奇了。在一个物产丰富的时代，人工智能的进步使之成为可能，没有人会抱怨。不管是好是坏，推动人类文明向前发展的任务可能会落在富有的精英身上，同时保护和培育人类文化中最优秀的东西。

第六章【第四节】；技术的依赖

信息技术为发达国家的现代生活注入了活力。从金融到能源，从交通到通讯，我们的大部分基础设施都依赖于它。当然，所有这些东西在电脑发明之前就已经存在了。但在这些领域中，计算机帮助降低了成本，提高了效率，同时支持了新功能，增加了容量。尤其是人类的交流已经被互联网、智能手机和社交网络所改变。有多少次你听到有人说“没有手机我就迷路了”或者“我不知道在没有互联网之前我们做了什么”?这种情绪反映了我们今天的生活方式。

简而言之，无论是作为个人还是作为一个社会，我们都高度依赖信息技术，而复杂的人工智能只会增加这种依赖。所以理解这种依赖如何影响我们是很重要的。它会像新勒德反对者所说的那样削弱我们的人性吗?我们对技术的依赖会削弱我们的自主性吗?它会威胁到我们的自由吗?它会阻止我们直接体验世界，阻止我们自己做决定，阻止我们按照自己的自由意志行动吗?它会使我们与自然疏远，造成有害的心理后果吗?

但话又说回来，信息技术真的如其拥护者所主张的那样，加速了人类的进步吗?它是否有助于扩大个人的世界观，使他们接触到其他文化和新思想，这在计算机时代之前是不可能的?它是否促进了我们与人类同胞的互动?它是否通过允许知识和信息的民主交流以及促进思想自由来赋予人民权力?

当然，事实是，反对者和支持者都有部分是正确的。信息技术带来的好处很多，但我们为此付出了代价。未来的挑战是，随着复杂的专业人工智能的到来，确保在保持成本的同时，实现收益最大化。令人担忧的是，第一波颠覆性人工智能技术将以很少的明显成本提供不可抗拒的好处，同时为第二波无法控制的颠覆性人工智能技术创造完美的条件，而第二波颠覆性人工智能技术的成本将难以承受，甚至可能带来生存风险。

为了使这种担忧具体化，让我们想象一下人工智能在日常生活中可能很快扮演的角色。在本章的前面，我们谈到了一种环境人工智能的可能性，它可以在不同设备之间无缝迁移，陪伴你在家、旅行和工作。新一代的个人数字助理将同时履行仆人、秘书和顾问的职责，提供比2010年代中期更像人类的服务。由于将强大的机器学习技术应用于大量数据，它们将包含对世界和人类行为的全面而准确的模型。这将使他们更不容易犯各种错误，在今天的人工智能系统中，这些错误很快就会暴露出缺乏真正的理解。

随着与人工智能的对话变得越来越像人类，人工智能的一些能力将变得超人。它将可以即时访问大量的实时数据，包括股票价格、交通状况、新闻推送等，以及对用户生活至关重要的个人和团体提供的数据，比如他们的行踪和计划。了解用户的习惯和偏好，预测他们的需求和愿望，人工智能将能够整合所有这些数据，对日常生活的各个方面提出有用的建议。这种功能已经可用。但新一代人工智能技术将使它变得异常强大。谁会不欢迎一个智慧的、无所不知的、无所不知的存在出现在他们的生活中呢?这个存在无私而仁慈，能够回答他们的问题，代表他们采取行动，并能给他们提供明智的建议。

这里的危险在于，这种技术的广泛采用将使其用户变得幼稚，使他们无法独立思考或自己决定要做什么。这反过来奠定了他们容易被操纵和利用。为了利用由今天的主要在线公司提供的服务，如谷歌，脸书和推特，我们经常泄露很多关于自己的信息。

一个人的浏览历史和购买习惯，以及他们的个人详细信息，足以让机器学习算法事后猜测他们可能会把钱花在什么地方。今天只是操纵我们想买什么东西的方法，明天可能会被用来控制我们关注哪些新闻媒体，我们相信谁的观点，甚至我们投票给哪些政治家。

因此，如果我们过于依赖人工智能技术来指导我们的生活，那么拥有这项技术的人就有可能完全控制无助的被动人群。然而，这并不是依赖人工智能让我们变得脆弱的唯一方式。以算法交易为例，在这种交易中，计算机程序根据算法自动买卖股票，这些算法考虑了价格和市场趋势，以管理风险和实现利润最大化。在高频交易中，程序以比人类交易员更快的速度运行，以利用市场的微小波动。在典型情况下，高频交易是有利可图的，而且(在股票市场的背景下)是无害的。然而，很难预测这些项目可能发生的所有突发事件。

金融世界从2010年5月6日所谓的闪电崩盘中得到了可能出现问题的暗示。当天，道琼斯指数在25分钟内跌回约600点，创下历史上单日第二大波动。这种突然的跌宕起伏的原因是经济学家们争论的话题。然而，人们普遍认为，动荡的市场环境和高频算法交易的结合是一个主要的促成因素。然而，闪电崩盘也说明了可以采取什么措施来减轻这类风险，因为许多高频交易程序注意到交易量突然增加，并关闭了自己。随后引入了一个“熔断机制”系统，当检测到异常情况时，该系统会自动暂停交易。

今天的算法交易程序相对简单，只使用了有限的人工智能。然而，这种情况肯定会改变。人工智能在任何需要在大量数据中找到模式，并且需要在这些模式的基础上做出有效决策的领域都是有益的，特别是在需要快速做出决策的时候。在这种情况下，计算机不仅可以取代人类，以更低的成本做同样的工作，而且它们通常会做出更好的决策，并且以超人的速度完成。

投资者在决定买卖股票时，会利用各种各样的信息，从公司报告到新闻，再到社交媒体上的谣言。目前人类在这方面仍有优势。但用不了多久，人工智能技术就会被应用到投资决策和高速交易中。当这种情况发生时，如果没有适当的安全措施，意外故障模式的后果可能比闪电崩盘时严重得多。也许高速人工智能交易员的广泛使用将导致一个更稳定的股市，最大限度地有效利用人力资源。但是，如果没有合适的自动故障保护，未来一代人工智能交易员之间的意外互动可能会失控，并引发一场全面的金融危机。

第六章【第五节】；非故意的后果

为了结束这一章，我想给你们讲一个故事。故事发生在不久的将来，那时我们一直在讨论的一些人工智能技术已经成熟，但可能还没有达到创造人类水平的人工智能的程度。这个故事是关于三个人工智能系统的。第一个是营销人工智能，它属于一家大型跨国公司，我们称之为Moople Corp。第二个系统是由美国政府操作的警察人工智能。第三个系统是由一个小发展中国家政府控制的安全人工智能。故事开始于Moople Corp.的营销人工智能负责最大化其新型可穿戴计算设备的预售。

经过深思熟虑后，利用Moople Corp.从其深不可测的数据库中建立的复杂的人类行为模型，并应用最新、最强大的优化技术，营销人工智能提出了一个计划。为了刺激市场，它在发布前宣布了一项赠品。200台可穿戴设备将在苹果的一家旗舰店以先到先得的方式免费发放。根据美国法律的要求，营销人工智能通知当地警察人工智能发布前的活动，因为它希望它能吸引人群。

事实上，当警察人工智能听说这件事时，它估计(使用它自己的人类行为模型)将有5000人来到旗舰店。此外，据警方人工智能计算，发生内乱的可能性为10%。因此，它决定必须部署防暴警察作为预防措施。现在，Moople Corp.的营销人工智能碰巧也有一个警察人工智能的行为模型，它预测了防暴警察的部署(概率为94%)。根据Moople公司的人类行为模型，这对目标人群来说将是一个绝佳的拍照机会。因此，该公司订购了5000个防毒面具，所有面具的显著位置都印有Moople公司的标志，这些面具将免费分发给人群。

为了规避各种法规和税收，Moople公司将防毒面具安排在一个小的发展中国家生产。它将设计传送到合适的制造工厂，并立即开始生产。然而，就像这个小发展中国家的一切一样，这家制造工厂也受到其国家安全人工智能的持续监控。安全人工智能指出，大量的防毒面具正在生产。根据其人类行为模型，这些武器有20%的可能性被用于颠覆性的反政府活动。所以它下令武装突袭制造工厂。突袭将在一小时内进行。不幸的是，一名(人类)保安在短暂的冲突中死亡。所有的防毒面具都没收了。

几分钟之内，这个故事就登上了各大新闻媒体的头条。突袭行动的一张照片显示，这名保安的尸体躺在一堆防毒面具上，面具上明显印有穆普尔公司的标志。由于营销人工智能发起的法院命令，该照片被禁止，然后在社交网络上迅速传播。不久之后，媒体开始指责流氓人工智能及其营销新型Moople可穿戴设备的阴险策略。Moople高管公开道歉，人工智能被关闭。与此同时，由于针对目标人群的宣传和与该设备相关的形象，预售额飙升至预期的200%。简而言之，一切都完全按照营销AI的计划进行。

这个小小的科幻故事说明，当复杂的人工智能技术被广泛部署并能够自主行动时，可能会产生意想不到的后果。这个故事中的营销人工智能完美地完成了它的使命，在没有人为干预的情况下最大化了它的奖励功能。但它的设计者没有预料到它有能力找到一个道德上可疑的问题解决方案，并将其付诸实践，这个解决方案甚至可能危及人类的生命。这个故事还说明，当更多的责任下放给人工智能时，特别是当几个人工智能系统可以相互交互时，发生戏剧性意外后果的可能性更大。

但是故事有个结尾。对于穆普的一位高管来说，这位保安的悲惨死亡引发了他一段时间的深刻反思。最终，这导致她放弃了可观的物质财富，并致力于减少那些因人工智能技术而失去工作、被迫过上毫无意义的闲暇生活的人的抑郁症。在适当的时候，她所捐赠的基金会将成为一个世界性的运动，为无数以前只有黑暗的生命带来光明。简而言之，一切都按照Moople的其他AI一直计划的那样进行。

对了，我忘了说一件事。还有另一个系统。Moople公司的员工经常咨询该公司的道德人工智能。首先是伦理AI建议部署营销AI。道德人工智能不仅基于其人类行为模型，还基于其营销人工智能模型，预测了保安的死亡(他身患绝症，无法进入发展中国家的医疗设施)，并正确预测了这将对Moople高管产生的影响。所以这个故事的寓意是，意想不到的后果可能是好的，也可能是坏的。重要的是，每个强大AI的奖励功能都要设计得当。