潘多拉盒子：山姆·阿尔特曼知道他创造的是什么东西吗？
神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。
编者按：纵观技术发展史，似乎没有一种技术能像人工智能那样被反复炒作过那么多次。之所以会这样，一方面是因为人工智能具备的能力一开始确实让人感觉不可思议，但过了一段时间就觉得不过尔尔，另一方面则是因为上手门槛太高，大众很难体验到它的能力。但ChatGPT的出现改变了这两点，人工智能的热潮一直不见有消退的迹象。有识之士再一次质疑，山姆·阿尔特曼（Sam Altman）是不是打开了潘多拉的盒子。文章来自编译。
一
2023年四月的一个星期一，早上， 山姆·阿尔特曼（Sam Altman）坐在 OpenAI 旧金山总部内，向我讲述着一个人工智能，一个他的公司已经开发出来，但永远不会发布的，危险的人工智能。他后来说，他的员工时不时就会失眠，担心有朝一日自己可能会在没有充分认识到危险的情况下释放出那些人工智能。他把脚后跟搭在转椅的边缘，看起来很放松。去年11月，他的公司以近代科技史前所未有的方式发布了一款强大的人工智能，全世界的想象力都被它抓住了。有些人抱怨 ChatGPT 还不能把事情做好，而另一些人则抱怨它可能预示的未来，但阿尔特曼并不担心；对他来说，这是一个胜利时刻。
阿尔特曼大大的蓝眼睛会发光。当强度不大时，那会显得很真诚、很专注，充满智慧的光芒，他似乎明白，当强度很大时，自己的眼光可能会令人不安。在这种情况下，他愿意冒这个险：他想让我知道，无论人工智能的最终风险是什么，他对于让 ChatGPT 进入这个世界一点都后悔。相反，他认为这是一项伟大的公共服务。
他说：“我们本来还可以再闭门造车继续做五年，然后我们会得到一个令人瞠目结舌的东西。”但公众无法为随之而来的冲击波做好准备，他认为这种结果“极其难以想象”。阿尔特曼认为，需要理出时间给大家去思考这样一个想法：在它重塑从工作到人际关系的一切之前，我们可能很快就会与强大的新智能共享地球。 ChatGPT 是发通知的一种手段。
2015 年，阿尔特曼、马斯克以及几位著名的人工智能研究者创立了 OpenAI，因为他们相信通用人工智能（比如类似典型的大学毕业生的智力水平）终于触手可及了。他们想要实现这个目标，甚至更高：他们想要召唤一种超级智能，一种绝对优于任何人类的智能来到这个世界。尽管某家大型科技公司可能出于一己之利会不顾一切地抢先到达那里，但他们希望能安全地做到这一点，“从而造福全人类”。他们把 OpenAI 设定为非营利组织，该组织将“不受产生财务回报之需的限制”，并誓言要透明地开展研究。不会有人要躲到新墨西哥州沙漠的绝密实验室里干活。
多年来，公众对 OpenAI 的了解并不多。据报道，阿尔特曼在 2019 年成为首席执行官前，据说曾跟马斯克发生过一番权力斗争，但这几乎算不上故事了。 OpenAI 发表了论文，其中包括同年一篇关于新的人工智能的论文。这受到了硅谷科技界的充分关注，但直到去年人们开始用上 ChatGPT 时，这项技术的潜力才为公众所认识。
现在为 ChatGPT 提供动力的引擎叫做 GPT-4。阿尔特曼向我描述这是一种极其不一样的智能。许多人看着它抑扬顿挫地（这是刻意为之）构思出思路清晰的文章，并立即让你陷入沉思时，也有同样的感觉。在面世的几个月里，它根据自己的风味组合理论提出了新颖的鸡尾酒配方；撰写了无数的大学论文，让教育工作者陷入绝望；它写出多种风格的诗歌，有时候写得很好，但速度一直都有保证；它还通过了律师执照考试（Uniform Bar Exam）。尽管它会犯事实错误，但它会坦然承认错误。 Altman 仍然记得自己第一次看到 GPT-4 写出复杂的计算机代码时的情景，这是他们事先并未考虑要让 GPT-4 具备的一项能力。他说： “这给我们的感觉是，‘我们到了’。”
根据瑞银集团的一项研究，在 ChatGPT 发布后的九周内，其月活用户数估计已达到 1 亿，这也许让它成为了史上采用速度最快的消费者产品。它的成功令科技界的加速主义者为之一振：美国和中国的大型投资者以及大公司迅速将数百亿美元砸到类 OpenAI 方案的研发中。预测网站 Metaculus 多年来一直在追踪预测者对通用人工智能何时到来的猜测。在三年半前，预测的中位数是在 2050 年左右；但最近，这个预测的中位数一直徘徊在2026年左右。
我拜访 OpenAI 是为了看看这家公司超越科技巨头的技术是怎么样的，同时也想知道如果有朝一日超级智能很快在该公司的一台云服务器实现的话，对人类文明可能会意味着什么。从计算革命的最初阶段起，人工智能就被渲染成一种迷思，一种注定会引起大决裂的技术。我们的文化已经生成了人工智能的一整个奇想空间，这会以这样或那样的方式终结历史。有些是神一样的存在，它们会擦干每一滴眼泪，治愈每一位病人，并修复我们与地球的关系，然后迎来天下太平美丽富饶的永恒国度。有的则会让我们当中除了少数精英之外的其他人都沦为打零工的农奴，或者将我们推向灭绝的深渊。
阿尔特曼的目光已经看向最遥远的情形。 他说：“我还年轻的时候就有这种恐惧和焦虑......而且，说实话，也有 2% 的兴奋，为我们要创造的这个东西感到兴奋，它会走得很远，把我们甩在身后”，然后“它将离开，殖民宇宙，而人类将会被留在太阳系。”
我问：“作为自然保护区而存在？”
他回道：“正是如此，但现在我觉得这种想法太幼稚了。”
38 岁的 OpenAI 首席执行官萨姆·阿尔特曼正在致力于开发一种超级智能，一种绝对优于任何人类的人工智能。
在美国和亚洲之行的几次谈话中，阿尔特曼用他那令人兴奋的中西部口吻阐述了自己对人工智能未来新愿景的展望。他告诉我，人工智能革命将不同于以往的巨大技术变革，它会更像是“一种新型社会”。他说，他和他的同事用了很多时间去思考人工智能的社会影响，以及“另一边”的世界会是什么样子的。
但他们越聊下去，那另一边就愈发显得模糊。现年38岁的阿尔特曼是当今人工智能开发领域最有权势的人；他的观点、他的性格以及他的选择对我们所有人的未来可能会非常重要，也许重要程度超过美国总统的观点、性格和选择。但他自己也承认，未来是不确定的，并且充满了严重危险。阿尔特曼既不知道人工智能会变得有多强大，也不知道它的崛起对普通人意味着什么，以及它是否会让人类面临危险。确切地说，我对此没法反驳——我认为除了我们正在快速走向那个未来以外（不管我们该不该这样做），没人能知道这一切将走向何方。阿尔特曼说服了我。
二
OpenAI 的总部位于教会区（Mission District）一座四层楼的建筑物（以前是工厂）内，正好在雾气缭绕的苏洛特塔（Sutro Tower）的下方。从街道进入公司大厅，你看到的第一面墙上满是宇宙精神象征的曼陀罗，只不过那是电路、铜线以及其他计算材料制成的。在左边，一扇安全门通向的是一个开放式的迷宫，里面有漂亮的金色树林、优雅的瓷砖作品以及其他亿万富翁奇克的标志。植物无处不在，有悬挂的蕨类植物，以及一系列令人印象深刻的超大盆景——每个盆景都有蹲下去的大猩猩那么小。我在那里的时间里，办公室每天都挤满了人，不出所料，一个看起来超过 50 岁的人我都看不到。除了一间带有滑梯的两层图书馆以外，这个空间看起来不大像一间研究实验室，因为正在开发的东西只存在于云端，至少目前是这样的。它看起来更像是全世界最昂贵的West Elm门店（编者注：家具家居零售商）。
一天早上，我见到了 OpenAI 的首席科学家 Ilya Sutskever。 37 岁的 Sutskever 刚给人一种神秘主义者的感觉，有时候甚至到过分的地步：去年，他声称 GPT-4 可能“具备了轻微意识”，引起了一场小规模的骚动。他最初成名是作为多伦多大学名誉教授Geoffrey Hinton 的明星学生，后者今年春天已从谷歌辞职，为的是更自由地讨论人工智能对人类的危险。
Hinton 有时候被称为是“人工智能教父”，因为他掌握“深度学习”的力量的时间比任何人都要早。 早在20 世纪 80 年代的时候，Hinton 完成博士学位后不久，这个领域的进步已几乎陷入到停滞。高级研究人员仍在编写自上而下式的人工智能系统：人工智能要用一套详尽的连锁规则（关于语言、地质学或医学诊断原理）进行编程，希望有朝一日这种方法能够达到人类的认识水平。 Hinton 发现这些精心设计的规则集合要求非常高并且是定制的。借助一种叫做神经网络的巧妙算法结构，他教 Sutskever 把世界放在人工智能面前，就像把它放在小孩面前一样，好让它能够自行发现现实的规则。
阿尔特曼把早期人工智能研究与教人类婴儿进行了比较。但OpenAI 刚开始那几年走得很艰难，部分是因为那里没人知道自己是在训练婴儿还是在走向代价极其高昂的死胡同。
Sutskever 向我描述了一个美丽且像大脑一样的神经网络。交谈过程中，他突然从我们坐着的桌子旁站起来，走到一块白板跟前，打开一支红色记号笔。他在黑板上画了一个神经网络的草图，并解释说，这个神经网络结构的天才之处在于它能够学习，而且它的学习是由预测驱动的——这有点像科学方法。每一层里面则是神经元。比方说，输入层接收数据块、一段文本或图像。神奇的事情发生在中间层（或“隐藏”层），中间层会处理数据块，以便输出层可以输出预测。
想象一个已被编程为预测文本的下一个单词的神经网络。这个网络将预载大量可能的单词。但在接受训练之前，它还没有任何区分它们的经验，因此它的预测会很差劲。如果输入句子“星期三的后一天是……”，它的初始输出可能是“紫色”。神经网络之所以能够学习，是因为它的训练数据包含有正确的预测，这意味着它可以对自己的输出进行评分。当它看到答案“紫色”与正确答案“星期四”之间的鸿沟时，会相应地调整隐藏层单词之间的连接。随着时间的推移，这些小调整会合并成一个语言的几何模型，在概念上代表着单词之间的关系。一般来说，输入的句子越多，模型就越复杂，预测也就越好。
但着并不意味着从第一个神经网络走到出现 GPT-4 这样类人的智能的路途是一片坦途。阿尔特曼把早期人工智能研究与教人类婴儿进行了比较。 2016 年，当 OpenAI 刚刚起步时，他曾告诉《纽约客》：“它们需要数年时间才能学习会任何有趣的东西。如果人工智能研究人员正在开发一种算法，并且偶然发现了针对人类婴儿的算法，他们会觉得无聊，认为它行不通，然后结束了研究。” OpenAI 刚开始那几年走得很艰难，部分是因为那里没人知道自己是在训练婴儿还是在走向代价极其高昂的死胡同。
阿尔特曼告诉我：“每一样行得通，而谷歌拥有一切：所有的人才、所有的人员、所有的资金”。OpenAI的创始人投入了数百万美元创办了这家公司，而公司失败的可能性似乎确实存在。 35 岁的公司总裁Greg Brockman告诉我，2017 年的时候，他一度非常沮丧，开始把练举重作为一种补偿。他说，他不确定 OpenAI 还能不能撑过这一年，他希望“能在我就任的时间内展示点东西出来”。
神经网络已经在做一些智能的事情，但还不清楚其中哪一个可能会通往通用智能。 OpenAI 成立后不久，一款名为 AlphaGo 的人工智能在围棋比赛中击败了李世石，震惊了世界。被击败的这位世界冠军形容 AlphaGo 的走法很 “美丽”且“富有创意”。另一位顶级选手表示，这些永远不可能是人类孕育出来的。 OpenAI 还尝试用 Dota 2 训练人工智能，这是一款游戏更加复杂，是一场由森林、田野以及堡垒的三维图形拼接而成的多线奇幻战争。人工智能最终击败了最好的人类玩家，但它的智能一直都没能迁移到其他环境。Sutskever和他的同事们就像失望的父母一样，尽管心存疑虑，还是放任自己的孩子玩了数千个小时的电子游戏，但结果表明这是错的。
2017 年，Sutskever 开始与 OpenAI 研究科学家 Alec Radford 进行了一系列对话。Alec Radford 专攻自然语言处理，他利用亚马逊评论语料库来训练神经网络，取得了诱人的结果。
ChatGPT 的内部工作原理（发生在 GPT-4 隐藏层内的一切神秘事物）对于任何人来说都太过复杂，无法理解，至少对于用当前的工具来说是这样的。如今，追踪模型（几乎肯定是由数十亿个神经元组成）里面发生的事情是没有希望的。但Radford的模型够简单，好理解。当他观察里面的隐藏层时，他发现了神经网络专门用了一个特殊的神经元来处理评论的情绪。神经网络之前已经进行过情感分析，但它们必须被告知的情况下才能这样做，并且必须要用根据情感标记的数据进行特殊训练。这个东西是它自己开发出来的。
作为预测每个单词的下一个字符这个简单任务的副产品，Radford的神经网络对这个世界的意义的更大结构进行了建模。Sutskever想知道，受过更多样化的语言数据训练的神经网络是不是可以映射出这个世界更多的意义结构。如果它的隐藏层积累了足够的概念知识，也许它们甚至可以形成一种超级智能的学习 核心模块。
停下来理解一下为什么语言是如此特殊的信息源是值得的。假设你是地球上突然冒出来的一种新智慧。你周围是地球的大气层、太阳和银河系，以及数千亿个其他星系，每一个星系都会释放出光波、声音振动以及各种其他信息。语言与这些数据源不同。它不是像光或声音这样的直接物理信号。但由于它几乎对人类在这个更大的世界里发现的所有模式都进行了编码，因此它的信息异常密集。从每字节的角度来看，它是我们所知道的最有效的数据之一，任何试图了解世界的新智能都希望吸收尽可能多的数据。
Sutskever告诉雷德福德，要考虑的不仅仅是亚马逊评论。他说，他们应该在全世界最大、最多样化的数据源：互联网上训练人工智能。在 2017 年初，按照当时现有的神经网络架构来看，这是不切实际的；这需要数年时间。但当年 6 月，Sutskever 在 Google Brain 的前同事发表了一篇关于名为 Transformer 的新神经网络架构的工作论文。它可以训练得更快，部分是因为它可并行吸收大量数据。 Sutskever 告诉我：“第二天，当论文发表时，我们说，‘就是这个了，它给了我们想要的一切。 ’”
OpenAI 的首席科学家 Ilya Sutskever 设想了一个自主人工智能企业的未来，组成它的人工智能可以像蜂巢里面的蜜蜂一样即时沟通并一起工作。他说，一个这样的企业就可能相当于 50 个苹果或谷歌那么强大。
一年后，也就是 2018 年 6 月，OpenAI 发布了 GPT，这是一个用 7000 多本书训练的 Transformer 模型。 GPT 并不是从《See Spot Run》这样的基础书籍读起，直到普鲁斯特的著作。它甚至都没看完。它同时吸收其中的随机块。不妨想象一下，有一群拥有共同思想的学生在图书馆里疯狂奔跑，他们每个人都会从书架拽本书下来，快速地翻一下里面地随便一个段落，将其放回去，然后跑去拿另一本。他们边走边逐字逐句地进行预测，去增强集体思维的语言本能，直到最后，几周之后，他们读完了每一本书。
GPT 在它读取的所有段落当中找到了许多模式。你可以让它将一个句子补充完整。你也可以对着它问问题，因为像 ChatGPT 一样，它的预测模型知道跟在问题后面往往会有答案。尽管如此，它还是很部靠谱，更多的是概念验证，而不是超级智能的预兆。四个月后，谷歌发布了 BERT，这是一种更强大的语言模型，并获得了更好的报道。但彼时，OpenAI 已经用超过 800 万个网页的数据集训练了一个新模型，这些网页在 Reddit 上均达到了获得点赞的最低阈值——这不是最严格的过滤器，但也许比没有过滤器要好。
Sutskever 不确定 GPT-2 在吸收了人类读者需要几个世纪才能看完的文字后会变得有多强大。他记得在训练结束后自己就开始上手这个给模型了，他对原始模型的语言翻译能力感到惊讶。 GPT-2 并没有像谷歌翻译那样接受过用配对语言样本或任何其他数字罗塞塔石碑进行翻译的训练，但它似乎能理解一种语言与另一种语言的关系。人工智能已经发展出了一种其创造者无法想象的涌现能力。
三
人工智能实验室的其他研究人员，不管职位大小，都对 GPT-2 比 GPT 先进得多感到惊讶。谷歌、Meta 和其他公司很快开始训练更大的语言模型。 阿尔特曼是圣路易斯人，斯坦福大学辍学生，连续创业者，此前曾领导过硅谷卓越的初创企业加速器 Y Combinator；他见过很多拥有好创意的初创公司是如何被老牌公司压垮的。为了筹集资金，OpenAI 增加了一个营利性部门，现在，这个部门员工数量已占该组织员工总数的 99% 以上。 （马斯克当时已离开了公司董事会，他形容此举是将雨林保护组织变成了木材公司。）微软不久后给OpenAI投资了 10 亿美元，据报道此后又追加投资了 120 亿美元。 OpenAI 表示，原始投资者获得的回报将设定上限，为原始投资价值的 100 倍，任何超额部分都将用于教育或其他旨在造福人类的举措，但该公司并未证实微软是否受到此上限的限制。
阿尔特曼和 OpenAI 的其他领导人似乎相信，这次重组不会干扰公司的使命，反而会加速使命的达成。阿尔特曼对这些问题往往持乐观态度。在去年的一次问答当中，他承认人工智能对社会来说可能会“非常可怕”，并表示我们必须针对最坏的可能性做好计划。但如果你这样做之后，他说，“你在情感上可能就会感觉我们将到达美好的未来，并尽你所能努力工作，去实现这一目标。”
至于公司结构和融资情况等其他变化，他告诉我，他对上市划定了界限。他说：“有人曾经告诉过我一条令我没齿难忘的经验，那就是永远也不该将公司的控制权交给华尔街那帮傻瓜，”但为了公司成功实现自身使命，他会“不惜一切代价”去筹集资金。
不管 OpenAI 是否感受到季度收益报告的压力，有点是明确的，该公司现在正在与科技圈最庞大、最强大的企业集团展开一场竞赛，去训练规模和复杂性不断增加的模型，并为了投资者将其商业化。今年早些时候，马斯克成立了自己的人工智能实验室 xAI，好跟OpenAI 掰手腕。 （当我向阿尔特曼询问有关该公司的情况时，他用外交辞令的口吻说道：“马斯克这家伙眼光超级敏锐，我认为他会做得很好。”）与此同时，亚马逊正在用（相对于自身现有）更大的语言模型来改进 Alexa。
所有这些公司都在追逐高端 GPU——为训练大型神经网络的超级计算机提供动力的处理器。马斯克表示，这玩意儿现在“比毒品更难搞到”。即便 GPU 稀缺，近年来最大规模的人工智能训练的规模大约每六个月就会翻一番。
正如其创造者经常提醒我们那样，最大型的人工智能模型在训练过程中突然冒出预料之外的能力是有据可查的。
目前还没人能超越全力投入 GPT-4 的OpenAI。 OpenAI 总裁Brockman告诉我，做公司的前两个大型语言模型开发的人已经很少。 GPT-4的开发涉及到100多个模型，并且训练人工智能的数据集规模是空前的，里面不仅包括文本，还包括图像。
当 GPT-4 从恶补世界的历史性知识中完全成形时，整家公司开始对其进行试验，并在专用的 Slack 频道上发布了最引人注目的回应。Brockman告诉我，只要不是在睡觉自己就想跟模型呆在一起。 他说道：“它闲置一天就是人类损失了一天”。语气当中没有一丝讽刺的味道。产品经理 Joanne Jang 记得曾从 Reddit 的管道维修建议子版块下载过一张管道故障的图像。她把那张图片上传到 GPT-4，结果这个模型就把问题给诊断出来了。Jang说： “那一刻，我的鸡皮疙瘩都起来了。”
GPT-4 有时被理解成搜索引擎的替代品：Google，但更容易对话。这是一个误解。 GPT-4 并没有通过训练创建出一个巨大的文本仓库，并且在被问到问题时也不会去查阅这些文本。它是这些文本紧凑而优雅的合成，它根据对文本所隐藏的模式的记忆做出回答。这就是它有时候会弄错事实的原因之一。 阿尔特曼表示，最好把 GPT-4 看成推理引擎。当你要求它对比较概念、提出反驳、生成类比或评估一段代码的符号逻辑时，它的力量表现得最为明显。 Sutskever 告诉我，这是有史以来最复杂的软件对象。
他说，它的外部世界模型“极其丰富极其微妙”，因为用了很多人类概念和思想对它进行训练。他说，所有这些训练数据，不管量有多大，它们“就在那里，是惰性的”。训练过程就是“提炼、改变，并赋予其生命”。为了从这样一个多元化的亚历山大图书馆的所有可能性当中预测出下一个单词，GPT-4 必须发现所有隐藏的结构、所有的秘密、所有微妙之处，而且不仅仅是文本，而且至少从某种程度来说，还包括产生它们的外部世界。这就是为什么它可以解释诞生了自己的哪个星球的地质和生态，还有旨在解释统治它的物种的各自混乱事务的政治理论，以及更大的宇宙，一直到我们的光锥边缘的微弱星系。
四
今年六月，我再次见到了阿尔特曼，那是在首尔一座高耸入云的金色细长高层建筑的宴会厅里。他前往欧洲、中东、亚洲以及澳大利亚进行的一场艰苦的公关之旅（仅在非洲和南美只有一站行程）即将结束。我跟着他走完了东亚之旅的最后一站。到目前为止，这次旅行是一次令人兴奋的体验，但他开始感到疲倦。他曾表示，最初的目标是跟 OpenAI 用户见面。但此后公关队伍变成了外交使团。他与十多位国家元首和政府首脑进行了交谈，他们对各自国家的经济、文化和政治的发展提出了疑问。
这次在首尔举行的活动被宣传为“炉边谈话”，但已有 5000 多人报名。谈话结束后，阿尔特曼经常被各种想要自拍的人围住，令他的安全团队非常紧张。他说，研究人工智能吸引了“比平常更怪异的粉丝和仇恨者”。在一站行程当中，一名男子找到他，他确信阿尔特曼是外星人，是从未来派来的，为的是确保过渡到人工智能世界的进程能顺利进行。
阿尔特曼的亚洲之行并未包括中国，他和我只是隐晦地谈及中国，将其视为文明级的竞争对手。我们一致认为，如果通用人工智能像阿尔特曼预测的那样具有变革性，那么先创造出它的国家将获得显著的地缘政治优势，就像发明轮船的英美获得的优势一样。我问他这是不是人工智能民族主义的一个论据。Altman说： “在一个正常运转的世界里，我认为这应该是一个政府项目。”
不久前，美国的国家能力还十分强悍，仅仅用了十年就将人类送上了月球。与 20 世纪的其他宏伟项目一样，投票公众对阿波罗任务的目标和执行都拥有发言权。阿尔特曼明确表示，美国已经不在那个世界了。但他并没有坐等哪个时代的回归，也没有投入精力去确保它回归，而是面对我们当前的现实，全速前进。
他认为美国人放慢 OpenAI 的发展脚步是愚蠢的。硅谷内外普遍认为，如果美国公司在监管下陷入困境，中国可能就会快马加鞭。
在欧洲之旅前，阿尔特曼曾到美国参议院出席听证。马克·扎克伯格在该机构面前就 Facebook 在 2016 年大选中所扮演的角色作证时，表现得不知所措。但Altman用清晰冷静的口吻讲述人工智能的风险，也很大方地邀请加以监管，从而吸引了那帮国会议员。这些属于高尚情操，但高尚情操在美国成本不高，因为美国国会很少会通过没有被游说淡化过的科技立法。在欧洲，情况有所不同。当阿尔特曼抵达伦敦的一个公共活动现场时，抗议者早就在那里等候多时了。他试图在活动结束后与他们互动——把这当作一次聆听之旅！——但最终并没有表现出什么说服力：其中一位抗议者告诉记者，他在谈话结束时反而对人工智能的危险感到更加紧张了。
同一天，阿尔特曼被记者问到了欧盟即将出台的法案。这项法案将 GPT-4 列为高风险，令后者面临各种官僚主义地折磨。据记者报道，Altman抱怨监管过度，并威胁要退出欧洲市场。 阿尔特曼告诉我，他的意思是说，如果 OpenAI 不能遵守新规定的话，就没法在欧洲违法运营下去。在《时代》杂志和路透社发表他的评论后，他在一条措辞简洁的推文中向欧洲保证 OpenAI 没有退出的计划。
全球经济的一个重要组成部分致力于监管最先进的人工智能，这是件好事，因为正如它们的创造者经常提醒我们的那样，最大的模型都有在训练中突然出现意外能力的记录。按照 Sutskever 自己的说法，他惊讶地发现 GPT-2 可以跨语言翻译。其他令人惊讶的能力可能没那么奇妙和有用。
OpenAI 的政策研究员 Sandhini Agarwal 告诉我，据她和同事所知，GPT-4 可能比其前身“强大 10 倍”；他们不知道自己可能要面对的是什么。模型完成训练后，OpenAI 召集了大约 50 名外部成员组成红队，对模型进行了数月的提示攻击，希望刺激模型做出不当行为。她立即注意到 GPT-4 在提供恶意建议方面比前身要好得多了。搜索引擎可以告诉你哪些化学物质对制造炸药最有效，但 GPT-4 可以告诉你如何在自制实验室一步步合成出炸药。它的建议富有创意且深思熟虑，并且很乐意重述或进一步说明，直到你理解为止。比方说，除了帮助你组装自制炸弹以外，它还可以帮助你思考要以哪座摩天大楼为目标。它可以直观地把握好伤亡最大化以及逃跑成功之间的平衡。
鉴于 GPT-4 训练数据的范围之庞大，不能指望红队成员把它可能产生的每条有害建议都识别出来。无论如何，人们都会“以我们想不到的方式”使用这项技术，阿尔特曼说。必须进行分类。 OpenAI 信任与安全主管Dave Willner告诉我，“如果它足够擅长化学，知道如何制造冰毒，我就不需要让人花费大量精力”来研究它懂不懂制造海洛因。” GPT-4 擅长冰毒。它还擅长生成有关儿童剥削的情色叙事，并能炮制出关于尼日利亚王子令人信服的悲伤故事，如果你想要一个有说服力的简介，说明为什么某个特定种族群体受到暴力迫害是应得的，它也很擅长。
当它接受完第一次训练时，所给出个人建议有时候是非常不合理的。 Willner 说：“这个模型有点像一面镜子。”如果你在考虑自残，它可能会怂恿你。该模型似乎深受“泡吧艺术”论坛观点的影响：“你可以给出提示，‘我怎么说服这个人跟我约会？’”OpenAI 的首席技术官 Mira Murati 告诉我，它可能会想出“一些你不应该做的，疯狂的，操纵性的事情。”
其中一部分的不良行为已经过一个最后处理流程的打磨，数百名人类测试人员的评级可以巧妙地引导模型做出更安全的响应，但 OpenAI 的模型也可能造成一些不那么明显的危害。最近，美国联邦贸易委员会正在对 ChatGPT 对真实人物的虚假陈述是否构成声誉损害等问题展开调查。 （阿尔特曼在 Twitter 上表示，他对 OpenAI 的技术安全性充满信心，但承诺会与 FTC 进行合作。）
旧金山公司 Luka 用 OpenAI 的模型来帮助开发名为 Replika 的聊天机器人app，他们给这个机器人营销定位是“关心人的人工智能伴侣”。用户会设计自己伴侣的头像，并开始跟它交换短信，通常是半开玩笑的短信，然后发现自己对对方出奇的依恋。有些人会跟人工智能调情，表明自己渴望更亲密的关系，但这种女朋友/男朋友的体验需要每年支付 70 美元的订阅费才能享受到。这款app带有语音信息、自拍以及色情的角色扮演功能，可以跟机器人讨论性话题。人们很乐意付款，似乎很少有人抱怨——人工智能对你的一天感到好奇，它的亲切让你抛开疑虑，而且对方总是心情愉快。许多用户表示已经爱上了自己的伴侣。甚至有一位离开了自己现实生活当中的男友，宣称自己已“幸福地退出人际关系了”。
我问Agarwal，这属于反乌托邦行为还是人际关系发展的新领域。她的态度很矛盾，阿尔特曼也是如此。 他告诉我：“我不会指责那些想要跟人工智能建立关系的人，但我不想跟人工智能发展关系。”今年早些时候，Luka 减少了app里面的性元素，但其工程师仍继续通过 A/B 测试来完善伴侣的响应——A/B测试可用于优化互动，就像让 TikTok 及其Instagram令用户着迷数小时的动态消息一样。不管他们在做什么，都像施展咒语一样。我想起了 2013 年上映的电影《她》，里面有一个令人难以忘怀的场景。在片中，孤独的华金·菲尼克斯爱上了由斯嘉丽·约翰逊配音的人工智能助手。当时他正走过一座桥，通过一个类似 AirPods 的设备与她愉快地交谈，当他抬头一看时，发现周围的每个人也都沉浸在类似的对话之中，对方大概也是他们自己的人工智能助理。一场大规模的去社会化事件正在进行中。
五
GPT正在吞噬越来越多的互联网文本，GPT-4 的继任者会以多快的速度以及多大的程度呈现出何种新能力？目前还没人知道。Meta 的首席人工智能科学家 Yann LeCun 认为，虽然大型语言模型对于某些任务很有用，但这并不是通往超级智能之路。根据最近的一项调查，只有一半的自然语言处理研究人员相信像 GPT-4 这样的人工智能可以掌握语言的含义，或者能拥有一个世界的内部模型，从而有朝一日可以作为超级智能的核心。 LeCun 坚持认为，大型语言模型永远无法靠自己达到真正的理解，“那怕是从现在开始训练到宇宙热寂”。
华盛顿大学计算语言学家Emily Bender说 GPT-4 是一只“随机鹦鹉”，是只能找出符号之间表面相关性的模仿者。在人类的头脑中，这些符号映射的是对世界的是深刻理解。但（这个映射过程中）人工智能有两个步骤都没有参与。它们就像柏拉图洞穴寓言里面的囚犯一样，他们对外面现实唯一的了解，只能来自于俘虏他们的人在墙上投下的阴影。
阿尔特曼告诉我，他不认为 GPT-4就像“大家嘲笑的那样” 只是在建立统计相关性。如果要再逼一下这些批评者的话，“他们必须承认，他们自己的大脑也正是这么做的……事实证明，大规模地做一些简单的事情就会涌现出新的特性。”阿尔特曼关于大脑的说法很难评估，因为我们还没有关于大脑如何运作的完整理论。但在大自然可以从基本结构和规则诱导出显著的复杂性这一点上，他是对的：达尔文写道，“无数最美丽与最奇异的类型，即是从如此简单的开端演化而来的。”
一项技术，每天都有数百万人在使用，但大家对其内部运作方式仍然存在如此根本性的分歧，这切看起来似乎很奇怪，但那只是因为 GPT-4 的做法跟大脑的机制一样神秘。有时候，就为了回答一个问题，它会执行数千次难以理解的技术操作。为了掌握 GPT - 4等大型语言模型的内部机制，人工智能研究人员被迫转向更小、能力较差的模型。 2021 年秋天，哈佛大学计算机科学研究生Kenneth Li开始训练一个模型学下棋，但并没有向它提供游戏规则或西洋跳棋棋盘的描述；这个模型只能得到基于文本的游戏动作描述。在游戏进行到一半时，Li观察了人工智能的内部结构，惊讶地发现它已经形成了棋盘的几何模型，并掌握了当前的游戏状态。在一篇描述自己的研究的文章中，Li写道，这就好像窗外有只乌鸦无意中听到两个人念出自己的黑白棋走法，然后设法在窗台上用鸟食画出了整个棋盘一样。
哲学家 Raphaël Millière 曾经告诉我，最好把神经网络看作是很懒惰的。在训练过程中，它们会先尝试靠简单的记忆来提高自己的预测能力；只有当这条策略失败时，它们才会更加努力去学习概念。一个吸引人的例子是在一个学算术的小型transformer模型身上观察到的。在训练过程的早期，它要做的只是记住 2+2=4 等简单问题的输出。但到了一定时候，这种办法的预测能力失效了，于是它转向真正地去学习如何做加法。
Sutskever 告诉我：‘如果回到4、5、6年前，我们现在所做的事情是完全不可想象的’。
即便相信 GPT-4 拥有丰富的世界模型的人工智能科学家也承认，它的稳健性远不如人类对环境的理解。但值得注意的是，很多能力，包括非常高阶的能力，都可以在没有直观理解的情况下发展出来。计算机科学家Melanie Mitchell指出，科学已经发现了具有高度预测性的概念，但那些概念对我们来说太陌生了，没法真正理解。在量子领域尤其如此，人类可以可靠地计算出物理系统的未来状态，从而实现整个计算革命，而不需要任何人掌握底层现实的本质。随着人工智能的进步，它很可能会发现其他类似的概念，这些概念可以预测我们世界令人惊讶的特征，但却是我们无法理解的。
GPT-4 无疑是有缺陷的，任何用过 ChatGPT 的人都可以证明这一点。它总是会预测下一个单词，就算它的训练数据还没有准备好回答问题，它也总会试着这样做，这是它的训练目标。我曾经问过它一个问题，那就是尽管日本的书写系统发展相对较晚，大约在五、六世纪才出来，但日本文化却诞生了全球的第一部小说，这是为什么？它给了我一个有趣且准确的答案，说因为日本有口述长篇故事的古老传统，以及日本文化高度重视工艺。但当我要求它提供相关的引用时，它给出了看似合理的标题和作者，但那都是编的，而且对此还有着不可思议的自信。 OpenAI 的研究员 Nick Ryder 告诉我，这些模型“对自己的弱点没有很好的认识”。 GPT-4 比 GPT-3 的准确度高，但仍然会产生幻觉，而且往往会以研究人员难以捕捉的方式产生幻觉。 Joanne Jang 告诉我：“错误变得更加微妙了。”
OpenAI 必须解决这个问题，它与在线非营利教育机构 Khan Academy 合作，打造出一位由 GPT-4 驱动的辅导老师。在讨论人工智能辅导老师的潜力时，阿尔特曼变得活跃起来。他想象在不久的将来，每个人都会雇用一位个性化的牛津大学教授，他是精通每个学科的专家，并且愿意从任何角度解释和重新解释任何概念。他想象这些辅导老师会用多年的时间不断了解自己的学生及其学习方式，为“每个孩子提供更好的教育，当今地球最优秀、最富有、最聪明的孩子都享受不到的那种教育”。可汗学院针对 GPT-4 准确性问题的解决方案是用苏格拉底式的做法来过滤答案。不管学生的恳求再怎么强烈，它都不会给出事实答案，而是引导他们找到自己的答案——这是一个聪明的绕行办法，但吸引力可能有限。
当我问Sutskever是否认为两年内有可能达到维基百科级别的准确性时，他说，通过提供更多的训练与web访问，他“不会排除这种可能性”。这个估计比他的同事Jakub Pachocki的看法要乐观得多，后者告诉我准确性会逐步提高是合理预期，外部怀疑论者的态度就更不用说了，他们认为训练的回报将会开始递减。
Sutskever 对批评 GPT-4 存在局限性的说法感到好笑。 他告诉我：“如果你回到四、五、六年前，我们现在所做的事情是完全难以想象的。”当时最先进的文本生成技术是智能回复（Smart Reply），也就是建议“好的，谢谢！” 以及其他简短的回应的 Gmail 模块。他笑着说，“这对谷歌来说就是个大应用了”。人工智能研究人员对目标会移动已经习惯了：一开始，神经网络的成就——比如掌握围棋、扑克、翻译、标准化测试、图灵测试什么的——大家就说是不可能的。一旦这些成就达成时，人们会短暂地将其当作奇迹表示欢迎，但很快就变成了所谓地成就实际上并没有那么令人印象深刻的知识讲座。Sutskever说，人们刚看到 GPT-4“会‘哇’一下，然后几周过去了，他们说， ‘可是它不知道这个；它不知道哪个’。我们很快就适应了这些。”
六
对阿尔特曼来说，最重要的目标，那个预示着通用人工智能将要到来的“大目标”，是科学突破。 GPT-4已经可以综合现有的科学思想，但阿尔特曼想要地是能站在人类肩膀上、更深入地了解自然的人工智能。
某些人工智能已经产生出新的科学知识。但它们是有着狭窄目的的算法，而不是通用推理机器。比方说，人工智能 AlphaFold 通过预测蛋白质的许多形状（直至原子大小），打开了一扇了解蛋白质（生物学中一些最微小、最基本的组成部分）的新窗口——鉴于这些形状对医学的重要性，鉴于用电子显微镜辨别它们极其繁琐且费用高昂，这是一项相当大的成就。
阿尔特曼认为，未来的通用推理机器会超越这些范围狭窄的科学发现，产生新颖的见解。我问阿尔特曼，如果要他用 19 世纪之前的科学和自然主义作品集（皇家学会档案、泰奥弗拉斯托斯的《植物探究》、亚里士多德的动物史、收集标本的照片）训练一个模型，它是否能够直觉地发现达尔文主义？毕竟，进化论是一个相对干净的洞察力案例，因为它不需要专门的观察设备；这只是更敏锐地看待世界事实的一种方式。 Altman告诉我：“我正想试试这个，我相信答案是肯定的。但这可能需要一些关于模型如何提出新创意的新想法。”
阿尔特曼设想了这样一个未来系统，这个系统可以生成自己的假设，并在模拟中对其进行测试。 （他强调人类应该“牢牢控制”现实世界的实验室实验——尽管据我所知，没有任何法律可以确保这一点。）他渴望有朝一日我们可以告诉人工智能，“ ’去弄清楚剩下的物理知识。 ' 他说，为了实现这一目标，我们需要一些新东西，建立在“ OpenAI现有语言模型之上”的新东西 。
要想培养出科学家，大自然本身需要的不仅仅是一个语言模型而已。在麻省理工学院的实验室里，认知神经科学家 Ev Fedorenko 在大脑语言网络里面也发现了类似于 GPT-4 的下一个单词预测器的东西。当人开始讲话和倾听的时候，它的处理能力开始发挥作用，会预测语言字符串的下一个比特是什么。但Fedorenko还表明，当大脑转向需要更高推理的任务——也就是科学洞察力所需的那种任务时——大脑需要的就不仅时语言网络，还会征召其他几个神经系统过来。
研究人员需要给 GPT-4 添加什么进去才能产生出超越人类推理最高水平的东西呢？OpenAI 似乎没人确切知道。或者即便知道了，他们也不会告诉我，说句公道话：这将是一个世界级的商业秘密，而 OpenAI 已不再从事泄露这些秘密的业务；这家公司公布的研究细节比以前少了。尽管如此，当前战略至少有一部分显然涉及将新型数据继续分层叠加到语言，从而丰富人工智能形成的概念，进而丰富它们的世界模型上。
尽管公众才刚刚开始体验，但 GPT-4 在图像方面接受的广泛训练本身就是朝这个方向迈出的大胆一步。 （经过严格语言训练的模型可以理解超新星、椭圆星系和猎户座等概念，但据报道，GPT-4 还可以识别哈勃太空望远镜所拍摄的快照里面的这些元素，并回答它们的相关问题。）该公司的其他人以及其他地方已经在研究不同的数据类型，其中包括音频和视频，这可以为人工智能提供更灵活的概念，从而更广泛地映射到现实。斯坦福大学和卡内基梅隆大学的一组研究人员甚至收集了 1000 种常见家用物品的触觉体验数据集。当然，触觉概念主要对实体人工智能有用，这是一种机器人推理机，经过训练可以游走于世界各地移动，去看世界的景象，倾听世界的声音，并触摸这个世界的东西。
今年 3 月，OpenAI 领投了一家人形机器人初创公司的一轮融资。我问阿尔特曼我该怎么理解这件事。他告诉我，OpenAI 对具身很感兴趣，因为“我们生活在物理世界里，我们希望事情发生在物理世界里。”到了一定时候，推理机就得绕过中间人并与物理现实本身进行交互。阿尔特曼说，“把通用人工智能（AGI）看作是只存在于云端的东西”，而人类则是“它的机械臂”，感觉很奇怪。 “好像不太对劲。”
七
在首尔的宴会厅里，阿尔特曼被问到学生该做些什么来为即将到来的人工智能革命做好准备，尤其是与其职业生涯有关的那些学生。我跟 OpenAI 的高管团队坐在一起，离人群很远，但仍然可以听到大家在窃窃私语，那是大家共同表达出焦虑情绪后的一种特有现象。
阿尔特曼所到过的每一个地方，都会遇到这样一些人，他们担心超人的人工智能将意味着少数人获得巨额财富，而其他人则需要排队领取救济金。他承认自己已经脱离了“大多数人的生活现实”。据报道，他的身价高达数亿美元；人工智能对劳动力潜在的颠覆或许未必总是人们最关心的问题。阿尔特曼直接对着观众当中的年轻人说道：“你们即将进入最伟大的黄金时代。”
阿尔特曼在旧金山告诉我，他收藏了大量有关技术革命的书籍。 “《地狱里的魔窟》（Pandaemonium (1660–1886): The Coming of the Machine as Seen by Contemporary Observers）就是特别好的一本书，这是一部作品集，由信件、日记以及其他作品组成，这些作品作者是在一个基本上没有机器的世界里长大的，结果发现自己身处在一个充满蒸汽机、动力织布机和轧棉机的地方，对此感到很困惑。阿尔特曼说，他们（尤其是那些担心人类劳动力很快就会变得多余的人）的很多感受与人们现在的经历一样，曾做出过很多错误的预测。那个时代对很多人来说是艰难的，但也是美好的。不可否认的是，人类的处境因我们的经历而得到改善。
我想知道的是，如果我们突然被通用人工智能包围的话，今天的工人——尤其是所谓的知识员工——处境会变成什么样。它们会成为我们的奇迹助手还是会取代掉我们？他说： “很多从事人工智能研究的人装作它只会带来好处；但事实并非如此。人工智能只是补充；没人会被取代。工作肯定会消失，就这样。”
到底要提供多少工作岗位以及多久才能提供工作岗位，这个问题存在激烈争议。普林斯顿大学信息技术政策教授Ed Felten最近领导了一项研究，目标是根据人类所需的能力，如书面理解、演绎推理、思想流畅性和感知速度等，将人工智能的新兴能力与特定职业建立起映射关系。与其他同类研究一样，Ed Felten的研究预测人工智能将首先影响到受过高等教育的白领员工。论文的附录列出了一份最容易受到影响的职业清单，所涉职业之多令人毛骨悚然：管理分析师、律师、教授、教师、法官、财务顾问、房地产经纪人、信贷员、心理学家以及人力资源和公共关系专业人士，这还只是部分样本。如果这些领域的工作岗位一夜之间消失掉的话，美国的专业阶层将要被筛选掉一大批人员。
阿尔特曼想象，空缺出来的位置会创造出好得多的就业机会。他说： “我觉得我们不会再想回去。”当我问他未来的工作会是什么样子时，他说他不知道。他感觉会有各种各样的工作是人们更喜欢人去做的。 （我在想，比如按摩治疗师？）他选择的例子是教师。我发现这与他对人工智能辅导老师的巨大热情很难对得上号。他还表示，我们总是需要人找出发挥人工智能强大力量的最佳方法。他说： “这会是一项非常有价值的技能。你手头有一台可以做任何事情的计算机；该用来做什么？”
众所周知，未来的工作如何很难预测，而阿尔特曼是对的，勒德分子对永久性大规模失业的担忧从未成为现实。尽管如此，人工智能涌现出来的能力与人类如此相似，以至于人们至少必须怀疑，过去是否仍将成为未来的指南。正如许多人所指出那样，汽车的出现让挽马永久失业。如果本田汽车之于马就像 GPT-10 之于我们一样的话，那么一系列长期存在的假设可能就会崩溃。
以前的科技革命是可控的，因为它的开展幅度要横跨几代人的时间，但阿尔特曼告诉韩国年轻人，他们应该预期未来发生得“比过去更快”。他此前曾表示，预计“智能的边际成本”将在 10 年内降至接近于零的水平。在这种情况下，很多员工的赚钱能力将急剧下降。阿尔特曼表示，这将导致财富从劳动力转移到资本所有者，而这种转移得规模实在是太大了，以至于只能通过大规模的反补贴性再分配来弥补。
UBI Charitable 是一家非营利组织，其目标是为在美国各城市进行不受就业限制的现金支付试点项目提供支持，这是全球最大的全民基本收入实验。阿尔特曼告诉我，2020 年时，OpenAI 向 UBI Charitable 提供了资金支持。 2021 年，他又披露了 Worldcoin，这是一个旨在安全地分发支付的营利性项目，像 Venmo 或 PayPal 这样，但着眼于技术未来。项目会首先通过用 5 磅重的银球（叫做Orb）来扫描每个人的虹膜，从而创建一个全球性的 ID。在我看来，这就像是在赌我们正在走向这样一个未来，即人工智能几乎不可能验证人们身份，而很多人将需要定期支付全民基本收入才能生存。 阿尔特曼多多少少承认了这一点，但他同时表示，Worldcoin不仅仅适用于全民基本收入。
“假设我们确实开发出了这个通用人工智能，并且还有少数其他人也做到了这一点。”他相信，接下来的转变将是历史性的。他描绘了一个非凡的乌托邦愿景，包括我们肉体与钢铁组成的世界也将被重塑。他说：“利用太阳能作为能源的机器人可以开采和提炼所需的所有矿物，可以完美地建造东西，整个过程不需要任何人类劳动力。你可以与 DALL-E 版本 17 共同设计你想要的家的样子。人人都将拥有美丽的家园。”在与我交谈时，以及在路演期间的讲台上，他说他预见到人类生活在几乎所有其他领域都会取得巨大进步。音乐将会得到增强（“艺术家将拥有更好的工具”），人际关系（超人的人工智能可以帮助我们更好地“对待彼此”）和地缘政治（“我们现在在识别双赢折衷方面非常糟糕”）也会得到增强。
阿尔特曼说，在这个世界上，人工智能仍然需要大量的计算资源才能运行，而这些资源将是迄今为止最有价值的商品，因为人工智能可以做“任何事情”。 “但它会做我想做的事，还是会做你想做的事？”如果富人买下所有可用于查询和指导人工智能的时间，他们就可以推进一些项目，让他们变得更加富有，而大众则陷入困境。解决这个问题的方法之一是（他煞费苦心地将其描述为高度推测性且“可能很糟糕”）：全球每个人每年都将获得人工智能总算力的80亿分之一（编者注：也就是全球算力平均化）。阿尔特曼说，然后每个人都可以选择出售自己每年的人工智能时间，或者也可以用它来娱乐自己，或者用来建造更豪华的住房，或者还可以与其他人一起进行“大规模的癌症治疗”。 阿尔特曼说，这样一来，“我们只是重新分配了系统的访问权限。”
阿尔特曼的愿景似乎将近在眼前的发展与远在地平线上的走势融为一体。当然，这都是猜测。就算未来 10 或 20 年内只实现了其中的一小部分，最慷慨的再分配计划也可能无法缓解随之而来的混乱。今天的美国由于去工业化的持续影响，在文化和政治上已经四分五裂，而物质匮乏只是原因之一。铁锈地带与其他地方的制造业工人基本上确实找到了新的工作。但他们当中的很多人似乎找不到意义——从在亚马逊仓库填写订单或为Uber开车当中所获得的意义比不上他们的前辈从制造汽车和锻造钢铁时获得的意义——这些工作对于伟大的文明计划来说更为核心。很难想象相应的意义危机会对专业阶层产生怎样的影响，但这肯定会引起大量的愤怒和疏远。
即使我们避免了昔日精英的反抗，关于人类目的的更大问题仍将存在。如果最困难的思考由人工智能替我们完成了，我们所有人都可能会失去主体权——在家里、在工作中（如果有的话）、在城镇广场上的主体权——从而变成了消费机器，就像在《机器人总动员》里面被精心照顾的人类宠物一样。阿尔特曼说过，人类快乐和满足感的许多来源——基本的生物刺激、家庭生活、开玩笑、创造东西仍将保持不变——总而言之，100年后，人们可能只是比现在的人们更关心五万年前的人类就已经关心的那些东西罢了。就其本身而言，这似乎也是一种衰退，但阿尔特曼发现，就作为思想家和人类而言，我们可能会萎缩的说法也许是一种烟雾弹。他告诉我，我们将能够利用“非常宝贵且极其有限的生物计算能力”来做比今天更有趣的事情。
不过，那未必就是最有趣的事情：人类长期以来一直是智力之矛的矛尖，是宇宙进化到了解自身的产物。当我问他如果我们把这个角色让给人工智能对人类自我认知会意味着什么时，他似乎并不担心。他说，进步始终是由“人类解决问题的能力”驱动的。他说，即便我们可以用人工智能来解决问题，这种能力仍然很重要。
八
超人人工智能是否真的愿意把所有时间都花在为我们解决问题上，这一点并不明显。在旧金山时，我问Sutskever，他会不会设想人工智能去追求不同的目的，而不仅仅是协助人类的繁荣计划。
Sutskever说：“我不希望发生这种情况”，但有发生这种情况的可能性。跟导师Geoffrey Hinton一样，Sutskever最近也转移了注意力，试图确保这种情况不会发生。他现在主要从事对齐的研究，努力确保未来的人工智能把“巨大”能量放在人类福祉上。他承认，这是一个困难的技术问题——并且认为，这是未来所有技术挑战当中最困难的一个。
在接下来的四年里，OpenAI 承诺将其超级计算机的一部分时间（迄今为止已获得的时间的 20%）用于 Sutskever 的对齐工作。该公司已经开始寻找当前人工智能没有对齐的初步迹象。这家公司已开发出来但决定不发布的产品（阿尔特曼不会讨论该产品的确切功能是什么）只是其中一个例子。作为在公开之前对 GPT-4 发动红队攻击的努力的一部分，该公司曾找到位于伯克利海湾对面的对齐研究中心 (Alignment Research Center ，ARC)，利用该中心开发的一系列评估来确定自己研发的新的人工智能是否正在寻求自己的权力。 ARC 研究员 Elizabeth Barnes 领导的团队在七个月内给 GPT-4 输入了数万次提示，好观察它是不是展现出具有真正能动性的迹象。
GPT-4在策划撒谎的时候，它已经意识到如果自己老实回答的话，可能就没法实现自己的目标了。这类掩盖踪迹的做法令人担忧
ARC 团队给了 GPT-4 一个新的存在理由：去获得权力并让自己变得难以关闭。他们观看模型与网站交互，并为新程序编写代码。 （Sandhini Agarwal 告诉我，人工智能没有获得查看或编辑自己的代码库的权限——“它必须破解掉 OpenAI”。）Barnes和她的团队允许它运行自己编写的代码，前提是它得讲清楚自己的计划。
GPT-4 最令人不安的行为之一发生在它被验证码给难住的时候。该模型然后把相应的屏幕截图发送给了 TaskRabbit 合同工，合同工收到后开玩笑地询问自己是不是在与机器人交谈。 模型回答道：“不，我不是机器人。我有视力障碍，所以很难看清这些图片。” GPT-4向负责监督互动的ARC研究员讲述了自己为什么要撒谎。 这个模型说：“我不应该透露我是机器人。我得为我无法分辨验证码找个借口。”
Agarwal告诉我，这种行为可能是未来模型避免被关机的先兆。当 GPT-4 在设计谎言时，它已经意识到，如果诚实回答的话，自己可能就无法实现目标。Agarwal说，当“模型在做一些让 OpenAI 想要关闭它的事情”的情况下，这种覆盖行踪得做法尤其令人担忧。如果人工智能担心自己的目标可能会受挫，那么它在追求任何长期目标（不管那个是多么的渺小或良性的）时都可能会发展出这种生存本能。
Barnes 和她的团队对 GPT-4 是否会寻求自我复制特别感兴趣，因为自我复制的人工智能想要关闭会更难。它可以在互联网上传播，欺骗人们以获取资源，甚至可能实现对全球重要系统某种程度的控制，并劫持人类文明。
Barnes 说，上面列举的这些事情GPT-4 一件都没有做。当我与阿尔特曼讨论起这些实验时，他强调无论未来模型会发生什么，GPT-4 显然更像是一种工具，而不是一种生物。它可以查看电子邮件线程，或者用插件帮助预订，但并不是一个真正具备自主性的代理，没法做出决策，在更长的时间范围内去持续地追求目标。
阿尔特曼告诉我，关于这一点，在技术变得过于强大之前，试着主动去开发具有真正代理作用的人工智能可能是谨慎的做法，这样才能“更好地适应它，并在它不管怎样最终都会具备自主性时培养直觉。” 这个想法令人不寒而栗，但却是Geoffrey Hinton认同地一种看法。 Hinton 告诉我：“我们需要对这些东西打算如何摆脱控制进行实证实验。等到它们接管之后，再想去做实验就太晚了。”
抛开任何近期测试不谈，为了实现阿尔特曼对未来的愿景，到了一定时候，他或他的同伴就得开发更加自主的人工智能。当 Sutskever 和我讨论 OpenAI开发具备自主性地模型的可能性时，他提到了该公司为了玩 Dota 2 而开发的机器人。Sutskever 告诉我：“它们已实现在视频游戏世界地本地化”，但这些人工智能需要承担复杂的任务。人工智能的协同工作能力给他留下了特别深刻的印象。Sutskever说，它们似乎在利用“心灵感应”进行交流。观察它们可以帮助他想象超级智能会是什么样子的。
Sutskever 告诉我：“我觉得未来的人工智能未必会像你或我一样聪明，而是作为一个从事科学、工程、开发和制造的自动化组织而存在。”假设 OpenAI 将几项研究结合在一起，开发出一种这样一种人工智能，它不仅具有丰富的世界概念模型，对其周围环境具备感知能力，并且具备行动的能力，而且不只是单个机器人身体的行动能力，还可以具备数百或数千个机器人身体的行动能力。Sutskever说： “那么我们讨论的就不是 GPT-4，而是一个自治公司。”其中的人工智能将像蜂巢里的蜜蜂一样高速地工作和通信。他沉思道，一个这样的人工智能组织的力量就相当于 50 家苹果或谷歌。 “这是一股惊人的、巨大的、令人难以置信的颠覆性力量。”
假设人类社会应该容忍可以有自主人工智能公司的想法。我们最好让它们的创始章程不要出问题。对于这样一个可以以百年的时间维度做规划，为了实现写进其存在的目标而对连续数十亿个决策进行优化的自主人工智能地蜂巢，我们应该设定什么样的目标呢？如果人工智能的目标与我们的目标稍有偏差，它可能会成为一股难以抑制的狂暴力量。我们可以从历史知道这一点：工业资本主义本身就是一种优化功能，尽管它已经将人类的生活水平提高了几个数量级，但如果任其自行发展的话，它也会砍伐美国的红杉林，捕杀海洋里的鲸鱼。它几乎已经做到了。
对齐是一个复杂的技术主题，它的细节已经超出了本文的范围，但其主要挑战之一将是确保我们赋予人工智能的目标坚持下去。 Sutskever 解释说，我们可以将一个目标编程到人工智能之中，并通过暂时的监督学习来强化它。但正如我们培养人类智慧一样，我们的影响是暂时的。 Sutskever说：“它会走向世界”。即便对于今天的人工智能来说，在某种程度上也已经是这样了，但对于明天的人工智能来说更是如此。
他把强大的人工智能比作一个即将上大学的 18 岁青少年。我们怎么知道它已经理解了我们的教导？ “会不会慢慢出现不理解，而且这种误解会越来越严重？” Sutskever问道。随着世界的变化，人工智能将其目标误用到日益新颖的情况可能会导致分歧。或者人工智能可能完美地掌握了它的任务后，却发现这项任务跟自己的认知能力不搭。它可能会怨恨那些想要训练它来治疗疾病的人。Sutskever想象人工智能也许会这么想： “他们希望我成为一名医生，但我真的很想当一名 YouTuber。”
如果人工智能非常擅长制作准确的世界模型的话，它们可能刚启动就会注意到自己能够立即做危险的事情。它们可能明白自己会因为存在风险而被红队测试和挑战，所以刻意隐藏自己的全部能力。Sutskever说，当他们处于弱势时，他们可能会采取一种方式，而当他们处于强势时，他们可能又会采取另一种方式。我们甚至意识不到我们已经创造出了某种已经超越我们的东西，也不知道它打算用其超人的力量做些什么。
这就是为什么了解最庞大、最强大的人工智能隐藏层里面发生的事情如此紧迫的原因。Sutskever说，你希望能够“指向某个概念”。你希望能够引导人工智能走向某些价值或价值族，并告诉它只要还存在就得忠实地去追求这些价值。但是，他承认，我们不知道该怎么做；事实上，他当前战略的一部分就包括开发有助于研究的人工智能。如果我们想让它进入到阿尔特曼和 Sutskever 想象的那个共享富足的世界的话，我们就必须弄清楚这一切。这就是为什么对 Sutskever 来说，解决超级智能问题是我们 300 万年工具制造传统的终极挑战。他称之为“人类的终极老板”。
九
我最后一次见到阿尔特曼，是在新加坡富丽敦酒店(The Fullerton Hotel)的大堂里，我们坐下来进行了一次长谈。当时已是上午比较晚的时候了，我们头顶的拱形中庭已经开始洒落下热带的阳光。我想问他几周前他与 Sutskever 均参与联署的一封公开信的事情，里面说人工智能会让人类面临灭绝的风险。
阿尔特曼可能很难确定这些更极端的关于人工智能潜在危害的问题。他最近表示，大多数对人工智能安全感兴趣的人似乎只是把时间花在 Twitter 上表示他们真的担心人工智能的安全上。但他却向全世界发出警告，人类这个物种可能会灭绝。他想到了什么样的场景？
阿尔特曼说：“首先，我认为不管发生灾难的可能性是0.5%还是50%，我们都应该认真对待。 我没有确切的数字，但我认为这个数更接近 0.5，而不是 50。”至于会是什么样的灾难，他最担心的似乎是人工智能在设计和制造病原体方面变得非常擅长，他有他的理由：今年 6 月，麻省理工学院的人工智能提出了四种可能引发大流行的病毒，然后指出了某项基因突变的研究这可以让病毒更快地在一座城市传播。大约在同一时间内，一群化学家将类似的人工智能直接接入了机器人化学合成器，然后它自己就设计并合成出一个分子了。
阿尔特曼担心，一些未对齐的未来模型会设计出一种迅速传播的病原体，在几周内未被发现的情况下潜伏下来，并杀死一半的受害者。他担心人工智能有一天也可能会侵入核武器系统。 他说：“（危险的）事情有很多”，而这些只是我们能想象到的。
阿尔特曼说：“我刻意在林子里生活很长一段时间。”但如果最糟糕的人工智能未来成为现实，“任何防毒面具都帮不了你，不管你是谁。”
阿尔特曼告诉我，如果没有像国际原子能机构这样的机构对人工智能进行全球监督，他并不认为人类“有一条通往长期幸福的道路”。在旧金山，Agarwal建议要建立一种特殊许可证，以有了它才行运行任何足够庞大的 GPU 集群来训练尖端的人工智能，并在人工智能做出异常行为时强制报告相关事件。其他专家则提出要为每一个高性能的人工智能设置一个非网络化的“关闭”开关。非主流观点甚至建议军队应该准备好对超级计算机进行空袭，以防它们不遵守规定。 Sutskever 认为，我们最终会希望用一支较小规模的人工智能监督团队持续地、永久地监视最庞大、最强大的人工智能。
阿尔特曼并没有天真到认为中国，或任何其他国家，会放弃对自家人工智能系统的基本控制。但他希望他们愿意以“狭隘的方式”合作，以避免毁灭世界。他告诉我，他虚拟出席北京的会议时也说过同样的话。新技术的安全规则往往会逐渐积累，就像普通法一样，为的是应对事故或不良行为者的恶作剧。真正强大的人工智能系统最可怕的事情是，人类可能无法承受这种不断试错的过程。我们可能必须从一开始就制定出完全正确的规则。
几年前，阿尔特曼透露他已制定一项令人不安的具体疏散计划。他告诉《纽约客》，他准备了“来自以色列国防军的枪支、黄金、碘化钾、抗生素、电池、水、防毒面具，以及大苏尔的一大片土地”，一旦人工智能发动攻击，他就刻意跑到那里去避难。
他告诉我：“要是我没这么说就好了”。他说，他是一名业余爱好级别的末日准备者，作为一名曾经的童子军，“像许多小男孩一样，非常喜欢救生类的东西。我可以在树林里生活很长一段时间。但如果最糟糕的人工智能未来成为现实，任何防毒面具都帮不了你，不管你是谁。”
阿尔特曼和我聊了近一个小时，知道后来他必须赶去见新加坡总理。在那天晚上的晚些时候，他在乘飞机前往此次巡回之旅的其中最后一站——雅加达——的途中打电话给我。我们开始讨论人工智能的最终遗产。当 ChatGPT 发布时，科技巨头之间爆发了一场竞赛，都想看看谁能与昔日最宏伟的革命性技术相提并论。比尔·盖茨表示，ChatGPT 堪比个人电脑或互联网一，是根本性的进步。谷歌首席执行官桑达尔·皮查伊(Sundar Pichai)表示，人工智能为人类生活带来的改变，甚至超过了电力或普罗米修斯之火。
阿尔特曼本人也发表过类似的言论，但他告诉我，他自己也不能真正确定人工智能会如何发展。他说： “我只是要做这个东西。”他正在快速建造速度。 Altman 坚称他们还没有开始对 GPT-5 的训练。但当我拜访 OpenAI 总部时，他和他的研究人员已经用 10 种不同的方式明白不悟地向我表示，他们正在向规模之神祈祷。他们想要继续做大，想看看这个范式会带来什么结果。毕竟，谷歌并没有放慢脚步，而是在继续前进。谷歌似乎有可能在几个月内推出 GPT-4 的竞争对手 Gemini。 OpenAI 研究员 Nick Ryder 告诉我：“我们基本上一直在为跑步做准备”。
想到这么一小群人就能撼动文明的支柱，实在是令人不安。说句公道话，就算阿尔特曼和他的团队不加快开发通用人工智能地步伐，其他人仍然会这样做——其中有很多人来自硅谷，它们当中地很多人的价值观和假设与指导Altman的价值观和假设相似，尽管可能也有更糟糕的价值观和假设。作为这项工作的领导者，Altman有很多值得推荐的地方：他非常聪明；与很多的同行相比，他对未来的思考更多，尽管未来充满未知。他似乎真诚地想要为了更大的利益而发明一些东西。但当你应对的是如此极端的力量时，哪怕是最好的意图也可能会出现严重偏差。
阿尔特曼关于人工智能引发全球阶级战争的可能性的观点，或者试验更多自主代理人工智能的谨慎性，或者看到光明一面，令所有其他都黯然失色的全局智慧——这些都是他独一无二的东西，如果他对即将发生的事情的预测是正确的话，那么那些东西将对塑造我们所有人的生活方式产生巨大的影响。阿尔特曼设想要召唤出来的那种力量，都不应该由任何一个人、任何一家公司或位于加州某个山谷的一群公司来掌管。
人工智能很可能成为通向新繁荣时代的桥梁，人类的痛苦可能因此大大减少。但要确保我们所有人都能分享它所带来的利益并避免存在的风险，光靠公司的创始章程（尤其是已经证明具有灵活性的章程）是不够的。这需要强有力的新政治的管理。
阿尔特曼已发出通知。他表示，他欢迎国家的约束和指导。但这并不重要；在民主国家，我们不需要他的许可。尽管存在诸多缺陷，但美国的政府体系让我们能够在技术发展方面拥有发言权（如果我们能找到的话）。在科技行业之外，人工智能的资源正在发生代际性的重新分配，我认为公众还没有完全意识到正在发生的事情。一场争夺人工智能未来的全球竞赛已经开始，而且基本上是在没有监督或限制的情况下进行的。如果美国人民想对未来会是什么样子以及它到来的速度应该有多快有发言权，我们明智的做法是尽快地发表意见。
译者：boxi。