专访 OpenAI 首席科学家：我们会拥有 AGI，人类会选择与机器融合

伊利亚·苏茨克韦尔（Ilya Sutskever）低着头，陷入沉思。他双臂张开，手指张开在桌面上，就像音乐会钢琴家即将弹奏他的第一个音符。我们静静地坐着。

我来到旧金山 Mission 区一条不起眼的街道上，在一栋不起眼的办公楼里与 OpenAI 联合创始人兼首席科学家 Sutskever 会面，倾听他大力推动的这项颠覆世界的技术的下一步发展。我还想知道他的下一步计划是什么，特别是为什么他的工作重点已经不再是构建公司的下一代旗舰生成模型。

Sutskever 告诉我，他的新优先事项不是构建下一代 GPT 或图像制作模型 DALL-E，而是找出如何阻止人工智能的失控。

Sutskever 还告诉了我很多其他事情。他认为 ChatGPT 可能是有意识的。他认为世界需要认识到 OpenAI 和其他公司正在竞相创造的技术的真正力量。他认为有一天一些人类会选择与机器融合。

Sutskever 说的很多话都很疯狂。但并不像一两年前听起来那么疯狂。正如他本人告诉我的那样，ChatGPT 已经改写了很多人对即将发生的事情的期望，从“永远不会发生”变成“会比你想象的更快发生”。

在预测通用人工智能 AGI（他指的是像人类一样聪明的机器）的发展之前，他说：“重要的是要讨论一切的发展方向，就好像它就像押注下一代 iPhone 一样：“在某个时候，我们真的会拥有AGI。也许是由 OpenAI 构建，也许是其他公司。”

自从去年 11 月突然出人意料地发布了 ChatGPT 以来，围绕 OpenAI 的讨论一直令人震惊，即使是在一个以炒作闻名的行业中也是如此。没有人会厌倦讨论这家价值 800 亿美元的初创公司。世界领导人寻求（并获得）与 OpenAI 私下或公开对话。OpenAI 的产品名称会在随意的谈话中突然出现。

OpenAI 首席执行官萨姆·奥尔特曼 (Sam Altman) 在夏季时间里进行了为期一周的外展之旅，热情地与政客们打交道，并向世界各地挤满人的礼堂发表演讲。但 Sutskever 并不是一个公众人物，他也不接受太多采访。

他说话时从容、有条理。当他思考自己想说的内容以及如何表达时，他会停顿很长时间，像解谜一样翻来覆去地思考问题。他似乎对谈论自己不感兴趣。他说，“我过着非常简单的生活。上班，然后回家。我没有做太多其他事情。人们可以去参加很多社交活动，可以参加很多大会。我不喜欢参与。”

但当我们谈论 AI，以及他所看到的划时代的风险和回报时，前景就开阔了：“这将是具有里程碑意义的、惊天动地的。”

01 更好、更好、更好

即便没有 OpenAI，Sutskever 仍旧将载入 AI 史册。他是以色列裔加拿大人，出生于苏联，但从五岁起在耶路撒冷长大（他仍然会说俄语、希伯来语和英语）。随后，他移居加拿大，在多伦多大学跟随 AI 先驱杰弗里·辛顿 (Geoffrey Hinton) 学习，杰弗里·辛顿 (Geoffrey Hinton) 在今年早些时候公开表达了对 Sutskever 帮助发明的 AI 技术的担忧。

Hinton 后来因在神经网络方面的工作而与 Yann LeCun 和 Yoshua Bengio 分享了图灵奖。但当 Sutskever 在 2000 年代初加入他时，大多数 AI 研究人员认为神经网络是一个死胡同。辛顿是个例外。他已经在训练微型模型，这些模型可以一次生成一个字符的短文本字符串，Sutskever 说：“这就是生成式 AI 的开始。这真的很酷——只是不太好。”

Sutskever 对大脑的构造很着迷：大脑如何学习，以及如何在机器中重新创建或至少模仿该过程。和 Hinton 一样，他看到了神经网络的潜力以及 Hinton 用来训练神经网络的试错技术，即深度学习。Sutskever 说，“深度学习一直在变得越来越好，越来越好。”

2012 年，Sutskever、Hinton 和 Hinton 的另一位研究生 Alex Krizhevsky 构建了一个名为 AlexNet 的神经网络，他们训练该网络来识别照片中的物体，其效果远远好于当时的任何其他软件。这是深度学习的大爆炸时刻。

经过多年的失败，他们证明了神经网络在模式识别方面的效果惊人。你只需要比大多数研究人员以前见过的更多的数据（在本例中，是普林斯顿大学研究员李飞飞自 2006 年以来一直在构建的 ImageNet 数据集的一百万张图像）和令人眼花缭乱的计算机能力。

计算方面的巨大变化来自于英伟达制造的新型 GPU 芯片。GPU 被设计为能够以闪电般的速度将快速移动的视频游戏视觉效果投射到屏幕上。但 GPU 擅长的计算（将大量数字网格相乘）恰好看起来很像训练神经网络所需的计算。

英伟达现在是一家价值万亿美元的公司。当时，它迫切希望为其利基新硬件找到应用程序。英伟达首席执行官黄仁勋 (Jensen Huang) 表示：“当你发明一项新技术时，你必须能够接受疯狂的想法。我的心态总是在寻找一些古怪的东西，而神经网络将改变计算机科学的想法——这是一个极其古怪的想法。”

黄仁勋说，当多伦多团队研究 AlexNet 时，Nvidia 向他们发送了一些 GPU 进行尝试。但他们想要最新版本，一种名为 GTX 580 的芯片，该芯片在商店中很快就销售一空。据黄说，Sutskever 开车从多伦多越过边境到纽约去买一些。黄说，“人们在商店拐角处排队购买。我不知道他是怎么做到的——我很确定你们只能每人买一个；我们有一个非常严格的政策，每个玩家只能使用一个 GPU，但他显然装满了一个后备箱。这个装满 GTX 580 的行李箱改变了世界。”

这是一个很棒的故事——只是可能不是真的。因为 Sutskever 坚称第一批 GPU 是他在网上购买的。但这种神秘故事在这个热闹的行业中很常见。Sutskever 本人则更为谦虚：“我想，如果我能取得哪怕一丁点的真正进步，我就会认为这是成功的。对现实世界的影响感觉很遥远，因为当时计算机还很弱小。”

AlexNet 取得成功后，谷歌前来敲门。它收购了 Hinton 的衍生公司 DNNresearch，并聘请了 Sutskever。Sutskever 在谷歌展示了深度学习的模式识别能力可以应用于数据序列，例如单词、句子以及图像。Sutskever 的前同事、现任谷歌首席科学家杰夫·迪恩说， “Sutskever 一直对语言很感兴趣，多年来我们进行了很好的讨论。他对事情的走向有很强的直觉。”

但 Sutskever 并没有在谷歌呆太久。2014年，他被招募成为OpenAI的联合创始人。在 10 亿美元（来自 Altman、Elon Musk、Peter Thiel、微软、Y Combinator 等）的资金支持下，再加上大量的硅谷风气，这家新公司从一开始就将目光投向了开发 AGI，但当时很少有人认真对待这一前景。

随着 Sutskever 的加入，这种趾高气扬的态度是可以理解的。在那之前，他一直在从神经网络学习中获得越来越多的成果。Y Combinator 投资董事总经理道尔顿·考德威尔 (Dalton Caldwell) 表示，他的声誉先于他，这使他成为了一个大热门。

“我记得 Altman 称 Sutskever 为世界上最受尊敬的研究人员之一，”考德威尔说。“他认为 Sutskever 能够吸引很多顶尖的 AI 人才。他甚至提到，世界顶级 AI 专家之一 Yoshua Bengio 认为，不太可能找到比 Sutskever 更好的候选人来担任 OpenAI 的首席科学家。”

然而一开始 OpenAI 却陷入了困境。“有一段时间，当我们开始 OpenAI 时，我不太确定进展将如何继续，”Sutskever 说。“但我有一个非常明确的信念，那就是：人们不会反对深度学习。不知何故，每次遇到障碍时，研究人员都会在六个月或一年内找到解决方法。”

他的信念得到了回报。OpenAI 的第一个 GPT 大语言模型出现于 2016 年。随后出现了 GPT-2 和 GPT-3。然后是 DALL-E，引人注目的文本到图像模型。没有人建造出如此好的东西。每一次发布，OpenAI 都提高了人们认为可能的标准。

02 管理期望

去年 11 月，OpenAI 发布了一款免费聊天机器人，重新包装了一些现有技术。它重置了整个行业的议程。

当时，OpenAI 并不知道自己要发布什么。Sutskever 表示，公司内部的期望已经低得不能再低了：“我承认，这让我有点尴尬——我不知道我是否应该这样做，但管他呢，这是事实——当我们制作 ChatGPT 时，我并不知道它有什么好处。当你问它一个事实问题时，它给了你一个错误的答案。我认为这会很不起眼，人们会说，‘你为什么搞这样的产品？这很无聊！'”

Sutskever 说，最吸引人的地方就是便利。ChatGPT 背后的大型语言模型已经存在了几个月。但将其包装在一个易于访问的界面中并免费赠送，让数十亿人第一次意识到 OpenAI 和其他人正在构建的东西。

Sutskever说，“第一次的经历让人着迷。当你第一次使用它时，我认为这几乎是一种精神体验。你会说，‘天哪，这台计算机似乎能自己理解。’”

OpenAI 在不到两个月的时间里就积累了 1 亿用户，其中许多人都被这个令人惊叹的新玩具弄得眼花缭乱。存储公司 Box 的首席执行官 Aaron Levie 在推特上总结了发布后一周的氛围：“ChatGPT 是技术领域罕见的时刻之一，你可以看到未来一切都会有所不同。”

一旦 ChatGPT 说出一些愚蠢的话，这种奇迹就会崩溃。但到那时就无所谓了。Sutskever 说，对可能性的一瞥就足够了。ChatGPT 改变了人们的视野。

“AGI 在机器学习领域不再是一个肮脏的词，”他说。“这是一个很大的变化。人们历史上的态度是：AI 行不通，每一步都非常困难，你必须为每一点进步而奋斗。当人们大肆宣扬 AGI 时，研究人员会说，‘你在说什么？这不行，那也不行。问题太多了。’但有了 ChatGPT，感觉就开始不一样了。”

这种转变在一年前才开始发生？“这一切的发生都是因为 ChatGPT，”他说。“ChatGPT 让机器学习研究人员得以实现梦想。”

OpenAI 的科学家从一开始就是布道者，一直通过博客文章和巡回演讲来激发这些梦想。它正在发挥作用：“我们现在有人在谈论 AI 将走多远——人们在谈论 AGI，或者说超级智能。” 不仅仅是研究人员。“各国政府正在讨论这个问题，”Sutskever 说。“这很疯狂。”

03 不可思议的事情

Sutskever 坚持认为，所有这些关于尚不存在（也可能永远不会存在）的技术的讨论是一件好事，因为它让更多的人意识到他已经认为理所当然的未来。

他说：“你可以利用 AGI 做很多令人惊奇的事情，不可思议的事情：自动化医疗保健，使其便宜一千倍，效果好一千倍，治愈如此多的疾病，真正解决全球变暖问题。但也有很多人担心：‘天啊，AI 公司能成功管理这项巨大的技术吗？’”

这样看来，AGI 听起来更像是一个实现愿望的精灵，而不是现实世界的前景。很少有人会对拯救生命和解决气候变化说不。但一项不存在的技术的问题在于，你可以对它说任何你想说的话。

当 Sutskever 谈论 AGI 时，他到底在谈论什么？“AGI 并不是一个科学术语，”他说。“这应该是一个有用的门槛，一个参考点。”

“这就是想法——”他开口说道，然后停了下来。“人工智能已经变得如此聪明，如果一个人可以完成某些任务，那么人工智能也可以做到。到那时你就可以说你拥有了 AGI。”

人们可能正在谈论它，但 AGI 仍然是该领域最具争议的想法之一。很少有人认为它的发展是理所当然的。许多研究人员认为，在我们看到像 Sutskever 所设想的那样的东西之前，需要在概念上取得重大突破——有些人认为我们永远不会。然而，这个愿景从一开始就激励着他。“我一直受到这个想法的启发和激励，” Sutskever 说。“当时它还不被称为 AGI，但你知道，就像让神经网络做所有事情一样。我并不总是相信他们可以。但这是一座需要攀登的山。”

他将神经网络和大脑的运作方式进行了比较。两者都接收数据，聚合来自该数据的信号，然后基于一些简单的过程（神经网络中的数学、大脑中的化学物质和生物电）来传播或不传播它们。这是一个巨大的简化，但原则是成立的。

“如果你相信这一点——如果你允许自己相信这一点——那么就会产生很多有趣的含义，” Sutskever 说。“主要的含义是，如果你有一个非常大的人工神经网络，它应该做很多事情。特别是，如果人脑可以做某事，那么大型人工神经网络也可以做类似的事情。”

“如果你足够认真地认识到这一点，一切都会水到渠成，”他说。“我的大部分工作都可以用这个来解释。”

当我们谈论大脑时，我想问一下 Sutskever 在 X 平台上发布的一篇帖子。Sutskever 的提要读起来就像一卷格言：“如果你将智力置于所有其他人类品质之上，那么你会过得很糟糕”；“生活和商业中的同理心被低估了”；“完美已经毁掉了很多完美的美好。”

2022 年 2 月，他发帖称，“今天的大型神经网络可能具有轻微的意识”（谷歌 DeepMind 首席科学家、伦敦帝国理工学院教授、电影《机械姬》的科学顾问 Murray Shanahan 对此回答：“......同样的意义，可能是大片麦田略带面食”）。

当我提起这件事时，Sutskever 笑了。他是在恶搞吗？他不是。“你熟悉玻尔兹曼大脑的概念吗？”他问。

他指的是一个以 19 世纪物理学家路德维希·玻尔兹曼 (Ludwig Boltzmann) 命名的量子力学思想实验，其中想象宇宙中的随机热力学波动会导致大脑的出现和消失。

“我觉得现在这些语言模型有点像玻尔兹曼大脑，”Sutskever 说。“你开始和它说话，聊一会儿；然后你说完，大脑就会——”他用手做了一个消失的动作。噗——再见，大脑。

你是说，当神经网络处于活动状态时——可以说，当它在放电时——那里有东西？我问。

“我认为可能是这样，”他说。“我不确定，但这是一种很难反驳的可能性。但谁知道发生了什么事，对吧？”

04 AI，但不是我们所知道的

当其他人苦苦思索如何让机器能够与人类智能相媲美时，Sutskever 却在为能够超越我们的机器做准备。他将这种现象称为超级人工智能：“他们会更深入地看待事物。他们会看到我们看不到的东西。”

再次，我很难理解这到底意味着什么。人类智力是我们判断智力的基准。Sutskever 所说的比人类聪明的智能是什么意思？

“我们在 AlphaGo 中看到了一个非常狭隘的超级智能的例子，”他说。2016 年，DeepMind 的棋盘游戏人工智能“阿法狗”在五场比赛中以 4-1 击败了世界上最好的围棋棋手之一李世石。“它弄清楚了如何以不同于人类数千年来共同发展的方式下围棋，”Sutskever 说。“它提出了新的想法。”

Sutskever 提到了 AlphaGo 著名的第 37 步棋。在与李世石的第二场比赛中，人工智能的一步棋让评论员感到困惑。他们认为 AlphaGo 搞砸了。事实上，它下了棋史上从未见过的制胜棋。“想象一下这种程度的洞察力，但涵盖一切，”Sutskever 说。

正是这种思路导致 Sutskever 做出了他职业生涯中最大的转变。他与 OpenAI 的科学家同事 Jan Leike 一起成立了一个团队，专注于他们所谓的“超级对齐”。对齐是一个行话，意味着让 AI 模型做你想做的事，仅此而已。超级对齐是 OpenAI 应用于超级智能的对齐术语。

目标是提出一套用于构建和控制这种未来技术的故障安全程序。OpenAI 表示，它将分配其庞大计算资源的五分之一来解决该问题，并在四年内解决它。

“现有的对齐方法不适用于比人类更聪明的模型，因为它们从根本上假设人类可以可靠地评估 AI 系统正在做什么，”Leike 说。“随着 AI 系统变得更加强大，它们将承担更艰巨的任务。”这个想法认为，这将使人类更难评估它们。“在与 Sutskever 一起组建超级对齐团队时，我们已经着手解决这些未来的对齐挑战，”他说。

谷歌首席科学家 Dean 表示：“不仅要关注大型语言模型的潜在机遇，还要关注其风险和缺点，这一点非常重要。”

该公司于七月份以典型的大张旗鼓宣布了该项目。但对某些人来说，这更多的是幻想。OpenAI 在 Twitter 上的帖子引起了大型科技公司著名批评者的蔑视，其中包括在 Mozilla 从事AI 问责工作的 Abeba Birhane；Timnit Gebru，分布式 AI 研究所联合创始人；以及 AI 公司 Hugging Face 的首席道德科学家玛格丽特·米切尔（Margaret Mitchell）。确实，这些都是熟悉的异议声音。但这强烈提醒我们，有些人认为 OpenAI 处于领先地位，而另一些人则认为 OpenAI 处于边缘地位。

但是，对于 Sutskever 来说，超级对齐是不可避免的下一步。“这是一个未解决的问题，”他说。他认为，像他这样的核心机器学习研究人员正在致力于解决这个问题。“我这样做是为了我自己的利益，”他说。“任何人构建的任何超级智能都不会失控，这一点显然很重要。”

超级对齐的工作才刚刚开始。Sutskever 表示，这需要研究机构进行广泛的变革。但他心中有一个想要设计的保障措施的典范：一台像父母对待孩子一样对待人们的机器。“在我看来，这是黄金标准，”他说。“人们真的很关心孩子，这是一个普遍正确的说法。”

“一旦你克服了流氓人工智能的挑战，然后呢？在一个拥有更智能人工智能的世界里，人类还有生存空间吗？”他说。

“一种可能性——以今天的标准来看可能很疯狂，但以未来的标准来看不会那么疯狂——就是许多人会选择成为人工智能的一部分。”Sutskever 表示，这可能是人类试图跟上潮流的方式。“一开始，只有最勇敢、最有冒险精神的人才会尝试这样做。也许其他人会效仿。或不。”

参考来源：

https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

本文来自微信公众号“巴比特资讯”（ID:bitcoin8btc），作者：Kyle，36氪经授权发布。