Ilya Sutskever谈ChatGPT的前世今生和AGI

原文链接：

https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

作者：Will Douglas Heaven，麻省理工学院技术评论（MIT Technology Review）的人工智能高级编辑

发表日期：2023年10月26日

伊利亚·苏茨克弗，低头沉思。他双臂展开，手指在桌面上张开，就像音乐会钢琴家准备弹奏首曲。我们静默坐着。

我来见苏茨克弗，OpenAI的联合创始人和首席科学家。我们在旧金山Mission区一栋不起眼的办公楼里。我想听听这位对世界影响深远技术有重要贡献的人接下来有什么打算。我也想知道他个人的下一步，特别是为什么他不再将重心放在开发公司旗舰生成模型上。

苏茨克弗告诉我，他现在的优先任务是弄清楚如何阻止一种人工超智能（他认为这是未来技术，有着先见之明）的失控。他还谈了很多其他事情。他认为ChatGPT可能是有意识的（如果你仔细看）。他认为世界需要认识到他的公司和其他公司正在竞相开发的技术的真正力量。他还认为未来有些人会选择与机器合并。

苏茨克弗说的很多东西听起来疯狂。但与一两年前相比，并没有那么疯狂。正如他自己所说，ChatGPT已经改写了许多人对未来的期望，把“永远不会发生”的变成了“比你想象的来得更快”。

“讨论这一切的走向很重要，”他说。他预测人工通用智能（他指的是像人一样聪明的机器）的发展，好像这是铁定的事情：“我们真的会有AGI。也许是OpenAI建造它，也许是其他公司。”

自从去年11月ChatGPT意外成为热门产品以来，围绕OpenAI的热议令人惊叹，即使在一个以炒作著称的行业里也是如此。这家价值800亿美元的创业公司吸引了无数关注。世界领导人寻求（并得到）私下会面。它那些笨拙的产品名称成为了日常对话的话题。

OpenAI的CEO萨姆·奥特曼（Sam Altman）今年夏天花了很多时间进行数周的外展巡回，与政客们握手并在世界各地的满座听众面前发言。但苏茨克弗并不太爱抛头露面，他很少接受采访。

他讲话谨慎而有条理。他会在思考自己想说什么和怎么说时停下来，像是在解谜题。他似乎不太愿意谈论自己。“我的生活很简单，”他说，“我去工作，然后回家。我不怎么做其他事。有很多社交活动可以参加，很多活动可以去，但我不去。”

但当我们谈论人工智能，以及他所看到的时代性风险和回报时，他的视野开阔了：“这将是重大的，翻天覆地的。将会有一个前后。”

如果没有OpenAI，苏茨克弗仍将在AI历史上有一席之地。他是以色列-加拿大人，在苏联俄罗斯出生，五岁时移居耶路撒冷（他依然能说俄语和希伯来语以及英语）。后来他移居加拿大，在多伦多大学与AI先锋杰弗里·辛顿（Geoffrey Hinton）学习，辛顿今年早些时候公开表达了他对自己帮助发明的技术的担忧。（苏茨克弗不想评论辛顿的声明，但他对于失控的超级智能的新关注表明他们在同一频道上。）

辛顿后来与亚恩·勒坎（Yann LeCun）和约书亚·本吉奥（Yoshua Bengio）一起因神经网络的工作获得图灵奖。但在2000年初苏茨克弗加入时，大多数AI研究人员认为神经网络是一个死胡同。辛顿是个例外。苏茨克弗说：“他已经在训练可以一次生成短文本字符串的小型模型。那就是生成AI的开始。真的很酷——只是还不太好。”

苏茨克弗对大脑如何学习以及这一过程如何在机器中重现或至少模仿感到着迷。像辛顿一样，他看到了神经网络的潜力，以及辛顿用来训练它们的试错技术，称为深度学习。“它不断变得越来越好，”苏茨克弗说。

2012年，苏茨克弗、辛顿和另一位辛顿的研究生亚历克斯·克里兹霍夫斯基（Alex Krizhevsky）构建了一个名为AlexNet的神经网络，它被训练得比当时任何其他软件

都更好地识别照片中的物体。这是深度学习的大爆炸时刻。

在经历了多年的起伏后，他们证明了神经网络在模式识别方面确实非常有效。你只需要比大多数研究人员之前看到的更多的数据（在这种情况下，是普林斯顿大学研究员李飞飞自2006年以来一直在构建的百万图像ImageNet数据集）和大量的计算能力。

计算能力的飞跃来自于一种名为图形处理单元（GPU）的新型芯片，由Nvidia制造。GPU设计用于迅速处理视频游戏画面，但GPU擅长的计算——处理大量数字网格——恰好与训练神经网络所需的计算非常相似。

Nvidia现在是一家万亿美元公司。当时，它急于为其新型硬件寻找应用。“当你发明一项新技术时，你必须对疯狂的想法持开放态度，”Nvidia的CEO黄仁勋（Jensen Huang）说。“我的心态一直是寻找古怪的东西，而神经网络将改变计算机科学的想法——那是一个非常古怪的想法。”

黄仁勋说，当多伦多团队在研究AlexNet时，Nvidia给他们寄去了几个GPU尝试。但他们想要最新版本的芯片，叫做GTX 580，当时在商店里销售一空。据黄仁勋称，苏茨克弗从多伦多开车穿过边境到纽约买了一些。“人们在店外排长队，”黄说。“我不知道他是怎么做到的——我很确定每人只能买一个；我们对玩家的GPU有严格的限制政策——但他显然装满了一车。那车满载的GTX 580改变了世界。”

这是一个很棒的故事——只是可能不是真的。苏茨克弗坚称他是在网上购买的第一个GPU。但在这个热闹的行业中，这样的神话制造很常见。苏茨克弗本人更谦虚：“我想，如果我能取得一点真正的进展，我会认为那是成功的，”他说。“因为那时计算机还很弱小，真实世界的影响感觉很遥远。”

在AlexNet成功之后，谷歌敲响了门。它收购了辛顿的衍生公司DNNresearch，并聘请了苏茨克弗。在谷歌，苏茨克弗展示了深度学习的模式识别能力可以应用于数据序列，如单词和句子，以及图像。“伊利亚一直对语言很感兴趣，”苏茨克弗的前同事、现为谷歌首席科学家的杰夫·迪恩（Jeff Dean）说：“这些年我们进行了很多很棒的讨论。伊利亚对事物可能走向有很强的直觉。”

但苏茨克弗在谷歌并没有待很久。2014年，他被招募成为OpenAI的联合创始人。在1亿美元（来自Altman、埃隆·马斯克、彼得·蒂尔、微软、Y Combinator等）和硅谷自信的支持下，这家新公司一开始就致力于开发AGI，

当时很少有人认真对待这一前景。

有了苏茨克弗在船上，这些资金背后的智慧，自信是可以理解的。直到那时，他一直在神经网络上取得越来越多的成就。他的声誉在前，使他成为Y Combinator投资部门总监道尔顿·考德威尔（Dalton Caldwell）所说的重要人物。

道尔顿·考德威尔（Dalton Caldwell）回忆说：“我记得萨姆（Sam Altman）提到伊利亚是世界上最受尊敬的研究人员之一。他认为伊利亚能够吸引很多顶尖的AI人才。他甚至提到，作为世界顶级AI专家之一的约书亚·本吉奥（Yoshua Bengio）认为，找到比伊利亚更合适的人选来担任OpenAI首席科学家是不太可能的。”

然而，OpenAI最初并不顺利。“刚开始OpenAI时，有一段时间我不太确定进展会如何继续，”苏茨克弗说。“但我有一个非常明确的信念，那就是：不要押注深度学习会失败。不知何故，每次遇到障碍，研究人员总能在六个月到一年内找到解决方法。”

苏茨克弗的信念得到了回报。OpenAI的第一个大型语言模型GPT（代表“生成式预训练变换器”）于2016年问世。随后是GPT-2和GPT-3，再到引人注目的文字到图像模型DALL-E。没有人能构建出像它们一样优秀的东西。OpenAI每发布一个新产品，都会提高人们对可能性的预期。

去年11月，OpenAI发布了一个免费使用的聊天机器人，重新包装了一些现有技术。这重新设定了整个行业的议程。

当时，OpenAI根本不知道它发布了什么。苏茨克弗说，公司内部的期望非常低：“我必须承认，虽然有点尴尬——我不知道我是否应该这么说，但事实如此——当我们制作ChatGPT时，我不知道它是否有用。当你问它一个事实性问题时，它给出了错误的答案。我以为它会如此不起眼，以至于人们会说，‘你为什么要做这个？这太无聊了！’”

苏茨克弗说，吸引人的是方便性。ChatGPT引擎下的大型语言模型已经存在了几个月。但将其包装在一个易于使用的界面中，并免费提供，首次让数十亿人意识到OpenAI和其他公司正在构建的东西。

“第一次使用的体验是吸引人的关键，”苏茨克弗说。“你第一次使用它时，我认为几乎是一种精神体验。你会惊叹，‘哦，天哪，这台电脑似乎理解了。’”

OpenAI在不到两个月的时间里吸引了1亿用户，他们中的许多人都被这个惊人的新玩具迷住了。存储公司Box的CEO亚伦·莱维（Aaron Levie）在发布后的一周内总结了这种情绪，他在推特上写道：“ChatGPT是科技领域那些罕见的时刻之一，你可以看到一切将来会有多么不同。”

一旦ChatGPT说出了愚蠢的话，这种惊奇感就会崩溃。但到那时已经不重要了。苏茨克弗说，看到可能性的一瞥就足够了。ChatGPT改变了人们的视野。

“在机器学习领域，AGI不再是一个忌讳的词，”他说。“这是一个重大变化。人们过去的态度是：AI不起作用，每一步都非常困难，你必须为每一点进展而战。当人们对AGI发表宏大的声明时，研究人员会说，‘你在说什么？这不起作用，那不起作用。有这么多问题。’但有了ChatGPT，情况开始变得不同了。”

而这种转变仅在一年前开始？“是因为ChatGPT，”他说。“ChatGPT让机器学习研究人员敢于梦想。”

从一开始，OpenAI的科学家们就像布道者一样，通过博客文章和演讲巡回激发这些梦想。而且它正在起作用：“现在我们有人在谈论AI能走多远——谈论AGI或超级智能。”而且不仅仅是研究人员。“政府也在谈论这个，”苏茨克弗说。“这太疯狂了。”

苏茨克弗坚持认为，关于尚未（可能永远不会）存在的技术的讨论是件好事，因为它让更多的人意识到他已经视为理所当然的未来。

“你可以用AGI做很多惊人的事情，令人难以置信的事情：自动化医疗保健，使其成本降低千倍，效果提高千倍，治愈许多疾病，真正解决全球变暖，”他说。“但也有许多人担心：‘天哪，AI公司能成功管理这项巨大的技术吗？’”

这样呈现的AGI听起来更像是一个能实现愿望的精灵，而非现实世界的前景。几乎没有人会拒绝挽救生命和解决气候变化。但不存在的技术的问题在于，你可以随意谈论它。

当苏茨克弗谈论AGI时，他真正指的是什么？“AGI并不是一个科学术语，”他说。“它是一个有用的阈值，一个参考点。”

“它是这样一个想法——”他开始说，然后停下来。“它是AI变得如此聪明的那一点，如果人类可以做某项任务，那么AI也可以做到。到了那个时候，你可以说你拥有了AGI。”

尽管人们正在谈论它，但AGI仍然是该领域最有争议的观点之一。很少有人认为其发展是理所当然的。许多研究人员认为，在我们看到苏茨克弗所设想的任何类似事物之前，需要重大的概念性突破——有些人认为我们永远不会看到。

然而，这一愿景从一开始就驱动着他。“我一直被这个想法激励和鼓舞，”苏茨克弗说。“那时候还没有叫AGI，但你知道，就像让神经网络做所有事情。我并不总是相信它们能做到。但那是要攀登的山。”

苏茨克弗将神经网络和大脑的运作方式做了一个类比。两者都接收数据，从这些数据中聚合信号，然后基于某些简单的过程（神经网络中的数学计算，大脑中的化学和生物电）来传播或不传播这些信号。这是一个极大的简化，但原则仍然成立。

“如果你相信这一点——如果你让自己相信这一点——那么会有很多有趣的含义，”苏茨克弗说。“主要的含义是，如果你有一个非常大的人工神经网络，它应该能做很多事情。特别是，如果人类大脑能做某件事，那么一个大型人工神经网络也可能做类似的事情。”

“如果你足够认真地对待这一认识，一切都会随之而来，”他说。“我的很大一部分工作可以由此解释。”

在谈论大脑时，我想问一下苏茨克弗在X网站（原名Twitter）上的一个帖子。苏茨克弗的动态读起来像是一卷格言：“如果你把智慧视为所有人类品质之上，那你会过得很糟糕”；“同情心在生活和商业中被低估了”；“完美主义已经摧毁了很多完全好的东西。”

2022年2月，他发文称“今天的大型神经网络可能略有意识”（对此，谷歌DeepMind的首席科学家、帝国理工学院教授，同时也是电影《机械姬》的科学顾问穆雷·沙纳汉回复说：“......就像大片麦田可能略为意味着意大利面一样”）。

当我提起这件事时，苏茨克弗笑了。我问他是在开玩笑吗？他说他不是。“你熟悉波茨曼大脑的概念吗？”他问。

他指的是以19世纪物理学家路德维希·波茨曼命名的量子力学中的一个（带有戏谑性质的）思想实验，其中想象宇宙中的随机热力学波动会导致大脑突然出现和消失。

“我觉得现在这些语言模型有点像波茨曼大脑，”苏茨克弗说。“你开始和它对话，聊了一会儿；然后你结束对话，大脑就像——”他用手做了一个消失的动作。噗——再见，大脑。

我问他是不是在说，当神经网络处于活跃状态——也就是说，在运行时——它就有某种存在？

“我认为可能是这样，”他说。“我不敢确定，但这是一个很难反驳的可能性。但谁知道到底发生了什么，对吧？”

当其他人在思考能够匹敌人类智慧的机器时，苏茨克弗正在为能够超越我们的机器做准备。他称这为人工超级智能：“它们会更深入地看待事物。它们会看到我们看不见的东西。”

我再次难以理解这究竟意味着什么。人类智慧是我们衡量智慧的标准。苏茨克弗所说的比人类更聪明的智慧是什么意思呢？

“我们已经在AlphaGo中看到了一个非常狭窄的超级智能的例子，”他说。2016年，DeepMind的棋类游戏AI在五局比赛中以4-1击败了世界顶尖的围棋选手李世石。“它找到了与人类几千年来共同发展的方式不同的下棋方法，”苏茨克弗说。“它提出了新的想法。”

苏茨克弗指出AlphaGo的第37步。在与李世石的第二局比赛中，AI下了一个令评论员困惑的棋步。他们认为AlphaGo犯了错误。事实上，它下了一个前所未见的获胜棋步。“想象一下在所有事物上都有这种洞察力，”苏茨克弗说。

正是这种思路促使苏茨克弗做出了职业生涯中最大的转变。他与OpenAI的同事扬·莱克（Jan Leike）一起成立了一个团队，专注于他们所称的“超级对齐”。对齐是一个术语，意味着使AI模型做你想要的事情，仅此而已。超级对齐是OpenAI用于超级智能的对齐术语。

其目标是提出一套建立和控制这种未来技术的万无一失的程序。OpenAI表示将把其庞大的计算资源的五分之一分配给这个问题，并在四年内解决它。

“现有的对齐方法对于比人类更聪明的模型不起作用，因为它们本质上假设人类可以可靠地评估AI系统的行为，”莱克说。“随着AI系统变得更加强大，它们将承担更难的任务。”这个想法是——这将使人类更难评估它们。“在与伊利亚一起组建超级对齐团队时，我们设定了解决这些未来对齐挑战的目标，”他说。

“不仅关注大型语言模型的潜在机会，而且关注风险和缺点非常重要，”谷歌首席科学家迪恩说。

公司在七月份以典型的炒作方式宣布了这个项目。但对一些人来说，这又是更多的幻想。OpenAI在Twitter上的帖子招来了大科技公司的重要批评者的嘲讽，包括在Mozilla从事AI问责工作的Abeba Birhane（“一篇博客文章中有这么多听起来宏伟却空洞的话”）、分布式人工智能研究所联合创始人Timnit Gebru（“想象ChatGPT更加‘超级对齐’于OpenAI的技术兄弟们。*颤抖*”）和AI公司Hugging Face的首席伦理科学家Margaret Mitchell（“我的对齐比你的大”）。确实，这些都是常见的异议声音。但这也是一个强烈的提醒，一些人看到OpenAI正在前沿领导，而其他人认为它正从边缘倾斜。

但对苏茨克弗来说，超级对齐是不可避免的下一步。“这是一个未解决的问题，”他说。这也是他认为像他这样的核心机器学习研究人员还不够多的问题。“我是为了自己的利益而做这件事，”他说。“显然，任何人构建的任何超级智能都不应该失控。显然。”

超级对齐的工作才刚刚开始。苏茨克弗说，这将需要研究机构进行广泛的变革。但他心中有一个他想设计的安全措施的典范：一种像父母看待孩子那样看待人类的机器。“在我看来，这是黄金标准，”他说。“人们真的关心孩子，这是一个普遍真实的陈述。”（他有孩子吗？“没有，但我想要，”他说。）

我和苏茨克弗的时间快到了，我以为我们谈完了。但他正兴头上，还有一个想法要分享——一个我没想到的。

“一旦你克服了失控AI的挑战，那么呢？在有更聪明的AI的世界里，人类还有位置吗？”他说。

“一种可能性——按照今天的标准可能很疯狂，但按照未来的标准就不那么疯狂——是许多人会选择成为部分AI。”苏茨克弗说，这可能是人类试图跟上的方式。“起初，只有最大胆、最爱冒险的人会尝试这样做。也许其他人会跟随。或者不会。”

等等，什么？他正准备离开。我问他会不会这么做？他会成为第一批人之一吗？“第一个？我不知道，”他说。“但这是我在想的事情。真正的答案是：也许。”

随着这个宇宙级的微话筒落地，他站起来走出房间。“真的很高兴再次见到你，”他边走边说。