OpenAI首席科学家出走背后：人工智能安全治理让位于“夺人眼球的产品”？

·在伊尔亚·苏茨克维宣布告别后，原OpenAI超级对齐负责人杨·莱克在内的多名OpenAI核心成员也纷纷离职。从杨·莱克的推文中可以看到，OpenAI高层对人工智能安全方面的优先等级产生了不同看法。

作为当下全球最受瞩目的人工智能公司，OpenAI的每个消息都引发了外界的极大关注，除了AI产品，还包括人事纷争。

5月18日，原OpenAI超级对齐负责人杨·莱克（Jan Leike）在社交网站发布13条推文，公开自己离开OpenAI的真正原因，其中提及对AGI安全治理问题优先级不如推出“闪亮的产品”的不满，以及算力资源的分配问题。

杨·莱克（Jan Leike）的个人社交平台

杨·莱克被认为是追随伊尔亚·苏茨克维（Ilya Sutskever）选择离职。5月14日，在重磅发布ChatGPT-4的超级升级版——GPT-4o后不到36小时，OpenAI联合创始人兼首席科学家伊尔亚·苏茨克维在社交平台上宣布离职，而这并不令人意外，甚至算得上是从去年到今年该公司"宫斗"的一个暂时性完结，看上去以伊尔亚·苏茨克维为代表的理想派输给了以OpenAI CEO山姆•奥特曼（Sam Altman）为首的现实派。

在苏茨克维离职后，包括杨·莱克在内的多名OpenAI成员也纷纷离职。“OpenAI正在失去最优秀、最注重安全的人才。”大家在留言中表达惋惜。

人工智能公司 OpenAI 首席执行官山姆•奥特曼（左）与该公司前联合创始人兼时任首席科学家伊尔亚·苏茨克维于 2023 年 6 月 5 日在特拉维夫大学共同发表演讲。图：法新社

天才

苏茨克维在告别信息中写道，“在Sam、Greg、Mira 和 Jakub 出色的领导下，我相信OpenAI将构建出既安全又有益的AGI。能够一起工作是我的荣幸，我会非常想念大家。”他也在推文中透露，自己对未来“充满期待”，“一个对我个人意义重大的项目，我会在适当的时候分享详细信息。”

关于苏茨克维离开的猜测始于2023年11月发生的OpenAI董事层一场戏剧性变化，先是奥特曼被宣布遭到解雇，但又迅速回归。据传"宫斗"的导火索，正是苏茨克维与奥特曼在AI安全、技术发展速度以及公司商业化问题上存在分歧。苏茨克维的关注点从来不是OpenAI的商业化，而是如何防止超级智能失控。

与奥特曼不同，苏茨克维不认为自己是一个公众人物，也鲜少接受媒体的采访。在麻省理工科技评论（MIT Technology Review）去年10月的一次采访中，记者威尔·道格拉斯（Will Douglas）描述他：“说话时从容、有条理。当他思考自己想说的内容以及如何表达时，他会停顿很长时间，像解谜一样翻来覆去地思考问题。他似乎对谈论自己不感兴趣。”

而在谈论人工智能，以及他所看到的划时代的风险和回报时，这位记者说道：“话题一下子就开阔了起来。”苏茨克维谈道，他的新优先事项不是构建下一个GPT或图像制作器 DALL-E，而是找出如何阻止人工智能的失控。

“苏茨克维低着头，陷入了沉思。他手指张开在桌面上，就像音乐会钢琴家即将弹奏他的第一个音符一样。我们静静地坐着。”道格拉斯在报道中写道，“即便在没有OpenAI的世界中，苏茨克维仍将载入人工智能史册。”

苏茨克维是以色列裔加拿大人，1986年出生于俄罗斯西北部的诺夫哥罗斯，从5岁到16岁，他一直居住在以色列耶路撒冷，会说俄语、希伯来语和英语，随后他移居加拿大，在多伦多大学跟随人工智能先驱杰弗里·辛顿 (Geoffrey Hinton) 学习并获得计算机科学博士学位。在他攻读博士期间，大多数人工智能研究人员认为神经网络是一个死胡同。苏茨克维恰恰相反，他对大脑很着迷。苏茨克维好奇，神经网络如何学习，以及如何在机器中重新创建或至少模仿该过程。在跟随辛顿学习期间，他看到了神经网络的潜力以及用来训练神经网络的试错技术，即深度学习。这是生成式人工智能的开始。

2012年，苏茨克维、辛顿与辛顿另一位名为亚历克斯的研究生，共同开发了名为 AlexNet的神经网络并凭借该网络赢得了2012年大规模视觉识别挑战赛（ILSVRC）的冠军。在这场比赛中，参赛者需要完成一个名叫“object region”的任务，即给定一张包含某目标的图像和一串目标类别（如飞机、瓶子、猫），每个团队都需要识别出图像中的目标属于哪个类。

AlexNet在比赛中颠覆性地将分类错误率降至了16.4%，这是获胜团队首次使用一种名为“卷积神经网络（CNN）”的深度学习架构。由于表现过于惊艳，之后几年的ImageNet挑战赛冠军都沿用了CNN。这是计算机视觉史上的一个关键时刻，许多人认为这代表着深度学习的复兴。

ImageNet 挑战赛冠军团队的分类错误率逐年变化情况（越低越好）

追求

在AlexNet大获成功后，谷歌收购了辛顿的衍生公司DNNresearch并聘请苏茨克维担任谷歌深度学习研究团队Google Brain的研究科学家。苏茨克维很快展现出在人工智能、深度学习领域的非凡天赋，他将深度学习的模式识别能力应用于数据序列，创建了序列到序列（Seq2seq）学习算法，深度参与了TensorFlow的研究，也是AlphaGo论文的众多作者之一。

2014年，苏茨克维被招募成为OpenAI的联合创始人。当时OpenAI还是一个非营利的人工智能研究实验室，旨在推动人工智能技术的发展，同时确保其安全性和普及性，苏茨克维认为这是一个认真追求人类通用智能（AGI）的机会。

“我记得奥特曼称苏茨克维为世界上最受尊敬的研究人员之一。” Y Combinator投资董事总经理道尔顿·考德威尔（Dalton Caldwell）说，“他认为苏茨克维能够吸引很多顶尖的人工智能人才。他甚至提到，世界顶级人工智能专家之一约书亚·本吉奥（Yoshua Bengio）认为，不太可能找到比苏茨克维更好的候选人来担任Open AI的首席科学家。”

OpenAI联合创始人格雷格·伯克曼（Greg Brockman）称赞他是一位“脚踏实地的人”、“清晰的技术专家”、“拥有广博的知识和远见”，而且“总是能够深入研究当前系统的局限性和功能的细节”。

2016年，Open AI的第一个GPT大语言模型诞生，此后的人工智能技术发展如坐上了火箭，先后出现了GPT-2、GPT-3、DALL-E，而每一次的迭代升级背后，都有苏茨克维的身影。

“你和其他研究人员有什么不同？为什么你能在你的领域取得多项突破？”在与知名科技播客主持人德瓦克什·帕特尔（Dwarkesh Patel）的对谈中，苏茨克维曾被这样问道。

“谢谢你的夸奖。这个问题很难回答。”他的答案是，“我真的很努力，我付出了我所拥有的一切，到目前为止，这一切都很有效。我想这就是全部了。”

分歧

裂痕产生于苏茨克维与奥特曼二人在AI技术突破的应用上产生的分歧。2023年6月，苏茨克维与奥特曼在特拉维夫大学同台对谈时，主持人提到AI存在三个风险：工作岗位受到影响、黑客获得超级智能和系统失控，二人回答有微妙的不同。苏茨克维承认并强调AI存在风险，非常看重“AI对齐”（用人类的反馈来训练模型，让其遵守人类的价值观）的重要性。

尽管奥特曼也同意AI失控的风险且需要不同的社会经济契约来制衡，但他更倾向描述AI乐观的一面。媒体分析认为，二人之间分歧的根源在于如何理解自己正在创造的东西，以及如何达成AGI（通用AI）的方式。

苏茨克维曾在麻省理工科技评论的采访中表达了他对AI可控性的忧虑：一旦人工智能的水平超过人类，人类又该如何监督比自己聪明得多的人工智能系统？

“我们在AlphaGo中看到了一个非常狭隘的超级智能的例子。”苏茨克维提到了AlphaGo的第37步棋。在与李世石的第二场比赛中，人工智能的一步棋让评论员感到困惑，他们认为AlphaGo搞砸了，事实上，它下了棋史上从未见过的制胜棋。“想象一下这种程度的洞察力，但涵盖一切。” 苏茨克维说。

苏茨克维认为，如果AI按照现有路径发展下去，也许在不久的将来，一个超越人类的人工智能系统就会诞生。但更加令人担心的是，“超级人工智能”可能会带来一些意想不到的负面后果。

正是这种思路导致苏茨克维做出了他职业生涯中最大的转变。在他的努力下OpenAI在2023年7月成立了“超级对齐”（Superalignment）团队，目标是在四年内解决超智能AI的对齐问题。苏茨克维是该项目的牵头人之一，OpenAI表示会将20%的算力专门用于该项目的研究。

超级对齐团队的第一篇成果发布于2023年12月——使用GPT-2级别的小模型来监督GPT-4级别的大模型，能获得接近GPT-3.5级别的性能，开辟了对超人类模型进行实证对齐的新研究方向。

该项目的公布不可避免地引发了巨大的争议，甚至引起了大型科技公司著名批评者的蔑视。但就苏茨克维而言，超级对齐是下一步不可避免的事情。“这是一个尚未解决的问题，”他说，“很重要、很明确的是要保证，任何人构建的任何超级智能都不会失控。”

让位

显示分歧激化的"宫斗"发生在2023年11月20日。当日，OpenAI官网突然宣布将奥特曼及联合创始人格雷格·布罗克曼除名。OpenAI在公告中称奥特曼对董事会不够坦诚。

有人将其解读为：OpenAI可能已经在内部实现了AGI，但并没有将消息及时同步给更多人员，为了防止该技术未经安全评估就被大规模应用，苏茨克维等人按下了紧急停止键。

在奥特曼突然被辞退后，员工和投资者出现了极大反弹，投资者也奋起反抗。几天后OpenAI约770名员工几乎全部联名上书，如果不让奥特曼复职，他们就集体辞职。

情急之下，苏茨克维表示反悔，在一封要求奥特曼回归的员工信上签了字，并对自己参与董事会的行为“表示遗憾”。经历5天的董事会政变后，奥特曼在2023年11月29日正式回归OpenAI，重新担任CEO，同时宣布OpenAI的董事会将迎来重组。苏茨克维没有立即离开OpenAI，但也没有再出现在OpenAI旧金山的办公室。

在发布离职的推文前，苏茨克维在社交平台X上的最后一条动态，停留在2023年12月15日转载超级对齐团队拨款的文章。

在苏茨克维正式宣布离开OpenAI后，苏茨克维的追随者、他在超级对齐团队的共同领导者杨·莱克也随后宣布离职，称“Iresigned（我已辞职）”。

杨·莱克宣布离职的推文

他在上周五（当地时间5月17日）连发13条推文，公开了他离职的原因：

“很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。

我认为，我们应该把更多的带宽用于为下一代模型做好准备，包括安全性、监控、准备、对抗鲁棒性、（超级）一致性、保密性、社会影响和相关主题。

……过去几个月里，我的团队一直在逆风航行。有时我们在计算上很吃力，完成这项重要的研究变得越来越困难。

建造比人类更聪明的机器本身就是一项危险的尝试。

OpenAI代表着全人类肩负着巨大的责任。

但过去几年，安全文化和流程已经让位于耀眼的产品。……”

对此，奥特曼发文回应，称“我非常感激杨·莱克对OpenAI的对齐研究和安全文化做出了贡献，看到他离开，我感到非常难过。他说得对，我们还有很多事情要做；我们致力于这样做。在接下来的几天里，我会有一个更长的帖子。”

几个月来，OpenAI一直在流失关注AI安全的员工。自去年11月至今，OpenAI至少有7名注重安全的成员辞职或被开除。据《连线》证实，OpenAI超级对齐团队已经解散，余下成员要么辞职，要么将被纳入OpenAI的其他研究工作中。

据Vox报道，安全意识强的员工已经对OpenAI在 AGI 时代会负责任地行事失去了信心。

丹尼尔·科科塔伊洛（Daniel Kokotajlo）于2022年加入OpenAI，一直负责AI安全治理工作直到上个月辞职。“OpenAI正在训练越来越强大的AI系统，目标是最终全面超越人类智能。这可能是人类有史以来最好的事情，但如果我们不谨慎行事，也可能是最糟糕的事情，”科科塔伊洛说，“我加入时满怀希望，希望OpenAI能够迎难而上，在他们越来越接近实现AGI的过程中表现得更加负责任。我们中的许多人逐渐意识到这不会发生。”

更多人在这场离职风波后，开始关注AI安全问题。超级对齐团队结束后，现在这些计算能力可能会被转移到其他OpenAI团队，目前还不清楚是否会将重点放在避免未来AI模型的灾难性风险上。尽管这并不意味着OpenAI现在发布的产品将会毁灭人类，但OpenAI是否正在安全地部署和构建人工智能，未来如何保障人工智能的安全性，都是此次离职风波过后，苏茨克维留下的问题。