实在是可惜了，OpenAI安全团队成员纷纷离职

最近几个月，OpenAI 一直在失去那些深切关注 AI 安全的员工。现在，公司已经面临着员工大量流失的问题。

Ilya Sutskever 和 Jan Leike 于周二宣布离开 OpenAI。他们是公司超级对齐团队的负责人 —— 这个团队负责确保 AI 始终与其制造者的目标一致，不会做出不可预测的行为进而对人类造成伤害。

其实离职的不仅是他们俩人。自去年 11 月以来 —— 当时 OpenAI 的董事会试图解雇 CEO Sam Altman 但他很快重新掌权 —— 公司至少有五名最重视安全的员工要么辞职，要么被迫离开。

这到底是怎么回事？

如果你一直在社交媒体上关注这个事情，你可能会认为 OpenAI 秘密地取得了巨大的技术突破。流行的 “Ilya 看到什么了？” 这个表情包猜测 Sutskever，这位前首席科学家离职是因为他看到了一些可怕的东西，比如一个可能毁灭人类的 AI 系统。

但真正的答案可能与对技术的悲观情绪关系不大，而更多地与对人类 —— 尤其是一个人：Altman 的悲观情绪有关。据了解公司情况的消息人士透露，重视安全的员工已经对他失去了信心。

“一点一点地，像多米诺骨牌一样，信任正在崩塌，” 一位了解公司内部情况的人士匿名告诉我。

没有多少员工愿意公开谈论这件事。部分原因是 OpenAI 以让其员工在离职时签署带有不贬低条款的离职协议而闻名。如果你拒绝签署，就会失去公司的股权，这意味着你可能会损失数百万美元。

OpenAI 在发表前没有对置评请求作出回应。在我的同事 Kelsey Piper 发表关于 OpenAI 离职协议的文章后，OpenAI 向她发送了一份声明，指出：“我们从未取消任何现任或前任员工的已授予股权，如果员工在离职时不签署解除协议或不诋毁协议，我们也不会这样做。” 当 Piper 问这是否代表政策变化时，因为公司内部消息人士曾暗示政策有变，OpenAI 回复道：“这个声明反映了现实。”

文章链接：https://www.vox.com/future-perfect/2024/5/17/24158478/openai-departures-sam-altman-employees-chatgpt-release

在本文发表后不久，Altman 在周六下午的一条推文中承认，公司在离职文件中确实有关于 “潜在股权取消” 的条款，但表示公司正在更改该条款的语言，以消除这种可能性。

但是，一位前员工拒绝了签署离职协议，以便能够自由地批评公司。Daniel Kokotajlo 于 2022 年加入 OpenAI，抱着引导其安全部署 AI 的希望，在负责公司治理的团队工作 —— 直到他上个月辞职。

“OpenAI 正在训练越来越强大的 AI 系统，目标是最终在各个领域超越人类智能。这可能是人类历史上最好的事情，但如果我们不谨慎行事，也可能是最糟的事情，”Kokotajlo 本周对我说。

OpenAI 表示，它希望构建通用人工智能（AGI），一种能够在人类或超人类水平上在多个领域执行任务的假设系统。

“我加入时满怀希望，认为 OpenAI 会在接近实现 AGI 时更加负责任地行事。但我们中的许多人逐渐发现，现实不是这样的，”Kokotajlo 对我说。“我逐渐失去了对 OpenAI 领导层及其负责任地处理 AGI 的能力的信任，所以我辞职了。”

而 Leike 在周五的一条 X 帖子中解释了他为何辞去超级对齐团队联合领导的职务，并描述了非常相似的情况。“我与 OpenAI 领导层在公司核心优先事项上存在分歧已有一段时间，直到我们最终达到了一个临界点，” 他写道。

为什么 OpenAI 的安全团队会逐渐对 Sam Altman 失去信任

要了解发生了什么，我们需要回到去年 11 月。当时，Sutskever 与 OpenAI 董事会合作，试图解雇 Altman。董事会表示 Altman “在沟通中不够坦诚一致。” 翻译过来就是：我们不信任他。

罢免行动彻底失败了。Altman 和他的盟友，公司总裁 Greg Brockman 威胁要将 OpenAI 的顶尖人才带到微软—— 实际上这会摧毁 OpenAI—— 除非 Altman 复职。面对这一威胁，董事会让步了。Altman 以更强大的姿态回归，有了新的、更支持他的董事会成员，并拥有了更大的自由来管理公司。

当你射击国王却未能击中时，事情往往会变得尴尬。

公开场合，Sutskever 和 Altman 表现出友谊依旧的样子。当 Sutskever 本周宣布离开时，他说自己将去追求 “一个对我个人非常有意义的项目。”

两分钟后，Altman 在 X 上发帖称，“这对我来说非常难过；Ilya 是…… 一个亲密的朋友。”

然而，自从 “政变未遂” 以来，Sutskever 已有大约六个月未在 OpenAI 办公室露面。他一直在远程联合领导超级对齐团队，负责确保未来的 AGI 与人类的目标一致，而不是失控。这是一个很好的愿景，但与公司日常运营脱节，后者在 Altman 的领导下正急于商业化产品。然后，在 Altman 被重新任命后不久 Sutskever 发布了一条推文，随后迅速删除：

所以，尽管表面上关系融洽，但在 Sutskever 试图驱逐 Altman 之后，我们有理由怀疑他们是否真的还是朋友。

Altman 被解雇时的反应暴露了他的性格特点：他威胁要在董事会重新聘用他之前掏空 OpenAI，并坚决要求在董事会中安插对他有利的新成员，显示出他对权力的执着和避免未来权力被制衡的决心。前同事和员工形容他是一个操纵者，表里不一 —— 一方面声称优先考虑安全，另一方面行为却自相矛盾。

例如，Altman 正在与沙特阿拉伯等专制政权筹集资金，计划创办一家新的 AI 芯片制造公司，这将为他提供大量构建前沿 AI 所需的稀缺资源。这让注重安全的员工感到震惊。如果 Altman 真的关心以最安全的方式构建和部署 AI，为什么他急于积累尽可能多的芯片，这只会加速 AI 技术的发展呢？同样，为什么他要冒着与可能利用 AI 加强数字监控或侵犯人权的政权合作的安全风险呢？

对员工来说，这一切导致了他们对 OpenAI 承诺和价值观真实性的逐渐丧失，据一位内部消息人士透露，这一过程在本周达到了高潮。

超级对齐团队（superalignment team）联合负责人 Jan Leike 没有客套话。他在 Sutskever 宣布离职后几小时内就在 X 上发帖称：“我辞职了。” 没有温暖的告别，也没有祝福公司领导层。

其他注重安全的前员工引用 Leike 直截了当的辞职声明，并附上了心形表情符号。其中一位是 Leopold Aschenbrenner，Sutskever 的盟友和超级对齐团队成员，上个月被 OpenAI 解雇。

媒体报道称，他和同团队的另一位研究员 Pavel Izmailov 因涉嫌泄露信息而被解雇。但 OpenAI 未提供任何泄密证据。考虑到所有人初入 OpenAI 时签署的严格保密协议，如果 Altman—— 一个在硅谷有深厚人脉的老手，擅长与媒体打交道 —— 想要摆脱 Sutskever 的盟友，即使是分享最无害的信息也很容易被描绘成 “泄密”。

在 Aschenbrenner 和 Izmailov 被迫离职的当月，另一位安全研究员 Cullen O’Keefe 也离开了公司。

两周前，另外一位安全研究员 William Saunders 在有效利他主义（effective altruism）运动成员的在线聚集地 EA 论坛上发表了一篇神秘帖子，回顾了他在 OpenAI 超级对齐团队所做的工作。然后他写道：“我于 2024 年 2 月 15 日辞职。” 一位评论者问了一个显而易见的问题：为什么 Saunders 会发布这个？

“无可奉告，”Saunders 回答道。评论者们认为他可能受到了一项不诋毁协议的约束。

链接：https://forum.effectivealtruism.org/posts/ABz55P4BLca3vxrfE/william_s-s-quick-takes?commentId=B9iTGiCyHdpfpMqe2

综合这些信息和我与公司内部人士的对话，我们看到至少有七个人试图从内部推动 OpenAI 在安全方面取得更大进展，但最终他们对魅力四射的 Altman 失去了信心，导致他们的立场变得难以为继。

“我认为公司内部很多认真对待安全和社会影响的人都认为这是一个开放性的问题：为像 OpenAI 这样的公司工作是件好事吗？” 一位内部消息人士说。“答案只有在 OpenAI 真正认真负责地对待其所做的事情时才是‘是’。”

随着安全团队解散，谁来保证 OpenAI 工作安全？

随着 Leike 不再领导超级对齐团队，OpenAI 已安排公司联合创始人 John Schulman 取代他。

但该团队已经被削弱。而 Schulman 已经忙于确保 OpenAI 现有产品的安全这份全职工作。我们还能指望 OpenAI 在未来进行多少严肃的前瞻性安全工作呢？

可能不多。

“建立超级对齐团队的全部意义在于，如果公司成功构建通用人工智能（AGI），会出现各种不同的安全问题，” 一位内部消息人士告诉我。“所以，这是对未来的专门投资。”

即使在团队全力运作时，这种 “专门投资” 也仅容纳了 OpenAI 的一小部分研究人员，并且只承诺了其计算能力的 20%—— 这可能是 AI 公司最重要的资源。现在，这些计算能力可能会被分流到 OpenAI 的其他团队，而是否会有太多关注未来 AI 模型的灾难性风险仍不清楚。

需要明确的是，这并不意味着 OpenAI 现在发布的产品 —— 比如新版本的 ChatGPT，即 GPT-4o，可以与用户进行自然对话 —— 会毁灭人类。但未来会发生什么呢？

“区分‘他们目前是否在构建和部署不安全的 AI 系统’和‘他们是否有能力安全地构建和部署 AGI 或超级智能’是很重要的，” 一位内部消息人士说。“我认为第二个问题的答案是否定的。”

Leike 在他周五在 X 上的帖子中表达了同样的担忧。他指出，他的团队一直在努力获得足够的计算能力来完成工作，通常是在 “逆风航行”。

最令人关注的是，Leike 说：“我认为我们应该投入更多的精力为下一代模型的安全、监控、准备、安全性、对抗性稳健性（adversarial robustness）、（超级）对齐、保密性、社会影响和相关主题做好准备。这些问题非常难以解决，我担心我们没有走在正确的轨道上。”

当世界上 AI 安全领域的顶尖人物说世界领先的 AI 公司没有走在正确轨道上时，这应该引起我们的关注。

原文链接：https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence