智东西（公众号：zhidxcom）
编译 | 陈骏达
编辑 | Panken
智东西6月5日消息，OpenAI安全疑云又有新瓜了。据AI行业媒体Transformer今日报道，前超级对齐部门成员奥波德·阿申布伦纳（Leopold Aschenbrenner）透露了他被开除的真实原因——他给几位董事会成员分享了一份OpenAI安全备忘录，结果招致OpenAI管理层的不满。
今年4月，阿申布伦纳被OpenAI以泄露公司机密为由解雇。他说OpenAI当时很清楚地告诉他，开除他的主要原因就是这份备忘录。之后阿申布伦纳上线了一个网站，用165页PDF文件汇总了他在OpenAI工作期间所了解的信息，还创办了一家专注于通用人工智能（AGI）的投资公司。
地址：https://situational-awareness.ai/
感到“背叛”的不只是阿申布伦纳。昨天，13位来自OpenAI和Google DeepMind的前员工与现员工联合发布一封公开信，揭发OpenAI的鲁莽和保密文化，强调前沿AI技术的严峻风险，表达了对AI公司在开发和推广AI技术时利益优先、打压异见者和规避监管等种种行径的担忧。
这封公开信还获得了两位2018年图灵奖得主约书亚·本吉奥（Yoshua Bengio）、乔弗里·辛顿（Geoffrey Hinton）的署名支持。加州大学伯克利分校伯克利分校计算机科学教授、人类兼容人工智能中心主任斯图亚特·拉塞尔（Stuart Russell）也在公开信末尾署名。
▲OpenAI和Google DeepMind前员工与现员工公开信原文部分截图
OpenAI最初是一个非营利研究实验室，在官网上OpenAI将公司的使命定义为“确保通用人工智能（AGI）造福人类”。但签署公开信的OpenAI前员工们称，OpenAI目前的重点是利润和增长。其中一位签署人丹尼尔·科科塔约洛（Daniel Kokotajlo）说道：“公司对构建AGI感到十分兴奋，正在与其它公司进行鲁莽的竞争，力求成为第一家实现AGI的公司。”
一、公开信呼吁OpenAI优化内部监督渠道，但OpenAI认为自己在安全上做得很好
签署这封公开信的各大AI公司的员工们呼吁，AI公司不应继续签订或执行任何不诋毁条款、提供匿名监督的程序、支持公开批评的文化，并保证不会对批评者进行任何报复。
以下是对此封公开信的完整编译：
警告先进AI的权利
我们是各大前沿AI公司的现任和前任员工，我们相信AI技术有潜力为人类带来前所未有的好处。
我们也理解这些技术带来的严重风险。这些风险包括加剧现有的不平等、操纵和误导信息、以及失控的自主AI系统可能导致人类灭绝。AI公司自身已经承认了这些风险，政府和其他AI专家也有类似的看法。
我们希望这些风险能够在科学界、政策制定者和公众的充分指导下得到有效的缓解。然而，AI公司有强烈的财务动机避免有效的监督，我们不相信公司为自己量身定制的治理结构能够改变这一点。
AI公司拥有大量关于其系统能力和局限性的非公开信息，这些信息涉及系统的保护措施以及系统的各种风险水平。然而，他们目前只需要向政府分享部分信息，并不背负着向政府汇报的强烈义务，更没有义务向社会公众分享任何信息。我们不认为他们可以完全自愿地分享这些信息。
只要这些公司没有有效的政府监督，那现任和前任员工就是少数能够让公司负起责任的公众人士之一。然而，广泛的保密协议阻止了我们表达担忧，除非是向那些可能未能解决这些问题的公司报告。普通的举报者保护不足以应对此类问题，因为它们主要关注非法活动，而我们关心的许多风险尚未受到监管。考虑到行业历史上一些案例中的各种报复行为，我们中的一些人合理地担心会受到各种形式的报复。我们并不是第一个遇到或谈论这些问题的人。
因此，我们呼吁先进的AI公司承诺以下原则：
公司不会签订或执行任何禁止因风险相关问题而对公司进行诋毁或批评的协议，也不会通过阻碍任何既得经济利益来报复风险相关的批评；公司将创建一个可验证的匿名流程，使现任和前任员工能够向公司的董事会、监管机构以及具有相关专业知识的适当独立组织提出风险相关的担忧；公司将支持公开批评的文化，并允许现任和前任员工向公众、公司的董事会、监管机构或具有相关专业知识的适当独立组织提出他们对技术风险的相关担忧，只要适当保护商业秘密和其他知识产权利益即可；公司不会报复那些在其他流程失败后，公开分享风险相关机密信息的现任和前任员工。我们知道，任何报告风险相关担忧的努力都应避免不必要地泄露机密信息。因此，一旦存在一个足够安全的匿名提出担忧的流程，现任和前任员工应首先通过此类流程提出担忧。然而，只要此类流程不存在，现任和前任员工应保留向公众报告其担忧的自由。
签署人：
雅各布·希尔顿（Jacob Hilton），前OpenAI员工
丹尼尔·科科塔约洛（Daniel Kokotajlo），前OpenAI员工
拉玛纳·库马尔（Ramana Kumar），前Google DeepMind员工
尼尔·奈达（Neel Nanda），现Google DeepMind员工，前Anthropic员工
威廉·桑德斯（William Saunders），前OpenAI员工
卡罗尔·怀恩莱特（Carroll Wainwright），前OpenAI员工
丹尼尔·齐格勒（Daniel Ziegler），前OpenAI员工
匿名，现OpenAI员工
匿名，现OpenAI员工
匿名，现OpenAI员工
匿名，现OpenAI员工
匿名，前OpenAI员工
匿名，前OpenAI员工
支持者：
约书亚·本吉奥（Yoshua Bengio）
乔弗里·辛顿（Geoffrey Hinton）
斯图亚特·罗素（Stuart Russell）
2024年6月4日
OpenAI驳斥了本次公开信事件中对OpenAI内部AI安全问题的指控，他们向外媒Android Authority做出如下回应：
“我们公司过去便一直提供最强大和最安全的AI系统。我们对此感到自豪，并相信我们能利用科学的方法来应对风险。我们同意，鉴于这项技术的重要性，进行严格的辩论是至关重要的，我们将继续与政府、社会和世界各地的其他群体进行接触。这也是为什么我们为员工提供了表达担忧的途径，包括一个匿名的诚信热线以及由我们董事会成员和公司安全部门领导组成的安全与保障委员会。”
二、安全委员会被架空，内部监管几近失效
在此封公开信中，来自各家开发AI系统的企业的现任和前任员工们呼吁，在OpenAI和其他AI公司停止使用不诋毁和保密协议。他们写道，“广泛的保密协议阻止我们表达自己的担忧”。
他们还呼吁AI公司“支持公开批评的文化”，并建立一个报告流程，让员工匿名提出与安全相关的担忧。
劳伦斯·莱西格（Lawrence Lessig）是一位知名的法律学者，同时担任签署本次公开信的团体的公益律师。他在接受采访时称，传统的举报人保护适用于非法行为的举报，但鉴于AI技术的重要性，AI公司有必要为公司员工创造开放自由的讨论空间，让员工表达对技术风险和潜在危害的看法。
莱西格认为，公司员工是一道重要的安全防线，如果他们不能自由地表达观点并不受报复，那么这条防线就会失效。
丹尼尔·科科塔约洛（Daniel Kokotajlo）是联名签署此封公开信的OpenAI前员工之一。他在2022年加入OpenAI，所任职务是公司的治理研究员。今年4月份他正式从OpenAI辞职，原因是他对公司“失去了信心，认为OpenAI无法在AI系统实现接近人类水平表现时负责任地行事”。
▲OpenAI前员工丹尼尔·科科塔约洛（Daniel Kokotajlo）
在OpenAI，科科塔约洛看到，尽管公司已经制定了安全相关的规章制度，但这些规章制度常常处于被架空的状态。例如，OpenAI与微软共同建立了部署安全委员会，此委员会的主要目的是为了在正式发布模型之前评估新模型中可能包含的种种风险，但这一委员会似乎并没有起到应有的作用。
科科塔约洛称，2022年，微软开始在印度秘密测试新版必应（Bing）搜索引擎，部分OpenAI员工认为这一版本的搜索引擎使用了当时还未发布的GPT-4模型。OpenAI和微软的联合部署安全委员会对这一测试并不知情，他们是在收到一系列来自用户对必应搜索引擎在测试期间异常行为的报告后，才知道此次测试的存在。而这并没有减慢微软推出新版必应搜索引擎的步伐。
微软的发言人弗兰克·肖（Frank Shaw）否认了这些指控。他说在印度的测试中没有使用任何OpenAI的模型，包括GPT-4。微软首次发布基于GPT-4模型的产品是在2023年初，并且获得了部署安全委员会的批准。
科科塔约洛称，他对OpenAI的自我监管持怀疑态度。OpenAI采取了种种措施避免监督，这也包括来自前员工的批评和曝光。
在离开OpenAI时，公司员工需要签署一份极为复杂的离职文件，其中就包含不诋毁条款和保密协议。若不签署，OpenAI就将收回离职员工的既得股权，而这些股权占据了OpenAI员工薪酬方案的绝大部分。
但仍有部分员工拒绝签署这些协议，科科塔约洛便是其中一员。他称自己的既得股权价值大约为170万美元，这构成了他净资产的绝大部分，而他已经准备好放弃这些财产。
在外媒Vox报道了这些协议后，OpenAI迅速作出回应，称公司从未从前员工处收回过既得股权，也不会这么做。OpenAI首席执行官萨姆·阿尔特曼（Sam Altman）称自己感到特别尴尬，因为他不知道这些协议的存在。但Vox披露的相关文件上却有阿尔特曼本人的签名。
▲有阿尔特曼本人签名的文件
三、安全问题劣迹斑斑，曾直接开除表达担忧的员工
OpenAI已经不是第一次面临安全相关的问题了。在OpenAI的GPT-4o模型发布不久后，OpenAI原首席科学家，同时也是支持罢免阿尔特曼的4位前董事会成员之一的伊尔亚·苏茨克维（Ilya Sutskever）正式官宣离职。他曾在《卫报》拍摄的纪录片中，对强大的AI系统的潜在风险发出警报。
伊尔亚离职不久后，OpenAI超级对齐团队联合负责人杨·莱克（Jan Leike）也在推特上宣布离职。他称OpenAI领导层关于公司核心优先事项的看法一直不合，超级对齐团队过去几个月一直在逆风航行，在提升模型安全性的道路上受到公司内部的重重阻碍。莱克在官宣离职的一系列推文中称，“（OpenAI的）安全文化和安全流程已经让位给闪亮的产品”。
▲莱克在X平台上的推文
此外，根据AI行业媒体Transformer今日报道，今年早些时候因为“泄密”而被解雇的OpenAI安全研究员利奥波德·阿申布伦纳（Leopold Aschenbrenner）实际上是因为向董事会提出安全问题而被解雇的，他也否认自己向董事会提供备忘录包含任何敏感信息。
▲OpenAI前安全研究员利奥波德·阿申布伦纳（Leopold Aschenbrenner）
阿申布伦纳在工作时写了一份关于OpenAI安全性的内部备忘录，认为OpenAI的模型权重和算法关键机密极易遭到窃取。
在他完成这份备忘录的几周之后，OpenAI遭遇了一场重大安全事件，这促使他与几位OpenAI董事会成员分享这份备忘录。然而，他说公司领导层对他与公司董事会分享备忘录的行为极为不满，因为董事会在安全方面给领导层带来了麻烦。
阿申布伦纳在上述事件几个月后被解雇，而解雇时OpenAI清楚地告诉他，这份安全备忘录就是他被解雇的主要原因。
结语：安全等问题频繁暴雷，OpenAI深陷舆论风波
本次公开信事件只是OpenAI近期面临的诸多危机中的一个。OpenAI目前仍未完全从去年的那场“未遂政变”中恢复过来，OpenAI近期的人事动荡便是最好的证据。
OpenAI还面临着与内容创作者的法律斗争，他们指控OpenAI窃取版权作品来训练其模型。
好莱坞知名演员斯嘉丽·约翰逊（Scarlett Johansson）更是指控OpenAI在未经许可的情况下使用了她的声音。根据美国全国公共广播电台（NPR）的最新报道，来自美国亚利桑那州州立大学的声音鉴识专家认为，斯嘉丽的声音比98%的女演员都要更接近OpenAI的Sky语音。
OpenAI的前董事会成员海伦·托纳（Helen Toner）也在近期指控OpenAI首席执行官阿尔特曼在公司内部的种种不当行为，并质疑阿尔特曼能否带领公司安全地实现AGI的目标。
或许，正如OpenAI前员工科科塔约洛所说，我们需要的是某种民主问责且透明的治理结构，来负责管理AI技术的发展，而不是只有几家不同的私营公司相互竞争，并将一切都列为机密。
来源：《纽约时报》，Transformer