OpenAI员工相继离职，是看到了AGI的什么？
出品｜搜狐科技
作者｜郑松毅
编辑｜杨锦
“我很害怕。如果我不害怕，那我就是疯了”，OpenAI的一位前员工心有戚戚然地说。
人工智能发展至今，有人说它变成了一头真正的猛兽，安全问题已不受控。那些有技术信仰，从OpenAI等人工智能公司相继离职的员工们，到底看到了什么？
这两天，一封由13位OpenAI和Google DeepMind前员工、现员工联合发布的公开信，在科技圈被传得沸沸扬扬。
OpenAI和Google DeepMind前员工、现员工联合发布的公开信《对先进人工智能的警示》
这封信获得了约书亚·本吉奥和乔弗里·辛顿两位顶级科学家的署名支持。加州大学伯克利分校计算机科学教授、人类兼容人工智能中心主任斯图亚特·拉塞尔也在文末署名。
搜狐科技查阅公开信原文发现，其内容强调了人工智能技术带来的安全风险，谴责了OpenAI等人工智能公司强制员工签署保密协议的行为，并表达了对AI公司“利益至上”研发理念的担忧。
公开信提到，“AI技术的发展带来了严重安全风险，这些风险包括加剧现有的不平等、操纵和误导信息、以及失控的自主AI系统可能导致人类灭绝。”
“AI公司拥有大量关于其系统能力和局限性的非公开信息，涉及系统的保护措施以及系统的各种风险水平。然而，他们目前只需要向政府分享部分信息，并不背负着向政府汇报的强烈义务，更没有义务向社会公众分享任何信息。我们不认为他们可以完全自愿地分享这些信息。”
他们认为，自己关心的许多风险尚未受到监管，呼吁AI公司应支持公开批评，允许员工及具备专业知识的组织提出他们的担忧，只要保护商业秘密和其他知识产权利益即可。
出于对公司机密信息保护和员工个人安全的考虑，建议AI公司设立一个可验证的匿名流程，且AI公司应承诺不对举报者采取各种报复行为。
公开信发布后，OpenAI回应驳斥了这些指控。
OpenAI表示，“公司一直提供最强大和最安全的AI系统。相信能利用科学的方法来应对风险。”不过，OpenAI也承诺，鉴于这项技术的重要性，进行严格的辩论是至关重要的，已经为员工提供了表达担忧的途径，包括匿名诚信热线以及由董事会成员和公司安全部门领导组成的安全与保障委员会。
OpenAI前员工透露将在2027年实现AGI，但人类还没做好准备
对OpenAI安全治理有意见的，不仅仅是撰写这封公开信的参与者。
就在前日，OpenAI前超级对齐部门成员Leopold Aschenbrenner在网上公开了他被解雇的真实原因。
OpenAI前超级对齐部门成员Leopold Aschenbrenner
今年四月，他给OpenAI的几位董事会成员分享了一份关于AI安全的备忘录，用实例分析提示公司内部对AI安全监管的力度还不够，引发OpenAI管理层的不满，最终他被开除。
被解雇后，他将自己在OpenAI工作期间了解到的信息总结发布在网页上，转换为PDF足足长达165页。
他在报告中指出，深度学习没有遇到瓶颈，快速计算效率还在呈指数级增长，人类在2027年就能实现AGI（通用人工智能）。一旦达到AGI，数百万个AGI可以自动化AI研究，将十年的算法进步压缩到一年内完成，而在2030年左右就能发展出全面超越人类的超级人工智能，但人类似乎还没有做好准备。
他表示，“可靠地控制比我们更聪明的AI系统是一个未解决的技术问题。在快速的智能爆炸期间，事情很容易失控。”
他判断，到本十年末，将会有令人难以想象的强大人工智能系统出现。
“人工智能将实现自主运行，并将比人类思考速度快上数个数量级，能够迅速掌握编码及不同科研领域中的核心知识。仅在数周内，AI将能完成获取数十亿人类等价年份的创新经验。”
这意味着，对于那些把人类困住数十年或上百年的复杂科学问题，对AI来说会变得显而易见。
但这也引人深思，超级智能时代会不会成为人类最动荡的时期之一？作者警告，到本世纪末，人们都将身处其中。
OpenAI安全问题频繁暴雷
OpenAI受到过的安全指控还不止于此，员工感到失望。
5月份，最新大模型ChatGPT-4o发布不久后，OpenAI联合创始人、首席科学家伊尔亚·苏茨克维宣布离职，几小时后，超级对齐团队负责人杨·莱克也宣布离职。
随着两位领导的离开，OpenAI核心安全团队“超级对齐”正式解散。消息人士透露，注重AI系统安全的员工已经对公司CEO山姆·奥特曼的领导失去信心。
杨·莱克表示，“OpenAI领导层关于公司核心优先事项的看法不合，超级对齐团队过去几个月一直在逆风航行，在提升模型安全性的道路上受到公司内部的重重阻碍。”
“OpenAI内部对于如何谨慎使用技术、减轻不平等、权利和环境影响的措施存在分歧。OpenAI在安全问题决策上不够透明且缺乏对决策人的问责。”杨·莱克说。
OpenAI前员工、公开信作者之一的Daniel Kokotajio也提到，他曾希望随着 AI 功能越来越强大，公司内部在安全研究方面的投入会更多，但OpenAI 并未做出这一转变。
他介绍，在离开OpenAI时，员工被要求签署一份包含不贬损条款的文件，禁止发表任何批评公司的言论。若不签署，OpenAI就将收回离职员工的既得股权。
有部分员工出于对OpenAI安全发展的担忧，以及对公司未来方向的不信任，拒绝签署该文件，Daniel Kokotajio就是其中一员。
OpenAI成立新安全委员会，90天后交答卷
对于OpenAI来说，技术变革还在 驱使其向前迈步，但在通往AGI的道路上，不能缺少把控安全的“掌舵人”。
5月28日，OpenAI发布公告称董事会成立一个负责把控AI开发方向的安全委员会，新委员会负责就所有OpenAI项目的关键安全决策提出建议。
公告称，新安全委员会将由董事Bret Taylor（主席）、Adam D’Angelo、Nicole Seligman和Sam Altman（首席执行官）领导，均为公司内部人员。
新安全委员会首要任务是，评估并进一步制定未来 90 天内 OpenAI的流程和保障措施。
OpenAI透露，“最近开始训练其下一个前沿模型，预计最终的系统将使我们在通往 AGI 的道路上更上一层楼。”
AI技术，尤其是朝着AGI发展的技术，无论是对社会发展还是人类文明而言，都具备潜在的巨大影响力。
现在看来，无论OpenAI是否真的会向盈利架构做转变，将AI安全放在首位都是至关重要的，否则有可能将人类引入一个未知的深渊。
正如Geoffrey Hinton所说，并不是要一味地反对AI技术发展，只是主张当人们在投入大量资源发展它的同时，也应该投入相同的资源来确保它的安全。