OpenAI正雄心勃勃筹划着下一代人工智能(AI)软件,但原安全团队的解散与核心成员的集体“跳船”,也给这家AI“当红炸子鸡”企业拉响了安全警报。
当地时间28日,OpenAI首席执行官奥尔特曼(Sam Altman)领衔成立了该公司全新的安全委员会,监督系统的后续开发,原安全团队离开带来的隐忧和安全文化警报就此解除了吗?
“宫斗”表象平息,分歧并未弥合?
去年7月,OpenAI组建“超级对齐”团队,其职能是确保这家公司研发的AI系统符合人类利益和价值观。然而,不到一年,该团队两位负责人本月相继出走,多位骨干成员主动辞职或被解雇,OpenAI也在本月中旬将这一团队彻底解散。
去年11月,奥尔特曼在所谓“高层内斗”中被董事会闪电解雇,又在短短数日后重返原职。而这场激烈变动的起因,被认为正是OpenAI内部对于AI安全性的巨大分歧。
OpenAI联合创始人兼首席科学家苏茨克维尔(Ilya Sutskever)是“超级对齐”团队的负责人之一,也被视为奥尔特曼被解雇事件的发起人之一。相比奥尔特曼对AI领域技术进步的乐观态度,苏茨克维尔要谨慎得多,他认为,通用人工智能(AGI)的发展可能“会出现雪崩”,从而给人类社会带来不可控的毁灭性风险。因此,第一批AGI的底层信念将极其重要,“必须为其正确地编写程序”。
这场“高层内斗”后,奥尔特曼领导OpenAI照常推进技术转化与成果发布。今年2月,OpenAI推出了支持将文本转化为视频的模型“Sora”,并在5月发布了新旗舰模型GPT-4o,它比去年11月发布的GPT-4 Turbo快两倍,在视觉和音频理解上也更先进。
苏茨克维尔在5月14日宣布离职时也一团和气地表示,OpenAI将在现任领导层的带领下,“打造出既安全又有益的AGI”。
但“超级对齐”团队的另一位负责人莱克 (Jan Leike)则没有这么客气。他在社交媒体平台上披露离职原因时称,他与OpenAI高层在什么是“核心优先事项”上存在分歧,并已到了不可弥合的临界点。
“我认为我们应该花更多精力在准备下一代模型上,注重安全、监控、准备、对抗性的稳健、(超级)对齐、保密、社会影响等相关问题。这些问题非常难以解决,我忧虑的是,我们并没有在达成这些目标的轨道上。”莱克称,“过去几个月,我们的团队遭遇到阻力,有时为了算力而挣扎,要完成这些关键研究越来越难。”
莱克写道:“OpenAI必须成为一家安全优先的AGI公司。”几天后,莱克宣布加入OpenAI的竞争对手Anthropic,领导一个新的“超级对齐”团队。
Anthropic首席执行官阿莫迪(Dario Amodei)也出身于OpenAI。据报道,由于无法认同后者越来越商业化的发展方向,他带领多位前OpenAI员工创办了现公司。
除了上述两位重量级人物,同样出走OpenAI的还有“超级对齐”团队成员桑德斯(William Saunders)、科科泰洛(Daniel Kokotajlo),负责对外沟通和社区建设的基尔帕特里克(Logan Kilpatrick),以及AI政策研究员克鲁格(Gretchen Krueger)和奥基夫(Cullen O’Keefe)等人。此外,超级对齐团队成员阿申布伦纳(Leopold Aschenbrenner)和伊兹迈洛夫(Pavel Izmailov)则因泄露信息给媒体记者而在4月份被解雇。
科科泰洛称,他对OpenAI在发布能力越来越强的AI时是否“负责任”失去信心。克鲁格也呼吁该公司提高其责任感和透明度,以及“谨慎使用自己的技术”。
安全文化和闪亮的产品
当地时间28日,OpenAI成立了新的安全与保障委员会,负责监督与公司项目和运营相关的关键安全决策。但OpenAI并未选择外部观察员参与监督,这一委员会由公司内部人员组成,包括奥尔特曼以及多位OpenAI董事会成员等。
OpenAI表示,该委员会将与OpenAI董事会全体成员分享其调查结果和建议,以供审查,届时将“以符合安全和保障的方式”公布任何被采纳建议的最新情况。
“OpenAI最近已经开始训练下一个前沿模型,我们预计由此产生的系统将使我们在通往AGI的道路上达到更高的能力水平。”OpenAI写道。
去年11月,奥尔特曼在接受采访时表示,他的大部分时间都在研究“如何打造超级智能”,但该公司负责全球事务的副总裁马坎居(Anna Makanju)以及发言人布尔乔亚(Liz Bourgeois)之后都否认,该公司的“使命”并非开发超级智能,而是通用人工智能(AGI)。相比具有人类水平的AGI,超级智能是指超越人类智力水平的AI系统。
OpenAI在官网和创始公告中明确指出,公司的使命是确保AI技术的发展是“安全且广泛受益”的。这意味着,一方面,AI技术必须是安全的;另一方面,AI技术带来的好处应该惠及所有人,而不仅仅是特定群体。
在美国硅谷从事AI方向创业、也曾在多家科技企业负责AI相关产品开发的Iris此前对第一财经记者表示,OpenAI的企业发展进程不可避免地带来了这场“安全文化”之争。
Iris表示,最早期的OpenAI作为非营利组织成立,特别是在模型研发阶段,更多以技术创新为基础。“这一时期的OpenAI非常强调安全性,因此,苏茨克维尔这样技术背景出身的创始人话语权非常大。”她称,但随着技术的发展,当到产品市场匹配阶段,OpenAI更多开始考虑如何让这些技术惠及更多人。
Iris认为,这一阶段,“公司的发展将完全依赖于产品和业务的商业化,这意味着需要将产品更有效地推向市场”。
而这或许也是为什么莱克在其离职声明中写道:“在过去的几年里,安全文化和流程已经被闪亮的产品所取代。”
(本文来自第一财经)