当前位置:首页|资讯|OpenAI

“安全保卫”团队集体“出逃”后,OpenAI宫斗剧结束了吗?|科技观察

作者:封面新闻发布时间:2024-05-20

封面新闻记者 边雪

在GPT-4o还在令AI界惊呼时,OpenAI多名核心成员纷纷离职又引发了极大的关注。当地时间5月17日,原OpenAI超级对齐负责人杨·莱克(Jan Leike)宣布辞职。

莱克在社交平台X上写道:“我爱我的团队。”他对在SuperAlign团队内外与他共事的有才华的人表示感谢,并强调了OpenAI的智慧、善良和有效性。

OpenAI超级对齐负责人杨·莱克(Jan Leike)宣布辞职。(图源:x截图)

然而,莱克也公开了自己离开OpenAI的真正原因:对OpenAI发展方向的深切担忧,其中提及对AGI安全治理问题优先级不如推出“闪亮的产品”的不满,以及算力资源的分配问题。

莱克的离开,标志着该组织在AI研发的一个重要时代的结束。

OpenAI前首席科学家莱克:

公司将“闪亮的产品”置于安全文化和流程之上

莱克透露了与OpenAI领导层在该组织的核心优先事项上持续存在的分歧:“我们迫切需要弄清楚如何以比我们智能得多的方式来操纵和控制人工智能系统。”他强调了关注下一代人工智能模型、安全、监控、准备、安全、对手稳健性、一致性、保密性和社会影响的重要性。

对这些关键领域没有得到必要的关注和资源,莱克表示十分担忧。他在X上写道:“这些问题很难解决,我担心我们没有走上实现这一目标的轨道。”他补充说,他的团队在获得研究所需的计算资源方面经常面临挑战。

此外,还表达了对开发比人类更智能的机器的潜在危险的担忧,强调OpenAI对人类负有重大责任。他批评该公司将“闪亮的产品”置于安全文化和流程之上,呼吁转向成为一家安全第一的AGI(人工通用智能)公司。

在给OpenAI员工的最后一条信息中,莱克敦促他们以建立AGI所需的严肃态度行事,并接受必要的文化变革。“全世界都指望着你,”他写道。

莱克的辞职突显了人工智能发展的复杂和关键性质,以及随着技术进步需要仔细考虑安全和伦理影响的必要性。他通过一系列的推特宣布了这一决定,透露他离开的决定并不容易。

莱克回顾了他的团队在过去三年中取得的成就,包括使用InstructGPT推出了有史以来第一个RLHF(来自人类反馈的强化学习)语言模型。他的团队还在大型语言模型(LLM)的可扩展监督方面取得了长足的进步,并率先在自动解释性和从弱到强的泛化方面取得了进步。

OpenAI首席科学家纷纷出走

实际上,在OpenAI重磅发布ChatGPT-4的超级升级版——GPT-4o后不到36小时,OpenAI联合创始人兼首席科学家伊尔亚·苏茨克维(Ilya Sutskever)在社交平台上宣布离职。

苏茨克维公开表示,在OpenAI工作近十年后决定离开。“这间公司取得了令人难以置信的进步,我相信在 Sam、Greg、Mira,以及杰出的研究领导者Jakub带领下,OpenAI将构建安全有益的通用人工智能。 和各位共事是一种荣幸,我将深深怀念所有人。 非常感谢这一切,祝大家一切顺利! 我对即将到来的项目感到兴奋——这对我来说意义重大,我将在适当的时候分享详细信息。”

“苏茨克维和OpenAI即将分道扬镳。这对我来说非常难过;苏茨克维无疑是我们这一代最伟大的思想家之一,是我们领域的引路人,也是我亲爱的朋友。他的才华和远见众所周知;他的热情和同情心虽然不那么为人所知,但同样重要。”

OpenAI首席执行官山姆·奥特曼(Sam Altman)在社交平台X上回应道,如果没有苏茨克维 ,OpenAI 就不会有今天。“虽然他有自己有意义的工作要做,但我永远感激他在这里所做的一切,并致力于完成我们共同开始的使命。我很高兴这么长时间以来,我能够与如此真正非凡的天才保持密切联系,而且他如此专注于为人类创造最好的未来。”

OpenAI首席执行官山姆•奥特曼(Sam Altman)在社交平台X上回应苏茨克维 (Ilya Sutskever)离职。(图源:x截图)

奥特曼表示,Jakub将成为OpenAI的新任首席科学家。“Jakub无疑是我们这一代最伟大的人才之一,我很高兴他能接过接力棒。他负责过我们许多最重要的项目,我非常有信心,他将带领我们快速安全地朝着确保 AGI 造福所有人的使命迈进。”

2014年,苏茨克维是2014年被招募成为OpenAI的联合创始人的。当时,OpenAI还是一个旨在推动人工智能技术的发展,同时确保其安全性和普及性的非营利人工智能研究实验室。而那时的苏茨克维认为,这将是一个认真追求人类通用智能(AGI)的机会。

有网友猜测,苏茨克维离开是在2023年11月就开始酝酿了。那时,OpenAI董事层的“宫斗”戏码还历历在目:先是奥特曼被宣布遭到解雇,但又迅速回归。据外媒报道,而“宫斗”成因之一,便是苏茨克维与奥特曼在AI安全、技术发展速度以及公司商业化问题上存在分歧:苏茨克维的关注点从来不是OpenAI的商业化,而是如何防止超级智能失控。

宫斗剧画上句号了?还早

在大家都以为,从去年到今年OpenAI“宫斗”应该算是画上句号的时候,曾与苏茨克维共同领导OpenAI“超级对齐团队”的负责人之一莱克在X发文宣布,“我离职了”。

在莱克2021年从谷歌DeepMind团队加入OpenAI,主要研究方向包括强化学习、大语言模型的对齐工程及AGI。

在莱克和苏茨克维的Superalignment团队旨在未来四年内,构建一个能与人类水平相媲美的自动对齐研究器,尽可能将相关工作交由自动系统完成,同时确保人工智能系统的行为与人类价值观和目标保持一致。

上月,外媒曾报道过对齐团队的两名员工,也同为苏茨克维盟友的Leopold Aschenbrenner和Pavel Izmailov因“泄密”而被公司开除,但OpenAI并未提供任何泄密证据。

莱克在X发文数条来解释自己离职的原因。“建造比人类更聪明的机器本质上是一项危险的工作。OpenAI 代表全人类肩负着巨大的责任,但在过去几年里,安全文化和流程让位于光鲜亮丽的产品。”莱克直言,我们早该认真重视AGI的影响了,必须优先为其做好准备。只有这样才能确保 AGI 造福全人类。“OpenAI 必须成为一个安全至上的 AGI 公司。”

最后,莱克的结语致所有OpenAI员工:“学会感受 AGI,对你手中正在构建的事物,态度庄重一些。我相信你们可以‘传递’所需的文化变革。我指望着你们。全世界都在指望你们。”

人工智能安全治理究竟是否让位于“夺人眼球的产品”?在超级对齐团队上演离职风波之后,更多人开始关注AI安全问题。期待OpenAI在推出让世人惊叹的产品时,也能充分保障人工智能的安全性。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1