OpenAI官宣下一代更接近AGI模型开始训练！成立新委员会把控 AI 安全

出品｜搜狐科技

作者｜郑松毅

当地时间周二（5月28日），OpenAI发布公告称董事会成立一个负责把控AI开发方向的安全委员会，新委员会负责就所有OpenAI项目的关键安全决策提出建议。

公告称，新安全委员会将由董事Bret Taylor（主席）、Adam D’Angelo、Nicole Seligman和Sam Altman（首席执行官）领导，均为公司内部人员。

该新安全委员会成立后的首要任务是，评估并进一步制定未来 90 天内 OpenAI的流程和保障措施。90 天结束后，安全与保障委员会将与全体董事会分享其建议。在全体董事会审查后，OpenAI 将以符合安全与保障的方式公开分享已采纳建议的最新进展。

公告还提到，OpenAI 技术和政策专家 Aleksander Madry（准备工作主管）、Lilian Weng（安全系统主管）、John Schulman（对齐科学主管）、Matt Knight（安全主管）和 Jakub Pachocki（首席科学家）也将加入该委员会。

此外，OpenAI 将聘请并咨询其他安全、安保和技术专家来支持这项工作，包括前网络安全官员、为 OpenAI 提供安全建议的 Rob Joyce 和 John Carlin。

随着人工智能技术的快速发展，越发智能的人工智能大模型在各个领域展示出了巨大的潜力。然而，这些技术的进步也引发了人们对安全的担忧。“安全监管”这个话题，从不缺席于各大人工智能技术及产品发布会。

在刚刚结束的2024微软开发者大会上，OpenAI联合创始人兼首席执行官山姆·奥特曼（Sam Altman）再次强调，考虑如何应对AI可能带来的存在性风险至关重要，现在的GPT-4远非完美，还有很多工作要做。

人工智能开创者之一的Geoffrey Hinton表示，“AI将会比人类更聪明，担心AI可能会发展出自己的次级目标，从而寻求更多的权利，导致不可控的后果。”

中国科学院院士、清华大学教授姚期智担心，人工智能系统可能会面临安全漏洞，被恶意利用或者攻击，对个人隐私和数据安全造成威胁。另外，人工智能系统的价值观可能与人类的价值观相冲突，导致系统做出不符合人类期望的决策或者行为。

OpenAI前首席科学家 Ilya Sutskever和 Jan Leike曾是 OpenAI 超级对齐团队的领导者，该团队负责确保 AI 与预期目标保持一致，他们于本月初离开了公司。

随着两位领导的离开，超级对齐团队已被解散，将纳入其他研究工作当中。据消息人士透露，注重AI安全的员工已经对Sam Altman失去信心。外界一再表示疑问，缺少安全把控的OpenAI将会被更复杂的人工智能模型带向何处？现在看来，OpenAI已经找到了新的安全“领航员”。

值得注意的是，OpenAI还在公告中提到一条重磅消息，“最近开始训练其下一个前沿模型，我们预计最终的系统将使我们在通往 AGI 的道路上更上一层楼。”

可喜的是，对OpenAI下一代大模型的期待终是没被辜负，能确认的是离AGI更近的大模型已经开始训练了。

但根据OpenAI的描述，下一代大模型恐怕来的不会那么快。单从技术角度来说，更具规模的AI大模型训练周期自然不会短，再加上模型研发后还要经过安全团队的测试和调整，恐怕还需要大家再耐心等等了。

自ChatGPT诞生以来，每一代大模型都经历了显著的功能升级，不断提升其在图文、音频、视频等多领域的表现性能和应用广泛性，被认为是行业标杆。

两周前，OpenAI发布最新模型GPT-4o，其像真人一般出色的“实时互动”表现再次震撼全场。

可以说，OpenAI在研的下一代模型，虽然目前还没有更多细节披露，但从技术更迭的趋势和速度来看，值得期待。