彻底告别 Ilya 时代后,OpenAI 正在全力加速 AI 研发的推进。
昨天深夜,OpenAI 在最新的博客透露,该公司最近开始训练新的前沿模型,预计这将使其能力在通向通用人工智能(AGI)的道路上达到新的高度。
结合此前的诸多猜测,训练提上日程的模型极有可能就是下一代模型——GPT-5。
但在此之前,安全二字依然是悬于 OpenAI 头顶的达摩克利斯之剑。
继疑似解散「超级对齐」团队之后,OpenAI 又一次因为安全话题站在了风口浪尖上。
昨晚,OpenAI 在社交平台 X 上官宣成立「安全保障委员会」,主要负责向董事会提出关于 OpenAI 项目和运营的关键安全决策建议。
据博客介绍,安全保障委员会的首要任务是在接下来的 90 天内评估并进一步完善 OpenAI 的流程和安全措施,90 天后,安全保障委员会将向全体董事会分享他们的建议。
在全体董事会审查后,OpenAI 将以符合安全和保障的方式公开分享采纳建议的更新。
安全保障委员会由董事 Bret Taylor(主席)、Adam D’Angelo、Nicole Seligman 和 CEO Sam Altman 共同领导,清一水都是 OpenAI 「自己人」。
除了领导团队,该委员会还吸纳了OpenAI的多位技术和政策专家。
OpenAI 的技术和政策专家 Aleksander Madry(应急负责人)、Lilian Weng(安全系统负责人)、John Schulman(对齐科学负责人)、Matt Knight(安全负责人)和 Jakub Pachocki(首席科学家)也将加入委员会。
此前 OpenAI 实际上一共只有三个各有专攻的安全团队:安全系统团队、准备团队和疑似遭到解散的超级对齐团队。
安全系统团队:主要负责评估和监督 AI 系统的安全性,任务包括减少模型滥用、监控网络流量和异常行为、保护公司资产和数据安全等。
准备团队:专注于前沿模型的安全评估。这个团队的目标是在模型发布之前识别和量化风险,以确保模型的安全性。
超级对齐团队:主要是对研发的 AI 进行评估并监督,防止 AI 走向失控局面。
而此次成立的安全保障委员会或许只是独立于三大安全团队之外的临时委员会。
实际上,OpenAI 最近在 AGI 安全的话题上一直备受诟病,先有致力于人类安全的首席科学家 Ilya Sutskever 宣布离职,后又有前「超级对齐」团队负责人之一 Jan Leike 连发 13 条小作文自述在内部遭遇的打压。
用 Jan 的话来说, OpenAI 的安全文化已经退居次要地位,「闪亮的产品」才是第一优先级。
从去年至今,OpenAI 的「宫斗大戏」就像一场未完待续的连续剧,持续在科技圈内回响。
网友们最大的心态变化莫过于逐渐对那个曾经坐在美国国会山接受咨询,为确保 AI 服务于人类福祉侃侃而谈的 Sam Altman 产生了滤镜破碎。
包括此次所谓安全保障委员会的成立,看似动作不小,但更像是为了挽救舆论危机的一项权宜之计。
如果说之前 OpenAI 内部还在安全主义和加速主义两个派别中摇摆不定时,那么随着 Sam Altman 重返董事会后,安全主义就几乎宣告「破产」。
OpenAI 前董事会成员 Helen Toner 也是去年「解雇」Altman 的幕后推手之一。
暌违半年后,她于今日凌晨播出的《TED AI 秀》播客节目,向外界透露了关于这场风波的更多内幕信息,或许也让我们看到一个更「立体」的 Altman。
Helen 表示,当 ChatGPT 于 2022 年 11 月推出时,董事会并没有提前得到通知,并且后续还是在 Twitter(现为 X)上才知道这么一回事,而这一点也与此前批评 Altman 的「不诚实」暗自吻合。
又或者,Altman 在公司的安全事务上喜欢「先斩后奏」:
在很多场合,他向我们提供了有关公司已实施的正式安全流程的不准确信息。 这意味着董事会基本上不可能知道这些安全流程的运行情况或可能需要进行哪些更改。
在 Helen 看来,OpenAI 设立的目的是确保公司的公益使命是第一位的,而不是利润、投资者利益和其他事情。Altman 的「撒谎成性」,不仅使得董事会「名存实亡」,也违背 OpenAI 成立的初衷。
至于为何 Altman 会在员工的簇拥上重返董事会, Helen 认为:
媒体报道失误,不少员工认为,若是 Altman 不重返董事会,OpenAI 将被「摧毁」。
许多员工不希望公司分崩离析,不希望失去工作,并且需要变现手上的股权
员工害怕反对 Altman,恐惧 Altman 重新掌权后的报复
Altman 有过被「解雇」和被指控有不当行为的「前科」
Helen 的表述,也再次在网络上掀起了轩然大波,网友们有的选择对 Altman「粉转黑」,有的则支持加速主义,并攻讦她的「一面之词」。
对此,OpenAI 官方没有立即回应。
不过,据彭博社报道,在向 TED 播客中的一份声明中,OpenAI 现任董事长主席 Bret Taylor 表示:「我们对 Toner 女士再次提及这些问题感到失望。」
他还提到,对 Altman 解雇事件的独立审查得出的结论是「前董事会的决定并不是基于对产品安全、开发速度、OpenAI 财务状况或其向投资者、客户或商业伙伴的声明的担忧。」
Taylor 还表示,「超过 95% 的员工」要求重新任命 Altman,公司仍然专注于其「确保通用人工智能(AGI)惠及全人类」的使命。
值得一提的是,据 Forbes 报道,Altman 和他的爱人成为 最新签 署「捐赠誓言」计划的亿万富翁。
而该计划旨在鼓励超级富豪至少将一半的财富捐赠给慈善事业,这些捐款可以在他们生前或身后进行,具体捐赠对象和时间由签署人自行决定。
在公开信中,Altman 和他的爱人 Oliver Mulherin 表示:
许多人为了改善世界付出了辛勤工作、才智、慷慨和奉献,这些构成了社会的支柱,让我们走到了今天。
我们除了感到无比感激并承诺回馈社会外,别无他法,只能尽力将这个支柱建设得更高一些。
言归正传,在 OpenAI 深陷 AGI 安全舆论危机的同一天,Jan Leike 猝不及防地宣布加入 Anthropic 公司。
工作的地方换了,但任务事项却没变:
我很高兴加入 @AnthropicAI,继续推进超对齐任务! 我的新团队将致力于可扩展监督、从弱到强的泛化以及自动化对齐研究。
说起来,Anthropic 公司其实也与 OpenAI 有些渊源。
Anthropic 的创始人包括 OpenAI 的前研究副总裁 Dario Amodei 和他的同胞姐妹 Daniela Amodei,以及一些 OpenAI 的核心员工。
出于安全主义的权衡,他们于 2021 年离开 OpenAI,成立了 Anthropic 公司,致力于开发提高 AI 安全性和可解释性的工具。
其目标是开发与 OpenAI 竞争的生成式人工智能模型,并在 AI 安全和可靠性方面进行研究,譬如前一阵超越 GPT-4 的 Claude 3 系列模型便是出自这家公司之手。
换句话说,Jan Leike 选择加入 Anthropic 相当于回到自家大本营了。
或许某一天,Ilya 宣布加入 Anthropic 公司,也不是一件出乎意外的事情了。
本文来自微信公众号“APPSO”(ID:appsolution),作者:用 AI 发电的,36氪经授权发布。