当前位置:首页|资讯

刚刚,OpenAI安全副总裁、北大校友Lilian Weng宣布离职,有时间写博客了

作者:机器之心Pro发布时间:2024-11-10

机器之心报道

编辑:Panda、陈陈

翁荔的技术博客深入、细致,具有前瞻性,被很多 AI 研究者视为重要的参考资料。如今,她离开了 OpenAI,开启新的征程。而且她表示,之后可能有更多时间频繁更新博客。

自从 Sam Altman 重新执掌 OpenAI 以来,该公司就陷入了持续不断的高管离职潮中。虽然近段时间有些外部新高管加入,但很显然这个离职潮仍未结束。

就在刚刚,OpenAI 安全系统团队负责人翁荔(Lilian Weng)在 X 上宣布将离开已经工作了近 7 年的 OpenAI。同时,她还公开分享了发给团队的离职信,不过其中并未明确说明她接下来的职业计划。

推文发布后,OpenAI 内外的一些知名人士为其送上了祝福,包括著名研究科学家 Noam Brown、OpenAI 首席信息安全官 Dane Stuckey、思维链提出者 Jason Wei 等等。

当然,许多网友也纷纷送上了自己的祝福,毕竟她不仅在 OpenAI 推动了安全相关的研究和实践,偶尔更新的博客 Lil’Log 也实实在在地帮助了很多人。

Lilian Weng 博客地址:https://lilianweng.github.io/

以下是她与团队分享的离职信的中文版:

亲爱的朋友们,

我做出了离开 OpenAl 的艰难决定。11 月 15 日将是我在办公室的最后一天。

OpenAl 是我成长为科学家和团队领导者的地方,我将永远珍惜与我一路共事和结交的朋友在一起的时光。OpenAl 团队一直是我的知己、老师,也是我身份认同的一部分。

我还记得 2017 年 OpenAl 的使命让我多么着迷,一群人梦想着一个不可能实现的科幻未来。在这里,我一开始研究的是全栈机器人难题 —— 从深度强化学习算法到感知再到固件 —— 目标是教会单台机械手如何解决魔方问题。整个团队花了两年时间,但我们最终做到了。

当 OpenAl 进入 GPT 范式,我们开始探索将最佳 AI 模型部署到现实世界的方法时,我组建了第一个应用研究(Applied Research)团队,推出了微调 APl、嵌入 APl 和审核端点的初始版本,为应用安全工作奠定了基础,并为许多早期 API 客户提供了新的解决方案。

GPT-4 发布后,我被要求接受一项新挑战,重新考虑 OpenAl 安全系统的愿景,并将工作集中在一个拥有完整安全椎栈的团队之下。那是我曾做过的最困难、压力最大又最激动人心的事情之一。现在,安全系统(Satety Systems)团队有超过 80 位出色的科学家、工程师、产品经理、政策专家,而且我为我们作为一个团队所取得的一切成就感到非常自豪。我们一起成为了每次发布的基石 —— 从 GPT-4 及其视觉和 turbo 版本到 GPT Store、语音功能和 o1。我们在训练这些模型使其既强大又负责任方面所做的工作为行业树立了新的标准。我为我们在 o1-preview 模型方面取得的最新成就感到特别自豪,它是我们迄今为止最安全的模型,在保持其实用性的同时,表现出对越狱攻击的卓越抵抗力。

我们一起取得了令人瞩目的成就:

  • 我们训练模型使其明白,通过遵循一套定义明确的模型安全行为政策,可以让其很好地拒绝敏感或不安全的请求,包括何时拒绝或不拒绝,从而在安全性和实用性之间取得良好的平衡。
  • 在每次模型发布时,我们都提高了其对抗稳健性,包括防御越狱攻击、指令层次结构以及通过推理大幅提升稳健性。我们在透明度方面的承诺都已体现在我们详细的模型系统卡中。
  • 我们开发了业界领先的具有多模态能力的审核模型,并免费分享给了公众。我们目前在更通用的监控框架和增强的安全推理能力方面的工作将为更多的安全工作流提供支持。
  • 我们为安全数据记录、指标、仪表板、主动学习管道、分类器部署、推理时间过滤和全新的快速响应系统建立了工程开发基础。

回顾我们所取得的成就,我为安全系统团队的每个人都感到骄傲,我非常有信心团队将继续蓬勃发展。我爱你们❤️。

现在,在 OpenAl 工作了 7 年后,我准备重新开始并探索一些新东西。OpenAl 正处于火箭般的增长轨迹上,我只希望这里的每个人都一切顺利。

附言:我的博客还在,会继续下去。我可能很快就会有时间更频繁地更新它,也可能会有更多时间来编程;)

爱你们的,

Lilian

Lilian Weng 介绍

Lilian Weng 是 OpenAI 华人科学家,她 2018 年加入 OpenAI,参与了 GPT-4 项目的预训练、强化学习 & 对齐、模型安全等方面的工作。她本科毕业于北大,曾前往香港大学进行短期交流,博士毕业于印第安纳大学伯明顿分校。

根据领英资料显示,Lilian Weng 在 OpenAI 已经工作了近 7 年时间,担任安全研究副总裁一职。

2021 年 - 2023 年工作期间,Lilian Weng 建立并领导了应用人工智能研究团队,包括产品研究、合作伙伴研究和应用安全,从而使得 OpenAI 的 API 更强大、更实用、更安全。

之前,她还是 OpenAI 机器人团队的技术主管,专注于训练关于机器人任务的算法,如教机械手如何解决魔方、旋转方块等。

在加入 OpenAI 之前,她还在 Facebook、Dropbox 从事软件工程和数据科学方面的工作。

Google Scholar 显示,Lilian Weng 论文引用量超过 13000 多次。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1