OpenAI又跑了一名大神!
The Information消息,初代GPT论文第一作者Alec Radford也要离开OpenAI,转向独立研究。
据了解, Alec于2016年加入OpenAI,从初代GPT到GPT-4o的论文中全都有他的名字,其中前两代还是第一作者。
另外OpenAI的多模态模型CLIP,还有语音识别模型Whisper,论文一作也都是Alec。
对于Alec的离开,OpenAI研究负责人Mark Chen表示,“我们对Alec和他的贡献深表敬意和赞赏,并期待在他探索独立研究的过程中继续与他合作。”
之前,前任研究团队负责人Jeff Clune(已于2022年离开OpenAI,现在是不列颠哥伦比亚大学副教授,同时给DeepMind担任顾问)还对Alec给予过很高的评价,认为Alec是影响力最大但知名度最低的AI科学家之一。
甚至在Jeff看来,Alec应该作为“现代生成式人工智能之父”被载入史册。
2016年,Alec Radford于富兰克林·欧林工程学院(Franklin W. Olin College of Engineering)取得学士学位,随后加入OpenAI,一干就是8年。
虽然Alec只有本科学历,但在大模型领域是不折不扣的领军人才,截至今日论文被引量已超19万。
被引量排名前三的论文,分别与GPT-3、CLIP和GPT-2相关。
这三篇论文都为今天的ChatGPT打下了重要基础,实际上,Alec几乎参与了OpenAI所有的重大突破。
除了被引量最高的这三篇,从第一代GPT到GPT-4o的作者名单中,Alec的名字都赫然在列,并且前两代中都是第一作者。
Alec同样作为一作的CLIP,则是OpenAI在多模态路线上的重要成果,甚至在整个行业都极具影响力;同时,Alec也是OpenAI初代绘图模型DALL·E的参与者。
其他模态方面,OpenAI开源的语音识别系统Whisper,一作仍然是Alec……
不过,最新的o1模型贡献者列表中已经没有了Alec的名字,但与他一同从初代开始参与所有GPT工作的Ilya,仍然在o1的名单之上。
但无论如何,综观整个OpenAI,其他人或多或少都转向过机器人、或是游戏AI等其他领域“发发论文”,只有Alec坚持做大模型方向的研究。
正是他所坚持的大语言模型路线,改变了OpenAI公司、乃至整个AI领域的发展方向。
对此,奥特曼还曾半调侃半认真地表示:
招聘时,记得关注那些“看起来不会加入公司”的人。
OpenAI一开始并未确定大模型这一研究方向,但我们仍然招了AI研究员,并在取得突破后让更多人加入其中,最终成就了ChatGPT。
在加入OpenAI之前,Alec研究了卷积神经网络、批量归一化和GAN,是DC-GAN的第一作者。
DC-GAN的另外两名作者,是Alec的同学Luke Metz和PyTorch之父Soumith Chintala。
彼时,还在上学的Alec已经参与创立了indico.io(现名为Indico Data),Luke也加入到了该公司。
(后来,大模型兴起之后,Indico也增加了企业大模型业务,率先推出了基于GPT的自定义模型。)
2016年,也就是Alec加入OpenAI的同一年,Luke去了谷歌大脑,但后来又在2022年加入了OpenAI,参与了GPT-4的部分研发工作,不过今年10月也离职了。
到Alec离职完成之后,也就标志着前两代GPT论文的所有作者,都离开OpenAI了。
其中最著名的是原首席科学家Ilya Sutskever,他和Alec一样参与了包括前两代在内的GPT的工作。
Ilya今年五月宣布退出OpenAI时,震动了整个AI圈,后来他成立了新公司,主攻构建“安全超级智能”。
第一代GPT的另外两名作者分别是Karthik Narasimhan和Tim Salimans。
其中Karthik Narasimhan到OpenAI是出任访问学者,2018年访问期结束后到普林斯顿担任教职,现在是普林斯顿NLP联合主任,跟陈丹琦是同事。
另外,Karthik还是开源版Devin作者之一——清华姚班学霸姚顺雨在普林斯顿读博期间的导师(今年8月,姚顺雨加入了OpenAI)。
三作Tim Salimans则是在2018年7月履新谷歌大脑,担任职位为高级管理科学家。
同样选择加入谷歌的,还有GPT-2的三作Rewon Child和四作David Luan。
Rewon后来还参与了GPT-3的工作,2021年离开OpenAI加入谷歌,2022年加入了初创公司Inflection AI,今年三月又到了微软;
David到谷歌则是2020年,后来他和Transformer论文作者Ashish Vaswani、Niki Parmar一起,创办了一家叫Adept的公司,David出任CEO。
不过据David的领英资料显示,他这个月已不在Adept担任职务,而是加入了亚马逊,与强化学习大牛、吴恩达第一届博士生Pieter Abbeel一同工作。
除了去谷歌的,GPT-2的作者中还包括了后来OpenAI的最强竞对,也就是Claude背后的厂商Anthropic的创始人Dario Amodei。
Dario在OpenAI参与了GPT-2和3的工作,2020年末和妹妹Daniela一起离开,创立了Anthropic,两人分别出任CEO和总裁。
去向为Anthropic的,除了创始人Dario,还有GPT-2的二作Jeffrey Wu,离职的时间是今年7月,成为了倒数第二位离开OpenAI的前两代GPT参与者。
而今天,随着Alec的离职消息,打造最早两代GPT的八位研究者,已经要全部各奔东西了。
[1]https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs
[2]https://scholar.google.com/citations?user=dOad5HoAAAAJ&hl=en
[3]https://x.com/iScienceLuvr/status/1869852854728700166
本文来自微信公众号“量子位”,作者:克雷西,36氪经授权发布。