一年快到头了,OpenAI 面临着前所未有的尴尬局面:反响不大的发布会,接连出走的核心人员,以及持续不断地烧钱大战。
昨夜据 The Information 消息,OpenAI 又一位元老级研究人员 Alec Radford 即将离职,寻求独立研究的机会。与以往的「明星」出走不同,Alec Radofrd 并不为人所知的名字,而是真正的幕后英雄。
作为 GPT 论文的主要作者,Alec Radford 的贡献包括了 GPT、GPT-2、CLIP 等多个重要研究,论文被引用超过 18 万次,并且参与了 GPT-2、语音模型 Whisper 以及 Dall-E 的开发——称他为 OpenAI 所有重大技术突破的「幕后推手」,一点都不为过。
早在 2015 年起,Alec Radford 就投身于研究卷积网络、batch norm 和 GAN 等核心技术的研究。2016 年,他加入 OpenAI,成为早期团队的一员。刚进入 OpenAI 时,他就在尝试用不同大小的数据集,来训练模型对下一个单词进行预测,从而生成文本。
等到 2017 年,划时代的论文「Attention Is All You Need」发布,改写了计算机领域接下来的走向。Ilya 看到了这篇论文,鼓励 Alec 继续沿着这条道路深入研究下去,他才逐渐意识到数据量的重要性。
如今,包括 Ilya 在内的其他早期核心成员如 Mira Murati,Andrej Karpathy,Bob McGrew,John Schulman 等人,都已经悉数离职。
相比于其他成员,Alec Radford 一直显得很低调。社交媒体上的内容停留在 2019 年,基本上也跟研究相关。
实际上,十月时就有传言他将离开 OpenAI。后来,OpenAI 迎来了接二连三的人事动荡,近期又有持续 12 天的发布会,一下子还真没让人联想到核心人员又走一个。
相比于 Alec Radford 加入时,如今的 OpenAI 人多钱多。去年年初,OpenAI 筹集了 100 亿美元。但再过 18 个月左右,OpenAI 将需要另一笔资金注入:据纽约时报,这笔钱已经被消耗的差不多了。毕竟对于这家 AI 巨头而言,一年的支出就可以超过 50 亿美元。
OpenAI 的开支不断增加,影响了它从非营利组织转向成为营利机构的主要原因之一。OpenAI 最初是一家研究实验室,使命是为安全可用的通用型人工智能(AGI)铺平道路。但是在今年,它的目标已经变成转型成为一家营利公司。
在接下去的几年里,OpenAI 必须筹集数十亿美元的额外资金,保证自身的运转以及更多的突破。
关注 AI 第一新媒体,率先获取 AI 前沿资讯和洞察
Alec Radford 开发的模型及其预训练的方式,的确在许多方面颠覆了计算机技术的开发方式。但在所有颠覆发生之前, 工程师们首先要做的是,为这些系统提供大量数据。
就像学生通过阅读更多书籍来学习更多知识一样,AI 通过吸收更大的数据来提高其技能。像 ChatGPT 这样的聊天机器人,通过吸收互联网上几乎所有的文本材料来学习和提高自身的表现。这也是 Alec Radford 找出的路线范式。
「想象一下需要一遍又一遍地阅读互联网,」投资人工智能初创企业的风险投资公司 Radical Ventures 的合伙人 David Katz)说,「这是世界上计算最密集的任务。」
这背后,需要大型数据中心提供越来越强大的计算能力。数据中心内的计算机则需要配备数千个专用计算机芯片(GPU),每个芯片的价格可能超过 30,000 美元。数据中心运营商 Colovore 的首席执行官 Sean Holzknecht 对纽约时报说,这种新型计算设施的成本是传统数据中心的 10 到 20 倍。
这些芯片需要时间训练,而每次的训练成本就有可能高达数亿美元。用于完成这些计算工作所需的芯片、数据中心加在一起,再算上电力供应,训练的成本一升再升。
实际上,除了 OpenAI,还有Google、微软等公司,目前都正在努力扩大构建其技术所需的全球数据中心。他们计划投入数千亿美元来增加每年生产的计算机芯片数量,将它们安装在世界各地的设施中,同时还要确保运行所需的电力。
这也是为什么在过去的十一天里,OpenAI 的发布会透露对于盈利的迫切追求。
「如果你试图追逐像科幻小说那样的水平,」前谷歌研究员、开发类似技术的初创公司 Cohere 联合创始 Nick Frosst 表示,「成本将不断上升。」
人工则是另一项支出大头,根据 Bloomberg 的报道,OpenAI 的 AI 工程师,年薪比非 AI 同行高出 8%到 12.5%。
从 OpenAI 在网站上列出的工程师职位来看,最常见的薪资范围是 20 万美元到 37 万美元,一些更专业的职位广告薪资范围从 30 万美元到 45 万美元,高级工程师的年薪可高达 80 万美元,底薪为 60 万,薪资增幅可达 30%。此外,某些职位的员工可以获得高达 1000 万美元的公司股权和其他福利。
左:OpenAI CEO Sam Altman,右:OpenAI前首席科学家 Ilya Sutskever,现已离职
就在这个关口,新一代的推理模型 o3 也传出风声——不是跳级,而是为了避嫌 o2 这个名字,跟英国电信服务商重名了,可能会导致商标问题所以才这样称呼。据称这将是采新型训练方式 Orion 开发的新一代推理模型。
这情节,看上去很熟悉啊——Mira Murati 的离职官宣,正是在 OpenAI 发布高级语音模式的第二天。
难道 Alec Radford 也是真-使命已达,所以下定决心离开的?还剩最后一天的发布会,我们拭目以待。