一盆冷水：OpenAI CEO称AI大模型时代已经结束

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按：ChatGPT 背后的 OpenAI CEO 山姆·奥特曼近日表示，以量取胜的 AI 发展之道或许已经走到尽头。这既是因为超大规模的大模型出现了收益递减的情况，也是因为企业没法在合理时间内建造出支撑那种规模的数据中心出来。AI 未来的突破需要另辟蹊径，只是大家还在摸索中。文章来自编译。

OpenAI 的聊天机器人 ChatGPT 的惊人能力点燃了人们对人工智能新的兴致与投资。但上周末，OpenAI 首席执行官却发出警告，称孕育出这款机器人的研究策略已经走到头了。但未来会从哪个方向取得突破还不清楚。

通过利用现有的机器学习算法，并将其扩展到以前无法想象的规模，近年来 OpenAI 的人工智能在语言上取得了一系列令人印象深刻的进展。GPT-4 是这些项目当中最新的一个，为了训练出这个模型，OpenAI 也许使用了数万亿个文本单词以及数千个强大的计算机芯片。整个训练过程耗资超过了 1 亿美元。

但该公司首席执行官山姆·奥特曼（Sam Altman）表示，下一步的进展不会来自让模型的规模变得更大。上周末他在麻省理工学院举行的一次活动中告诉现场观众： “我认为我们已经走到了一个时代的尽头，这些超级庞大的模型已经发展到头。我们会用其他方式让它们变得更好。”

奥特曼的宣告表明，在开发与部署新的 AI 算法的竞赛中出现了意想不到的转折。自 OpenAI 去年 11 月推出 ChatGPT 以来，微软已利用底层技术在其 Bing 搜索引擎中植入了一个聊天机器人，谷歌也推出了一个叫做 Bard 的聊天机器人参与竞争。很多人都争先恐后地尝试用新型聊天机器人来帮助完成工作或个人任务。

与此同时，在投资的加持下，包括 Anthropic、AI21、Cohere 与 Character.AI 在内的众多初创企业正在投入大量资源来开发规模甚至更大的算法，好努力赶上 OpenAI 的技术。ChatGPT 的初始版本以略微升级的 GPT-3 版本为基础，但用户现在还可以访问由功能更强大的 GPT-4 提供支持的版本。

奥特曼的说法也许暗示 GPT-4 将是 OpenAI 靠“规模取胜”策略（更大模型、更多数据）的最后一个重大进展。但他没有指出应该用什么样的研究策略或技术来取代“规模取胜”。在描述 GPT-4 的论文里，OpenAI 确实也指出了自己估计扩大模型规模会出现收益递减。奥特曼表示，企业能建造的数据中心的数量以及建造速度也存在物理限制。

曾在谷歌从事 AI 工作，现为 Cohere 联合创始人的 Nick Frosst 表示，奥特曼认为“做大没法一直奏效”的看法听起来是对的。他也认为，Transformer（GPT-4 及其竞争对手的核心机器学习模型类型）的改进不只有扩展这一条路。他说：“有很多方法可以让 transformer 变得更好、更有用，而且很多方法都不需要给模型增加参数”。Frosst 说，新的 AI 模型设计或架构，以及基于人类反馈的进一步调优，这些都是许多研究人员在积极探索的有前途的方向之一。

OpenAI 的语言算法系列影响巨大，每一版都由一个人工神经网络（这种网络的发明受到了神经元协同机制的启发）组成，经过训练后，这种神经网络就可以预测给定文本字符串后面应该出现什么样的文字。

GPT-2 是这系列语言模型的第一个，发布时间是 2019 年。它的最大形式有 15 亿个参数（衡量其原始人工神经元之间可调节连接的数量）。

在当时，跟以前的系统相比，这个数量已经非常庞大，这在一定程度上要归功于 OpenAI 研究人员的发现——扩大规模可以让模型更具一致性。2020 年，该公司又推出了 GPT-2 的后续版本 GPT-3，后者的规模更大，参数数量高达 1750 亿。这套系统可以生成诗歌、电子邮件以及其他文本，其能力的广泛性有助于说服其他公司和研究机构将他们自己的人工智能模型推向类似甚至更大的规模。

去年 11 月 ChatGPT 首次亮相后，模因制造者以及技术专家纷纷开始推测，一旦 GPT-4 出现将会成为令人眩晕的规模与复杂性的典范。然而，当OpenAI 最终发布其最新人工智能模型时，该公司并没有透露它的规模有多大——也许是因为规模不再是最重要的。在麻省理工学院的那场活动上，奥特曼被问及训练 GPT-4 的花费是否要 1 亿美元；他的回答是：“不止。”

尽管 OpenAI 对 GPT-4 的规模与内部机制保密，但它的部分智能很可能已经来自于规模以外的观察。一种可能性是它用了所谓的强化学习方法，引入人工反馈，用来增强 ChatGPT。这种方法涉及到让人类判断模型答案的质量，从而引导 AI 提供更有可能被判断为高质量的响应回答。

GPT-4 的非凡能力让部分专家感到震惊，并引发了关于人工智能在改变经济的同时传播虚假信息、导致裁员的争论。还有一些 AI 专家，以及包括马斯克在内的科技企业家与科学家最近写了一封公开信，呼吁要暂停任何比 GPT-4 更强大的 AI 研发活动 6 个月。

上周在麻省理工学院，奥特曼证实了他的公司目前还没有开发 GPT-5。 他说：“这封信之前的版本称 OpenAI 目前正在训练 GPT-5。我们没有，而且在一段时间内也不会做这件事。”

译者：boxi。