华尔街日报：OpenAI GPT-5未达到预期

鞭牛士报道，12月22日消息，据《华尔街日报》最新报道称，OpenAI 开发下一个主要模型 GPT-5 的努力正在落后于计划，其结果尚未证明其巨大的成本是合理的。

这与 The Information之前的一篇报道相呼应，该报道指出，由于GPT-5 可能不会像之前的模型那样代表巨大的飞跃， OpenAI 正在寻找新的策略。但《华尔街日报》的报道还包含有关代号为 Orion 的 GPT-5 18 个月开发的更多细节。

据报道，OpenAI 已完成至少两次大规模训练，旨在通过对大量数据进行训练来改进模型。初始训练运行速度比预期的要慢，这意味着更大规模的运行既耗时又昂贵。据报道，虽然 GPT-5 的性能比其前辈更好，但它还不足以证明维持模型运行的成本是合理的。

《华尔街日报》还报道称，OpenAI 不仅依赖公开数据和授权协议，还雇佣人员通过编写代码或解决数学问题来创建新数据。它还使用另一个模型 o1 创建的合成数据。

OpenAI 尚未立即回应置评请求。该公司此前曾表示，今年不会发布代号为 Orion 的模型。

以下为全文：

OpenAI 的新人工智能项目进度落后，而且花费巨大。尚不清楚它何时或是否会成功。世界上可能没有足够的数据让它变得足够聪明。

该项目正式名称为 GPT-5，代号为 Orion，已筹备了 18 个多月，旨在成为 ChatGPT 技术的重大进步。知情人士称，OpenAI 最亲密的合作伙伴和最大的投资者微软原本预计将在 2024 年中期左右看到新模型。

OpenAI 已经进行了至少两次大规模训练，每次训练都需要数月时间处理大量数据，目的是让 Orion 变得更智能。据了解该项目的人士称，每次训练都会出现新问题，软件无法达到研究人员所期望的结果。

他们表示，Orion 的表现充其量比 OpenAI 目前的产品要好，但还不足以证明维持新模型运行的巨大成本是合理的。根据公共和私人对训练各个方面的估计，为期六个月的训练运行仅在计算成本方面就可能花费约 5 亿美元。

两年前， OpenAI 及其傲慢的首席执行官Sam Altman推出了 ChatGPT，在硅谷引起了轩然大波。人工智能有望不断取得显著进步，并渗透到我们生活的几乎所有方面。分析师预测，未来几年科技巨头可能会在人工智能项目上投入 1 万亿美元。

这些期望主要落在了人工智能热潮的发源地 OpenAI 公司身上。

10 月份投资者对 OpenAI 的 1570 亿美元估值，很大程度上基于奥特曼的预测，即 GPT-5 将代表各类学科和任务的“重大飞跃”。

GPT-5 有望解锁新的科学发现，并完成诸如预约或航班预订等日常人类任务。研究人员希望它犯的错误会比现在的人工智能更少，或者至少承认怀疑——这对目前的模型来说是一个挑战，因为目前的模型可能会带着明显的自信产生错误，也就是所谓的幻觉。

人工智能聊天机器人运行在被称为大型语言模型（LLM）的底层技术上。消费者、企业和政府已经依赖它们来做从编写计算机代码到修饰营销文案和策划派对等所有事情。OpenAI 的聊天机器人名为 GPT-4，这是该公司自 2015 年成立以来开发的第四个 LLM。

OpenAI 的一位前高管表示，虽然 GPT-4表现得像一个聪明的高中生，但最终的 GPT-5 实际上在某些任务上会拥有博士学位。今年早些时候，Altman 在斯坦福大学的一次演讲中告诉学生，OpenAI 可以高度科学地肯定GPT-5 将比当前模型聪明得多。

目前尚无确定模型何时变得足够智能，可以指定为 GPT-5 的既定标准。OpenAI 可以在数学和编码等领域测试其法学硕士。公司高管将根据直觉或许多技术专家所说的“感觉”来决定模型是否足够智能，可以称为 GPT-5。

到目前为止，气氛还不太好。

OpenAI 和微软拒绝对本文发表评论。去年 11 月，Altman 表示，这家初创公司不会在 2024 年发布任何名为 GPT-5 的东西。

训练日

从2023 年 3 月 GPT-4 问世的那一刻起，OpenAI 就一直致力于 GPT-5。

长期从事人工智能研究的研究人员表示，开发大型语言模型等系统既是一门艺术，也是一门科学。世界上最受尊敬的人工智能科学家因其如何获得更好结果的直觉而闻名。

模型在训练过程中进行测试，这是一个持续的周期，在此期间，模型可以输入数万亿个单词片段（称为标记）。大规模的训练运行可能需要几个月的时间，数据中心需要数万块昂贵且令人垂涎的计算机芯片，通常来自Nvidia。

在训练过程中，研究人员需要连续数周甚至数月坐在电脑前，尝试使用遥远的数据中心里最昂贵的硬件，将世界上的大量知识输入到人工智能系统中。

奥尔特曼表示，训练 GPT-4 的成本超过 1 亿美元。未来的人工智能模型预计将超过 10 亿美元。训练失败就像发射后不久在天空中爆炸的火箭。

研究人员试图通过较小规模的实验（在真正进行实验之前进行试运行）来最大限度地降低这种失败的可能性。

从一开始，GPT-5 计划就存在问题。

2023 年年中，OpenAI 开始了一次训练，同时也是对 Orion 拟议新设计的测试。但这个过程进展缓慢，这表明更大规模的训练可能需要非常长的时间，这反过来会使成本变得异常高昂。而这个被称为 Arrakis 的项目的结果表明，创建 GPT-5 不会像预期的那样顺利。

OpenAI 研究人员决定进行一些技术调整来增强 Orion。他们还得出结论，他们需要更多样、更高质量的数据。他们觉得公共互联网的数据不够。

一般来说，人工智能模型吞噬的数据越多，其能力就越强。对于大型语言模型来说，这些数据主要来自书籍、学术出版物和其他受人尊敬的来源。这些材料有助于大型语言模型更清楚地表达自己并处理各种任务。

对于之前的模型，OpenAI 使用从互联网上抓取的数据：新闻文章、社交媒体帖子和科学论文。

为了让 Orion 变得更智能，OpenAI 需要让它变得更大。这意味着它需要更多的数据，但数据还不够。

DatologyAI 是一家开发工具来改善数据选择的初创公司，其首席执行官Ari Morcos表示：这变得非常昂贵，而且很难找到更多同等高质量的数据。

Morcos 正在用更少但更好的数据构建模型，他认为这种方法将使当今的人工智能系统比 OpenAI 等所有顶级人工智能公司所采用的策略更强大。

OpenAI 的解决方案是从头开始创建数据。

该公司正在招聘人员编写新的软件代码或解决数学问题，以供 Orion 学习。这些员工中有些是软件工程师和数学家，他们还会向 Orion 解释自己的工作。

许多研究人员认为，代码，即软件语言，可以帮助大型语言模型解决他们尚未见过的问题。

让人们解释他们的想法可以加深新创建数据的价值。这是法学硕士需要吸收的更多语言；它也是该模型未来如何解决类似问题的地图。

「我们正在将人类智能从人类思维转移到机器思维中。」与 OpenAI、 Meta等公司 合作的人工智能基础设施公司 Turing 的首席执行官兼联合创始人乔纳森·西达尔特 (Jonathan Siddharth) 表示。

图灵高管表示，在人工智能培训中，软件工程师可能会被要求编写一个程序来有效解决复杂的逻辑问题。数学家可能需要计算用一百万个篮球搭建的金字塔的最大高度。然后，答案——以及更重要的是，如何达到这些答案——将被纳入人工智能培训材料中。

OpenAI 与理论物理等学科的专家合作，解释他们将如何处理该领域一些最棘手的问题。这也可以帮助 Orion 变得更聪明。

这个过程非常缓慢。GPT-4 的训练使用了大约 13 万亿个 token。一千人每天写 5,000 个单词，需要几个月才能产生十亿个 token。

OpenAI 还开始开发所谓的合成数据，即由人工智能创建的数据，以帮助训练 Orion。研究表明，人工智能为人工智能创建数据的反馈回路经常会导致故障或产生无意义的答案。

知情人士称，OpenAI 的科学家认为，他们可以通过使用另一个名为 o1 的人工智能模型生成的数据来避免这些问题。

OpenAI 本已十分困难的任务因内部动荡和竞争对手几乎不断挖走其顶尖研究人员（有时甚至向他们提供数百万美元）而变得更加复杂。

去年，阿尔特曼突然被 OpenAI 董事会解雇，一些研究人员开始怀疑该公司是否还能继续运营下去。阿尔特曼很快被恢复首席执行官一职，并着手改革 OpenAI 的治理结构。

今年，OpenAI 已有 20 多名重要高管、研究人员和长期员工离职，其中包括联合创始人兼首席科学家 Ilya Sutskever 和首席技术官Mira Murati 。上周四，广受赞誉的研究员Alec Radford宣布离职，他曾是 OpenAI 多篇科学论文的主要作者，在公司工作了大约八年后离职。

重启

到 2024 年初，高管们开始感受到压力。GPT-4 已经问世一年，竞争对手开始迎头赶上。Anthropic 的新法学硕士学位被业内许多人认为比 GPT-4 更好。几个月后，谷歌推出了今年最受欢迎的新 AI 应用程序NotebookLM。

随着 Orion 停滞不前，OpenAI 开始开发其他项目和应用程序。其中包括精简版的 GPT-4 和 Sora，后者是一款可以制作 AI 生成视频的产品。

据知情人士透露，这导致新产品开发团队和 Orion 研究人员之间争夺有限的计算资源。

人工智能实验室之间的竞争日趋激烈，以至于大型科技公司发表的有关最新发现或突破的论文数量比科学界通常的要少。两年前，随着资金涌入市场，科技公司开始将此类研究成果视为需要保密的商业机密。

一些研究人员对此非常重视，他们不会在飞机、咖啡店或任何有人能从他们身后偷看他们工作成果的地方工作。

这种神秘的态度让许多长期从事人工智能研究的研究人员感到沮丧，其中包括Meta 首席人工智能科学家Yann LeCun。LeCun表示，OpenAI 和 Anthropic 的工作不应再被视为研究，而应被视为高级产品开发。

「如果你用商业时钟做这件事，那就不能称之为研究。」LeCun 在最近的一次人工智能会议间隙表示，OpenAI 在这次会议上几乎没有出席。「如果你秘密做这件事，那就不能称之为研究。」

2024 年初，OpenAI 准备再次尝试 Orion，这次有了更好的数据。研究人员在年初的几个月里进行了几次小规模的训练，以增强信心。

到 5 月份，OpenAI 的研究人员决定，他们已准备好对 Orion 进行另一次大规模训练，预计训练将持续到 11 月。

训练开始后，研究人员发现数据中存在一个问题：数据并不像他们想象的那么多样化，这可能会限制猎户座的学习能力。

这个问题在小规模的努力中并不明显，直到大规模训练开始后才显现出来。OpenAI 花费了太多时间和金钱来重新开始。

相反，研究人员在训练过程中努力寻找更广泛的数据来为模型提供数据。目前尚不清楚这一策略是否卓有成效。

Orion 的问题向 OpenAI 的一些员工发出了一个信号：推动其早期成功的多多益善战略正在失去动力。

OpenAI 并不是唯一一家担心进展会遭遇阻碍的公司。整个行业都在激烈争论人工智能的进步是否开始停滞不前。

苏茨克弗最近与他人共同创办了一家名为 Safe Superintelligence 或 SSI 的新 AI 公司，他在最近的一次 AI 会议上宣称，数据最大化的时代已经结束。

他告诉一群研究人员、政策专家和科学家：数据不会增长，因为我们只有一个互联网。甚至可以说，数据是 AI 的化石燃料。

而燃料也开始耗尽了。

推理

他们在 Orion 上的挣扎让 OpenAI 的研究人员找到了一种让 LLM 更聪明的新方法：推理。研究人员表示，花很长时间思考可以让 LLM 解决他们没有接受过训练的难题。

在幕后，OpenAI 的 o1 会为每个问题提供多个答案，并对其进行分析以找到最佳答案。它可以执行更复杂的任务，例如编写商业计划或创建填字游戏，同时解释其推理——这有助于模型从每个答案中学习一点。

苹果公司的研究人员最近发表了一篇论文，认为推理模型（包括 o1 版本）很可能只是模仿他们在训练中看到的数据，而不是真正解决新问题。

苹果研究人员表示，他们发现，如果问题被修改以包含不相关的细节，例如对有关猕猴桃的数学问题进行修改，指出有些水果比其他水果小，则表现会急剧下降。

9 月，OpenAI 推出了其 o1 推理模型的预览版，并于本月初发布了 o1 的完整版本。

所有这些额外的脑力劳动都是昂贵的。OpenAI 现在付费为单个查询生成多个答案，而不仅仅是一个。

在最近的一次 TED 演讲中，OpenAI 的一位高级研究科学家强调了推理的优势。

OpenAI 科学家 诺姆·布朗 (Noam Brown ) 表示：事实证明，在一手扑克牌中，让机器人仅仅思考 20 秒，所获得的性能提升，就相当于将模型扩大 100,000 倍，训练时间延长 100,000 倍。

更先进、更高效的推理模型可能成为 Orion 的基础。OpenAI 的研究人员正在研究这种方法，并希望将其与旧方法结合起来，即获得更多数据，其中一些数据可能来自 OpenAI 的其他 AI 模型。然后，OpenAI 可以使用人类生成的材料来完善结果。

周五，Altman 宣布计划开发一种新的推理模型，该模型比公司之前发布的任何模型都更智能。他没有透露何时或是否会推出一个值得称为 GPT-5 的模型。