不止OpenAI“猎户座”！谷歌和 Anthropic AI模型开发也被爆遇瓶颈
本文作者：李丹
来源：硬AI
不止是OpenAI备受关注的下一代模型“猎户座”（Orion），谷歌和OpenAI的劲敌、另一明星人工智能（AI）初创Anthropic也传出了先进AI模型开发遭遇瓶颈的消息。
美东时间11月13日周三，彭博社报道援引两名知情者的消息称，OpenAI今年9月完成了猎户座的首轮训练，希望它能大大超越此前的一些版本，更接近AI超越人类这一目标，但猎户座未能达到公司期望的性能，比如截至夏末，该模型在尝试回答未经训练的编码问题时还表现不佳。
知情者评价，总体而言，到目前为止，相比GPT-4超越GPT-3.5的表现，猎户座和OpenAI现有模型相比进步没那么大。
报道还援引其他三名知情者消息的称，谷歌即将推出的新版Gemini并未达到内部预期，Anthropic也推迟了被称为的3.5 Opus的Claude模型计划发布时间。
报道认为上述三家公司开发AI模型面临多重挑战，他们越来越难以找到尚未开发的高质量人造训练数据。例如猎户座的编码性能未能令人满意就部分源于缺乏足够的编码数据进行训练。即使是适度的模型性能提升也可能不足以证明，打造和运行新模型的巨大成本合理，或者无法满足重大升级的期望。
AI模型开发瓶颈的问题挑战了被很多初创甚至科技巨头都奉为圭臬的定律Scaling law，也让AI大举投资即实现通用人工智能（AGI）的可行性遭到质疑。
曾提到，OpenAI早在2020年就提出的该定律是指，大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。今年7月微软的首席技术官（CTO）Kevin Scott还为这个定律辩护，称Scaling law仍适用于当前业态——在扩张大模型的同时，边际效益并没有递减。
巧的是，上周就有，OpenAI发现猎户座“没有那么大飞跃”，进步幅度远不如前两代旗舰模型。这一发现直接挑战了AI领域一直奉行的Scaling law。由于高质量训练数据减少以及计算成本增加，OpenAI的研究人员不得不开始探讨是否有其他改进模型性能的方法。
例如，OpenAI正在将更多代码编写功能嵌入其模型，并试图开发一种软件，可以接管个人电脑，通过执行点击、 光标移动等其他操作， 完成网络浏览器活动或应用程序的任务。
OpenAI还成立了一个专门团队，由之前负责预训练的Nick Ryder领导，负责探索如何优化有限的训练数据和调整扩展法的应用，保持模型改进的稳定性。
对于本周三的彭博报道，谷歌DeepMind 发言人表示，公司“对 Gemini 的进展感到满意，我们会在准备就位时分享更多信息。”OpenAI 拒绝置评。Anthropic 也未置评，但提到了周一发布的一段博客内容，在那段长达五小时的播客中，有 Anthropic CEO Dario Amodei的发言。
Amodel称，人们所说的scaling law并不是一种定律，这是用词不当，它不是通用的定律，而是经验规律。Amodel预计scaling law会继续存在，不过并不确定。他说未来几年有“很多事”可能会“破坏”实现更强大 AI 的进程，包括“我们可能会耗尽数据。”但他乐观地认为 AI 公司会找到克服一切阻碍的方法。
对于彭博的报道，提供企业定制AI解决方案的公司NossonAI的创始人Nosson Weissman评论称，报道并未让他困惑，因为首先，他没有看到在AI领域做出过重大贡献的真正的专家表达过同样看法，其次，我们经常看到模型方面取得重大进展，最后，他认为新闻媒体喜欢制造戏剧效果，这篇报道看来只是起了一个漂亮的戏剧性标题。
