OpenAI前首席科学家伊利亚：扩大规模的时代已结束，现在又回到了奇迹和发现的时代
自从两年前聊天机器人ChatGPT发布并风靡全球的后，一批科技公司的估值受益于这波AI热潮。他们坚信：通过增加更多数据和计算能力就来“扩大”当前模型，便能持续改进模型的能力。但现在，这种“越大越好”的信念开始受到挑战，一些人工智能科学家公开提出，这种模式存在局限性，并且包括ChatGPT的所属公司OpenAI在内，这些科技公司正在寻找更聪明的人工智能新途径。
据路透社当地时间11月11日报道，AI公司在训练新的大模型方面面临延迟和挑战，三位知情人士透露，有人工智能实验室的研究人员在发布一种大语言模型的竞赛中遇到了拖延和令人失望的结果，该模型的性能要优于OpenAI的GPT-4模型。
Safe Superintelligence （SSI，安全超级智能）联合创始人伊利亚·苏茨克维（Ilya Sutskever）表示，扩大预训练的结果已经达到了平台期。所谓预训练，即使用大量未标记数据来训练人工智能模型以理解语言模式和结构的阶段。苏茨克维曾担任OpenAI首席科学家，今年早些时候，苏茨克维从OpenAI辞职，随后成立了SSI。
“2010年代是规模扩大的时代，现在人们又回到了奇迹和发现的时代。每个人都在寻找下一个东西。”苏茨克维表示，现在对正确的事情“扩大规模”比以往任何时候都更重要。苏茨克维拒绝透露他的团队在解决这个问题时的更多细节，只表示SSI正在研究一种扩大预训练规模的替代方法。
大模型吞噬了海量数据，耗尽了世界上所有容易获取的数据，模型训练需要大量芯片，成本高昂，电力短缺也阻碍了模型训练。据路透社报道，为了克服这些挑战，研究人员正在探索“测试时间计算”，这是一种在推理阶段或模型被使用时增强现有模型的技术。例如模型可以实时生成和评估多种可能性，并最终选择最佳路径，而不是立即选择单一答案。
这种方法允许模型将更多的处理能力用于具有挑战性的任务，如数学、编程或需要类似人类推理和决策的复杂操作。“事实证明，让一个机器人在玩扑克牌中思考20秒，与将模型扩大10万倍并训练它10万倍的效果相同。”OpenAI研究o1的研究员诺姆·布朗（Noam Brown）上个月在旧金山表示。o1是OpenAI推出的新一代模型系列，和此前的模型相比，该模型展现出了强大的推理能力。
知情人士透露，来自Anthropic、xAI和谷歌DeepMind等顶级人工智能实验室的研究人员也一直在开发自己版本的人工智能技术。
这可能会改变人工智能硬件的竞争格局。十多位人工智能科学家、研究人员和投资者告诉路透社，他们认为OpenAI最近发布的o1模型背后的技术可能会重塑人工智能“军备竞赛”，并对永远无法满足AI企业需求的能源、芯片等资源产生影响。
“这种转变将把我们从大规模预训练集群的世界推向推理云，这是一种分布式的、基于云的推理服务器。”红杉资本合伙人Sonya Huang表示。
据路透社报道，在芯片方面，与英伟达占据主导地位的训练芯片不同，在推理市场这个芯片巨头或将面临更多竞争。不过，英伟达首席执行官黄仁勋曾表示，使用英伟达芯片进行推理的需求正在增加。“我们现在已经发现了第二个尺度定律（scaling law），这是推理阶段的尺度定律……所有这些因素导致对Blackwell（英伟达最新的人工智能芯片）芯片的需求非常高。”黄仁勋上个月在印度的一次会议上说。
