OpenAI的CEO：构建庞大AI模型的时代已经结束
OpenAI研发的聊天机器人ChatGPT的惊人功能引发了人们对人工智能的新兴趣和投资。但上周晚些时候，OpenAI的首席执行官Sam Altman警告说，构建庞大AI模型、研发生成式AI机器人的时代已经结束。
近年来，OpenAI通过采用现有的机器学习算法并将其扩展到以前无法想象的规模，在与语言一起工作的人工智能方面取得了一系列令人印象深刻的进步。GPT-4是这些项目中最新的一个，它可能是使用数万亿个文本单词和数千个强大的计算机芯片进行训练的，构建这一庞大的AI模型耗资超过1亿美元。
但该公司的首席执行官Sam Altman表示，在AI领域进一步的进步并不是让这类模型变得更大：
我认为我们正处于构建大型AI模型时代的末期，未来，我们会以其他方式让这些模型变得更好。
有分析认为，Altman的这番表态意味着，在当前各科技公司都在开发和部署新AI算法、并攀比其模型规模的竞赛中，出现了出人意料的转折。自OpenAI于去年11月推出ChatGPT以来，微软已利用底层技术在其Bing搜索引擎中添加了一个聊天机器人，谷歌也推出了一个名为Bard的聊天机器人来与之竞争。许多公司纷纷推出类似的聊天机器人以显示自己不甘人后。
与此同时，包括Anthropic、AI21、Cohere和Character.AI在内的众多资金充足的初创公司正在投入大量资源来构建更大的算法，以努力赶上OpenAI的技术。
同时有分析认为，Altman的这一表态可能意味着，GPT-4或许是OpenAI使模型更大并为它们提供更多数据的战略中出现的最后一个重大进展。Altman并没有说什么样的研究策略或技术可能会取代它。在描述GPT-4的论文中，OpenAI估计这种扩大模型规模的策略将会有边际效益递减的趋势，Altman也强调，受制于数据中心数量和建造速度，开发更大规模的AI模型也存在物理限制。
Cohere的联合创始人Nick Frosst曾在谷歌从事AI方面的工作，他说Altman认为增加规模不会永远奏效的想法听起来是对的。他也认为，Transformer（GPT-4及其竞争对手的核心机器学习模型类型）的进展已经没有什么扩展的可能性：
有很多方法可以让Transformer变得更好、更有用，而且很多方法不涉及向模型添加参数。新的AI模型设计或架构，以及基于人类反馈的进一步调整是许多研究人员已经在探索的有前途的方向。
这些语言模型中的第一个GPT-2于2019年发布。它的最大形式有15亿个参数，用于衡量其原始人工神经元之间可调节连接的数量。当时，OpenAI的研究人员发现，扩大规模可以使模型更加连贯。因此，2020年发布的GPT-3规模更大，参数数量高达1750亿。该模型生成诗歌、电子邮件和其他文本的广泛能力让投资者眼前一亮，并引发了近期的AI热潮。
尽管OpenAI对GPT-4的大小和内部工作原理保密，但它的一些人工智能很可能已经来自于超越规模的观察。一种可能性是它使用了一种称为强化学习的方法和人类反馈，用于增强ChatGPT。它涉及让用户判断模型答案的质量，以引导它提供更有可能被判断为高质量的响应。
GPT-4的非凡能力让一些专家感到震惊，并引发了更多争论。包括马斯克在内的科技界领袖最近写了一封公开信，呼吁暂停六个月的任何比GPT-4更强大的AI开发。
Altman证实他的公司目前没有开发GPT-5：
这封信的早期版本声称OpenAI目前正在训练GPT-5，我们没有，而且一段时间内也不会。
