AIGC 军备竞赛开启，但训练大模型存在的问题却无解？

作者 | Chris Stokel-Walker

译者 | Sambodhi

策划 | 凌敏

生成式人工智能繁荣的背后，是令人恐惧的碳排放量。

今年二月初，谷歌和微软先后宣布了对其搜索引擎进行重大变革。这两家科技巨头都在构建或购买生成式人工智能工具上投入了大量资金，这些工具利用大型语言模型来理解并回应复杂问题。现在他们正尝试将这些工具整合到搜索中，期望能够为用户带来更加丰富和精准的使用体验。中国的搜索引擎公司百度已经宣布，他们也会跟进。

但是，人们对新工具的欣喜若狂，却隐藏了一个不可告人的秘密。为了打造高性能、人工智能驱动的搜索引擎，这场竞赛将会要求大量的计算能力，同时也会导致科技公司的能耗和碳排放量的大幅增长。

英国萨里大学（University of Surrey）网络安全教授艾伦·伍德沃德（Alan Woodward）表示：“我们已经投入了大量的人力物力来进行索引和搜索互联网内容，但要将人工智能纳入其中，就必须要有多重方法。这要求具备数据处理、存储和高效检索的功能。无论何时，只要我们看到一个在线处理过程的改变，我们就会发现，对于大型处理中心，需要的电能和制冷资源都会有很大的增长。我想，这是一个很好的步骤。”

训练大型语言模型（Large Language Model，LLM），例如那些支撑 OpenAI 的 ChatGPT 的模型，它将为微软增强版必应搜索引擎和谷歌的同类产品 Bard 提供强大的支持，这就意味着可以分析并处理海量数据，这也是为何它们通常都是拥有可观资源的宫锁所开发的原因。

“训练这些模型需要大量的计算能力，”西班牙科鲁尼亚大学（University of Coruña）的计算机科学家卡洛斯·戈麦斯 - 罗德里格斯（Carlos Gómez-Rodríguez）说，“目前，只有大型科技公司才能训练它们。”

尽管 OpenAI 和谷歌都没有透露其产品的计算成本费用，但是第三方的研究者分析认为，ChatGPT 部分基于的 GPT-3 的训练所耗费的功率为 1287 兆瓦，所产生的的碳排放量超过 550 吨，相当于一个人在纽约和旧金山之间往返 550 次的碳排放量。

戈麦斯 - 罗德里格斯说：“这并没有那么糟糕，但你必须考虑到这个事实：你不仅要训练它，还要执行它，为数百万用户提供服务。”

将 ChatGPT 作为独立产品使用，与将其整合到每天处理约 5 亿次搜索的必应中，也是有很大区别的。据瑞银估计，ChatGPT 每天约有 1300 万用户。

加拿大数据中心公司 QScale 的联合创始人马丁·布沙尔（Martin Bouchard）认为，根据他对微软和谷歌搜索计划的解读，在这一过程中加入生成式人工智能至少需要“每次搜索至少四到五倍的计算”。他指出，ChatGPT 目前在 2021 年底停止对世界的理解，作为削减计算需求的尝试的一部分。

为了满足搜索引擎用户的需求，这种情况必须改变。“如果他们要经常重新训练模型，并添加更多的参数和东西，那就是一个完全不同的规模的事情了。”他说。

这就要求在硬件方面投入大量的资金。“当前的数据中心以及我们现有的基础设施都无法与生成式人工智能进行竞赛，”布沙尔说，“这太过分了。”

根据国际能源署（International Energy Agency）的数据，数据中心的温室气体排放量已经占到全球总排放量的 1% 左右。由于对云计算的需求不断增加，这个数据会有所增加，但是运营搜索业务的公司已承诺要降低他们在全球变暖的净贡献。

戈麦斯 - 罗德里格斯表示：“这肯定没有运输业或纺织业那么糟糕。但是，人工智能对碳排放的影响很大。”

微软承诺到 2050 年实现负碳排放。该公司计划在今年购买价值 150 万公吨的碳信用额度。谷歌已承诺到 2030 年在全业务和全产业链上达到净零排放。OpenAI 和微软均未对此承诺置评。

将人工智能整合到搜索中的环境足迹和能源成本，可以通过将数据中心转移到更的能源来源，以及通过重新设计神经网络以提高效率，减少所谓的“推理时间”（一种算法处理新数据所需的计算能力）来降低。

“我们必须研究如何减少这种大型模型所需的推理时间，”该谢菲尔德大学（University of Sheffield）自然语言处理讲师纳菲斯·萨达特·穆萨维（Nafise Sadat Moosavi）表示。“现在是专注于效率方面的好时机。”

谷歌发言人简·帕克（Jane Park）告诉 WIRED，谷歌最初发布的 Bard 版本是由一个更轻量级的大型语言模型驱动的。

“我们还发表了研究报告，详细介绍了最先进的语言模型的能源成本，包括较早和较大的 LaMDA 版本，”帕克说。“我们的研究结果表明，将高效模型、处理器和数据中心与能源相结合，可以将机器学习系统的碳足迹降低 1000 倍。”

问题在于，对于谷歌来说，要想提高一点搜索准确率，就必须要增加更多的计算量和不必要的麻烦，这是否值得。但穆萨维说，尽管重视 LLM 所产生的能耗和碳排放的总量是非常重要的，但是还是要有一些观点。

“这对最终用户来说真是太好了,”她说，“因为以前的大型语言模型并不是所有人都能使用的。”

作者简介：

Chris Stokel-Walker，自由撰稿人、WIRED 撰稿人。

https://www.wired.com/story/the-generative-ai-search-race-has-a-dirty-secret/

文章版权归极客邦科技 InfoQ 所有，未经许可不得转载。