大模型的尽头是电力？

原标题：大模型的尽头是电力？

图片来源@视觉中国

文｜乌鸦智能说

在这场以大模型为名的千亿美金级豪赌实验，从来不缺少故事。从ChatGPT引爆那一刻起，AI行业的竞争从来不仅是技术的竞争，也是一场资源的竞争。到了今年，这场竞争从算力延伸到了电力。

在今年短短不到三个月的时间，黄仁勋、奥特曼和马斯克分别在不同场景的演讲里都表达了同一个观点：AI的未来很缺电。

据《纽约客》当时时间9日报道，荷兰国家银行数据专家Alex de Vries估计，OpenAI旗下聊天机器人ChatGPT每天消耗超过50万千瓦时的电力，用于处理约2亿个用户请求，相当于美国家庭每天用电量的1.7万多倍。

更重要的是，在互联网时代迈向AI时代的过程中，数据中心的耗电增长曲线将从线性增长变成几何式上升。假设生成式AI被集成到谷歌的每一个搜索中，届时意味着谷歌每年将会有29.2太瓦时的电力消耗（292亿度电），相当于2021年美国全社会总用电量的0.77%。

考虑到搜索只是一个AI应用场景，后续随着应用场景的增加，人工智能行业的耗电量将出现巨大增长。‍‍

从缺硅到缺电

今年以来，在AI大佬的讲话里，都有一个共同的主题：缺电。不久前，在一场公开演讲里，英伟达创始人黄仁勋表示，“AI的尽头是光伏和储能，不要光想着算力，如果只想着计算机，需要烧掉14个地球的能源”。

OpenAI的创始人山姆·奥特曼也提出了类似的看法。奥特曼公开承认，人工智能行业正在走向能源危机。在瑞士达沃斯举行的世界经济论坛年会上，奥特曼警告说，下一波生成型人工智能系统消耗的电力将远远超出预期，能源系统将难以应对，未来AI的技术取决于能源，我们需要更多的光伏和储能。

作为科技圈的大佬，马斯克也成为了能源焦虑的吹风人。不久前，马斯克在博世互联世界2024大会上预言，“接下来陷入短缺的将是电力，到明年（2025年），我们就没有足够的电力来运行所有的芯片了。”

这并非马斯克第一次预测人工智能算力会面临变压器和电力供应的短缺，2023年至今，马斯克和其xAI团队已至少三次提及过这一问题。去年8月，马斯克就警告说，电力短缺造成的严重后果，可能会阻碍人工智能等能源密集型技术的发展。

有趣的是，上周腾讯科技发布的《朱啸虎讲了一个中国现实主义AIGC故事》里，当谈及未来5到10年能不能产生AGI，朱啸虎同样表达了对算力、能耗等资源的担忧：

“从哲学角度看，智力级别的提升首先需要能量级别的提升。可控核聚变实现前，我不太相信地球有足够的算力能够实现真正的AGI。帮人类降低90%的工作可能未来3到5年可以实现，但最后的10%可能需要天量的算力和能耗，这也是为什么Sam Altman想融天量的资金！行百里者半九十。”

所有大佬都认为AI的未来很缺电。那么，大模型的耗电量究竟有多疯狂？

单月耗电量大比拼，ChatGPT 等于23.7万中国人

在AI行业的成本结构里，电力成本是除了芯片成本外最核心的成本。一般来说，生成式AI的电力消耗主要来自两方面：训练构成AI系统核心的大型语言模型时所需的电力，以及大型语言模型执行逻辑推论（Inference）运算时的能耗。

由人工智能初创公司 Hugging Face 搭建的BLOOM模型 ，有1760亿参数，光是前期训练它，就得花掉43.3万度电。2022年，我国居民年人均用电量是948度电，BLOOM训练阶段用的电就相当于456个人一年的用电量。GPT-3的耗电量更夸张，训练一次需要128.7度电，相当于 3000辆特斯拉同时跑 32 公里。

这还只是训练阶段的用电量，越往后走推理才是用电量的大头。据IDC预测，2023年AI服务器训练需求占比达41.5%，随着大模型的应用，该比例在2025年将降低至39.2%。

对于大模型在训练阶段的用电量，晚点做过一个测算：

按ChatGPT日咨询量2.7亿次、月咨询量接近80亿次计算，已知 1 张 A100 GPU 推理 1 个单词大约需要 0.35 秒。假设每个提问长度约30个字/单词，则ChatGPT每天需要处理80亿字咨询量，用一张A100 GPU来跑需要约78万小时，对应每天需要约3.24万张A100 GPU。

前述 3.24 万张 A100 GPU 大约等同于 4000 台英伟达 DGX A100 服务器（搭载 8 张 A100 GPU），后者最大功率为 6.5 kW，单月耗电量约为 1872 万 kWh。

每处理一次用户请求的耗电量，相当于 60 瓦的灯泡亮 140 秒。这样一来，项目光是电费就得交近 200 万美元。2022年中国居民人均生活用电约79kWh/ 月，ChatGPT 单月耗电量差不多跟 23.7万中国人相当。

如果生成式AI被进一步采用，耗电量可能会更多。在互联网时代，仅仅用于数据存储的数据中心每年耗电增速和耗电占比数据基本维持线性增长。据统计，2022年全国数据中心总耗电量约2700亿千瓦时，占全社会用电量的3.1%，超过两座三峡水电站年发电量。

但到了AI时代，能耗变成了几何式上升的趋势。举个例子，假设生成式AI被集成到谷歌的每一个搜索中，届时谷歌就会大幅增加对电力的需求。

据SemiAnalysis 估算，在每次谷歌搜索中实施类似 ChatGPT的人工智能将需要51.28万个英伟达A100 HGX服务器，总计410.26万个GPU，如果每台服务器的电力需求为6.5千瓦，意味着每年29.2太瓦时的电力消耗（292亿度电），相当于2021年美国全社会总用电量的0.77%。

考虑到搜索只是一个AI应用场景，后续随着AI应用的增加，人工智能行业的耗电量将出现巨大增长。 荷兰国家银行数据科学家亚历克斯·德弗里斯在一篇论文中估计，到2027年，整个人工智能行业每年将消耗85至134太瓦时(1太瓦时=10亿千瓦时)的电力。

为什么大佬押注核聚变？

怎么解决AI面临的能源危机？大佬们很快找到了一个答案——核聚变。

据国际原子能机构给出的定义，核聚变是模仿太阳的原理，使两个较轻的原子核结合成一个较重的原子核，结合期间释放出大量能量。与化石能源相比，聚变反应不排放二氧化碳；并且与当前通常意义上的核能——核裂变能相比，它既不会产生核废料，辐射也极少。

近年来，核聚变研究取得了不少积极进展。去年2月，设在英国牛津的欧共体联合聚变中心（JET）实验室科学家在实验中产生了平均11兆瓦的功率输出，足够供应1万个家庭使用。

由于核聚变存在巨大的想象空间，引得不少大佬下注。作为AGI的坚定信徒之一，奥特曼目前总共投了两家能源公司——Helion、Oklo。

其中，2021年奥特曼以个人名义豪掷3.75亿美元，领投了核聚变公司Helion价值5亿美元的E轮融资，并称这是自己有史以来“最大的赌注”。除了阿尔特曼，Helion还获得了“硅谷创投教父”彼得·蒂尔、Facebook联合创始人达斯汀·莫斯科维茨、领英创始人里德·霍夫曼、eBay第一任总裁杰夫·斯科尔等人的6亿美元投资。

公开资料显示，Helion Energy是一家核聚变初创公司。他们正在开发一种磁惯性聚变技术，通过非中子聚变产生氦 3 和聚变能，从而可以使用仅从水中提取的燃料产生低成本的清洁电能。

2023年5月，微软宣布和Helion Energy签署了购电协议，将于2028年向Helion购买其核聚变发电厂的50兆瓦电力。在这份购电协议中Helion表示， 2028 年前上线的核聚变装置，在一年内会把发电功率提升到50兆瓦以上，能够撑起 40000户家庭的供电。Helion首席执行官大卫·柯特利说，公司的目标是有一天将成本降低到每千瓦时1美分，即1度电0.07元人民币。

除了奥特曼外，贝索斯则向加拿大的核聚变能源初创公司General Fusion进行了投资。据了解，General Fusion通过使用两种混合聚变技术（磁性和惯性约束），在磁场中约束氢同位素等离子，然后利用高压，使之产生高温及高的密度。

有趣的是，在核聚变这条赛道，并没有看到马斯克的身影。原因是，马斯克认为，最好的能源问题终极方案，是利用太阳能（风能本质也是太阳能的一种），而不是不计成本去搞人造太阳。

从大模型开闭源到未来能源的方向，马斯克又一次做出了与奥特曼不同的选择，竞争还在继续。