现在的大模型,早已成为各家科技公司竞相争抢的滩头阵地。但在大模型算力日新月异的背后,是天文数字般的能源消耗:继数字货币挖矿之后,大模型似乎正在成为下一只“电老虎”
据多家媒体援引外媒3月10日消息,仅仅是OpenAI的聊天机器人ChatGPT每天可能会消耗超过50万千瓦时(就是俗称的度)的电力,来响应用户的约2亿个请求。相比之下,一个美国家庭平均每天使用约29千瓦时电力,而一个中国家庭平均每天用电量一般不超过10度,也就是说,ChatGPT每天用电量,抵得上一个美国家庭用电量的1.7万多倍,中国家庭的5万倍以上。
这并不是终点:如果生成式AI被广泛应用,耗电量可能会更多。据券商中国,相关数据显示,十年前全球数据中心市场的耗电量为100亿瓦,而如今1000亿瓦的水平已十分常见。据美国Uptime Institute的预测,到2025年,人工智能业务在全球数据中心用电量中的占比将从2%猛增到10%。
去年10月,荷兰国家银行数据科学家亚历克斯·德弗里斯在一篇论文中估计,到2027年,整个人工智能行业每年将消耗85至134太瓦时(注:1太瓦时=10亿千瓦时)的电力。这与阿根廷、荷兰和瑞典各自一年的用电量类似,约占全球当前用电量的0.5%。
具体说来,以科技巨头谷歌为例,谷歌已经将生成式AI纳入公司的电子邮件服务中,并正在测试利用人工智能为其搜索引擎提供动力。目前该公司每天处理多达90亿次搜索。如果谷歌每次搜索都使用人工智能,每年大约需要29.2太瓦时的电力,相当于爱尔兰一年的用电量。
大模型的用电量,抵得上一整个国家的用电量,看来我们有必要问问自己:为什么人工智能变得如此耗能?
大模型,为何如此耗电?
大模型的如此耗电,和其采用的参数巨大密不可分,而参数量越大,显然需要的电量就越多。
据清华大学社科学院数字经济研究中心主任王勇教授介绍,OpenAI的ChatGPT产品所依赖的GPT模型参数高达1750亿,谷歌LaMDA模型参数高达1370亿,其视觉语言模型PaLM-E的参数则高达5620亿。如此巨大的参数量,必然需要大量的算力来支撑,耗电巨大也就不难理解了。
大模型的耗电究竟有多“恐怖”?2022年Hugging Face科学家的一篇论文已经对这种疯狂做出了定量描述。根据该论文,该公司自家的BLOOM大模型,有1760亿个参数,光是前期训练它,就得花掉43万多度电,相当于国内100多个家庭一年用掉的电量。
和它参数量相当的GPT-3,耗电量就更不受控制,同样是前期训练,就要用掉128.7万度电,足足是前者的三倍。这还只是GPT-3,GPT-4的耗电量只会更加惊人!
据羊城晚报,根据斯坦福人工智能研究所(HAI)发布的《2023年人工智能指数报告》,OpenAI的GPT-3单次训练耗电量高达1287兆瓦时(1兆瓦时=1000千瓦时),知名计算机专家吴军的形容则更加形象:OpenAI每训练一次,就相当于3000辆特斯拉同时跑30多公里。
更为厉害的是,训练,仅仅是大模型这只“电老虎”张开血盆大口的第一步,大模型真正吃电的地方还在后面!
具体说来,训练就是不断调整参数、重复训练,最后得到一个使用体验最好的模型,整个过程是有限度的。后期的推理过程就不一样了,比如我们用ChatGPT,每问一次问题都相当于是一次推理请求,仍然需要大量的计算能力来运行,并因此耗费大量能源,并造成碳排放。据羊城晚报,OpenAI每天在ChatGPT上的花费就高达70万美元。
根据Hugging Face和卡内基梅隆大学的研究人员2023年发布的一项研究发现,使用人工智能模型生成的图像,所消耗的能量与给一部智能手机充满电所需的能量差不多。
除了人工智能训练本身对电的消耗巨大,制造人工智能设备本身的耗电量同样不可忽视。
据外媒,英伟达(Nvidia)公司销售的用于人工智能的GPUs占全部销售额的95%,该公司今年将出货10万台A100服务器,电力年消耗达5.7太瓦时。英伟达的供应商、芯片制造商台积电(TSMC)正在投资兴建新工厂,到2027年每年可提供150万台服务器,而所有这些硬件每年将消耗85.4太瓦时的能源。
台积电能源消耗量与日俱增
图片来源:券商中国
人工智能耗电的程度,恐怕和因高耗能而“臭名昭著”的数字资产有一拼!特别是近期数字资产一路高歌猛进,也把“挖矿费电”这个老生常谈的话题再推到了风口浪尖!
据Coin Metrics估算,就在今年2月,比特币矿工们消耗了创纪录的19.6千兆瓦电力,高于2023年同期的12.1千兆瓦特。这相当于足以为德克萨斯州约380万户家庭供电的电力容量。
不过和数字资产相比,人工智能的耗电可能还属于小巫见大巫:据外媒报道,目前比特币挖矿日均耗电3.97亿度,相较下来是ChatGPT的794倍,每年耗电量相当于荷兰的总用电量。不过这仅仅是目前的行情,而且只是ChatGPT一家,算上其它的大模型,未来会怎样可就不好说了。
人工智能隐含的“缺电”危机,也引发了特斯拉CEO马斯克的担忧。去年7月底,他曾预言,未来两年内将由“缺硅”变为“缺电”,而这可能阻碍人工智能的发展。在他看来,电力短缺可能会造成严重后果,就像最近缺芯阻碍科技和汽车行业一样。面对这种潜在的威胁,采取相应的措施刻不容缓。
节能,人工智能的下一个目标?
目前,全球科技巨头都在陆续承诺碳中和。微软承诺2030年实现负碳排放。谷歌则承诺到2030年实现所有数据中心7X24使用绿电。尽管科技巨头是全球最大的绿电采购者,但随着它们纷纷加快AI化,展开大模型的“军备竞赛”,产生的碳排放受到更多关注。
据外媒,ChatGPT的开发者OpenAI已认识到训练大型模型可能是能源密集型的,因此对如何最好地利用人工智能的计算能力进行了大量的思考,不断努力提高效率。也有迹象表明,小型人工智能模型正在接近大型人工智能模型的能力,这可能会带来能源的显著节约。
英伟达公司也致力于开发更高性能和更节能的计算模式,表示在其GPU上运行的人工智能比在另一种芯片上运行更节能。据中国电子报,英伟达将加速计算作为减少功耗的主要策略:加速库是英伟达加速计算的核心,目前英伟达面向计算机视觉、数据处理、机器学习和AI等领域布局了300个加速库和400个AI模型。
不过对大模型的耗电也不用过于悲观:据外媒,Hugging Face曾经对自家多语言人工智能模型碳排放量进行了测试,结果显示,超过5.9亿次的使用量就可以达到训练其最大模型所消耗的碳成本。
对于ChatGPT等非常流行的模型,它们的使用排放量只需要几周时间就可以超过其训练排放量。因为大型人工智能模型只训练一次,但之后可以使用数十亿次。而像ChatGPT这样的流行模型每天用户多达千万数量级,对这些用户的回应很多可以相通。
尾声
毫无疑问,大模型蹦跶再厉害,也逃不出能源这个手掌心。黄仁勋近期明确表示“AI的尽头是光伏和储能!我们不能只想着算力,如果只考虑计算机,我们需要烧掉14个地球的能源”。而国内光伏和储能产业,目前在全球有着很强的竞争力。看来这两个行业,未来出海大有前途。
免责声明:文章内容仅供研究和学习使用,所涉及产品信息仅供参考,不构成推荐依据。本内容为作者独立观点,不代表财经早餐立场。