网红聊天机器人ChatGPT的碳排放究竟多高？
摘要：即使是数字产品也需要能源来开发和消耗，ChatGPT也不例外。据估计，机器学习工作中推理处理占算力消耗的80-90%。粗略估计，自ChatGPT于2022年11月30日上线以来，碳排放已超过814.61吨。
最近关于AI聊天创作工具ChatGPT的讨论很多。这是伊隆·马斯克创建的OpenAI公司所研发。
先是微软宣布再砸100亿美金入股OpenAI，然后亚马逊和美版“今日头条”BuzzFeed宣布将在日常工作中启用ChatGPT，同时，百度也宣布将于3月推出“中国版”的ChatGPT聊天机器人。在多家科技公司推波助澜后，ChatGPT瞬间引发全球关注。
一些网友开始疯狂测试ChatGPT，比如写代码、写剧本、写小说、写新闻、写作业、广告文案、知识搜查，甚至玩游戏等，而ChatGPT展现的能力也不负众望，不仅对答如流，甚至还充满智慧，洞察人性，比真人回答都丝毫不差。
还有一些网友开始谈论ChatGPT的投入成本，像谷歌、华为、特斯拉、微软、Meta、苹果等，每年投入数以百亿美元的研发费用，被称为烧钱无底洞。
但是，很少有人谈论ChatGPT模型的环境成本。
我们要意识到，即使是数字产品也需要能源来开发和消耗。据统计，信息和通信技术 (ICT) 行业和数据中心行业在全球温室气体排放中所占比例相对较大，约占全球电力消耗的3-5%。
如果这些数字产品（从我们手机上运行的应用程序到在云端运行的数据），一旦所消耗的电力不是由可再生能源产生的，就会产生碳排放。这就是机器学习模型，也会产生碳排放的原因。ChatGPT也不例外。
谷歌曾表示，公司总能源消耗的15%用于研究、开发和生产中与机器学习相关的计算。据NVIDIA和亚马逊估计，机器学习工作中推理处理占算力消耗的80%-90%。
这些模型所消耗的能源也影响着气候变化。在本文中，我们将从碳足迹的角度来看一下ChatGPT对环境的影响。
这里我们可以采用广泛使用的生命周期评估 (LCA)法，该法旨在涵盖产品或过程生命周期的所有阶段。
虽然生命周期评估 (LCA)法通常是评估产品从摇篮到坟墓的整个阶段的碳排放，这将考虑到原材料提取的所有过程对环境的影响。但此次对于ChatGPT的评估是仅专注于从制造设备到模型部署运行，如下图。
来源：[11]
绿色部分为本次计算ChatGPT生命周期碳足迹的3个主要阶段，分别为设备制造，模型训练，模型部署和运行。
那么，这3个主要阶段中，ChatGPT的碳排放究竟是多少？
01 ChatGPT设备制造阶段的隐形碳排放
首先，我们来看设备制造阶段碳排放。
因目前关于ChatGPT的设备制造相关信息有限，我们以另一个大型语言模型BLOOM的设备制造碳排放作为类比，来推测ChatGPT该阶段碳排放。
据了解，BLOOM和ChatGPT的前身GPT-3的模型大小大致相同，分别为176b和175b参数，因此设备方面也具有一定相似性。
设备制造阶段的碳排放被称为隐含碳。这是生产产品所涉及材料和过程相关的排放，例如训练和部署模型所需的计算设备。虽然这些排放的产生仅限于制造过程，但这一总量通常分布在设备使用期间，方法是将这部分排放总量除以使用时间。
BLOOM模型在含有Nvidia A100 40GB GPU的HPE Apollo 6500 Gen10 Plus服务器上进行训练。根据相关资料，与HPE Apollo类似的服务器生产碳足迹2500kgCO2e（二氧化碳当量）。这不包括服务器中使用的GPU的隐含碳排放，以论文[11]中估算，GPU的碳足迹约为150kgCO2e（二氧化碳当量）。
以IDRIS的数据，假设以6年的更换率和85%的平均使用率，用排放总量除以使用时间转化为后，服务器每小时约0.056kgCO2e，GPU每小时约0.003kgCO2e。
根据[11]中表示，BLOOM训练总时间共持续108万小时，平均使用48个计算节点上的384个GPU，我们可以估计与模型训练相关的服务器隐含碳排放大约为7.57吨和GPU3.64吨，总计约11.2吨。
以此类推，根据相关资料显示，ChatGPT的训练时间大约比BLOOM长3倍，单从这个角度估算，估算ChatGPT中模型训练的隐含碳排放总量约为33.6吨。
不过这部分隐含碳还不包括其余计算基础设施（如网络交换机、冷却设备和其他设备）的隐含排放。
02 ChatGPT模型训练阶段的碳排放
其次，估算模型训练阶段碳排放。
因为ChatGPT是基于GPT-3的一个升级版本，在GPT-3的模型架构基础上进行了优化并在训练时期增加了强化学习。以网上公开的数据表示，训练一个GPT-3约消耗1287 MWh（兆瓦时）的电，相当于排放了552吨碳。
但由于强化学习需要额外消耗的电力，ChatGPT在模型训练阶段所产生的碳排放将大于552吨。
图说：大型语言模型的碳排放
来源：[12]
从这些大型语言模型的碳排放来看，ChatGPT前身GPT-3碳排放最大。据悉，美国人平均每年产生16.4吨碳排放，丹麦人平均每年产生11吨碳排放。因此，ChatGPT的模型训练碳排放多于50个丹麦人每年的碳排放。
03 运行推理过程中ChatGPT的碳排放
再来估计运行推理阶段碳排放。
假设继续把BLOOM作为类比，可以推测ChatGPT运行阶段的碳排放。
大型语言模型BLOOM曾在具有16个Nvidia A100 40GB GPU的Google Cloud Platform实例上部署并运行了18天，共432小时。
前面提到BLOOM与ChatGPT前身GPT-3的模型大小大致相同，因此我们假设把相同的硬件用于ChatGPT，并在16个Nvidia A100 40GB GPU上运行，并推测硬件利用率始终为100%。
由于ChatGPT公司OpenAI的总部位于美国旧金山，所以猜测ChatGPT的托管在美国西部。
使用ML CO2 Impact计算器，我们可以估算ChatGPT的每日碳排放为25.92 kg，如下：
来源：[10]
实际上16个A100 GPU的计算能力并不能满足真实的需求，如果假设ChatGPT每天有100万用户咨询，每个用户有10个问题，每个问题有30个单词，ChatGPT的每个响应词在A100 GPU上需要350毫秒，以此来计算：
100万用户*10个问题=10,000,000个响应=每天300,000,000个单词*每个单词0.35秒/每小时3,600秒=每天29,167小时的A100 GPU时间
根据Cloud Carbon Footprint列出ChatGPT的Azure数据中心中A100的最低功耗46W（瓦特）和最高 407W（瓦特）。为了方便计算，假设ChatGPT处理器都处于工作状态，因此取该范围的顶端消耗值。
每天29,167小时* 407W = 11,870kWh（千瓦时）
根据Cloud Carbon Footprint，美国西部的排放因子为0.000322167吨/千瓦时，所以ChatGPT运行阶段的碳排放是：
0.000322167 * 11,870 = 每天3.82吨
04 ChatGPT的总生命周期碳足迹
根据以上计算，我们最后合算总生命周期碳足迹。
自ChatGPT于2022年11月30日上线以来，运行约60天，我们可以非常简单粗略得到：
CHATGPT制造设备碳排放>33.41吨
CHATGPT模型训练碳排放>552吨
CHATGPT运行60天碳排放≈3.82吨*60天≈229.2吨
三者相加后，CHATGPT自上线以来的生命周期碳足迹将大于814.61吨CO2e。
这个数值估计是基于一些粗略的假设，因此带有很多不确定性，但与BLOOM等的可比较语言模型的碳足迹的全面估计相比，也存在一定合理性。
不过，本文仅关注ChatGPT的CO2e排放量。除了CO2e排放外，其他类型的环境影响，包括用水、空气污染、土壤污染等，也需要重点考虑。
最后，通过这个初步计算，希望能启发机器学习模型的开发人员披露他们模型准确的能耗或碳足迹。只有真正了解到这些信息，才能在我们讨论如何减少我们的足迹时，优先解决那些产生最大碳减排的问题，同时评估模型的性能。
参考资料：
[1]https://arxiv.org/ftp/arxiv/papers/2204/2204.05149.pdf
[2]https://openai.com/blog/chatgpt/
[3]https://arxiv.org/pdf/2211.02001.pdf
[4]https://news.microsoft.com/2019/07/22/openai-forms-exclusive-computing-partnership-with-microsoft-to-build-new-azure-ai-supercomputing-technologies/
[5]https://arxiv.org/pdf/2111.00364.pdf
[6]https://kefm.dk/aktuelt/nyheder/2021/apr/foerste-officielle-vurdering-af-danmarks-globale-klimaaftryk
[7]https://storymaps.arcgis.com/stories/5417cd9148c248c0985a5b6d028b0277
[8]https://medium.com/towards-data-science/how-to-estimate-and-reduce-the-carbon-footprint-of-machine-learning-models-49f24510880
[9]https://towardsdatascience.com/the-carbon-footprint-of-chatgpt-66932314627d
[10]https://mlco2.github.io/impact/#publish
[11]ESTIMATING THE CARBON FOOTPRINT OF BLOOM, A 176B PARAMETER LANGUAGE MODEL
[12]https://towardsdatascience.com/how-to-estimate-and-reduce-the-carbon-footprint-of-machine-learning-models-49f24510880
注：首图来源于BBC
来源：环球零碳
免责声明：①文章版权归原作者所有，如本文内容影响到您的合法权益，请联系删除。②转载、分享的内容、陈述、观点判断保持中立，仅供行业交流参考，政策文件以官方发布为准。
碳管家智能云平台专注碳资讯分享，传播碳达峰、碳中和理念，助力社会绿色低碳循环发展。