当前位置:首页|资讯|ChatGPT|人工智能|马斯克

AI能耗如何破局?散热成为关键技术|DeepTalk播客更新

作者:DeepTech深科技发布时间:2024-07-05

最近,国际能源署在一份报告中表示,ChatGPT 响应一个请求的平均能耗相当于将一个 60 瓦的灯泡点亮约三分钟。有媒体报道 AI 是“吃电狂魔”,随着人工智能的发展,人类将面临“缺电”问题,同时马斯克也宣称“下一个短缺的将是电力”。英伟达黄仁勋、OpenAI 奥特曼等科技界大佬也表达了 AI 被能源制约的焦虑。与此同时,工信部专家委员会表示,AI 确实耗电,电力成本也确实很高,但是目前能源问题还没有到影响 AI 发展的程度。为了探究 AI 能耗的真相,我们邀请到了普渡大学的助理教授魏体伟老师和 DeepTech 的李源博士,共同探讨 AI 能耗、芯片散热以及未来的解决方案。

本期嘉宾

魏体伟:普渡大学机械工程系 助理教授

研究方向:三维系统集成,包括新型三维集成堆叠技术,高密度互连技术;芯片高性能冷却技术,芯片级嵌入式微型沟道冷却和冲击射流冷却技术;高性能散热材料开发与表征,包括高热导率热界面材料、高热导率底部填充材料。

魏老师工作成果:研发芯片级“两相冲击射流冷却”技术将散热效率提升百倍,正筹建公司实现技术转化

李源:北京大学材料学 博士

曾任职于某部委研究院,多年硬科技产业研究与投资经验,关注 AI、新材料、能源、生物科技等领域。

主持人

冰冉中国科学院微生物研究所 硕士

时间轴

02:16

AI 是否真的那么耗能?

09:01

AI 耗能的组成部分:机架、GPU、散热

12:11

数据中心运行的最大成本:耗电与耗水

14:29

能耗问题是否会限制 AI 的发展

26:50

芯片散热风冷与水冷的优劣势

32:41

封装级散热在散热系统中的应用

35:26

热界面材料在芯片散热中的瓶颈

41:47

封装级散热的成本与未来发展方向

46:02

热界面材料的开发

51:15

散出去的热量是否能够回收再利用

52:45

数据中心选址、绿色能源、超导、光介质计算、软硬件优化等的开放讨论

内容聚焦

本期播客聚焦于人工智能(AI)发展中的一个重要议题——能耗。据国际能源署报告,AI 每次响应请求的能耗相当于点亮一个 60 瓦灯泡约三分钟。AI 不仅芯片自身能耗高,还需要大量能量用于散热,这可能导致电力短缺问题。其中,芯片的功率密度和散热方式成为关键因素。

AI 是否真的那么耗能?

数据中心能耗主要由单个芯片、GPU 芯片、以及其他 IT 设备组成,能耗巨大。在大型数据中心的能源消耗上,电力成本和水资源消耗是最主要的开销。散热方案对于降低能耗至关重要,包括芯片级能耗和整个数据中心级别的能耗管理。常见的散热技术包括使用液体冷却系统来提高效率并减少能源浪费。如英伟达正在开发整合了 GPU 和高效散热系统的机架,一方面可以提供一站式的数据中心解决方案,另一方面也提高了客户的依赖性。散热方案的能耗可能占到芯片本身能耗的 0.2-1 倍,因此选择有效的散热策略对于降低整体运营成本至关重要。随着人工智能技术的发展,特别是深度学习模型的不断增大,对能源消耗提出了巨大挑战。通过硬件层面的优化,如芯片架构和制程改进,以及软件层面的算法优化、模型压缩等手段,可以有效降低能耗。

能耗问题是否会限制 AI 的发展?

随着技术的持续进步,特别是参数的不断增加,未来的电力消耗可能会呈指数级增长,但仍不太可能成为制约其发展的关键因素。原因在于,随着技术的进步,已有多种方式被提出以降低 AI 芯片的散热和能耗,包括芯片设计优化、使用新材料提高散热效率等。未来可能会找到更多的新能源解决方案来满足 AI 发展的电力需求。

风冷、水冷以及封装机散热解决方案

散热技术的选择依赖于芯片的功率密度:对于低至 100 瓦/平方厘米的功率密度,风冷足够;100-500 瓦/平方厘米时,可以选择单向水冷;而当功率密度超过 500 瓦/平方厘米,必须使用两向流或沸腾冷却技术来应对高功率需求。散热技术的选择并非简单的优劣之分,而是应根据特定应用场景和芯片特性来决定。

随着高性能芯片和 AI 芯片的发展,封装散热技术将逐渐取代传统风冷和水冷方式,成为数据中心冷却的新趋势。封装散热技术,或称芯片级散热,通过将散热系统与芯片整合在同一封装体内,提高了散热效率并简化了散热解决方案。此技术通过消除芯片与散热器之间的热界面材料层,实现了更高的热导率和更好的散热效果。此外,液冷系统的应用进一步提升了散热效能,特别是在大型数据中心中。实验室正在探索使用高热导率热界面材料和微流道技术,以实现更高效的散热,并满足数据中心对于高效、可靠散热系统的迫切需求。

热界面材料在芯片散热中的瓶颈问题与开发方向

芯片正面的晶体管与芯片底面的三维堆叠技术带来了散热挑战,利用微流道进行片间散热是前沿解决方案之一,需要跨学科的设计协同。现有方法依赖于高热导率材料及高性能散热器的结合,但面临热界面材料局限性和制造成本等问题。包括液金、石墨烯、金刚石等高性能材料,这类材料具有良好的柔性和导热性,潜在应用广泛。未来技术发展趋势指向芯片级和封装级的散热解决方案,预计将消除传统散热系统的局限性并提高效率,进一步推动高性能芯片的发展。

开放讨论:未来解决 AI 能源消耗的未来途径

先进的封装技术和片上光互联正在推动光电集成的发展,使用光子代替电子进行传输和计算, 提升效率并降低能耗。尽管目前尚处于发展阶段,光子芯片在矩阵运算方面的潜力巨大,有可能彻底改变计算和信息传输的方式,实现更低的能耗和更高效的散热。

制作团队

主持人:冰冉 DeepTalk

剪辑:嘉鱼

运营:大壮

本播客内容为 DeepTalk 原创制作,未经许可,禁止任何形式的复制、改编或引用。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1