2023 年,在以 AI 大模型为代表的新一代数字技术应用不断涌现的背景下,各行业对算力的需求与日俱增。同时,作为算力底层支撑的数据中心也趁势逐步向智算中心演进,数据中心行业可以说又一次迎来革新。
而在数据中心向着智算发展的过程中,随着机柜功率越来越大,对数据中心暖通也提出了更高的要求,传统的散热模式已经没办法解决 CPUGPU 的散热问题,数据中心暖通系统也步入了革新的时代。
液冷也正成为未来数据中心供冷 " 标配 ",市场热度逐步增加。据 IDC 数据显示,2022 年中国液冷服务器市场规模为 10.1 亿美元,渗透率在 10% 左右;而到了 2027 年,中国液冷服务器市场规模将达到 89 亿美元,2022 年 -2027 年复合增长率为 55%。
传统散热模式失效
2023 年 10 月份,六部委联合印发的《算力基础设施高质量行动计划》中明确,到 2025 年,算力规模要超过 300EFLOPS,智能算力占比达到 35% 以上,重点行业的核心数据、重要数据的灾备覆盖率要达到百分之百,每个重点领域要打造 30 个应用标杆等。
据统计,截至 2023 年上半年,全国在用的数据中心总规模超过 760 万标准机架,算力总规模达到了 197EFLOPS,已经位居全球第二。新增的算力设施中,智能算力的占比超过了 50%,成为了增长的新热点。
显然,未来智算中心将成为数据中心行业的 " 主力军 ",而数据中心也必将从原先的 " 存储中心 " 向着 " 计算中心 " 转变,中国信息通信研究院云计算与大数据研究所所长何宝宏曾表示,现阶段,数据中心的核心使命是算力的供给,而不再是存储能力的供给。
在这个转变的过程中,随着越来越多以 GPU 为核心的智算中心的落地,数据中心的能耗,以及产生的热量也必将越来越多。据不完全统计,以 Intel、英伟达等主要芯片制造商的产品为例,目前主流系列处理器功耗已达 350~400TDP/W。这还仅是 CPU 的功耗,而 GPU 的功耗远远高于 CPU,以英伟达 H800 为例,其功率密度可达 700TDP/W。并且,随着摩尔定律逐渐失效,在后摩尔定律时代下,芯片算力与其功耗仍将大幅提升。
与此同时,数据中心作为高载能行业的属性,在 " 双碳 " 战略的引导下,推进节能减排,降低 PUE(Power Usage Effectiveness,电源使用效率),实现碳中和,也是必须之举。
据科智咨询测算,以运行 PUE 为 1.57 的数据中心为例,IT 设备能耗占比达 63.7%,为数据中心最大,其次就是制冷系统能耗,占比可达 27.9%。现阶段,随着数据中心的计算能力和功率密度不断增加,传统的风冷技术已逐渐无法满足高效散热的需求。
数据中心采用传统风冷技术散热上限一般为单机柜 20KW,在高密度部署流行的当下,单机柜功率也逐步攀升,万国数据中国区联席总裁梁艳曾表示,现阶段,国内很多大厂单机柜密度已达到 70~100KW。显然,传统风冷已经难以满足高密度部署的需求。
无独有偶,科华数据数通高级副总裁、数据中心业务总经理邹建忠也曾对钛媒体表示,当下数据中心单机柜功率越来越大,传统的散热模式已经没办法解决 CPUGPU 的散热问题。
宁畅信息产业有限公司总裁秦晓宁也曾公开表示,在大模型快速发展的当下,用户侧机柜的功率越来越高,与之相对应的,对机柜散热的要求也越来越大。" 与此同时,在‘双碳’目标的引导下,传统风冷显然已经不足以满足数据中心 PUE 要求,液冷已经成为数据中心必选项。" 秦晓宁强调。
在此背景下,数据中心亟需暖通技术亟需革新,需要一项新的制冷技术帮助数据中心在满足用户对算力与日俱增的需求的同时,有序推进数据中心实现碳中和。
液冷技术作为一种新兴的散热解决方案,在数据中心领域展现出巨大的应用潜力。据了解,仅采用传统风冷技术的数据中心 PUE 极限值为 1.25,而采用液冷技术后,数据中心 PUE 值可低于 1.1。
" 长线 " 浸没式," 短线 " 冷板式 ..... 液冷布局逐渐清晰
液冷在数据中心行业的发展并不是新鲜事,自从 " 双碳 " 提出以后,液冷相关技术就得到了数据中心行业的高度关注,但在 2023 年,随着对算力需求的激增,机柜功率的进一步提升,以及液冷产业不断成熟,液冷技术才真正开始在数据中心行业切实落地。
根据 IDC 发布的《中国半年度液冷服务器市场(2023 上半年)跟踪》报告,中国液冷服务器市场在 2023 年仍将保持快速增长。2023 上半年中国液冷服务器市场规模达到 6.6 亿美元,同比增长 283.3%,预计 2023 年全年将达到 15.1 亿美元。浪潮信息数据中心产品部副总经理李金波表示,据测算,到 2025 年中国液冷数据中心市场渗透率将超 20%。
快速增长的液冷为数据中心提供了更可靠、更低碳的供冷方式的同时,由于液冷技术的细分供冷方式,也带来行业内关于哪种液冷技术更适合数据中心应用的讨论。
据了解,液冷技术应用于数据中心中主要有三种,即:冷板式液冷、浸没式液冷和喷淋式液冷。其中,浸没式液冷又分为单相浸没式和相变浸没式两种;冷板式液冷又按照不同场景可分为芯片级、机柜级等。
以目前包括浪潮信息、宁畅、阿里云、曙光等中国液冷行业头部玩家的布局,以及数据中心应用情况来看,冷板式液冷与浸没式液冷属于未来比较可行的液冷路径。
其中,冷板式液冷是在热源上覆一块水冷板,完全阻隔了冷却液与电子器件之间的直接接触。使用泵和管道将冷却液送至与电子部件接触的冷板上来传递热量,通过液体流动把热量带走。
冷板主要覆盖 CPU、GPU、DIMM 等核心发热部件,即 " 把钱花在刀刃上 ",对于其他部分的散热,冷板式液冷通常需要风冷精密空调来辅助冷却,也因此,相比于将服务器全部浸泡在冷却液中来散热的浸没式液冷,冷板式液冷的 PUE 会较高。据 IDC 数据显示,2023 上半年,中国液冷服务器市场中,冷板式占比达 90%。
与冷板式液冷不同,浸没式液冷则是酱 IT 硬件设备直接浸入充满绝缘性冷却液(目前比较常见的是氟化液)的密闭容器中,电子组件产生的热量直接传导至氟化液。
单相浸没式液冷系统的浸没机柜设计更为简单,氟化液更易操作、维护。与相变浸没式液冷相比,单相浸没式液冷在材料兼容性和循环中污染物上的隐患也更少。
相变浸没式液冷系统则是通过沸腾过程(通过液相到气相的变化),实现更高的传热效率,从而实现更大的功率密度(高达 250 至 500 千瓦 / 浸没腔)。此外,支持相变浸没式液冷所需的冷却基础设施通常胶简单,如果使用干式冷却器作为一次侧冷却,无需冷却水塔等蒸发降温设施。
以钛媒体对于目前业内从业者的调查显示,因为可以实现更高的传热效率,以及支持更大功率密度的机柜,相变浸没式液冷相较于单相浸没式液冷更受 " 欢迎 "。
在冷板式与浸没式之间,目前行业对冷板式液冷的接受度更高。李金波对钛媒体表示,相比于浸没式液冷,冷板式液冷在对数据中心与服务器架构的改造程度、产业链成熟度、部件更换运维便捷性、初期投资等方面均有显著优势。
邹建忠也曾对钛媒体表示,从投资收益角度来看,浸没式液冷前期投资太高,投资收益不如冷板式液冷。不过,在他看来,如果是新建机房,且机柜功率特别大的情况,更适合部署浸没式液冷。
从现阶段技术和应用角度出发,浸没式液冷对元器件及运维的要求更高,宁畅信息产业有限公司副总裁兼首席技术官赵雷对钛媒体表示,浸没式液冷需要考虑的因素相较于冷板式液冷更多," 用户主要需要考虑冷却液与元器件的兼容性、可靠性,以及后期运维难度等问题," 赵雷如是说," 除此之外,元器件长期浸泡在冷却液中,对元器件的‘耐久度’也是个不小的考验。"
确实,钛媒体通过调研包括 IDC 服务商、液冷技术供应商,以及部分行业用户等在内的众多从业人员,总结出:
从短期角度出发,冷板式液冷比较适合数据中心大规模应用。冷板式液冷相较于浸没式液冷,因其定制化程度低、产业链较成熟、运维难度低等特点,比较符合当下数据中心从传统风冷向液冷的过渡;
从长期角度出发,浸没式液冷更符合数据中心长期发展。浸没式液冷因其导热效果更好、余热更便于回收、支持机柜功率更大等特点,从长远角度上看,随着对单机柜功率需求的不断增加,浸没式液冷更适合未来数据中心的供冷。
IDC 服务商、液冷技术供应商 ..... 多方布局
虽然液冷在数据中心中的应用是去年才开始入雨后春笋般不断涌现的,但 " 竹根深埋春土中 , 破土而出春笋蓬 ",液冷技术也正是经过多年来产业上下游的共同努力,才得以在数据中心应用落地的。
立足国内液冷产业,目前比较领先的技术供应商主要有浪潮信息、宁畅、曙光等企业。这其中,早在 2022 年初,浪潮信息就提出 "All in 液冷 " 的战略。
据钛媒体从浪潮信息了解的最新消息显示,浪潮信息联合英特尔创新研发的全液冷冷板技术方案,实现了 100% 液冷散热,PUE 可降至 1.08,并通过去空调化实现系统极简,节省数据中心 30% 以上的空间,进一步实现高密部署,进一步推动数据中心高能效、高密度绿色发展。
另一方面,同样作为数据中心液冷解决方案头部玩家的宁畅也于 2023 年底推出了全新的 B8000 液冷整机柜服务器。据宁畅公开信息显示,宁畅 B8000 液冷整机柜服务器节点内液冷覆盖率超过 90%,PUE 可低至 1.09,在业内冷板液冷 PUE 1.2 的平均水平下。
与此同时,在液冷服务器出货量方面,浪潮、超聚变与宁畅也是国内大多数客户选择液冷服务器时的优先考虑目标,据 IDC 发布的《中国半年度液冷服务器市场(2023 上半年)跟踪》报告数据显示,2023 上半年市场占比前三的厂商分别是浪潮信息、宁畅和超聚变,共占据了七成左右的市场份额。
值得注意的是,除了液冷服务器与技术供应商层面出现 " 神仙打架 " 局面之外,目前还有诸如云酷智能、英维克、申菱环境等众多提供包括接头、电磁阀、机柜、CDU、manifold 等在内的液冷基础设施服务商。
而液冷数据中心可观的发展前景也吸引了诸如美的、海尔等在内的众多传统风冷、水冷等数据中心暖通解决方案供应商的入局,可以说,当下数据中心液冷已呈现出 " 百舸争鸣 " 的现状。
IDC 服务商方面,以 IDC 头部玩家世纪互联为例,据世纪互联相关负责人对钛媒体表示,世纪互联太仓基地是目前国内最大的冷板式液冷数据中心集群。据了解,太仓基地已交付独立 110kV 及 220kV 变电站,总体规划电力容量不低于 880MVA,总 IT 容量可达 300MW+,总算力不小于 1780PFLOPS。
该项目采用业内首个第三代全新架构的风、液组合冷却技术解决方案,整体解决方案由多个世纪互联自研的冷却系统有机组成,是同类型数据中心冷却技术应用的重大突破,有效降低了数据中心的 PUE,处于同地域行业领先水平,极大提高数据中心运营效率,并节约全生命周期 TCO。
除此之外,诸如万国数据、科华数据等第三方 IDC 厂商也都在尝试液冷在数据中心中的应用,也都已经有较成熟应用案例落地。
从目前应用情况来看,应用液冷的数据中心大多数采用冷板式液冷与风冷机组混合部署的方式进行建设。这种部署形式主要在机房内以机房微模块的形式呈现,可以实现液冷、风冷以及风液混合的灵活部署。混合部署的模式可以最大限度地利用原有的风冷资源,避免在液冷数据中心改造过程中造成资源浪费。
显然,液冷已经成为未来数据中心绿色化过程中不可或缺的一环。IDC 数据显示,2022 年中国液冷服务器市场规模为 10.1 亿美元,渗透率在 10% 左右;而到了 2027 年,中国液冷服务器市场规模将达到 89 亿美元,2022 年 -2027 年复合增长率为 55%。而今年也将会有越来越多的液冷数据中心落地。
展望未来,冷板式液冷的 " 液冷 " 呈现出离芯片越来越近的趋势,最理想的状态将是芯片级液冷 + 机柜级液冷的组合形式;浸没式液冷虽然目前不如冷板式液冷发展快,但从长远角度出发,随着单机柜功率越来越大,单机柜突破 100KW 已经 " 近在眼前 ",当单机柜超过 80KW,达到 100KW 甚至更大时,浸没式液冷的优势就显现出来了。
伴随新的算力供给需求,数据中心已经迈入液冷时代。在市场火热的追逐下,技术落地的具体挑战也有望加速解决,比如安全性、硬件成本、运维难度……冷板式液冷是当下数据中心有效降低 PUE 的手段,同时其兼容性更强、定制化程度更低;浸没式液冷在未来发展空间更大,市场增长空间也更大。
来源:钛媒体