液冷技术：NVIDIA GB200 液冷方案

可视化演示

散热背景

把数据中心想象成一位日夜加班的钢铁巨人。他每秒钟要看无数张图片、读懂无数段文字，靠的是体内几万颗 GPU。芯片一旦飞速思考就会产生大量热量——GB200 每颗 GPU 的功耗已经突破一千瓦，一个机柜像一台小型电暖器。巨人开始发烧，体温比上一代更高，散热系统必须跟上。

过去的风冷系统如同电风扇，靠增加转速把热量吹走。但物理学告诉工程师，空气的“吸血能力”很有限：当机柜功率密度继续上涨，风扇数量、噪音、占地面积都不可持续。于是行业把目光转向比热容和导热系数都更好的冷却液，液冷开始从“可选”变成“必选”。

散热的本质是热量从芯片表面传到冷却介质，可以用牛顿冷却公式表达：

\[

\displaystyle Q = h A \Delta T

\]

1. Q 代表散热功率：它表示芯片每秒需要交给冷却介质的热量，单位是瓦特。

$$\displaystyle Q$$

2. h 是换热系数：衡量冷却介质的“吸热效率”，液体通常比空气高一个量级以上。

$$\displaystyle h$$

3. A 是换热面积：散热冷板内部微通道把面积塞进狭小空间，让冷却液有更多接触面。

$$\displaystyle A$$

4. ΔT 是温差：芯片表面温度与冷却介质温度之差，温差是热量流动的“水位差”。

$$\displaystyle \Delta T$$

回看巨人，靠空气已经无法把 GPU 的热量抽走，必须换成“血液”般的冷却液。GB200 液冷方案，就是给巨人从皮肤表面开始布置毛细血管——冷板。

冷却回路

既然要输血，就要有血管。GB200 液冷系统里，最贴近芯片的是冷板——一块带微通道的金属板，贴在 GPU 表面。冷却液从冷板中流过，把热量一把抱住，就像毛细血管贴在皮肤下带走体温。

液冷系统的“血液”不是只在机柜内打转，它分成两套循环：二次侧循环靠近芯片，负责吸收热量；一次侧循环靠近外部冷源，负责把热量送出机房。两套循环在 CDU 里通过换热器相遇，但互不混合。

用热力学语言说，二次侧热水回到 CDU，把热量交给一次侧冷水；一次侧再把热量送到冷却塔或干冷器。冷却液能带走多少热量，由下面这个基本公式决定：

\[

\displaystyle Q = \dot{m} c_p (T_{\text{out}} - T_{\text{in}})

\]

1. 质量流量 \(\dot{m}\)：每秒钟流过管路的冷却液质量，单位是 kg/s，相当于“血流速度”和“血管粗细”。

$$\displaystyle \dot{m}$$

2. 比热容 \(c_p\)：单位质量冷却液温度升高 1K 需要吸收的热量，水因此成为冷却液的优选基液。

$$\displaystyle c_p$$

3. 进出口温差 \(T_{\text{out}} - T_{\text{in}}\)：冷却液进冷板时凉、出冷板时热，这个差值越大说明吸收的热量越多。

$$\displaystyle T_{\text{out}} - T_{\text{in}}$$

一冷一热形成完整回路，巨人每泵一次血，就把芯片热量往外送一步。冷板、二次侧、CDU、一次侧、冷源，构成了 GB200 液冷的基本闭环。

CDU配置

血液要在全身循环，不能靠血管自己挤。CDU 的全称是 Coolant Distribution Unit，也就是冷却液分配单元，它就像这套系统的人工心脏，负责让冷却液始终以正确压力、正确流量流经每一块冷板。

CDU 的核心不是简单的水泵，而是板式换热器。一次侧和二次侧在这里“隔墙相望”：二次侧热水把热量透过薄薄金属板交给一次侧冷水，但两侧液体绝不混合，避免外部杂质污染芯片侧冷却液。

CDU 内部还有泵组、比例调节阀、膨胀罐、过滤器、漏液检测和控制器。多数部署会采用冗余泵设计，一台泵故障时另一台接管。换热量的标定可以写成：

\[

\displaystyle Q_{\text{ex}} = U A \Delta T_{\text{lm}}

\]

1. 总传热系数 \(U\)：综合反映板片材质、两侧流速和污垢影响的效率因子。

$$\displaystyle U$$

2. 换热面积 \(A\)：板式换热器内部波纹板展开后的有效面积，面积越大，同等温差下过热量越高。

$$\displaystyle A$$

3. 对数平均温差 \(\Delta T_{\text{lm}}\)：换热器入口与出口两端温差的综合平均值，是板换的“平均身高差”。

$$\displaystyle \Delta T_{\text{lm}}$$

人工心脏除了泵血，还要防血栓、做体检。CDU 里的过滤、排气、漏液监测和冗余控制，决定了液冷系统能否 7×24 小时稳定运行。

机柜架构

血液离开心脏后，要经过主动脉、分支动脉，最终进入毛细血管。GB200 的 NVL72 机柜就有完整的“血管树”：机房冷却水进入机柜歧管，再由歧管分给多个计算托盘，冷却液被均匀送到每颗 GPU 的冷板。

为了让每个托盘“雨露均沾”，歧管设计非常讲究。若某条支路流量偏大，另一颗 GPU 就可能高温降频。工程师通过调整管径、流道和接头，让每条并联支路阻力尽量一致，从而保证流量分配基本均匀。

在理想模型下，N 条相同支路并联，总流量会被平分：

\[

\displaystyle \dot{V}_i = \frac{\dot{V}_{\text{total}}}{N}

\]

1. 支路流量 \(\dot{V}_i\)：第 i 个计算托盘分到的冷却液体积流量，单位常用 L/min。

$$\displaystyle \dot{V}_i$$

2. 总流量 \(\dot{V}_{\text{total}}\)：进入机柜歧管的全部冷却液体积流量。

$$\displaystyle \dot{V}_{\text{total}}$$

3. 并联支路数 \(N\)：机柜内需要同时供冷的节点数量。

$$\displaystyle N$$

接头大量采用盲插设计，服务器托盘推进机柜时自动对接。这既像插 U 盘，也像输血针头自动扎入血管，最大限度降低人为误操作导致的漏液风险。

基础设施改造

光有心脏和血管不够，巨人还需要合格的血库。GB200 液冷方案对数据中心基础设施提出了硬性要求：必须有稳定的冷却水供应、足够的管路空间和严格的监控系统。

冷却液不是自来水。二次侧通常使用去离子水或乙二醇水溶液，电导率、pH 值、颗粒度都要被控制，否则冷板微通道会结垢、腐蚀甚至堵塞。一次侧虽然可以使用外部循环水，但仍需进行水质处理和过滤。

冷却液温度直接影响芯片温度。芯片结温、冷却液温度和散热功率之间的关系可以用热阻表示：

\[

\displaystyle R_{\text{th}} = \frac{T_{\text{junction}} - T_{\text{coolant}}}{Q}

\]

1. 热阻 \(R_{\text{th}}\)：热量从芯片内部传到冷却液所遇到的综合阻力。

$$\displaystyle R_{\text{th}}$$

2. 芯片结温 \(T_{\text{junction}}\)：芯片内部晶体管工作温度，过高会加速老化甚至损坏。

$$\displaystyle T_{\text{junction}}$$

3. 冷却液温度 \(T_{\text{coolant}}\)：冷板入口附近的冷却液温度，是系统运行控制的关键设定点。

$$\displaystyle T_{\text{coolant}}$$

4. 散热功率 \(Q\)：芯片在该时刻需要排走的热量。

$$\displaystyle Q$$

数据中心改造就像给巨人建血库：管路承压、保温、防漏水、水质在线监测缺一不可。没有合格血库，再强的心脏也不敢全速泵血。

性能收益

退烧之后的巨人不再因高温被迫降速。液冷最直观的收益是散热效率提升，让 GPU 可以在更高功耗档位上持续运行，而不是刚跑几分钟就撞到温度墙降频。

液冷还降低散热系统本身的能耗。传统风冷要靠大量空调压缩机和风扇搬运热量；液冷则把热量直接交给水流，再利用室外自然冷源散热，整个机房的制冷功耗大幅下降。

衡量数据中心能效的常用指标是 PUE：

\[

\displaystyle PUE = \frac{P_{\text{total}}}{P_{\text{IT}}}

\]

1. PUE 指标：数据中心总用电与 IT 设备用电的比值，是最常用的能效指标。

$$\displaystyle PUE$$

2. 总用电 \(P_{\text{total}}\)：包含 IT 设备、制冷、供配电等所有设施的电耗。

$$\displaystyle P_{\text{total}}$$

3. IT 设备功耗 \(P_{\text{IT}}\)：真正用于服务器、存储和网络设备计算的电耗。

$$\displaystyle P_{\text{IT}}$$

更高的功率密度意味着一个机房可以塞下更多 GPU，巨人在同样大的身体里长出更强壮的心脏和肌肉。省下的空调电费，则像退烧后省下的降温药费，是实打实的运营利润。

未来演进

血液循环系统解决了今天的 GB200，但 AI 芯片功耗还在膨胀。未来也许需要更激进的“体外生命支持系统”——冷却液直接进入芯片内部微流道，或者把整块主板泡进绝缘冷却液中。

直接芯片微流道冷却把微米级沟槽刻进芯片封装或基板，让冷却液走到离晶体管更近的地方；浸没式液冷则用绝缘冷却液包裹整个服务器，几乎消除空气换热瓶颈。与此同时，行业正在推进液冷接口、CDU 协议和机房建设标准的统一，让不同厂商设备像标准血型一样互相兼容。

液冷系统的余热也有价值。若把回水热量通过热泵提升品位，用于办公取暖或园区供热，制冷就从“成本项”变成“能源项”。热泵性能系数：

\[

\displaystyle COP = \frac{Q_{\text{delivered}}}{W_{\text{input}}}

\]

1. 供热量 \(Q_{\text{delivered}}\)：热泵向建筑供暖系统实际提供的热量。

$$\displaystyle Q_{\text{delivered}}$$

2. 输入功 \(W_{\text{input}}\)：热泵压缩机或水泵消耗的电功。

$$\displaystyle W_{\text{input}}$$

3. 性能系数 COP：输出热量与输入功的比值，用来评估热泵效率。

$$\displaystyle COP$$

从风冷到冷板液冷，再到芯片微流道、浸没和余热回收，AI 散热正在从“给巨人扇扇子”变成“帮巨人换一套更高效的代谢系统”。GB200 液冷方案正是这条演进之路上的一座里程碑。

AI 应用场景

Python 演示

# 估算液冷集群总热负荷和二次侧流量def estimate_gb200_loop(racks, gpus_per_rack, tdp_watt, utilization,                        t_supply, t_return, cp=3850.0, rho=985.0):    total_heat_watt = racks * gpus_per_rack * tdp_watt * utilization    delta_t = t_return - t_supply    mass_flow = total_heat_watt / (cp * delta_t)    volume_flow_m3_s = mass_flow / rho    volume_flow_lpm = volume_flow_m3_s * 60000.0    return total_heat_watt, mass_flow, volume_flow_lpm if __name__ == "__main__":    racks = 6    gpus_per_rack = 72    tdp_watt = 1200    utilization = 0.9    t_supply = 18.0    t_return = 28.0    q, mdot, lpm = estimate_gb200_loop(        racks, gpus_per_rack, tdp_watt, utilization, t_supply, t_return    )    print("总热负荷: %.2f kW" % (q / 1000.0))    print("二次侧质量流量: %.2f kg/s" % mdot)    print("二次侧体积流量: %.2f L/min" % lpm)

1. total_heat_watt = racks * gpus_per_rack * tdp_watt * utilization把机柜数、单柜 GPU 数和单卡功耗相乘，得到总发热功率。
2. delta_t = t_return - t_supply进出口温差，决定同样流量能搬走多少热。
3. mass_flow = total_heat_watt / (cp * delta_t)由热平衡反推质量流量，对应 CDU 泵必须泵多少“血液”。
4. volume_flow_lpm = volume_flow_m3_s * 60000.0工程习惯用 L/min，乘 60000 完成单位换算。
5. print("二次侧体积流量: %.2f L/min" % lpm)输出关键结果，供后续 CDU 选型参考。

常见误区

面试题