NVLink与NVSwitch：GPU集群高速互连揭秘

可视化演示

演示NVLink点对点连接、NVSwitch全互联拓扑、PCIe vs NVLink带宽对比三大场景，点击步骤切换互连模式。

初识NVLink：GPU间的专用快车道

假设你管着一座城市的快递网络，仓库 A 和仓库 B 每天要对账海量包裹。以前走普通马路（PCIe），路窄车多，高峰期堵得水泄不通。于是你给 A、B 之间修了一条专属传送带——不跟别人共享，想传就传。这就是 NVLink 的雏形：GPU 与 GPU 之间的专用快车道。

在 AI 服务器里，一张 GPU 卡就是一个“仓库”，大模型训练时它们要频繁交换中间结果和梯度。PCIe 是通用的“马路”，所有设备共享总线；而 NVLink 是 NVIDIA 私有的点对点直连协议，只服务 GPU 之间，占用独立通道、延迟极低，不会和其他设备抢带宽。

连接 A、B 两仓的传送带到底有多宽？NVLink 采用高速差分信号，每根物理链路可以同时双向收发。H100 单卡集成了 18 条 NVLink 链路，每条单向速率 25GB/s，双向翻倍后，这张卡与外界通信的总带宽达到惊人的 900GB/s——大约是 PCIe 5.0 x16 的 14 倍。

回到快递比喻，这条专用传送带让 A、B 两仓的对账从“堵在路上几小时”变成“几分钟完事”。这就是大模型训练离不开 NVLink 的原因——单卡算得再快，卡间传不动，训练就会在原地空转。

NVSwitch枢纽：全互联的中央交换台

仓库从 2 个变成 8 个之后，你不可能给每两个仓库都修一条专线——算一下就知道要 28 条，占地又费钱。更聪明的做法是建一个中央转运枢纽：每个仓库只接一根管道进来，由枢纽内部负责把包裹转到目标仓库。NVSwitch 扮演的正是这个角色。

NVSwitch 是 NVIDIA 专门设计的 NVLink 交换芯片，内部集成了庞大的交叉开关（crossbar），可以把来自多个 GPU 的 NVLink 信号按需互相转发。GPU 不需要两两直连，只要连到 NVSwitch，就能和域内任意一张 GPU 通信。以 HGX H100 主板为例：8 张 GPU 各通过 18 条 NVLink 接到 4 颗 NVSwitch 芯片上，任意两张 GPU 之间互通都只需“一跳”，既没有中间转发损耗，也不经过 PCIe 的瓶颈。

如果不用交换机，8 张卡两两直连到底要多少根线？这个数字就是高中就学过的组合数。

中央枢纽建好后，8 个仓库之间互传包裹都只需“进枢纽、出枢纽”一步，这就是全互联（all-to-all）的威力。大模型训练里最频繁的“全卡同步梯度”操作，正是依赖这种一跳直达才跑得动。

拓扑结构：道路怎么修

修路有不同修法。最早 NVLink 一代的时候，GPU 像一座小城的环线公交：每站只能连接相邻两站，这就是环形拓扑。要从一站去对角那站，得绕大半个城，既慢又占路。

后来链路变多了：V100 每个 GPU 有 6 条 NVLink，能修成更高维的网格；到了 A100/H100 时代，NVSwitch 把拓扑升级成“星型+全互联”——每个 GPU 到中心只有一跳，但中心内部等效于全连接。除此之外，机房级组网常用胖树（fat-tree）：每一层往上带宽逐层加宽，像一棵越往上越粗的树，避免上层成为瓶颈。

不同修路方案的成本和延迟差异很大。环形拓扑只要 N 条线路，但数据平均要绕 N/4 跳；全连接拓扑任何两台都直达，但线路数按组合数暴涨。

“道路怎么修”直接决定了通信延迟。对训练来说，每步迭代都要做一次全局同步，少一跳就是实打实的时间节省，这也是 NVSwitch 全互联能显著加速大模型训练的根本原因。

带宽代际：传动带一代比一代宽

传送带也在不断升级。NVLink 1.0 时代是窄带，P100 总带宽只有 160GB/s；V100 提升到 300GB/s；A100 翻倍到 600GB/s；H100 达到 900GB/s；最新的 B200 直接突破到 1.8TB/s。短短几年，一条“传送带”的宽度翻了十倍以上。

每一代的提升来自两个方向：把单根链路加宽（提升单链路速率），或者增加链路数量。A100 是 12 条 × 25GB/s × 2；H100 是 18 条 × 25GB/s × 2；到了 NVLink 5.0，B200 用 18 条 × 50GB/s × 2 冲上 1.8TB/s。总带宽是“双向同时收发”口径下算出来的。

把相邻两代的总带宽放在一起相除，就能看出这条演进曲线的斜率。

传送带越来越宽的背后，是 AI 模型越来越大——训练千亿参数模型时，每次梯度同步的“包裹”多到惊人，带宽永远不嫌多。这也是为什么每代 GPU 都要把互连带宽同步翻倍。

DGX与HGX：整机装配的智慧

传送带和枢纽修得再好，也得有人把它们组装成标准产品。NVIDIA 提供了两种形态：DGX 是“整机交付”，像买一套精装智能仓——机柜、8 张 GPU、NVSwitch、NVLink、散热全部装好，开箱即用；HGX 则像只卖发动机和底盘给汽车厂，服务器厂商自己配外壳和电源。

DGX H100 是 8 卡一体机：每卡 900GB/s NVLink 接入全互联网络，配合 4 颗 NVSwitch 芯片和工业级散热底座。HGX H100 主板把同样的"8 GPU + NVSwitch"电路做成标准板卡，浪潮、戴尔、超微等厂商把它装进各自的机架，用户因此有了更多选择。

衡量这套系统通信能力有个关键指标：对分带宽（bisection bandwidth）——把 8 卡从中间切成两半，两半之间能同时传输的总带宽。它比“单卡带宽 × 卡数”更真实地反映了全网能跑多快。

整机厂把最复杂的布线做完，用户完全不用关心哪根线连哪儿。正是这种“预制化”思路，让 NVLink/NVSwitch 技术能从实验室走向大规模集群。

组网成本：带宽与钱包的博弈

条条大路通罗马，但修路要花钱。全互联最爽，可每加一张卡，直连线路数按组合数暴涨：8 卡要 28 条，16 卡就要 120 条。NVSwitch 把“线路爆炸”变成“每卡一根 + 交换机芯片”，但交换芯片本身很贵、功耗也不低，于是就有了权衡。

小规模场景（4-8 卡）用 NVSwitch 性价比很高；再往上，几十上百卡需要多颗 NVSwitch 分级互连，或者引入 InfiniBand 做机间扩展；而小模型的推理场景，PCIe 也许就够。工程上还要看实际通信模式：张量并行（TP）要求高带宽低延迟，适合放 NVLink；数据并行（DP）的梯度同步量固定且可流水化，对带宽上限没那么敏感。买什么配置，先回答“我的负载到底怎么通信”。

把两种方案的线路成本写出来，权衡点一目了然。

好的架构师就像精明的城市规划师：不追求每条路都是八车道，而是让最堵的主干道满足峰值，把钱花在刀刃上。

InfiniBand配合：跨机城际高速

一座城市再大，也装不下全国的包裹。当训练集群要扩展到几十台服务器时，必须靠城际高速把一座座“智能仓”连起来。这张城际网，就是 InfiniBand（简称 IB）。

NVLink/NVSwitch 管的是“服务器内部”（scale-up），InfiniBand 管的是“服务器之间”（scale-out）。两者不是替代关系，而是分工协作：单机内用 NVLink 全互联，机间用 IB 组网，形成分级路由——就像仓库内用传送带，城市之间走高速。

以 DGX H100 为例，每台配有 8 个 400Gbps 的 IB 端口，单向聚合带宽是 400GB/s，比单卡 NVLink 的 900GB/s 少一半多，说明“跨机通信依然是短板”。因此工程师会做通信与计算重叠（如梯度分桶、异步流水），尽量把跨机流量藏到计算后面。

大模型训练就像全国物流：仓库内部用传送带（NVLink），仓库之间靠城际高速（InfiniBand），分级路由、逐层接力，才能支撑起万亿参数的庞然大物。

AI 应用场景

Python 演示

def avg_hop_ring(n_gpu):    # 环形拓扑平均跳数: N 台围成环, 任意两台平均走 N/4 跳    return n_gpu / 4.0 def transfer_time(data_gb, bw_gb_s, hop):    # 通信时间 = 数据量 * 跳数 / 每跳带宽 (单位: 秒)    return data_gb * hop / bw_gb_s def main():    n_gpu = 8    data_gb = 24.0        # 一次梯度同步的数据量 (GB)    bw_ring = 160.0       # NVLink 1.0 环形拓扑每卡总带宽 (GB/s)    bw_switch = 900.0     # H100 NVSwitch 全互联每卡总带宽 (GB/s)     hop_ring = avg_hop_ring(n_gpu)    hop_switch = 1.0     t_ring = transfer_time(data_gb, bw_ring, hop_ring)    t_switch = transfer_time(data_gb, bw_switch, hop_switch)     print(f"GPU 数量: {n_gpu}, 同步数据量: {data_gb} GB")    print(f"环形拓扑 (平均 {hop_ring:.2f} 跳, {bw_ring} GB/s): {t_ring:.4f} 秒")    print(f"NVSwitch 全互联 (1 跳, {bw_switch} GB/s): {t_switch:.4f} 秒")    print(f"新方案提速: {t_ring / t_switch:.2f} 倍") if __name__ == "__main__":    main()

1. def avg_hop_ring(n_gpu):定义环形拓扑的平均跳数估算函数，把“绕路程度”变成数值。
2. return n_gpu / 4.0环形网络里任意两台平均相距 N/4 跳，8 台就是 2 跳。
3. def transfer_time(data_gb, bw_gb_s, hop):定义通信耗时函数，把数据量、带宽、跳数三者关系表达出来。
4. return data_gb * hop / bw_gb_s时间 = 数据量 × 跳数 ÷ 带宽，跳数越多、带宽越小，耗时越长。
5. bw_ring = 160.0模拟老一代环形拓扑的单卡带宽，只有 160GB/s。
6. bw_switch = 900.0模拟 H100 + NVSwitch 全互联的带宽，900GB/s。
7. hop_switch = 1.0交换拓扑任何两卡一跳直达，跳数为 1。
8. t_switch = transfer_time(data_gb, bw_switch, hop_switch)计算 NVSwitch 方案需要多少秒。
9. print(f"新方案提速: {t_ring / t_switch:.2f} 倍")输出提速倍数，量化拓扑与带宽升级的收益。

常见误区

面试题