AI芯片互连：NVLink与Infinity Fabric

可视化演示

展示NVLink全连接拓扑与Infinity Fabric网格拓扑、互连带宽延迟量化对比、以及多GPU训练AllReduce通信效率。切换模式理解芯片互连选型。

互连架构设计

回到物流公司的比喻。你手下有两座仓库（GPU），每天要互相调拨货物。一种做法是修一条“专用传送带”——只服务这两座仓库，通道又宽又快；另一种做法是让货物走城市的“公共快速路”——哪里都能去，但车道不归你独享。NVLink就是NVIDIA修的那条专用传送带，Infinity Fabric则是AMD搭建的那张公共路网。

NVLink从2014年诞生至今已跨越五代：初代在P100上实现了160GB/s的惊人速度，此后每一代都几乎翻倍。它的核心设计哲学是“专”——只用于GPU之间或GPU与CPU之间的高速互连，不走PCIe那套通用总线。Infinity Fabric则诞生于AMD的“统一内存”愿景，它既连接CPU和GPU，也连接GPU与GPU，甚至连接多颗Die（芯片核心），是一种“大一统”的互连方案。

芯片间通信的本质，是解决“数据搬运”问题。训练大模型时，计算只占一部分时间，更大的开销在于把中间结果、梯度搬到正确的GPU上。互连的带宽决定“一次能搬多少”，延迟决定“搬一趟要多久”。两者共同决定了一道算术题的答案：

这条公式是理解所有互连指标的钥匙。NVLink的带宽之所以远超PCIe，正是因为它把“车道数”和“车速”都拉满了——这是专用传送带对公共路网的天然优势。

带宽指标对比

如果说带宽是“运输通道的宽度”，那NVLink和Infinity Fabric就像是两种不同规格的道路。NVLink 3.0（A100时代）给每块GPU配了12条链路，双向带宽合计600GB/s；NVLink 4.0（H100时代）进一步扩展到18条链路，达到900GB/s。而AMD的Infinity Fabric 4（MI300X中的XCD互连）也交出了约896GB/s的答卷，几乎与NVLink 4.0并驾齐驱。

为什么要强调“双向”？因为在真实的训练任务里，GPU既要把数据发出去，也要同时接收别处传来的数据。官方标称的带宽通常指双向总和——就像一条双向八车道公路，两个方向的车流可以同时跑满。如果只看单向，数字要打个对折。为了有个参考系，PCIe 5.0 x16（通用I/O总线）的双向带宽只有约128GB/s，连NVLink 4.0的七分之一都不到。

看这张对比表更直观：NVLink 3.0是600GB/s的专用高架，NVLink 4.0是900GB/s的极速磁悬浮，Infinity Fabric 4是896GB/s的城市快速路，而PCIe 5.0只是128GB/s的乡村公路。单看数字，NVLink 4.0与Infinity Fabric 4似乎势均力敌，但带宽只是故事的一半。

延迟特性分析

回到物流比喻。带宽决定了“一次能装多少货”，延迟则决定了“包裹从发货到签收需要多久”。一条能装100个集装箱的货轮，如果航行要一个月，它的延迟就远高于一架只能装1吨但2小时送达的货机。AI训练里，延迟同样是绕不开的指标。

NVLink作为专用地铁，有两个先天优势：一是固定延迟极低——数据包从发出到接收仅需微秒级，几乎无需路径仲裁；二是链路利用率高——没有别人和你抢道，满载时依然稳定。Infinity Fabric作为通用路网，延迟会受两个因素拖累：首先是多跳问题，数据从一个GPU到另一个GPU可能要经过多个路由器中转，每跳都增加几十纳秒；其次是拥塞，当多个GPU同时通信时，公共路口会堵车，延迟急剧上升。

这个公式解释了为什么“带宽大”不等于“延迟低”：当数据量很小时，D/B几乎可以忽略，L主导一切；当数据量很大时，D/B成为主角，带宽的优势才完全发挥。这也意味着，如果你的训练是大量小消息频繁交互，延迟比带宽更致命——NVLink的低延迟优势就体现在这里。

拓扑结构差异

物流网络怎么连接，决定了包裹从一个仓库到另一个仓库要转几手。NVLink搭建的是“全连接网格”：8块GPU通过NVLink Switch（一种专门的高速交换机）组成全互联阵列，任何两块GPU之间都有直达通道，就像每个仓库之间都修了专用传送带。而Infinity Fabric倾向于“环形与星形混合”，AMD的GPU通常以环状连接相邻芯片，跨远距离通信需要绕行，多跳不可避免。

NVIDIA还引入了“NVLink域”的概念——一个NVLink Switch可以连接多块GPU形成一个通信域，域内所有GPU共享极高的聚合带宽。这种设计让8卡、16卡、甚至更大规模的GPU集群都能保持“任意两点直达”的低延迟通信。AMD的Infinity Fabric则更注重灵活性：它允许CPU、GPU、内存控制器共用同一套互连协议，甚至支持不同的芯片组合，代价是互连的专属性和极限性能有所妥协。

拓扑的差异直接决定了扩展性。NVLink的全连接在4-8卡范围内性能极佳，但继续扩大规模时，链路成本呈平方增长，所以大规模集群需要借助NVLink域分层。Infinity Fabric的环形结构初始成本低，但节点越多，平均跳数越多，延迟越高——就像城市环路在高峰期永远是最堵的路。

多GPU训练影响

现在把镜头拉回AI训练的现场。你把一个大订单（训练大模型）分给多个仓库（GPU）协同处理，每个仓库干活之前，都要先和其他仓库同步进度、核对账本——这个“核对账本”的动作，就是多GPU训练的通信环节。

最典型的是梯度同步。数据并行训练中，每块GPU拿一批不同的数据，独立算出一个梯度；每轮迭代结束，所有GPU必须把梯度汇总（AllReduce），取平均值后同步更新模型权重。这个汇总操作要在互连网络上搬运和模型一样大的数据量——对于千亿参数模型，单次同步就是几百GB的流量。NVLink 900GB/s的带宽在这里能把同步时间压缩到极致，而PCIe则会让每轮迭代都卡在通信上。模型并行（把模型的不同层分到不同GPU）则需要频繁传输层间的激活值，通信模式是“流水线式”的，对延迟和带宽同样敏感。

这就是为什么NVIDIA不惜成本堆NVLink带宽——不是为了好看的数字，而是为了把R压下来。当R从0.3降到0.1，训练速度就能提升约30%。反过来，如果你把V100集群（NVLink 2.0，300GB/s）换成PCIe互连的机器，R直接冲上0.8，GPU虽然照样在跑，但大部分时间都在干瞪眼等数据。

选型建议

选NVLink还是Infinity Fabric，本质上不是选“谁更快”，而是选“谁更适合你的运输场景”。就像物流公司不会只买一种车：同城急件用摩托车，跨省大件用重型卡车，冷链有冷藏车，哪有什么绝对最好，只有匹配。

第一个维度是场景匹配。如果你要搭一个8卡A100/H100的深度学习训练服务器，NVLink的全连接网格是无脑之选——它就是为了这个场景设计的，梯度同步快、延迟低、开箱即用。如果你是做异构计算（CPU+GPU混合）或者需要灵活扩展的HPC集群，Infinity Fabric的统一互连协议更有吸引力，它让CPU和GPU共享同一套通信语言。第二个维度是成本权衡：NVLink的高性能是“专用”换来的，整机价格昂贵；Infinity Fabric兼容性更好，在成本敏感的场景里更务实。第三个维度是生态绑定：NVLink与CUDA生态深度耦合，PyTorch、TensorFlow对NCCL（NVIDIA通信库）的支持已经成熟到“开箱即用”；AMD的ROCm生态虽然在快速追赶，但很多框架的通信优化还没完全跟上。

未来趋势也值得关注：NVIDIA在HGX平台上继续强化NVLink域，AMD在MI300系列上把Infinity Fabric推向了“chiplet（芯粒）互连”的新高度。无论哪条路线，背后的逻辑都是同一个：在AI算力竞争里，互连网络已经和芯片本身一样重要——路建得够不够宽、够不够快，直接决定了你的AI到底能跑多快。

AI 应用场景

Python 演示

class Interconnect:    def __init__(self, name, bw_gbps, latency_us):        self.name = name        self.bw = bw_gbps   # 双向带宽，单位 GB/s        self.lat = latency_us  # 固定延迟，单位 微秒     def transfer_time_ms(self, data_gb):        """计算传输时间：T = D/B + L，返回毫秒"""        return data_gb / self.bw * 1000 + self.lat / 1000  def comm_ratio(train_time_ms, comm_time_ms):    """计算通信占比 R = T_comm / (T_comm + T_compute)"""    return comm_time_ms / (comm_time_ms + train_time_ms)  def main():    nvlink4 = Interconnect("NVLink 4.0", 900, 1.0)    if4 = Interconnect("Infinity Fabric 4", 896, 2.0)    pcie5 = Interconnect("PCIe 5.0 x16", 128, 5.0)     data_sizes = [1, 10, 100]  # GB     print("=== 互连传输时间对比 ===")    print(f"{'数据量':<6}{'NVLink(ms)':<14}{'IF(ms)':<14}{'PCIe(ms)':<14}")    for d in data_sizes:        tn = nvlink4.transfer_time_ms(d)        ti = if4.transfer_time_ms(d)        tp = pcie5.transfer_time_ms(d)        print(f"{d:<6}{tn:<14.2f}{ti:<14.2f}{tp:<14.2f}")     print("\n=== 通信占比对比（假设单次计算 10ms） ===")    for d in [10]:        ratio_nv = comm_ratio(10, nvlink4.transfer_time_ms(d))        ratio_if = comm_ratio(10, if4.transfer_time_ms(d))        ratio_pci = comm_ratio(10, pcie5.transfer_time_ms(d))        print(f"NVLink: {ratio_nv:.2%}   IF: {ratio_if:.2%}   PCIe: {ratio_pci:.2%}")  if __name__ == "__main__":    main()

1. self.bw = bw_gbps保存互连的双向带宽，单位GB/s，这是公式中的分母，带宽越大传输时间越短。
2. self.lat = latency_us保存固定延迟（微秒），代表公式中的L，即使数据量为0也存在这个开销。
3. data_gb / self.bw * 1000计算D/B，把秒换算成毫秒；数据量除以带宽就是用多少毫秒搬完这些“包裹”。
4. + self.lat / 1000加上固定延迟（微秒转毫秒），这就是完整的传输时间公式。
5. comm_ratio(10, nvlink4.transfer_time_ms(d))计算通信占比R，展示了为什么带宽差7倍的PCIe会让GPU大部分时间都在等数据。

常见误区

面试题