想象一座正在举办“全球拼图大赛”的城市，成千上万个 GPU 选手手拉手协作，每完成一小步就要把新情报同步给所有人。这个同步过程，决定整场大赛是行云流水还是卡到崩溃。这座城市需要一条专为“急件”而生的超级货运通道——普通公路（以太网）上，每一件快递都要进站、卸货、登记、再装车（CPU 多层协议栈处理）；而 InfiniBand 是一条磁悬浮专线：快递从你的仓库（内存）直接穿越到对方仓库，沿途不停站、不需要站长（CPU）搬货。RDMA 技术就是这条专线的“免下车直达投递”——这也是所有大模型训练的底层通信命脉。今天，我们一起把这条专线从铁轨铺设、行车规则、巅峰调度到未来升级完整看一遍。

岗位关联

对 AI 从业者来说，理解 InfiniBand 的架构与调优，是搭建万卡级 GPU 集群、定位分布式训练网络瓶颈、做出合理网络选型的硬核基本功。

目录
  1. 可视化演示
  2. 架构原理：专线的骨架
  3. RDMA核心机制：免下车直达投递
  4. 协议分层：列车的行车规则
  5. 技术对比：专属高铁与公路高铁
  6. 集群组网：万卡拼图工人的联络网
  7. 调优实践：高峰期的智能调度
  8. 演进路线：不断提速的下一代专线
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

系统可视化 处理流程：输入→处理→模型→输出 性能监控：实时指标 P=L×T

架构原理：专线的骨架

一座城市每天有成千上万件加急快件要送，政府干脆修一条专用的磁悬浮货运专线，不跟普通公路混在一起。InfiniBand（简称 IB）就是为 AI 与超算城市量身定制的这条专线。它不是简单的“更快的网线”，而是一整套从轨道规格到调度系统的统一标准，由 IBTA 组织持续维护。

IB 网络由三件套组成：HCA（主机通道适配器，相当于每栋楼的专属货运码头，装在服务器里）、IB 交换机（枢纽站，负责把车厢转送到正确轨道）、子网管理器 SM（交通调度指挥中心，发现所有节点、规划全局路径）。没有 SM，专线只是一堆散铁轨，节点互相找不到对方。

拓扑方面，主流选择是胖树（Fat-Tree）：叶子交换机接 GPU 节点，脊交换机互联所有叶子，保证任意两点间都有足够的并行轨道。单链路带宽的计算遵循这个基础公式：

搞懂了这款“电动高铁”的车速，下一节我们看它的灵魂——列车如何在专线上免下车直达。

B=Rs×W×D\displaystyle B = R_s \times W \times D
公式含义：一条 IB 链路的总带宽 = 信号速率 × 并行通道数 × 双工系数。HDR 单端口 200Gb/s、NDR 单端口 400Gb/s，都是这么乘出来的。
  1. 信号速率 \(R_s\)每个通道每秒传送的符号数量，相当于轨道上每秒能跑过多少节车厢。
    RsR_s
  2. 通道宽度 \(W\)链路上并行的物理通道数量，相当于双向八车道里有几条车道同时走车。
    WW
  3. 双工系数 \(D\)双向同时收发时取 2，相当于同一段轨道上两个方向都能同时发车。
    DD

RDMA核心机制：免下车直达投递

传统快递是“驿站接力”：卡车每到一个驿站，站长（CPU）都得把包裹搬下车、核对手续、再搬上另一辆车——这正是 TCP 网络的常态：数据要从用户态拷贝到内核态，经过协议栈层层封装，CPU 全程主持搬运。而 InfiniBand 的核心技术 RDMA（远程直接内存访问），就像为每对仓库之间架了一条密封管道：发货仓库的一件货直接“嗖”地滑到收货仓库，站长站在旁边喝咖啡就行。

RDMA 能够在 IB 网络上成立，靠的是四根支柱：内核旁路（数据不经过操作系统协议栈）、零拷贝（网卡硬件直接从应用内存把数据搬到对端应用内存，不产生中间拷贝）、内存注册（把允许直达的内存区域提前登记，相当于给仓库装专用滑道）、队列对 QP（每个连接对应一对收发队列，收发双方只需往队列里投递任务）。把一个数据包从 A 卡送到 B 卡的总时间可以分解为：

这四项加起来，就是你在 ib_write_bw 测试里看到的端到端延迟。免下车直达，让 IB 在真实分布式训练里能做到微秒级一跳。

Ttotal=Ttx+Tprop+Tswitch+Thw\displaystyle T_{\text{total}} = T_{\text{tx}} + T_{\text{prop}} + T_{\text{switch}} + T_{\text{hw}}
公式含义：端到端延迟 = 发送时延 + 传播时延 + 交换时延 + 硬件处理时延。IB 的最大贡献，是让第四项里“CPU 协议栈”的部分趋近于零。
  1. 发送时延 \(T_{\text{tx}}\)数据全部进入链路所需时间，等于数据量除以链路速率。
    TtxT_{\text{tx}}
  2. 传播时延 \(T_{\text{prop}}\)电信号或光信号在铜缆/光纤上跑一段距离消耗的时间。
    TpropT_{\text{prop}}
  3. 交换时延 \(T_{\text{switch}}\)每个交换机把车厢从入轨换到出轨需要的时间。
    TswitchT_{\text{switch}}
  4. 硬件处理时延 \(T_{\text{hw}}\)CPU 与网卡处理报文的开销；RDMA 通过硬件卸载把这一项压到最低。
    ThwT_{\text{hw}}

协议分层：列车的行车规则

再快的专线也要有规则：铁轨宽度得统一（物理层）、同一轨道上的列车要防追尾（链路层）、跨城市要选路线（网络层）、跟客户约定收货方式（传输层）。IB 协议栈正是这样分四层工作，每一层各司其职。

物理层定义信号速率、编码方式、连接器与线缆规格；链路层负责流控、错误校验 CRC、以及 16 位本地 ID（LID）寻址，相当于列车之间实时保持安全车距；网络层支持全局路由头（GRH），让数据跨越多个子网跑到远方的城市；传输层则提供多种服务，最常用的是可靠连接（RC）——保证每节车厢不丢失、不乱序、不重复。

IB 的报文效率为什么比以太网高？因为它支持更大的MTU（最大传输单元），把更多字节花在搬运货物而非贴标签上：

头部越小、车厢越大，运输的“载货率”就越高，整条专线的有效吞吐自然更漂亮。

E=MTUMTU+H\displaystyle E = \frac{MTU}{MTU + H}
公式含义：报文有效载荷利用率 = 数据部分 ÷（数据部分 + 头部开销）。IB 的 MTU 最大可达 4KB，头部约 54 字节，效率高达 98.7%，远高于以太网常见 1500B 小帧。
  1. 最大传输单元 \(MTU\)一列车最多能装多少货物，IB 支持 4096 字节的大车厢。
    MTUMTU
  2. 头部开销 \(H\)每节车厢必须贴的运输标签（路由信息、校验码等）所占的固定长度。
    HH

技术对比：专属高铁与公路高铁

工程师们发现 RDMA 这套“直达投递”太香了，于是想：能不能让高铁车厢跑在普通公路上？于是有了 RoCE——把 RDMA 语义封装进以太网帧里传输。这就像一条“公路高铁”：省去了新建专线的巨大投资，但代价是必须和普通汽车（传统以太网流量）共享路面。

IB 是封闭专用铁路，从物理层到传输层全部自研，天然支持无损传输；RoCE（尤其是 v2）跑在以太网上，为了防丢包只能依赖 PFC（优先级流控）——相当于在公路上给高铁画了一条专用车道并禁止其他车变道。但 PFC 一个问题：一旦入口堵死，会把阻塞一层层反向传递，形成“拥塞树”，连累本该畅通的线路。此外，IB 与 RoCE 的部署成本结构也完全不同：

选型不是“谁快选谁”，而是比较四条成本曲线的交汇点。训练集群规模越大、对稳定性要求越高，IB 专线的优势就越突出。

Ctotal=Chardware+Cswitch+Coperation+Crisk\displaystyle C_{\text{total}} = C_{\text{hardware}} + C_{\text{switch}} + C_{\text{operation}} + C_{\text{risk}}
公式含义：网络方案的总体代价 = 网卡硬件 + 交换机 + 运维人力和工具 + 性能风险敞口。IB 前两项贵但第四项小；RoCE 前两项便宜但第四项可能很大。
  1. 硬件成本 \(C_{\text{hardware}}\)HCA 卡、GPU 服务器板载网卡等终端设备的采购费用。
    ChardwareC_{\text{hardware}}
  2. 交换机成本 \(C_{\text{switch}}\)IB 专用交换机的单价显著高于同规格以太网交换机。
    CswitchC_{\text{switch}}
  3. 运维成本 \(C_{\text{operation}}\)子网管理器配置、PFC 调参、监控告警与故障排查的人力开销。
    CoperationC_{\text{operation}}
  4. 风险成本 \(C_{\text{risk}}\)拥塞、死锁、网损抖动对训练任务造成的潜在时间损失。
    CriskC_{\text{risk}}

集群组网：万卡拼图工人的联络网

当拼图工人从几百人扩张到几万人，单条专线就不够了，得把专线编织成一张分层铁道枢纽网。胖树拓扑就是最经典的编法：底层是接入 GPU 的叶子交换机，上层是互联所有叶子的脊交换机，每往上一层，轨道数成倍增加，直到根部的总带宽不小于全部叶子带宽之和——这就是“无收敛”的含义，任何两个节点之间都不缺带宽。

人多了还要防止不同公司的人混用通道。IB 的 P_Key 分区机制相当于线路通行证：只有持有同一分区授权（相同 P_Key 值）的端口才能互发数据，天然实现多租户隔离。而训练中最关键的通信动作——AllReduce（全局梯度汇总），则像拼图大赛的“情报同步仪式”：每个人手里有一份局部统计，最终所有人必须拿到全体汇总。Ring-AllReduce 把 N 个 GPU 排成一个环，每一轮只跟左右邻居传数据：

前半部分是延迟项，后半部分是带宽项。大模型训练中 M 动辄几百 MB，哪个 GPU 也不希望自己的情报要绕地球一圈才能抵达所有人。Ring 算法配合 IB 的直达专线，刚好两者兼得。

Tar=2(N−1)α+2(N−1)N⋅Mβ\displaystyle T_{\text{ar}} = 2(N-1)\alpha + \frac{2(N-1)}{N}\cdot\frac{M}{\beta}
公式含义：环形 AllReduce 总耗时 = 延迟项（N 跳往返）+ 带宽项（每个 GPU 实际发送的数据量）。N 越大，每个 GPU 承担的数据占比 \(2(N-1)/N\) 越接近 2 份，总吞吐几乎与 N 无关——这正是它能支撑万卡扩展的数学根基。
  1. GPU 数量 \(N\)参与聚合的节点数，环上每多一个人，就多一跳传递。
    NN
  2. 链路延迟 \(\alpha\)单次发送的消息启动延迟，由硬件与软件栈决定，单位秒。
    α\alpha
  3. 数据总量 \(M\)所有 GPU 需要汇总的梯度字节数。
    MM
  4. 带宽因子 \(\beta\)链路带宽的倒数，表示每传 1 字节需要多长时间。
    β\beta

调优实践：高峰期的智能调度

专线修好了，但早晚高峰（梯度同步风暴）还是可能堵车。这时候需要一套智能调度系统：拥塞控制像动态红绿灯，检测到链路拥塞就实时标记，发送端立刻减速；自适应路由则让每趟列车动态选择最空旷的轨道，而不是死守固定路线。

除此之外，还有几个接地气的“省油技巧”：把 MTU 拉到 4KB（一列火车装更多车厢，减少车次）；为网卡中断绑定专用 CPU 核（核绑定），避免中断被调度到不同核导致缓存抖动；用 NUMA 感知让数据所在内存靠 GPU 更近。调优的效果最终用“有效带宽”来度量——真实跑数据算出来的吞吐：

日常运维中，ibstat 查看端口状态、ibdiagnet 做全网健康检查、ib_write_bw 与 ib_send_lat 做基准测试，这些都是判断专线是否“健康畅通”的仪表盘。

BWeff=MTmeasured\displaystyle BW_{\text{eff}} = \frac{M}{T_{\text{measured}}}
公式含义：有效带宽 = 实际传输的数据量 ÷ 真实测得的总耗时。无论标称 400Gb/s 多漂亮，最终训练体验看的是这个真实值。
  1. 有效数据量 \(M\)应用层真正交付给对方的数据字节数，不包括重传和协议填充。
    MM
  2. 实测耗时 \(T_{\text{measured}}\)从第一次发送到对方完整收到所经历的真实时间。
    TmeasuredT_{\text{measured}}

演进路线：不断提速的下一代专线

这条磁悬浮专线从不曾停下升级：从 QDR 40Gb/s、EDR 100Gb/s、HDR 200Gb/s，到 NDR 400Gb/s，再到即将量产的 XDR 800Gb/s。每一代基本都在翻倍提速，让万卡集群的通信瓶颈持续后移：

面向 AI 时代，IB 出现两个新趋势：一是与 NVLink 组成双层路网——GPU 内部超高带宽用 NVLink 直连，跨节点用 IB 互联，各干各的强项；二是无损以太网（UEC 等）不断吸收 IB 的经验，试图在普通公路旁加装“隔离护栏”。站在选型者的角度，AI 训练集群的规模越大、任务越关键，IB 这条超级专线在当下依然是“确定性低延迟”的最稳答案。

Bk=B0×2k\displaystyle B_k = B_0 \times 2^{k}
公式含义：第 k 代产品带宽 = 基准带宽 × 2 的 k 次方。从 HDR 开始，每一代“再加一个 N”，带宽就翻一倍。
  1. 基准带宽 \(B_0\)某一代的起始带宽，例如以 QDR 40Gb/s 为原点。
    B0B_0
  2. 翻倍次数 \(k\)从基准起经过的代数提升，每过一代 k 加 1。
    kk

AI 应用场景

场景 1：万卡大模型训练梯度同步

阶段：模型训练中的集合通信阶段

解决的问题：千亿参数模型每训练一步，所有 GPU 都要交换数百 MB 梯度。传统 TCP 协议栈让 CPU 深陷“搬货登记”泥潭，梯度同步耗时可能占单步总时长 60% 以上。IB 网络配合 NCCL 的 Ring-AllReduce，把 GPU 排成环，用 RDMA 直达通道做梯度聚合，同步时间从天级模型总耗时的“大头”压缩到接近纯带宽极限。

具体案例：某大模型团队训练 70B 参数模型，使用 1024 张 GPU 组建 NDR 400G IB 集群，梯度同步从 TCP 方案的 12 秒/步降到 1.8 秒/步，整体训练吞吐提升约 5 倍。

场景 2：AI 云多租户网络隔离

阶段：AI 云平台的网络资源编排与隔离

解决的问题：公有云上多个客户共享同一物理 IB 网络，互相“抢车道”会拖垮所有人的训练。用 P_Key 分区为每个租户发一张“线路通行证”，再结合 SR-IOV 虚拟化把一块物理 HCA 切成多个虚拟网卡分配出去，既保证隔离又提升资源利用率。

具体案例：某 AI 云厂商在 GPU 实例上以 1:1 端口密度部署 HDR InfiniBand，通过 P_Key 将生产集群与开发测试集群彻底隔离，租户间抖动从 20% 降至 1% 以内。

场景 3：多机推理的张量并行传输

阶段：大模型推理服务中的 KV Cache 与中间激活传输

解决的问题：多机部署超长上下文 LLM 时，张量并行需要在每层计算后跨节点同步激活值与 KV Cache。此时 CPU 参与的传统网络会造成首 Token 延迟（TTFT）飙高。用 RDMA Write 让 GPU 直接把中间结果写入对端 GPU 显存，把跨节点通信延迟从毫秒级压到几十微秒。

具体案例：某推理服务商将 8 节点 Llama-3-70B 的跨节点张量并行从 RoCE 切换为 IB 网络，TTFT 从 4.2 秒下降到 1.1 秒，用户体验显著提升。

Python 演示

python19 行
import math def ring_allreduce_time(n_gpus, data_mb, latency_us, bandwidth_gbps):    """估算 Ring-AllReduce 的总耗时（秒），参数分别代表 GPU 数、数据量、一跳延迟、带宽"""    alpha = latency_us * 1e-6    beta = 8.0 / (bandwidth_gbps * 1e9)    data_bytes = data_mb * 1024 * 1024    t = 2 * (n_gpus - 1) * alpha + 2.0 * (n_gpus - 1) / n_gpus * data_bytes * beta    return t def tcp_allreduce_time(n_gpus, data_mb):    """模拟 TCP 网络：延迟高且协议栈损耗大"""    return ring_allreduce_time(n_gpus, data_mb, 15.0, 25.0) / 0.6 print("GPU数量 |    IB耗时(ms) |   TCP耗时(ms) | 加速比")for n in (8, 64, 512, 4096):    t_ib = ring_allreduce_time(n, 128, 0.7, 400.0)    t_tcp = tcp_allreduce_time(n, 128)    print(f"{n:6d} | {t_ib*1000:12.3f} | {t_tcp*1000:12.3f} | {t_tcp/t_ib:5.1f}x")
目的：用 Ring-AllReduce 公式对比相同梯度数据量下，IB 网络与普通 TCP 网络的梯度同步耗时，直观看到高带宽低延迟带来的数量级差异。
  1. alpha = latency_us * 1e-6将一跳延迟从微秒换算成秒，公式中所有时间单位必须统一。
  2. beta = 8.0 / (bandwidth_gbps * 1e9)把 Gbps 带宽换算成“每字节需要多少秒”，这就是公式里的带宽因子。
  3. t = 2 * (n_gpus - 1) * alpha + 2.0 * (n_gpus - 1) / n_gpus * data_bytes * beta直接实现 Ring-AllReduce 延迟项 + 带宽项的核心公式。
  4. return ring_allreduce_time(n_gpus, data_mb, 15.0, 25.0) / 0.6TCP 场景用更高延迟、更低带宽，再额外除以 0.6 模拟协议栈拷贝损耗。
  5. for n in (8, 64, 512, 4096)从单机 8 卡一路扩展到 4096 卡，观察加速比变化。

常见误区

误区很多初学者以为 IB 和普通网线一样，把交换机和网卡连起来、装上驱动就能跑。结果买回来发现 `ibstat` 显示端口 Down，节点之间互相 `ping` 不通。

正解IB 网点亮只是开始，必须有子网管理器（SM）为全网规划路由和分配 LID，还要配置 P_Key 分区、加载 OFED 驱动并启动 opensmd 或 ib_sm 服务。这就像修好了磁悬浮轨道，还必须有人指挥列车运行，否则铁轨只是摆设。

为何常见：受传统以太网“即插即用”经验影响，忽略了 IB 是自带控制平面的专用网络体系。

误区有人说“RoCE 就是把 IB 的 RDMA 搬到以太网上，性能没差别，买 RoCE 更省钱”。于是有人在未做无损调优的公共以太网里直接开跑，结果训练频繁抖动。

正解RoCE 依赖 PFC 等机制实现的“无损”与 IB 原生无损在确定性上有明显差距。以太网上的背景流量、哈希不均、PFC 风暴都会造成延迟抖动，而 IB 专网天然封闭、无竞争。成本模型里的“风险项”正是两者的核心分水岭。

为何常见：对比时只看带宽标称值，忽略了延迟抖动、拥塞树等真实世界性能杀手。

误区很多人认为把集群从 200G 升级到 400G，训练速度就能翻倍。实际升级后单步耗时只减少了 20%，大失所望。

正解AllReduce 总耗时 = 延迟项 + 带宽项。当通信数据量 M 较小、GPU 数量很多时，延迟项 \(2(N-1)\alpha\) 会成为主导；此外还有算子间的依赖等待、CPU 拷贝、NCCL 调度开销。带宽只是木桶的一块板，延迟、拓扑和软件栈共同决定真实吞吐。

为何常见：过度关注“标称带宽”这个最容易量化的指标，忽略了延迟项和端到端实测。

误区有同学面试时说“RDMA 是 IB 专属技术，以太网不可能支持”。被问到 RoCE 时一脸茫然。

正解RDMA 是一个协议族，包含 InfiniBand、RoCE（RDMA over Converged Ethernet）和 iWARP。只是 IB 是“原生的专线高铁”，RoCE 是“公路高铁”，iWARP 则依赖 TCP 卸载。三者技术同源，但底层载体和工程代价不同。

为何常见：因为 IB 是 RDMA 最成熟的载体，学习资料常把两者绑定出现，导致概念泛化。

面试题

Q1. InfiniBand 与传统以太网最本质的区别是什么？

单选题 · easy

  • A.采用专用协议栈硬件卸载← 正确答案
  • B.数据传输速率更高更稳定
  • C.使用专业光缆抗电磁干扰
  • D.交换设备价格昂贵难维护

答案：A。IB 的核心是端到端专用协议栈与硬件卸载，把 CPU 从数据搬运中解放出来。速率高、光缆好、价格贵都是它的表现或附加属性，而非本质。正如高铁的本质是“专线+信号系统”，而不是单纯跑得快。

Q2. RDMA 技术最核心的改进是什么？

单选题 · easy

  • A.增加了网络传输带宽上限
  • B.绕过CPU实现内存直接访问← 正确答案
  • C.对数据内容进行加密压缩
  • D.用光纤彻底替代铜缆传输

答案：B。RDMA 允许网卡硬件直接把数据从一块内存搬到另一块内存，CPU 不需要逐包参与拷贝与协议处理。其他选项只是网络性能的表面手段。这就像快递免下车直达，而不是租更多卡车。

Q3. IB 子网管理器（SM）的主要职责是什么？

单选题 · mid

  • A.在节点间转发每个数据包
  • B.规划全局路由并配置交换机← 正确答案
  • C.为 GPU 计算提供算力支撑
  • D.对训练数据进行预取缓存

答案：B。SM 负责发现网络中所有 IB 设备、分配 LID、计算路由表并下发到交换机，相当于铁路调度中心。转发数据包是交换机数据面的工作，不是 SM 的；其余选项与网络控制面无关。

Q4. 下列哪些技术是 InfiniBand 实现低延迟的关键手段？

多选题 · mid

  • A.内核旁路降低协议栈开销← 正确答案
  • B.零拷贝数据直接直达对端← 正确答案
  • C.拥塞窗口加倍提升吞吐量
  • D.削减网卡硬件校验耗时

答案：AB。内核旁路和零拷贝是 RDMA 低延迟的两大支柱，分别省去协议栈处理和内存拷贝。拥塞窗口加倍是 TCP 的机制；削减硬件校验会损害可靠性，并非 IB 的做法。

Q5. Ring-AllReduce 中，N 个 GPU 同步总数据量 M 时，单个 GPU 实际发送的数据总量约是多少（N 较大时）？

单选题 · mid

  • A.略小于两份完整数据量← 正确答案
  • B.恰好等于一份完整数据量
  • C.相当于 1/N 份完整数据量
  • D.与 GPU 数量 N 完全无关

答案：A。环形算法中每个 GPU 发送 \(2(N-1)/N \times M\)，当 N 较大时趋近于 \(2M\)，即每份数据在环上几乎要经过每个 GPU 两次。选项 B 是 AllGather 的带宽特征，C 是单次分片的量，D 忽略了拓扑依赖。

Q6. 相比 InfiniBand，RoCE 的典型劣势有哪些？

多选题 · hard

  • A.依赖 PFC 防丢包可能引发瘫堵← 正确答案
  • B.与以太网共享易受背景流量干扰← 正确答案
  • C.完全无法提供 RDMA 传输能力
  • D.硬件成本反而远高于 IB 专用设备

答案：AB。RoCE 跑在以太网上，必须靠 PFC 构造无损环境，可能引发拥塞树；同时共享链路易被其他流量干扰。RoCE 本身就是一种 RDMA 实现，且复用以太网交换机，硬件成本通常低于 IB。

Q7. IB 网络中的 P_Key 机制主要解决什么问题？

单选题 · mid

  • A.隔离不同租户的流量并保证安全← 正确答案
  • B.提升单链路物理传输的信号速率
  • C.压缩数据降低网络中的实际流量
  • D.替代 IP 协议实现三层路由转发

答案：A。P_Key 是 IB 的分区通行证，只有持有相同 P_Key 的端口才能通信，常用于多租户隔离。它不改变物理速率、不压缩数据，也不替代 IP 路由，这些是网卡转发与路由层的工作。

Q8. 理想胖树拓扑中，二分带宽与聚合带宽的关系是什么？

单选题 · hard

  • A.两者完全相等没有带宽收敛← 正确答案
  • B.二分带宽是聚合带宽的两倍
  • C.二分带宽只有聚合带宽一半
  • D.带宽关系随节点数量波动不定

答案：A。理想胖树每层交换机容量等于叶子总带宽，任意划分下割断的网络一边仍能获得与聚合带宽相同的吞吐，因此“无收敛”。若出现收敛，则二分带宽小于聚合带宽，这正是普通三层网络与胖树的区别。

Q9. 以下哪些优化手段可以降低 IB 网络的端到端通信延迟？

多选题 · hard

  • A.提升接通 MTU 到 4KB 减少帧头开销← 正确答案
  • B.开启自适应路由避免热点链路排队← 正确答案
  • C.CPU 核绑定减少中断迁移带来的延迟← 正确答案
  • D.调高流控帧发送频率让链路更稳定

答案：ABC。大 MTU 减少同数据量的帧数量和处理次数；自适应路由避开拥塞热点；核绑定让中断和内存访问保持本地。流控帧是链路层防丢包机制，调高频率反而增加控制面开销，不会降低应用延迟。

Q10. NVIDIA NDR InfiniBand 的单端口标准速率是多少？

单选题 · easy

  • A.100Gb/s 单位端口最大速率
  • B.200Gb/s 单位端口最大速率
  • C.400Gb/s 单位端口最大速率← 正确答案
  • D.800Gb/s 单位端口最大速率

答案：C。NDR 是继 HDR（200G）之后的下一代速率，单端口 400Gb/s，带宽再次翻倍；800G 是后续 XDR 的目标。代际演进正是“每加一代，带宽乘二”的节奏。