如果要把“GPT-5“这样的超级大模型顺利”搬“进数据中心，你需要一支什么样的车队？老牌悍将 H100 是可靠的标准厢式货车，装得多、跑得快、久经考验；H200 给它换了一个加大油罐和更宽的车斗，长途运输能力暴涨；而 B200 则是全新设计的超级卡车——马力翻倍、自重翻倍、油耗也翻倍，专门为超大件货物而生。这三辆卡车，就是大模型时代 AI 算力的顶梁柱。选购哪一辆，取决于你要运的货是”70B 参数的大模型“，还是”万亿参数的超级集群”。本文用一支搬家车队的故事，带你读懂这三款旗舰 GPU 的显存、带宽、算力、功耗与组网差异，帮你算清这笔价值百万美元的采购账。

岗位关联

对 AI 从业者而言，理解这三款旗舰 GPU 的差异，是做大模型训练成本估算、推理资源选型与数据中心集群规划的基本功——它直接决定你每一块钱能换来多少 Token。

目录
  1. 可视化演示
  2. 三代车系总览
  3. 显存容量对比
  4. 显存带宽对比
  5. 算力指标对比
  6. 功耗与散热
  7. 互连与集群组网
  8. 训练推理与选型
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

对比三代NVIDIA旗舰AI芯片在显存容量、带宽、FP8/FP4算力、功耗及NVLink互连上的差异，展示集群组网方案。

本节配有交互动效（进入视口后自动加载，约 3KB）。

'+_captions.spec+'

三代车系总览

设想你经营一家“AI 搬家车队”，专门承接大模型搬运业务。H100 是 2022 年上线的标准厢式货车，可靠性经过两年验证，市面上保有量最大；H200 表面看是同一款车型，但内部换了更大的油罐和加宽的车斗——运力质的飞跃；B200 则是 2024 年推出的全新超级卡车，从引擎到底盘全部重新设计，载重和速度都是天花板级。车队要换代，不能只看马力，还得看货斗、油耗和保养成本。

对应到技术世界，这三款旗舰 GPU 分别属于 Hopper 和 Blackwell 两代架构。H100 与 H200 都是 Hopper 架构（后者只是换了更大的显存），而 B200 则迈入了 Blackwell 架构，制程工艺从台积电 4N 升级到更先进的 4NP 定制工艺，晶体管数量从 800 亿跃升到 2080 亿。架构的代际跨越，就像从手动挡卡车升级到自动驾驶重卡——不仅力气更大，还更聪明。

从核心规格看，H100 标配 80GB HBM3 显存，带宽 3.35TB/s；H200 将显存提升到 141GB HBM3e，带宽 4.8TB/s；B200 则搭载 192GB HBM3e，带宽来到惊人的 8.0TB/s。FP8 算力方面，H100 与 H200 都是 3.97 PFLOPS，而 B200 直接拉到 9 PFLOPS，并且新增了 FP4 精度支持，算力可达 18 PFLOPS（稀疏版 36 PFLOPS）。晶体管数量对比：

| 型号 | 架构 | 晶体管数 | 显存 | FP8算力 | TDP |

|------|------|----------|------|---------|-----|

| H100 | Hopper | 800亿 | 80GB HBM3 | 3.97 PFLOPS | 700W |

| H200 | Hopper | 800亿 | 141GB HBM3e | 3.97 PFLOPS | 700W |

| B200 | Blackwell | 2080亿 | 192GB HBM3e | 9 PFLOPS | 1000W |

所以，从车队的角度看，换一台 B200 相当于同时开 2.27 台 H100——前提是你能喂饱它的“胃口”（数据吞吐），否则空有马力跑不快。

FP8 算力倍率=9.0 PFLOPS3.97 PFLOPS≈2.27\displaystyle \text{FP8 算力倍率} = \frac{9.0\text{ PFLOPS}}{3.97\text{ PFLOPS}} \approx 2.27
B200 的 FP8 理论算力是 H100/H200 的 2.27 倍，但这只是纸面峰值，实际训练吞吐还受显存、带宽和通信效率制约。
  1. 分子B200 的 FP8 算力：取 Blackwell 架构的 FP8 稠密算力，单位是 PFLOPS（每秒千万亿次浮点运算）。
    9.0 PFLOPS\displaystyle 9.0\text{ PFLOPS}
  2. 分母H100/H200 的 FP8 算力：Hopper 架构的 FP8 稠密算力上限，H100 和 H200 在此项上完全相同。
    3.97 PFLOPS\displaystyle 3.97\text{ PFLOPS}
  3. 求比值两者相除，得到 B200 在 FP8 精度下的理论算力提升倍数。
    9.03.97≈2.27\displaystyle \frac{9.0}{3.97} \approx 2.27

显存容量对比

车队运货，最重要的就是货斗能装多少。H100 的货斗是 80GB，H200 升级到了 141GB，B200 则是 192GB。货斗越大，一次能装的“货”就越多。在大模型的世界里，这个“货”就是模型权重、优化器状态和中间激活值。

以训练一个 70B（700 亿参数）参数的大模型为例，仅模型权重一项，在 FP16 精度下就需要约 140GB 显存。如果加上 Adam 优化器的状态（每个参数额外占用 8 字节）和梯度，总显存需求常常超过 400GB。H100 的 80GB 显存根本装不下，必须用多卡张量并行切分——就像一辆车装不下的货，得分三辆车一起拉，还要协调彼此的行驶节奏，通信开销随之而来。H200 的 141GB 虽然也装不下完整模型，但需要的卡数更少；B200 的 192GB 让单卡能容纳更大的模型分片，配合 8.0TB/s 的带宽，多卡协同效率大大提升。

显存容量还直接影响推理时的 Batch Size。H200 相比 H100 多了 61GB 显存，意味着在同样的模型下，可以塞进更大的批处理大小，GPU 的利用率随之提升。这就好比同一辆卡车，H200 的货斗更大，一次能多装几个客户的货，单位运输成本自然更低。

70B 模型 FP16 权重大小=70×109×2 字节≈140 GB\displaystyle \text{70B 模型 FP16 权重大小} = 70 \times 10^9 \times 2\text{ 字节} \approx 140\text{ GB}
70B 参数的模型，光是权重就要占 140GB 显存。这解释了为什么 80GB 的 H100 需要多卡并行，而 192GB 的 B200 可以显著减少切分数量。
  1. 参数数量70B 表示 700 亿个参数，即 $70 \times 10^9$。
    70×109\displaystyle 70 \times 10^9
  2. 每个参数的字节数FP16 半精度浮点数占 2 字节。
    2 字节\displaystyle 2\text{ 字节}
  3. 相乘得到总字节数把参数数量乘以每参数字节数，就得到权重的存储需求。
    70×109×2=140×109 字节≈140 GB\displaystyle 70 \times 10^9 \times 2 = 140 \times 10^9\text{ 字节} \approx 140\text{ GB}

显存带宽对比

货斗大固然好，但卸货速度同样关键。想象两个仓库：一个货斗 100 立方米但卸货每小时 10 立方，另一个货斗 60 立方米但卸货每小时 30 立方——后者反而能在相同时间内处理更多订单。显存带宽就是“卸货速度”，它决定了 GPU 从显存读取数据的快慢，直接影响每个训练步骤的计算等待时间。

H100 的带宽是 3.35TB/s，H200 提升到 4.8TB/s，B200 直接翻倍到 8.0TB/s。带宽之所以至关重要，是因为 GPU 的核心单元（CUDA Cores/Tensor Cores）算力极强，但如果没有数据“喂”进来，计算单元只能空转。一个经验法则是：训练和推理场景都需要高带宽，而推理对带宽尤其敏感——因为推理时每生成一个 Token，都要读取全部权重到计算单元。H200 的带宽比 H100 高出 43%，这意味着单卡推理吞吐可以提升 40% 以上。

从车队视角看，H200 就像给同一辆车换上了高速卸货传送带。货斗大了 76%，卸货速度快了 43%，两头叠加，单车的吞吐能力翻倍都不止。这也解释了为什么 H200 在推理市场如此抢手——它不需要像 B200 那样大改基础设施，仅靠换卡就能让现有集群性能大增。

H200 带宽提升率=4.8−3.353.35×100%≈43.3%\displaystyle \text{H200 带宽提升率} = \frac{4.8 - 3.35}{3.35} \times 100\% \approx 43.3\%
H200 相对 H100 的带宽提升约 43%，这直接转化为推理场景中每秒生成的 Token 数量提升——带宽就是推理的“卸货速度”。
  1. 分子部分H200 带宽 4.8TB/s 减去 H100 带宽 3.35TB/s，得到的差值就是绝对提升量。
    4.8−3.35=1.45 TB/s\displaystyle 4.8 - 3.35 = 1.45\text{ TB/s}
  2. 分母部分以 H100 的带宽作为基准值。
    3.35 TB/s\displaystyle 3.35\text{ TB/s}
  3. 商与百分比差值除以基准值，再乘 100%，得到带宽提升的百分比。
    1.453.35×100%≈43.3%\displaystyle \frac{1.45}{3.35} \times 100\% \approx 43.3\%

算力指标对比

算力是卡车的“马力”。但这里有个重要的细节：卡车有额定功率和实际功率，GPU 也有稠密算力和稀疏算力。H100 的 FP8 稠密算力是 3.97 PFLOPS，稀疏算力是 7.94 PFLOPS（翻倍）；B200 的 FP8 稠密算力是 9 PFLOPS，稀疏算力达到 18 PFLOPS。B200 还首次支持 FP4 精度——一种比 FP8 更“粗糙”但更快的数值格式，稠密算力高达 18 PFLOPS，稀疏算力 36 PFLOPS。

为什么要用 FP4/FP8 这种低精度？就像搬家时可以先把家具拆散再装车，减少体积、加快速度。低精度训练就是“拆散收纳”的思路——在不显著损失模型质量的前提下，用更少的比特表示数值，从而让计算单元运行得更快。现代大模型训练普遍采用 FP8 混合精度，而推理更是大量使用 FP8/FP4 量化。B200 全面拥抱 FP4，意味着在未来的推理加速上拥有巨大先发优势。

但要注意，纸面算力与实际吞吐之间存在差距。衡量训练效率有个指标叫 MFU（Model FLOPs Utilization，模型算力利用率），它表示实际有效计算量占理论峰值的百分比。即便是优化良好的大模型训练，MFU 通常也只有 40%-60%——就像跑车在市区堵车，引擎马力再大也发挥不出来。所以选型时不能只看算力峰值，还要看显存、带宽能否跟上。

B200 FP4 稀疏算力=36 PFLOPS≈9×H100 FP8 稠密算力\displaystyle \text{B200 FP4 稀疏算力} = 36\text{ PFLOPS} \approx 9 \times \text{H100 FP8 稠密算力}
B200 的 FP4 稀疏算力高达 36 PFLOPS，相当于 H100 FP8 稠密算力的 9 倍。这就是数字上的“降维打击”。
  1. FP4 稠密算力B200 在 FP4 精度下的稠密算力为 18 PFLOPS。
    18 PFLOPS\displaystyle 18\text{ PFLOPS}
  2. 稀疏化加速利用稀疏矩阵中 50% 的零值跳过计算，算力翻倍。
    18×2=36 PFLOPS\displaystyle 18 \times 2 = 36\text{ PFLOPS}
  3. 与 H100 对比H100 FP8 稠密算力为 3.97 PFLOPS，36 除以 3.97 约等于 9。
    363.97≈9.07\displaystyle \frac{36}{3.97} \approx 9.07

功耗与散热

马力大了，油耗必然上涨。H100 和 H200 的 TDP 都是 700W，而 B200 的 TDP 高达 1000W。一台 B200 的功耗相当于一台微波炉加一台洗衣机同时全功率运行。在数据中心，这不仅仅是电费问题，更是散热设计的挑战——服务器机柜必须提供相应的供电和液冷散热能力。

传统风冷方案在 700W 的功耗下还能勉强应对，但到了 1000W 级别，风冷已经“吹不动”了。B200 大规模部署基本需要液冷。这就像超级跑车的发动机，风冷散热器已经满足不了需求，必须上水冷才能保证不掉功率。对于数据中心运营者来说，这意味着需要改造机柜、部署液冷管路、调整空调策略，这些隐性成本必须计入总拥有成本（TCO, Total Cost of Ownership）。能用比 H100 更高的吞吐来摊销这笔费用。更简洁的方案是选择 H200——它采用和 H100 相同的功耗设计，不需要改造机房，直接替换老卡就能升级性能，在功耗敏感或制冷能力有限的数据中心里优势明显。而 B200 虽然单卡功耗高，但完成相同训练任务所需的时间更少，总耗电量可能反而更低。因此，功耗对比不能只看 TDP 数字，还要结合任务耗时和能源成本综合评估。

所以，在规划采购时，建议把电费视作 GPU 的"隐形成本，而不仅仅是配置规格。比如，如果数据中心电价为每千瓦时 0.6 元，一台 B200 满负荷运行一年仅电费就超过 5000 元，千卡集群一年电费则是千万级别。要在项目启动前就把这笔账算清楚，再决定是上 B200 液冷方案，还是先用 H200 过渡。

单卡年耗电量=TDP×24×3651000 kWh\displaystyle \text{单卡年耗电量} = \frac{\text{TDP} \times 24 \times 365}{1000}\text{ kWh}
以 B200 的 1000W TDP 计算，单卡全年满载耗电约 8760 千瓦时，相当于普通家庭 3 年的用电量。
  1. TDP 单位换算TDP 以瓦特为单位，除以 1000 转换为千瓦。
    10001000=1 kW\displaystyle \frac{1000}{1000} = 1\text{ kW}
  2. 满一年的小时数每天 24 小时乘以每年 365 天。
    24×365=8760 小时\displaystyle 24 \times 365 = 8760\text{ 小时}
  3. 相乘得到年耗电量功率（千瓦）乘以时间（小时），得到能量（千瓦时）。
    1 kW×8760 h=8760 kWh\displaystyle 1\text{ kW} \times 8760\text{ h} = 8760\text{ kWh}

互连与集群组网

一套车队要承接超大件运输，卡车之间必须紧密配合——车队长途运输时通过无线电保持同步，GPU 之间则依赖高速互连。这就是 GPU 集群中的 NVLink。H100 和 H200 搭配的是 NVLink 4.0，单卡互连带宽 900GB/s；B200 升级到 NVLink 5.0，带宽直接翻倍为 1.8TB/s。多卡之间的数据交换能力，直接决定了多卡并行训练的效率。如果用 8 张 H100 组成一台训练服务器，它们通过 NVSwitch 实现全互联，仿佛 8 辆卡车组成一个编队，共享载重和速度信息。

跨服务器组网则需要更高层次的“调度系统”——InfiniBand 网络。用 RDMA（Remote Direct Memory Access，远程直接内存访问）技术，集群中的每一块 GPU 都可以直接读写另一台服务器的内存，就像每辆卡车都能遥控操作车队的任何一辆车，而不需要经过中央调度室中转。这种拓扑特别适合大模型时代动辄成百上千卡的训练任务。

但互连带宽的翻倍也带来了新的瓶颈——数据搬运。只有当数据加载速度、网络带宽和计算速度三者匹配时，集群才能达到最高效率。

因此，采购 GPU 时不能只关注单卡参数，还要规划配套的 NVSwitch 交换机、InfiniBand 网卡和光纤链路。一辆卡车再快，如果高速公路是单车道，整个车队也快不起来。

互连带宽=NVLink 单卡带宽×GPU 数\displaystyle \text{互连带宽} = \text{NVLink 单卡带宽} \times \text{GPU 数}
8 张 B200 通过 NVLink 5.0 互联，理论聚合带宽可达 14.4TB/s，相当于每秒传输整个《哈利·波特》全集的中文版超过 3000 次。
  1. 单卡带宽B200 的 NVLink 5.0 单向带宽为 1.8TB/s。
    1.8 TB/s\displaystyle 1.8\text{ TB/s}
  2. GPU 数量以 8 卡服务器为例。
    8\displaystyle 8
  3. 聚合带宽单卡带宽乘以 GPU 数，得到 8 卡服务器的聚合互连带宽。
    1.8×8=14.4 TB/s\displaystyle 1.8 \times 8 = 14.4\text{ TB/s}

训练推理与选型

这支车队最终要接什么活？如果答案是“训练万亿参数模型”，那 B200 的超级马力最能发挥价值——训练时间越短，算力成本摊销越划算。如果答案是“高频推理服务”，那 H200 凭借 141GB 大显存和 4.8TB/s 高带宽，能在不改变现有基础设施的前提下，将单卡吞吐提升 40% 以上，是当前性价比的优选。如果预算有限或现货紧张，H100 作为经过市场验证的成熟车型，仍然可以承担大部分训练和推理任务。

从成本的角度看，我们要学会用“单位算力成本”来比较不同 GPU 的价值：

以市场参考价估算（实际价格随供需波动）：H100 单卡约 2.5 万美元，FP8 算力 3.97 PFLOPS；H200 约 3 万美元；B200 约 3.5-4 万美元。折算下来，B200 的每 PFLOPS 成本反而比 H100 更低。这正是“买贵的不一定算贵”——单卡贵，但单位算力更便宜。

采购建议上，可以参考“三梯队”思路：预算充足且以训练为主 → 选 B200 液冷集群；以推理为主且机房改造成本受限 → 选 H200 直接替换 H100；边缘场景或容灾备份 → 选 H100 搭配 InfiniBand 组网。同时考虑集群组网时，推荐“NVLink 域内高带宽、跨域 InfiniBand 无阻塞”的经典架构，让每一辆卡车都能在高速公路上全速驰骋。

FP8 单位算力成本=单卡市场价FP8 稠密算力\displaystyle \text{FP8 单位算力成本} = \frac{\text{单卡市场价}}{\text{FP8 稠密算力}}
  1. 分子单卡市场价：以美元为单位，代表采购硬件的一次性投入。
    3.5 万美元\displaystyle 3.5\text{ 万美元}
  2. 分母FP8 稠密算力：PFLOPS 为单位的单卡峰值算力。
    9 PFLOPS\displaystyle 9\text{ PFLOPS}
  3. 求比值价格除以算力，得到每单位算力的成本，用于跨型号对比。
    3.59≈0.39 万美元/PFLOPS\displaystyle \frac{3.5}{9} \approx 0.39\text{ 万美元/PFLOPS}

AI 应用场景

大模型训练集群选型

阶段：算力基础设施规划

解决的问题：训练千亿参数模型的耗时和成本难以预测，盲目采购导致 GPU 利用率低下、训练周期拉长。AI 方法：先用小规模数据做基准测试，根据 FP8 算力、显存带宽和 MFU 来估算训练时间，再确定用 H100 还是 B200。

具体案例：某大模型创业公司原本计划采购 1000 张 H100 训练 700B 参数模型，估算需要 90 天。对比 B200 的 9 PFLOPS FP8 算力和 8TB/s 带宽，改用 500 张 B200 后训练时间缩短至约 40 天，虽然单卡价格上升，但总硬件成本持平，电费与机房占地反而下降。

推理服务性价比优化

阶段：模型部署与推理优化

解决的问题：大模型推理服务中，显存容量不足导致 Batch Size 受限，用户体验差、成本高。AI 方法：利用 H200 的 141GB 显存和 4.8TB/s 带宽，在同样的服务负载下减少 GPU 数量，降低成本。

具体案例：一家 SaaS 服务商部署 70B 模型的对话服务，原来用 4 张 H100 支持 100 并发，延迟 800ms。切换到 2 张 H200 后，由于显存翻倍、带宽提升，成功支持 150 并发且延迟降至 450ms，服务成本降低约 30%。

混合集群搭建

阶段：集群组网与调度

解决的问题：单一型号无法同时满足训练和推理需求，混用多型号 GPU 导致调度复杂。AI 方法：利用 NVLink 和 InfiniBand 搭建异构集群，配合 Kubernetes 和调度器，根据任务特征动态分配 H100/H200/B200。

具体案例：某云厂商推出按需 GPU 实例，训练型实例使用 B200，推理型实例使用 H200，经济型使用 H100，通过统一的集群管理系统实现不同型号间的负载均衡，客户按秒付费，资源利用率提升到 75% 以上。

Python 演示

python56 行
# -*- coding: utf-8 -*-"""GPU 选型性价比评估器：比较 H100/H200/B200 的单位算力成本与推理吞吐。""" from dataclasses import dataclass  @dataclassclass GpuSpec:    name: str    price_usd: float    fp8_tflops: float    fp4_tflops: float    memory_gb: int    bandwidth_gbps: int    tdp_watt: int  GPU_CATALOG = [    GpuSpec("H100", 25000.0, 3968.0, 0.0, 80, 3350, 700),    GpuSpec("H200", 30000.0, 3968.0, 0.0, 141, 4800, 700),    GpuSpec("B200", 38000.0, 9000.0, 18000.0, 192, 8000, 1000),]  def cost_per_flop(gpu: GpuSpec) -> float:    """单位 FP8 算力成本：美元 / PFLOPS"""    return gpu.price_usd / (gpu.fp8_tflops / 1000.0)  def bandwidth_per_dollar(gpu: GpuSpec) -> float:    """每美元获得的显存带宽：GB/s / 美元"""    return gpu.bandwidth_gbps / gpu.price_usd  def power_efficiency(gpu: GpuSpec) -> float:    """能效比：GFLOPS / 瓦特"""    return gpu.fp8_tflops * 1000.0 / gpu.tdp_watt  def main() -> None:    header = f"{'型号':<6}{'FP8单位成本($/PF)':<18}{'带宽/美元':<12}{'能效(GF/W)':<12}"    print(header)    print("-" * len(header))    for gpu in GPU_CATALOG:        print(            f"{gpu.name:<8}"            f"{cost_per_flop(gpu):<18.2f}"            f"{bandwidth_per_dollar(gpu):<12.2f}"            f"{power_efficiency(gpu):<12.2f}"        )    print("\n结论：FP8 单位成本越低，说明每 PFLOPS 算力越便宜；")    print("带宽/美元越高，说明每块钱买到的数据搬运能力越强。")  if __name__ == "__main__":    main()
目的：自动计算三款 GPU 的单位算力成本、带宽性价比和能效比，为采购决策提供量化依据。
  1. GPU_CATALOG = [ ... ]用数据类定义三款 GPU 的核心规格，方便后续扩展新型号。
  2. cost_per_flop(gpu)市场价格除以 FP8 算力（换算成 PFLOPS），得出每单位算力的美元成本。
  3. bandwidth_per_dollar(gpu)带宽除以价格，衡量“每一美元买到多少数据搬运能力”。
  4. power_efficiency(gpu)FP8 算力除以 TDP，反映每瓦特能产生多少算力。
  5. if __name__ == "__main__":标准入口，保证代码既可被 import 也可直接运行。

常见误区

误区以为 H200 显存比 H100 大 76%，所以性能也比 H100 强 76%，甚至以为 H200 是比 B200 更强大的卡。

正解显存容量与算力是两个独立维度。H200 的 FP8 算力和 H100 完全相同（都是 3.97 PFLOPS），它只是把“货斗”加大并提升了“卸货速度”，让 GPU 能装更大的模型和批次，但卡车引擎没变。B200 才是引擎和货斗都升级的全新车型。选型时要把算力、显存、带宽分开看。

为何常见：消费者习惯了“数字越大越好”的思维，而且 H200 的命名让它看起来像是 H100 的升级版，实际上它更像是“H100 的大显存特别版”。

误区对比 GPU 时只盯着 FP8 算力或 FP4 算力，认为算力最高的卡一定训练最快。

正解大模型训练是“算力-显存-带宽”三者协同的过程。如果显存装不下模型分片，就得增加并行切分，通信开销大增；如果带宽不够，计算核心会频繁空转等待数据。一个经典例子是：在推理场景中，H200 的带宽比 H100 高 43%，单卡吞吐可以提升 40% 以上，这跟算力没有任何关系。

为何常见：GPU 厂商宣传时重点是算力峰值，导致大家潜移默化地把“算力”等同于“性能”。

误区认为 B200 的 TDP 是 1000W，比 H100/H200 的 700W 高 43%，所以整个集群的电费会更贵。

正解完成同样的训练任务，B200 需要的时间更少。假设训练一个模型，H100 需要 50 天，B200 可能只需 23 天（按 2.27 倍算力粗估，实际还要看扩展效率）。用时间乘以功耗，B200 的总耗电量反而可能更低。真正要担心的不是电费单价，而是机房供电和散热改造的一次性投入。

为何常见：人们习惯于用“单卡功耗”做静态比较，而忽略了“完成任务的功耗”才是真正的成本。

误区以为把 1000 张 GPU 用 InfiniBand 连起来，训练速度就能达到单卡的 1000 倍。

正解大规模集群的扩展效率受多个瓶颈制约：跨节点通信的延迟、数据加载（DataLoader）的速度、检查点保存的 I/O 开销、以及网络拓扑的收敛比。实践中，千卡集群的扩展效率通常只有 50%-70%。组网方案不是笼统地“上 IB”，而是要精心设计 Fat-Tree 拓扑、计算与通信重叠策略、以及梯度压缩优化。

为何常见：厂商宣传时常强调“线性扩展”，但那是理想环境下的演示，真实工作负载远达不到。

误区预算充足时，无脑选 B200，觉得贵的肯定好。

正解选型本质是“性价比 + 场景匹配”。如果做的是高频推理服务，H200 的大显存和高带宽可能比 B200 更划算——因为推理对算力要求相对低，对显存和带宽更敏感。如果数据中心没有液冷能力，B200 的散热改造成本可能让总拥有成本远超预算。正确的做法是先定义负载特征，再做基准测试，再算 TCO。

为何常见：“贵 = 好”的消费直觉在工程采购中并不适用，采购决策应基于单位算力成本和任务完成时间的综合衡量。

面试题

Q1. H200 相比 H100 在哪个维度上没有明显变化？

单选题 · mid

  • A.显存容量
  • B.显存带宽
  • C.FP8 稠密算力← 正确答案
  • D.单卡功耗

答案：C。H200 的显存容量（141GB vs 80GB）和带宽（4.8TB/s vs 3.35TB/s）都有大幅提升，TDP 同为 700W。但 FP8 稠密算力两者都是 3.97 PFLOPS，说明 H200 只是换了显存，算力引擎没变，因此选 C。

Q2. 以下哪款 GPU 的显存容量最大？

单选题 · easy

  • A.H100
  • B.H200
  • C.B200← 正确答案
  • D.A100

答案：C。H100 为 80GB HBM3，H200 为 141GB HBM3e，B200 为 192GB HBM3e，A100 为 40/80GB。B200 的 192GB 是三款中最大的，如同车队里货斗最宽的超级卡车。

Q3. 关于 B200 的 FP4 算力，下列说法正确的有哪些？

多选题 · mid

  • A.FP4 稠密算力约 18 PFLOPS← 正确答案
  • B.FP4 稀疏算力约 36 PFLOPS← 正确答案
  • C.B200 不支持下一种精度 FP6
  • D.FP4 精度通常比 FP8 精度损失更大← 正确答案

答案：ABD。B200 的 FP4 稠密算力为 18 PFLOPS，稀疏算力翻倍到 36 PFLOPS，且 FP4 精度较低、数值表示更粗糙，通常量化损失比 FP8 更大。B200 确实也支持 FP6，但官方宣传重点是 FP4/FP8，因此 C 错误。

Q4. 在某推理场景中，H200 相对 H100 的带宽提升约为多少？

单选题 · hard

  • A.10%
  • B.25%
  • C.43%← 正确答案
  • D.76%

答案：C。H200 带宽 4.8TB/s，H100 带宽 3.35TB/s，(4.8-3.35)/3.35 ≈ 43.3%。76% 是显存容量的提升率（141/80-1），容易混淆。带宽提升直接决定了推理场景中权重读取的速度，是 H200 推理性能提升的核心来源。

Q5. 训练一个 70B 参数模型，FP16 权重至少需要多少显存？

单选题 · mid

  • A.70GB
  • B.80GB
  • C.140GB← 正确答案
  • D.280GB

答案：C。70B 参数 × 2 字节（FP16）= 140GB。这只是权重的大小，如果加上梯度、优化器状态和激活值，实际需求会更高。这也是 H100 80GB 显存训练 70B 模型时必须多卡并行的原因。

Q6. 关于 GPU 集群组网，以下说法正确的有？

多选题 · mid

  • A.NVLink 用于单机内多卡高速互连← 正确答案
  • B.InfiniBand 用于跨服务器组网← 正确答案
  • C.集群规模越大，扩展效率一定越高
  • D.计算与通信重叠可以提升集群利用率← 正确答案

答案：ABD。NVLink 连接同一服务器内的 GPU，InfiniBand 连接不同服务器，两者配合构成集群网络。扩展效率受通信瓶颈影响，不会随规模线性增长，因此 C 错误。计算与通信重叠是提升大规模训练效率的关键优化手段。

Q7. 以下哪款 GPU 的 TDP（热设计功耗）最高？

单选题 · easy

  • A.H100
  • B.H200
  • C.B200← 正确答案
  • D.三者一样高

答案：C。H100 和 H200 的 TDP 都是 700W，B200 则高达 1000W。B200 的功耗更高，意味着更严格的散热设计需求和更高的单卡能耗，需要液冷方案支撑。

Q8. 关于 H100 和 H200 的关系，最准确的说法是？

单选题 · mid

  • A.H200 是全新架构的下一代产品
  • B.H200 是 H100 的大显存升级版，算力不变← 正确答案
  • C.H200 的 FP8 算力比 H100 高一倍
  • D.H200 的功耗比 H100 低

答案：B。H100 和 H200 同属 Hopper 架构，核心计算引擎相同，FP8 算力都是 3.97 PFLOPS。H200 的主要变化是显存容量提升到 141GB，带宽提升到 4.8TB/s，TDP 保持不变。它更像是同一辆车的货斗和卸货带升级版。

Q9. 某集群使用 8 张 B200 搭建 NVLink 互联服务器，聚合互连带宽约为多少？

单选题 · hard

  • A.7.2TB/s
  • B.14.4TB/s← 正确答案
  • C.28.8TB/s
  • D.64TB/s

答案：B。B200 的 NVLink 5.0 单卡双向带宽约为 1.8TB/s，8 卡通过 NVSwitch 全互联后聚合带宽约 14.4TB/s。7.2TB/s 是 H100 的 8 卡聚合（每卡 900GB/s）数据，28.8TB/s 是双倍 B200 的错值。

Q10. 从单位算力成本的角度看，以下哪款 GPU 通常更具优势？

单选题 · easy

  • A.H100
  • B.H200
  • C.B200← 正确答案
  • D.三款完全一样

答案：C。按市场参考价估算，B200 的 FP8 算力为 H100 的 2.27 倍，而价格仅比 H100 贵约 50%，因此单位算力成本（美元/PFLOPS）反而更低。选型不能只看单卡价格，还要看“每一分钱买到多少算力”。