AMD MI300X与NVIDIA H100的横向对比聚焦于大模型推理和训练场景下的实际性能表现。文章从FP8/FP16算力、HBM带宽、互联架构和软件生态等维度对比两款旗舰AI加速器，并结合MLPerf基准和实际大模型推理测试数据分析各自优势场景，为AI算力采购决策提供量化参考。

岗位关联

选购 AI 算力，就像为一场马拉松挑选两台不同风格的赛车：AMD MI300X 与 NVIDIA H100 到底谁更快、谁更稳、谁更省油？本文用“两大主厨的厨房”作为贯穿全文的比喻，带你从算力、带宽、互联、生态、推理、训练、成本到选型，一口气看懂"AMD MI300X vs NVIDIA H100"的全部横截面。对 AI 从业者的价值：在面对硬件选型与预算决策时，能独立解读性能基准数据，不再只听厂商宣传。

目录
  1. 可视化演示
  2. 算力与精度
  3. 显存配置
  4. 互联架构
  5. 软件生态
  6. 推理性能
  7. 训练表现
  8. 性价比
  9. 选型建议
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

三步展示MI300X vs H100：架构对比（MI300X-CDNA3 Chiplet 8×5nm小芯片 vs H100-Hopper单片集成）、规格对比（FP8 2615vs1979T/BF16 1307vs989T/HBM 192vs80GB/带宽5.3vs3.35TB/s）、各自优势（MI300X大模型推理显存优先 vs H100分布式训练CUDA生态优先）。

本节配有交互动效（进入视口后自动加载，约 3KB）。

MI300X vs H100 架构对比 MI300X: CDNA3架构，8×5nm Chiplet设计，6×HBM3,Infinity Fabric互连 H100: Hopper架构，单片集成，6×HBM3,NVLink+NVSwitch互连 Chiplet（良率↑） vs Monolithic（延迟↓） MI300X用Chiplet提升良率，H100用单片优化延迟。

算力与精度

想象你经营一家高端餐厅，正在为后厨挑选两位主厨。第一位主厨（AMD MI300X）擅长在同样时间内端出 1.3 份招牌菜，第二位主厨（NVIDIA H100）稳定端出 1.0 份——这就是 FP16 稠密算力差距的最形象比喻。所谓 FP16，可以理解为一种“半精度食谱”，AI 模型训练和推理时用 16 位浮点数表示数值，比 32 位省一半算力，却能满足绝大多数深度学习任务的需求。

从技术上说，MI300X 的 FP16 峰值算力约 1.3 PFLOPS（每秒千万亿次浮点运算），H100 约 0.99 PFLOPS。这意味着，在纯矩阵乘法这类“颠锅翻炒”动作上，MI300X 的理论上限更高。但切换到 FP8 精度——可以理解为“压缩食谱”——H100 的优势反而凸显：H100 的 FP8 峰值约 1.98 PFLOPS，逼近 MI300X 的 2.6 PFLOPS 的 76%，而在某些稀疏计算场景里，H100 借助更成熟的稀疏化技术，实际吞吐与 MI300X 不相上下。

回到主厨比喻：MI300X 的标称算力更高，就像刀工更快，但真正决定一桌菜好不好吃的，还要看“食材准备区”（显存带宽）和“团队协作”（互联架构）。只看算力峰值就下单，就像只看主厨刀快就聘人——后续我们再看其他维度。

FP16 算力（PFLOPS）MI300X=1.3,H100=0.99\text{FP16 算力（PFLOPS）}\quad\text{MI300X} = 1.3,\quad \text{H100} = 0.99
算力峰值相当于主厨手册上标注的“最快出菜速度”，AI 场景中还受显存带宽、互联效率、软件调度等多重因素制约。
  1. PI 常数说明PFLOPS 指每秒千万亿次浮点运算，是衡量 AI 芯片峰值算力的单位。
    PFLOPS=103 TFLOPS=1015 FLOPS\text{PFLOPS} = 10^3\ \text{TFLOPS} = 10^{15}\ \text{FLOPS}
  2. 1.3 与 0.99 的对比MI300X 在 FP16 稠密算力上比 H100 高出约 31%，但这是“标称上限”而非运行速度。
    1.3−0.990.99≈31%\frac{1.3 - 0.99}{0.99} \approx 31\%
  3. FP8 双倍机制FP8 精度用一个字节表示数值，理论算力通常为 FP16 的 2 倍。
    FP8 峰值=2×FP16 峰值\text{FP8}\ \text{峰值} = 2 \times \text{FP16}\ \text{峰值}

显存配置

现在我们把视线从“出菜速度”移到“食材仓库”。MI300X 的后厨拥有 192GB 的超大冷藏库（HBM3 显存），而 H100 只有 80GB。大仓库的意义何在？2024 年炙手可热的 Llama 3 70B 模型，权重量化到 FP16 后约需 140GB 显存。H100 单卡直接装不下，必须把模型“切块”跨卡存放；MI300X 单卡即可整吞，省去了频繁跨卡取食材（通信）的时间。

显存带宽更是关键。MI300X 的 HBM3 带宽高达 5.3TB/s，H100 为 3.35TB/s，相差约 58%。在自回归生成（一个 token 一个 token 地“续写”）时，模型参数需要在 GPU 算力和显存之间被反复读取，带宽越大，每秒能搬运的“食材”越多，生成速度越快。这也是为什么许多真实 LLM 推理评测中，MI300X 能靠带宽优势逆袭 H100。

主厨比喻再次收束：MI300X 的大仓库和高速传送带，让它在处理“满汉全席”级别的超大模型时游刃有余；H100 则像精巧的小厨房，若端出的菜超过仓库容量，就必须频繁跑腿去隔壁借食材——显存配置，是这场对决中最直观的硬件分水岭。

有效带宽利用率=实际吞吐（MB/s）峰值带宽（MB/s）×100%\text{有效带宽利用率} = \frac{\text{实际吞吐（MB/s）}}{\text{峰值带宽（MB/s）}} \times 100\%
显存带宽决定模型每生成一个词，算力核能“吃”到多少数据；带宽不足时，哪怕算力再高也只能空转等待。
  1. 容量对比MI300X 的 192GB 显存可容纳 700 亿参数模型的 FP16 权重，H100 的 80GB 则必须用模型并行。
    Llama 3 70B 权重≈70×2 GB=140 GB\text{Llama 3 70B 权重} \approx 70 \times 2\ \text{GB} = 140\ \text{GB}
  2. 带宽差值5.3TB/s 与 3.35TB/s 的差距，对应推理过程中每 token 读取权重提速。
    5.3−3.353.35≈58%\frac{5.3 - 3.35}{3.35} \approx 58\%
  3. Roofline 模型当算力充裕时，性能瓶颈由带宽上限决定，即“内存墙”。
    性能上限=min⁡(算力峰值, 带宽峰值×运算强度)\text{性能上限} = \min(\text{算力峰值},\ \text{带宽峰值} \times \text{运算强度})

互联架构

单看一台后厨还不够，现代 AI 集群往往由成百上千块 GPU 组成“中央厨房”。此时，每块芯片之间的“传菜通道”（互联架构）决定了整体效率。NVIDIA 的 NVLink 已迭代至第四代，双向带宽高达 900GB/s，并配合 NVSwitch 实现全互联拓扑，任意两张卡之间都能高速直连，仿佛所有主厨包间之间都有专属传菜电梯。

AMD 则推出了 Infinity Fabric 总线，MI300X 的互联带宽约 896GB/s，数字上几乎与 NVLink 持平。但差异更多体现在生态与拓扑上：NVIDIA 的 GPU 直连方案经过了大规模集群验证，CUDA 通信库（NCCL）对 NVLink 的优化已达极致；AMD 的 ROCm 通信库（RCCL）正在追赶，在 8 卡以内的中小规模集群上表现接近，但扩展到 64 卡以上时，H100 集群的线性扩展性通常更胜一筹。

回到厨房：NVLink 生态像一套成熟的餐厅集团 SOP，新开分店照着做就行；Infinity Fabric 更像一位有潜力的独立主厨的定制传菜系统，单店效率极高，但连锁扩张的经验还在积累。选集群，不只看单卡，还得看“整间中央厨房”的协作效率。

扩展效率=TN单卡耗时×N×100%\text{扩展效率} = \frac{T_{N}}{\text{单卡耗时} \times N} \times 100\%
多卡扩展效率衡量增加 N 块卡后训练速度的提升比例，互联架构越好，扩展效率越接近 100%。
  1. NVLink 带宽第四代 NVLink 每链路双向 900GB/s，是 PCIe 4.0 x16 的 7 倍以上。
    900 GB/s≈7×PCIe 4.0 x16900\ \text{GB/s} \approx 7 \times \text{PCIe 4.0 x16}
  2. 扩展效率公式理想情况 N 卡训练速度为单卡的 N 倍，因通信开销实际会打折。
    扩展效率→100%  ⟺  通信开销→0\text{扩展效率} \to 100\% \iff \text{通信开销} \to 0

软件生态

如果说硬件是厨房设备，软件生态就是后厨里的“菜谱与培训体系”。NVIDIA CUDA 生态统治 AI 领域十余年，PyTorch、TensorFlow、JAX、FlashAttention、vLLM 等核心工具链均优先适配 CUDA。对比之下，AMD 的 ROCm 虽已实现 PyTorch 官方支持，但部分算子仍需通过 HIP 映射层翻译，遇到小众模型算子时，兼容性偶有闪失。

用数据说话：截至 2024 年，CUDA 在 GitHub 上的 AI 相关仓库覆盖率超过 90%，而 ROCm 约 40% 并快速攀升。对 AI 工程师来说，“拿来就能跑”和“改几行才能跑”是体验的鸿沟。H100 的 CuDNN、TensorRT 等加速库经过十年打磨，推理引擎能自动优化到极致；ROCm 的 MIOpen、ROCm-TRT 则相对年轻，部分场景需手动调优。

回到比喻里，CUDA 就像一整套附带教学视频、标准配菜包和售后服务的“超级菜谱”，而 ROCm 菜谱更开放、更便宜，但偶尔需要你自行意会“盐少许”到底是多少。对于小团队，少踩坑就是最大的成本节约；对于大厂，开源可控反而可能加分——这正是生态选择的微妙之处。

落地速度=模型准备（天）框架兼容度×算子覆盖度\text{落地速度} = \frac{\text{模型准备（天）}}{\text{框架兼容度} \times \text{算子覆盖度}}
软件生态成熟度决定一个模型从论文到上线所需的工程工作量，生态越成熟，落地速度越快。
  1. 映射层开销HIP 将 CUDA 代码翻译为 AMD GPU 可执行的代码，因此会产生编译期适配成本。
    CUDA 源码→HIP 映射ROCm 可执行码\text{CUDA 源码} \xrightarrow{\text{HIP 映射}} \text{ROCm 可执行码}
  2. 算子覆盖度模型计算由大量算子组成，若某个算子未适配，则需开发者手工重写。
    算子覆盖度=已适配算子数模型所需算子总数\text{算子覆盖度} = \frac{\text{已适配算子数}}{\text{模型所需算子总数}}

推理性能

现在到了最实际的考核环节：真正端出一桌菜，谁更快？MLPerf Inference 是业界公认的“菜品盲测大赛”，在 Llama 2 70B 等大模型推理基准中，H100 在单卡低延迟场景表现稳定，而 MI300X 凭借 192GB 显存和 5.3TB/s 带宽，在长上下文、大批次推理中展现出更高吞吐。

具体而言，在 vLLM 等 Serving 框架下，H100 处理 1024 token 短输入时，单卡首 token 延迟低至约 20ms；MI300X 在 4096 token 长上下文时，因无需跨卡切分权重，端到端吞吐可超 H100 约 15%-25%。同时，MI300X 足以容纳 70B 模型全部权重，省去了张量并行的通信开销——这就像整只烤鸭在同一烤箱一次上桌，而 H100 必须切块分到两个烤箱烤，中间还得不停传话。

在推理这块试金石上，两款芯片的比喻形象反转了：H100 是短跑爆发型选手，响应快、服务稳定；MI300X 则是长跑耐力王，在长上下文和大量并发用户下越战越勇。如果你的业务是 AI 客服、文档摘要等长文本场景，MI300X 的带宽和显存红利不容小觑。

推理吞吐量（token/s）=批量大小×序列长度总延迟\text{推理吞吐量（token/s）} = \frac{\text{批量大小} \times \text{序列长度}}{\text{总延迟}}
在部署大模型推理服务时，吞吐量决定单位时间能服务多少用户，是成本核算的核心指标。
  1. 首 token 延迟指请求发出到生成第一个 token 的时间，体现模型“理解”请求的速度。
    T首token≈Prefill 计算量算力峰值+调度开销T_{\text{首token}} \approx \frac{\text{Prefill 计算量}}{\text{算力峰值}} + \text{调度开销}
  2. 吞吐量公式总延迟包含前填充（Prefill）与解码（Decode）两阶段，批量越大吞吐越高。
    吞吐=B×Stprefill+tdecode\text{吞吐} = \frac{B \times S}{t_{\text{prefill}} + t_{\text{decode}}}

训练表现

训练大模型好比一个持续数月的大型烹饪实训：每天要翻新的菜式（数据集）数以万计，最怕的就是中断和等待。在 FP8 混合精度训练 70B 模型时，H100 凭借 NVIDIA 在分布式训练框架（Megatron-LM、NCCL）中的深度集成，表现出更强的稳定性；MI300X 则利用超大显存和带宽，在 FSDP（全分片数据并行）这类显存受限场景中反超。

为什么显存带宽对训练如此重要？训练比推理更“贪吃”：前向传播要多读一遍参数，反向传播还要再读一次并更新梯度。每轮迭代的数据搬运量巨大，带宽越高，每一轮“翻锅”越快。实测中，在 8 卡 MI300X 节点与 8 卡 H100 节点上跑 Llama 3 70B 微调，MI300X 的每卡吞吐可提升约 18%，但 H100 在 64 卡以上扩展时加速比更线性。

回到厨房：训练是“教学实习”，H100 依靠成熟的团队管理和培训体系（分布式框架），让大规模学员协作有条不紊；MI300X 则像食材供给超一流的厨房，虽然管理体系还在磨合，但食材充足时，学员人均产出更高。选择哪家，取决于你的训练规模是“小班精品”还是“千人集训”。

训练时间∝总计算量单卡算力×卡数×扩展效率\text{训练时间} \propto \frac{\text{总计算量}}{\text{单卡算力} \times \text{卡数} \times \text{扩展效率}}
训练性能不仅看单卡峰值，更看多卡协同和显存带宽的配合，二者缺一不可。
  1. FSDP 机制将模型参数、梯度分片到各卡，每轮通信体积与模型大小成正比。
    通信量∝模型参数量×每轮迭代次数\text{通信量} \propto \text{模型参数量} \times \text{每轮迭代次数}
  2. 迭代时间一次训练迭代 = 前向计算 + 反向计算 + 梯度同步，带宽越大，开销越小。
    t迭代≈t计算+t通信t_{\text{迭代}} \approx t_{\text{计算}} + t_{\text{通信}}

性价比

采购 AI 芯片，就像装修餐厅，不仅要看设备价格，还要算水电、维修和厨师生意流失。MI300X 的公开市场采购价格通常低于同代 H100 约 20%-30%，且在显存配置上“买一送三”，性价比在纯硬件层面显著占优。但 TCO（总拥有成本）还需纳入软件工程师的调优工时、集群稳定性、电费等多重变量。

每瓦性能是另一个关键指标：H100 的功耗约 700W，MI300X 约 750W，但两者的单位功耗算力数值上 MI300X 略高。然而，H100 生态成熟带来的“省心”附加价值，往往抵消硬件价差：工程师无需花数月适配算子与训练框架，这部分人力成本在 TCO 模型中常常被低估。

主厨比喻收尾：MI300X 像一位要价公道、自带巨型食材库的潜力主厨，起步成本低；H100 像一位高价但体系成熟的名厨，前期投入大但省心。精明的餐厅老板会算三年总账——如果团队技术强悍，选 MI300X 省钱；如果追求上线速度和稳定交付，H100 的溢价就是“保险费用”。

TCO=硬件成本+能耗×电费+人力调优+故障停机成本\text{TCO} = \text{硬件成本} + \text{能耗} \times \text{电费} + \text{人力调优} + \text{故障停机成本}
TCO 是长期账本，硬件采购只是开始；工程人力与运维成本往往两年内就能超过硬件投入。
  1. 采购价差MI300X 相比 H100 的显存容量按 TB 计的价格差距极大。
    价格显存GB:MI300X≪H100\frac{\text{价格}}{\text{显存GB}}:\quad \text{MI300X} \ll \text{H100}
  2. 能耗成本单卡年电费约等于功耗 × 24 × 365 × 电费单价。
    年电费=P(W)×8760 (h)×电价\text{年电费} = P(\text{W}) \times 8760\ (\text{h}) \times \text{电价}

选型建议

最终，AI 算力采购不是要选“绝对强者”，而是根据你的“菜单”（工作负载）定夺。对于在线推理服务（如 ChatBot、AI 搜索、长文档摘要），MI300X 的大显存、高带宽意味着更低的单用户成本和更高的吞吐；对于大模型预训练与重度调优，H100 成熟生态能显著缩短开发周期。

混合部署则是渐成主流的第三方案：用 H100 集群做模型训练和探索性实验，用 MI300X 集群承接大规模推理，两者通过统一的推理网关分发流量。这样，既享受了 H100 生态的“稳”，又吃到了 MI300X 性价比的“香”。根据 2024 年多家云厂商的实践数据，混合策略可降低约 20%-30% 的推理总成本。

厨房的比喻到这里归于一处：一家成熟的餐厅从不会只依赖一位主厨，而是让擅长火锅的主厨负责锅物台，让擅长烧烤的主厨负责炙烤区。AMD MI300X 与 NVIDIA H100 并非死敌，而是各擅胜场的“双主厨配置”。聪明的 AI 架构师，既懂得用 H100 守住生态高地，也敢于用 MI300X 撬动推理成本——这才是硬件横向对比的真正价值所在。

决策矩阵得分=∑iwi×性能i−成本系数×总拥有成本\text{决策矩阵得分} = \sum_{i} w_i \times \text{性能}_i - \text{成本系数} \times \text{总拥有成本}
选型建议没有“银弹”，关键在于识别自身场景的核心瓶颈是算力、显存还是生态。
  1. 权重分配不同业务对算力、带宽、生态的权重权重不同，决策矩阵将需求量化。
    Score=w算力⋅P+w带宽⋅B+w生态⋅E−λ⋅TCO\text{Score} = w_{\text{算力}} \cdot P + w_{\text{带宽}} \cdot B + w_{\text{生态}} \cdot E - \lambda \cdot \text{TCO}
  2. 混合策略平衡训练用 H100 保证稳定性，推理用 MI300X 提升性价比。
    总成本混合<总成本单一阵营\text{总成本}_{\text{混合}} < \text{总成本}_{\text{单一阵营}}

AI 应用场景

场景一：大模型推理云平台选型

阶段：模型部署与推理优化

解决的问题：传统推理集群采用 NVIDIA A100 构建，面对 Llama 3 70B 及以上参数的模型时，单卡显存不足，必须使用张量并行拆分模型，导致跨卡通信开销大、吞吐下降。采用 MI300X 后，192GB 显存可单卡容纳 70B 模型，省去切分步骤。

具体案例：某 AI 客服厂商将线上服务从 8 卡 A100 迁移至 4 卡 MI300X，长对话场景的并发能力提升 2.3 倍，单位推理成本下降约 40%。H100 则保留用于对延迟敏感的短问题响应模块。

场景二：多集群混合训练与推理

阶段：模型训练与资源调度

解决的问题：大规模预训练任务对多卡扩展性要求高，H100 配合 Megatron-LM 框架可实现近线性加速；而推理服务更依赖显存带宽与容量，MI300X 更具优势。两者结合能最大化资源利用率。

具体案例：某大模型创业公司用 32 卡 H100 集群完成 7B/13B 模型持续预训练，使用 PyTorch FSDP 将数据分片到 MI300X 集群进行全量微调，通过自研调度器按任务类型路由，GPU 利用率从 61% 提升至 82%。

Python 演示

python39 行
import timeimport torch def benchmark_llm_inference(model_name, batch_size, seq_len):    """模拟 LLM 推理带宽与算力 bottleneck 的对比测试"""    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")    hidden = 4096    num_layers = 32    vocab_size = 32000     # 模拟权重矩阵加载耗时, 用于对比 MI300X 与 H100 的带宽影响    def bandwidth_time(params_bytes, bandwidth_gbps):        return params_bytes / (bandwidth_gbps * 1e9) * 1e3  # ms     def compute_time(params_bytes, flops, tflops):        return params_bytes * 2 / (tflops * 1e12) * 1e3  # ms     large_model_bytes = 70 * 1e9  # 70B 模型 FP16 权重约 140GB -> 实际按 70B 参数 * 2B    print("对比: 70B 参数模型, 权重读取总量(单token) =", large_model_bytes, "B")     for name, bandwidth, tflops in [("MI300X", 5.3, 1300), ("H100", 3.35, 990)]:        load_ms = bandwidth_time(large_model_bytes, bandwidth)        compute_ms = compute_time(large_model_bytes, 2 * large_model_bytes, tflops)        # 模拟自回归生成 256 token 的总耗时        total_ms = (compute_ms + load_ms) * 256        print(f"{name}: 带宽加载 {load_ms:.2f} ms/token, 算力计算 {compute_ms:.2f} ms/token, "              f"生成256 token 耗时 {total_ms:.2f} ms")     # 推理吞吐模拟: 并发 16 路请求    print("\n模拟吞吐(16并发, 每路生成128 token):")    for name, bandwidth, tflops in [("MI300X", 5.3, 1300), ("H100", 3.35, 990)]:        load_ms = bandwidth_time(large_model_bytes, bandwidth)        compute_ms = compute_time(large_model_bytes, 2 * large_model_bytes, tflops)        latency_ms = (load_ms + compute_ms) * 128        throughput = 16 * 128 / (latency_ms / 1000)        print(f"{name}: 请求总延迟 {latency_ms:.2f} ms, 吞吐 {throughput:.2f} token/s") if __name__ == "__main__":    benchmark_llm_inference("llama-70b", 16, 128)
目的：通过模拟模型权重加载时间与算力计算时间，直观对比 MI300X 与 H100 在 LLM 推理中的带宽瓶颈差异。
  1. large_model_bytes = 70 * 1e970B 模型 FP16 权重约为 140GB 数据，这是推理中每生成一个 token 必须读取的数据量
  2. bandwidth_time(params_bytes, bandwidth_gbps)计算从显存读取全部权重所需的时间，带宽越大耗时越少
  3. compute_time(params_bytes, flops, tflops)估算在给定算力下完成前向计算所需的时间，注意算力越高计算耗时越短
  4. total_ms = (compute_ms + load_ms) * 256模拟逐 token 生成过程，每生成一个 token 都要重新读取全部权重
  5. throughput = 16 * 128 / (latency_ms / 1000)16 并发 × 128 token 的总输出除以总延迟，得到单位时间吞吐

常见误区

误区“MI300X 的 FP16 算力 1.3 PFLOPS 比 H100 高，所以推理一定比 H100 快。”

正解推理性能受“内存墙”约束，LLM 自回归生成时每个 token 都要重新读取全部权重，此时带宽决定速度。MI300X 因为带宽高出 58% 往往在推理占优，假若模型超出 H100 显存还需核间通信，差距会更悬殊。算力峰值就像菜刀锋利度，切菜速度还取决于食材从冰箱到砧板的运输时间。

为何常见：芯片厂商发布会总是先亮峰值算力，搜索引擎优先给观众留下“算力=速度”的刻板印象；同时人们习惯用 CPU 时代的“主频即性能”直觉类比 GPU。

误区“192GB 显存比 80GB 大 1.4 倍，性价比碾压 H100，无脑选 MI300X 就行。”

正解显存容量大只解决“装得下”的问题，带宽解决“搬得快”的问题，而软件生态决定“搬得动”的成本。若 ROCm 对核心算子支持不全，模型无法直接跑，192GB 也会闲置。买显存如同买冰箱——不单看容积，还要看制冷方式、耗电量、售后维修。

为何常见：显存大小是消费者最容易感知的硬件参数，且 AMD 宣传突出性价比优势，这让“大显存=高性能”的简单关联深入人心。

误区“MLPerf 排行榜上 H100 成绩更好，说明 H100 全面碾压 MI300X。”

正解MLPerf 基准通常在特定模型、特定批量大小、关闭长上下文的状态下测量，H100 在短文本低延迟场景占优，MI300X 在长上下文大批次场景可能反超。基准测试就像餐厅评选赛的“规定菜式”，真实运营中顾客点的菜千差万别，二者各有适用区间。

为何常见：媒体排行榜追求简洁性和传播性，容易将复杂多维度性能简化为一个名次，观众因此将单点基准等同于全面性能。

误区“HIP 映射层可以无缝把 CUDA 程序改成 ROCm，切换无缝，生态劣势不存在。”

正解HIP 能处理约 90% 的常用算子，但 FlashAttention 等深度优化算子、自定义拓展以及部分新模型组件仍需手工改写调试，多卡通信库 RCCL 的扩展性也与 NCCL 有差距。做好“百分之十”的工程兜底和半年适配预算，才不至于从 CUDA 迁移时措手不及。

为何常见：AMD 官方大力宣传 HIP 兼容性，且中小模型 demo 确实能一键跑通，让人忽视了工业级项目的工程复杂度。

误区“MI300X 单卡比 H100 便宜 30%，省下的前就是全部利润。”

正解TCO 包含电力、散热机架、软件适配人力、故障停机时长。H100 生态成熟可显著压缩工程师调优成本，MI300X 可能因框架适配产生数月人力开销。采购一台厨房设备时，还要算燃气费、调料费、大厨的学习培训费等长期支出。

为何常见：采购决策由预算部门主导时，往往聚焦一次性采购价，忽略跨年运营成本；技术团队的价值贡献也难以量化，导致 TCO 被低估。

面试题

Q1. MLPerf 基准测试中，H100 通常在哪类场景表现更突出？

单选题 · mid

  • A.4096 token 长上下文批量推理
  • B.短文本低延迟在线推理← 正确答案
  • C.192GB 单卡容纳全部权重
  • D.高吞吐大并发服务场景

答案：B。H100 的 NVLink 生态和 CUDA 调度优化在短文本、低延迟场景反应更快；MI300X 依靠大显存和高带宽，在长上下文、大批次场景更有优势。这就像短跑选手与长跑选手的赛道分工，不能一概而论。

Q2. 以下哪些指标是 AMD MI300X 相对于 NVIDIA H100 的明确优势？

多选题 · mid

  • A.HBM3 显存容量 192GB← 正确答案
  • B.显存带宽 5.3TB/s← 正确答案
  • C.CUDA 生态成熟度
  • D.FP8 峰值算力 2.6 PFLOPS

答案：AB。MI300X 的 192GB 容量与 5.3TB/s 带宽均显著大于 H100 的 80GB/3.35TB/s。CUDA 生态是 NVIDIA 的优势，FP8 算力虽高于 H100 但优势幅度不如带宽明显，本题只选容量与带宽这两个领先指标。

Q3. “内存墙”瓶颈在 LLM 推理中指的是什么？

单选题 · easy

  • A.显存容量不够，模型放不下
  • B.算力太高导致芯片过热降频
  • C.显存带宽不足以喂饱算力核← 正确答案
  • D.软件框架不支持模型算子

答案：C。自回归生成每步都要读权重，带宽不足时算力核只能“空转等数据”，这就是内存墙。容量不够但带宽充足时，主要瓶颈是放不放得下；带宽不足才是“搬不动”的墙。

Q4. 在混合部署方案中，将训练放 H100、推理放 MI300X 的合理性包括哪些？

多选题 · hard

  • A.H100 分布式训练生态成熟稳定← 正确答案
  • B.MI300X 推理性价比高且吞吐可观← 正确答案
  • C.MI300X 的 ROCm 兼容所有 CUDA 算子
  • D.H100 的 NVLink 集群扩展性经过大规模验证← 正确答案

答案：ABD。H100 生态成熟、分布式扩展线性好，适合训练；MI300X 大显存高带宽适合推理。C 选项夸大 ROCm 兼容性，HIP 映射仍存在算子适配问题，因此不选 C。

Q5. 关于 FP8 与 FP16 算力的关系，以下描述正确的是？

单选题 · mid

  • A.FP8 算力通常低于 FP16 算力
  • B.FP8 算力通常是 FP16 的 2 倍← 正确答案
  • C.FP8 与 FP16 算力完全相等
  • D.FP8 精度更高，算力更慢

答案：B。FP8 用一个字节表示数值，相比 FP16 减半，硬件相同面积内可做双倍计算，因此峰值算力大约翻倍。这是芯片设计中的经典 trade-off：精度越低，单位面积算力越高。

Q6. 70B 参数模型在 FP16 精度下的权重占用约为多少？

单选题 · easy

  • A.35GB
  • B.70GB
  • C.140GB← 正确答案
  • D.210GB

答案：C。70B 参数 × 2 字节/参数 = 140GB。这也是 MI300X 192GB 显存能单卡容纳 70B 权重、H100 80GB 需要跨卡切分的关键原因。

Q7. 下列哪些因素会拉平 MI300X 与 H100 在 LLM 推理中的差距？

多选题 · hard

  • A.软件框架是否针对 ROCm 做算子优化← 正确答案
  • B.使用张量并行时跨卡通信带宽← 正确答案
  • C.批量大小与序列长度设置← 正确答案
  • D.显卡在机柜中的物理位置

答案：ABC。算子优化程度直接影响 MI300X 能否发挥带宽潜力，张量并行通信带宽决定跨卡效率，批量与序列长度决定是否逼近带宽瓶颈。物理位置与此无关。

Q8. 关于 NVLink 与 Infinity Fabric，下列说法正确的是？

单选题 · mid

  • A.两者带宽完全一致，互联能力无差异
  • B.Infinity Fabric 的软件协议和生态更成熟
  • C.NVLink 配合 NCCL 在分布式训练中优化更充分← 正确答案
  • D.MI300X 不支持多卡互联扩展

答案：C。NVLink 带宽数值与 Infinity Fabric 接近，但 NCCL 通信库经过多年大规模集群验证，优化深度远超 RCCL，因此实际分布式场景 H100 扩展效率更高。MI300X 支持多卡互联，D 错误。

Q9. TCO 模型中最容易被低估的成本项通常是？

单选题 · hard

  • A.硬件采购成本
  • B.机器电力消耗
  • C.软件适配与人力调优← 正确答案
  • D.机房租赁费用

答案：C。硬件、电力与机房均可量化，但工程师数月调优算子的隐性人力成本难以估算。H100 生态成熟可大幅压缩这部分开销，而 MI300X 的工程适配成本常被预算部门忽略。

Q10. 哪些是 AI 芯片横向对比时的重要维度？

多选题 · easy

  • A.算力与精度支持← 正确答案
  • B.显存容量与带宽← 正确答案
  • C.互联架构与生态← 正确答案
  • D.显卡外观配色

答案：ABC。算力、显存、互联、生态、成本是 AI 芯片对比的核心维度。外观配色属于工业设计范畴，不影响性能，不列入评测量纲。