想象你经营着一家跨国物流公司,车队里的顶级重卡 H100 马力惊人,车厢连接件又粗又稳,一趟能拉上百吨“模型参数”翻山越岭。可对岸监管局(美国商务部)发布新规:卖给海外分公司的卡车,总马力和车厢连接能力都必须低于阈值。于是 NVIDIA 这家“卡车厂”迅速改装出两款合规车——A800 把车厢之间的挂钩改细,让车队编组速度变慢;H20 干脆换上一台小引擎,却保留了大货箱和粗挂钩。它们不是“更好”,而是在管制规则下活下去的妥协方案。 这篇文章就用“车队运输”的比喻,把 H20 和 A800 背后的出口管制背景、规格阉割逻辑、集群带宽影响、实际性能表现、合规边界、国产替代进展以及供应链风险应对一次讲透。

岗位关联

对 AI 从业者而言,看懂特供芯片的妥协逻辑,才能在大模型训练成本、采购决策和国产化替代中做出不踩坑的判断。

目录
  1. 可视化演示
  2. 出口管制背景
  3. 特供芯片规格
  4. 互联带宽作用
  5. 实际算力表现
  6. 合规边界策略
  7. 国产芯片替代
  8. 供应链风险应对
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示3A090合规阈值、H20/A800与H100/A100规格差异、训练性能影响及国产替代进展。

本节配有交互动效(进入视口后自动加载,约 3KB)。

3A090合规阈值 原版芯片算力密度与互连带宽超过阈值 特供版降配至阈值以下满足合规要求 3A090: PD < 4800 AND BW < 600 GB/s 双重条件限制特供版芯片规格上限

出口管制背景

把 GPU 比作重卡,算力就是发动机马力,互连带宽就是卡车之间连接车厢的挂钩。美国商务部就像一位“路线监管局”,2022 年 8 月起突然规定:某些马力超标、挂钩过粗的卡车不能卖给海外特定客户。NVIDIA 的 A100、H100 都属于“顶配重卡”,一夜之间在中国市场断了货。监管的核心指标叫 TPP(总处理性能),它试图用一个数字概括“这辆卡车到底多能拉”。

管制不是一锤子买卖,而是层层加码。2023 年 10 月规则又补充了“性能密度”红线,防止厂商通过缩小芯片面积、堆更多小芯片来钻空子;2024 年连 H20 这样的合规车型也面临进一步限制。对采购者来说,最大的变化是:以前只看“马力够不够大”,现在还要看“行驶证上写着什么”。

所以特供版不能只是“换个名字”,而是必须在算力或互联上真正降下来,让 TPP 落在阈值内。监管的车队只能在限速带上跑,这是理解 H20 和 A800 一切设计的出发点。

TPP=2×TOPS×位宽\mathrm{TPP} = 2 \times \mathrm{TOPS} \times \text{位宽}
这段公式说明芯片的“总处理性能”由算力和数据位宽共同决定,位宽越大或 TOPS 越高,管制审查越严格。
  1. TOPS 的含义TOPS 表示芯片每秒能完成多少万亿次整数运算,相当于发动机峰值马力,马力越大越可能触碰红线。
    TOPS\mathrm{TOPS}
  2. 位宽的含义位宽是一次运算能同时处理的比特数,相当于卡车一次能装几箱货;位宽越高,同等频率下算力越强。
    位宽\text{位宽}
  3. 系数 2 的来源一次“乘加运算”同时完成乘法和加法,会计作 2 次运算,所以总性能按两倍折算。
    2×2 \times

特供芯片规格

同样是造合规车,NVIDIA 用了两种不同改装思路。第一种是 A800:把 A100 的“车厢挂钩”从 600GB/s 减到 400GB/s,发动机马力不变;第二种是 H20:针对 H100 重新设计,把 FP16 算力从约 989 TFLOPS 砍到约 148 TFLOPS,只剩 15%,但显存依然给了 96GB HBM3、带宽达到 4.0TB/s。换句话说,A800 是“限钩版”,H20 是“小引擎大货箱版”。

为什么 NVIDIA 敢在 H20 上保留大显存?因为出口管制重点关注芯片的“总处理性能”,而不是存储容量。监管者关心芯片能算多快,但不太在意它装了多少货。这就给 H20 留下了生存空间:算力弱化,但显存和带宽依然能打,在推理场景中反而成为卖点。

采购者最常踩的坑是只看“算力缩水多少”,却忽略“显存和带宽保留多少”。一台小引擎大货箱的卡车,跑短途配送可能比满配超跑更实用——这就是 H20 存在感极强的原因。

缩减比例=1−TPP特供TPP原版\text{缩减比例} = 1 - \frac{\mathrm{TPP}_{\text{特供}}}{\mathrm{TPP}_{\text{原版}}}
这个公式用来衡量特供版比原版“缩水”了多少,1 代表全部砍掉,0 代表没有阉割。
  1. 分子——特供版 TPPA800 或 H20 的 TPP 值,代表这份“行驶证”上登记的合规总性能。
    TPP特供\mathrm{TPP}_{\text{特供}}
  2. 分母——原版 TPPA100 或 H100 的 TPP 值,作为未阉割时的基准数据。
    TPP原版\mathrm{TPP}_{\text{原版}}
  3. 1 减去比值算出被削减掉的比例;以 H20 为例,约等于 0.85,意味着性能被砍掉了八成五。
    1−TPP特供TPP原版1 - \frac{\mathrm{TPP}_{\text{特供}}}{\mathrm{TPP}_{\text{原版}}}

互联带宽作用

车队跑长途不是一辆车单干,而是十几辆卡车编队行驶,每跑一段就要停下重新编队、对齐货物。大模型训练也是这样:每训练一步,所有 GPU 都要通过高速网络交换梯度数据,这个通信过程叫“梯度同步”。如果卡车之间的挂钩太细,也就是 NVLink 带宽不够,整个车队就会频繁停车等待,算得再快也白搭。

A800 的问题就在这。单卡算力和 A100 一模一样,但互连带宽从 600GB/s 降到 400GB/s。你多挂几节车厢,发现速度没上去,反而卡在“编队”上。这类场景下,带宽成了系统瓶颈,卡越多,通信开销越被放大,最终训练吞吐远低于纸面算力。

所以,衡量特供芯片的真实性能不能只看“单卡算力”,还要看它和队友之间的“连接效率”。这也是为什么英伟达在 H20 上刻意保留了高互联带宽,宁可砍引擎也不砍挂钩。

效率=T计算T计算+T通信\mathrm{效率} = \frac{T_{\text{计算}}}{T_{\text{计算}} + T_{\text{通信}}}
集群实际效率取决于计算和通信的时间占比,通信时间越长,效率越低。
  1. 分子——计算时间GPU 真正执行矩阵乘法等计算任务所花的时间,相当于车队正常行驶的时间。
    T计算T_{\text{计算}}
  2. 分母——计算加通信总耗时是计算与通信时间之和,通信就是停车编队、同步货物清单的时间。
    T计算+T通信T_{\text{计算}} + T_{\text{通信}}
  3. 整体比值如果通信时间为零,效率等于 1;通信时间越长,效率越接近 0,直观反映带宽对集群的制约。
    T计算T计算+T通信\frac{T_{\text{计算}}}{T_{\text{计算}} + T_{\text{通信}}}

实际算力表现

小引擎大货箱的 H20 不适合拉长途快跑,却很擅长做区域配送:把大模型权重一次性装进货箱,然后持续不断地卸货,也就是批量推理。推理任务对显存容量和带宽很敏感——模型参数、KV Cache 都要塞进显存;对峰值算力反而没那么挑剔。因此 H20 在推理场景中表现不差,性价比甚至优于很多原版卡。

反过来,预训练大模型需要海量矩阵运算,H20 的算力短板会直接拖慢训练速度。想达到同样的训练效果,只能“多车齐上”,用集群规模弥补单卡劣势。但前面说过,堆卡车也要看挂钩粗细,通信一旦成为瓶颈,加车的边际收益就大幅递减。

回看 A800 的教训:单卡算力不差,但集群扩展效率受损;再看 H20 的处境:单卡算力偏弱,但配合大显存后成为推理利器。特供版不是一块“废铁”,而是要把题目换成“你的工作负载是什么”。

N特供=N原版×P原版P特供N_{\text{特供}} = N_{\text{原版}} \times \frac{P_{\text{原版}}}{P_{\text{特供}}}
当单卡算力降低时,为了追平原版性能,理论上需要按比例增加特供版卡数。
  1. 原版卡数假设原来用 100 张 H100 训练模型,这是计算起点。
    N原版N_{\text{原版}}
  2. 算力比值原版单卡算力除以特供版单卡算力,反映“多少张 H20 能顶一张 H100”。
    P原版P特供\frac{P_{\text{原版}}}{P_{\text{特供}}}
  3. 整体乘积如果 H20 只有 H100 的 15% 算力,则需要约 6~7 倍卡数才能追平,采购成本直接翻几倍。
    N特供N_{\text{特供}}

合规边界策略

限速器装上了就不能拆。NVIDIA 的合规立场非常明确:特供版芯片必须通过硬件设计把算力和互连带宽限制在管制阈值以内,不能靠后续固件或驱动“解锁”回原版性能。对采购者来说,如果试图对 A800 刷固件恢复带宽,或私自改装 H20 提升算力,就相当于把货车偷偷开回高速,一旦被发现,企业可能被列入实体清单,以后连合规车型都买不到。

灰色渠道同样危险。有人声称能通过第三方转售拿到 H100 现货,但出口管制看的是最终用户和最终用途,中转十手也改变不了芯片去向。真出问题,责任会追溯到实际使用方。因此成熟团队通常建立双轨预案:一边采购合规特供版,一边评估国产芯片,确保某个渠道冻结时业务不中断。

合规不是采购流程之外的成本,而是整个算力规划的底层约束。聪明的车队管理是从“能弄到车”升级到“永远合法地弄到车”。

可出口={1,TPP≤阈值0,TPP>阈值\text{可出口} = \begin{cases} 1, & \mathrm{TPP} \le \text{阈值} \\ 0, & \mathrm{TPP} > \text{阈值} \end{cases}
合规判断最终归结为 TPP 是否超过出口管制阈值,超过则禁止出口,未超过则放行。
  1. 判定条件把芯片的 TPP 值与官方阈值比较,这是海关检查的“红绿灯”。
    TPP≤阈值\mathrm{TPP} \le \text{阈值}
  2. 取值为 1当 TPP 不超过阈值,判定为可出口,对应绿灯放行。
    11
  3. 取值为 0当 TPP 超过阈值,判定为不可出口,对应红灯拦截。
    00

国产芯片替代

国产“车厂”这几年进步很快。华为昇腾系列在训练和推理场景都有落地,寒武纪思元系列也在做自研芯片,单卡算力与 H20 的差距正在缩小。但真正的差距不在发动机,而在“加油站网络”——软件生态。NVIDIA 的 CUDA 平台积累了十几年,算子库、深度学习框架适配、分布式通信库全部成熟,国产芯片的硬件跑分再好,软件迁不过来,车还是上不了路。

生态短板意味着什么?企业把模型从 CUDA 移植到国产芯片,需要重写算子、适配加速库、调试通信框架,工程量可能以“人月”计算。算力差距可以通过堆卡解决,生态差距却只能靠时间和投入磨平。这也是当前国产替代采取“试点—双轨—分批迁移”策略的原因。

国产替代不是“换发动机”,而是“换整个修车厂”。硬件差距是可量化的,生态差距才是决定迁移方案是半年还是三年的关键变量。

差距系数=P国产P英伟达\text{差距系数} = \frac{P_{\text{国产}}}{P_{\text{英伟达}}}
用国产芯片与英伟达芯片的算力比值来衡量替代可行性,越接近 1 说明硬件差距越小。
  1. 分子——国产芯片算力以华为昇腾或寒武纪某型号的峰值算力作为国产实力代表。
    P国产P_{\text{国产}}
  2. 分母——英伟达芯片算力以 H100 或 H20 的同类指标作为对标基准。
    P英伟达P_{\text{英伟达}}
  3. 整体比值比值等于 0.7 表示国产硬件已达英伟达七成,但软件生态还要单独评估,不能只看跑分。
    P国产P英伟达\frac{P_{\text{国产}}}{P_{\text{英伟达}}}

供应链风险应对

任何一家理性的物流公司都不会把全部订单押在唯一的卡车供应商身上。NVIDIA 特供版虽然合法在售,但出口管制政策随时可能加码,2024 年后 H20 的供应也起起伏伏。采购决策者必须做好“最坏打算”:如果明天特供版断货,现有业务能否继续跑?

风险应对通常分三路走。第一路是多源采购,NVIDIA、AMD、国产芯片各留一条线;第二路是安全库存,在采购周期内备足关键卡的数量;第三路是国产化预案,把核心业务按优先级逐步迁移到国产替代方案。三条路并用,等于给车队配了备用司机、备用油路和备用车库。

供应链风险应对的本质是把“不可控的政策变量”转化成“可计算的安全库存”。特供芯片的采购时机不能只看性能和价格,还要盯紧管制政策的风向——这已经是 AI 算力从业者的必修课。

Qs=D×L+SSQ_s = D \times L + SS
安全库存量等于平均日需求乘以采购周期,再加上一个保险缓冲量。
  1. 需求速率 D企业每天实际消耗的 GPU 算力,按等效卡数计,是库存规划的输入。
    DD
  2. 采购周期 L从下单到到货的天数,跨国采购和运输往往要数周甚至数月。
    LL
  3. 安全库存 SS应对突发需求或供应中断的缓冲池,政策一变可能马上动用这部分货。
    SSSS

AI 应用场景

H20 大模型推理集群

阶段:模型部署与推理优化

解决的问题:在无法获得 H100 的合规前提下,如何用较低成本支撑大模型的在线推理服务。传统方案要么选 A100 库存,要么用消费级显卡排队跑,延迟和吞吐都不达标。H20 凭借 96GB 大显存和 4.0TB/s 带宽,可把更多模型参数和 KV Cache 放进本地,减少显存换入换出。

具体案例:某 AIGC 创业公司为部署 Qwen-72B 对话服务,采购 200 张 H20 搭建推理集群。他们把 FP8 量化后的模型权重加载到 H20 大显存中,通过 vLLM 批量调度,单卡并发数比此前 A100 方案提升约 30%,整体推理成本下降四成。

A800 存量集群训练优化

阶段:分布式训练基础设施

解决的问题:A800 虽然互连带宽从 600GB/s 降到 400GB/s,但大量企业此前已购入 A800 集群。训练时梯度同步可能占据大量时间,卡数越多性能“塌陷”越明显。解决办法是通过算法与系统协同,把通信开销尽量藏进计算时间里。

具体案例:某大模型公司用 512 张 A800 训练 70B 参数模型,发现扩展效率只有理论值的 62%。团队采用梯度压缩(把梯度从 FP32 压缩成 FP16 并做 TopK 稀疏化)、流水线并行切分、以及通信与计算重叠调度,最终把整体吞吐恢复到理论值的 84%。

国产替代评估与试点

阶段:算力规划与采购决策

解决的问题:NVIDIA 特供版供货不稳定,企业需要评估华为昇腾、寒武纪思元等国产芯片能否承担部分工作负载。纯看跑分远远不够,必须把算子适配、框架兼容性和运维成本纳入综合评估。

具体案例:某云厂商计划将内部 LLaMA-13B 推理服务迁移到昇腾 910B 集群,试点完成后硬件利用率达到 78%,但在接入第三方高效算子库时遇到大量接口不兼容,需要自研算子替代。最终他们决定“NVIDIA 特供版跑在线业务、国产芯片跑离线推理”的双轨方案。

Python 演示

python37 行
"""特供芯片集群有效算力估算器用简化模型模拟:算力决定计算时间,带宽决定通信时间,两者共同决定集群真实吞吐,以及要达到目标所需卡数。""" def effective_flops(per_gpu_flops, link_bw, gpu_count, comm_weight=6.0):    # 计算时间与总算力成反比;通信时间与总带宽成反比    compute_time = 1.0 / (per_gpu_flops * gpu_count)    comm_time = comm_weight / (link_bw * gpu_count)    efficiency = compute_time / (compute_time + comm_time)    return gpu_count * per_gpu_flops * efficiency  def required_cards(target_flops, per_gpu_flops, link_bw, comm_weight=6.0):    cards = 1    while cards <= 20000:        eff = effective_flops(per_gpu_flops, link_bw, cards, comm_weight)        if eff >= target_flops:            return cards        cards += 1    return None  if __name__ == "__main__":    target = 1000000  # 目标有效算力(相对单位)    chips = [        {"name": "H100", "flops": 989, "bw": 900},        {"name": "A800", "flops": 312, "bw": 400},        {"name": "H20",  "flops": 148, "bw": 900},    ]    print("目标有效算力:%d\n" % target)    for c in chips:        cards = required_cards(target, c["flops"], c["bw"])        eff = effective_flops(c["flops"], c["bw"], cards)        util = 100 * eff / (cards * c["flops"])        print("%s 需要 %d 张卡,集群利用率约 %.0f%%" % (c["name"], cards, util))
目的:模拟在算力和带宽都受限的前提下,不同特供芯片达到同一训练吞吐所需的卡数差异。
  1. compute_time = 1.0 / (per_gpu_flops * gpu_count)把计算时间建模为总算力的倒数,卡车越多算得越快。
  2. comm_time = comm_weight / (link_bw * gpu_count)通信时间与总带宽成反比,这是 A800 带宽受限的代价。
  3. efficiency = compute_time / (compute_time + comm_time)核心公式,效率取决于计算和通信的占比。
  4. while cards <= 20000:暴力枚举卡数,找到第一个满足目标有效算力的集群规模。
  5. if eff >= target_flops:判定当前卡数是否达到目标吞吐,达到则提前返回。

常见误区

误区“A800 就是把 A100 改个名字重新卖吧?性能应该一样的。”

正解单卡算力确实一致,但互连带宽从 600GB/s 降到 400GB/s。对大模型分布式训练而言,带宽决定梯度同步速度,直接影响集群扩展效率。可以说 A800 是“限钩版”,训练吞吐有明显折损。

为何常见:厂商宣传页通常都会强调“算力不变”,却把互联带宽的削减放在规格表角落,采购者很容易只看核心跑分。

误区“H20 算力只有 H100 的 15%,完全是智商税。”

正解H20 虽然峰值算力大幅缩减,但保留了 96GB HBM3 和 4.0TB/s 显存带宽,在推理场景中很能打。它的定位不再是“训练旗舰”,而是“推理重卡”。只看训练算力会错过它在部署环节的价值。

为何常见:很多人在对比芯片时习惯用 FP16 峰值算力这个“马力数字”一锤定音,忽略了工作负载类型对存储和带宽的依赖。

误区“一条路窄,修两条不就行了?多买点 A800 组集群。”

正解带宽瓶颈不是线性问题。卡数增加会让梯度同步的通信量同步放大,通信占比不降反升,扩展效率进一步下降。真实项目中,A800 集群在数百卡规模时就开始看到明显的边际收益递减。

为何常见:人们习惯用“规模换性能”的直觉解决问题,却不知道分布式训练中的通信开销会随规模非线性增长。

误区“昇腾跑分都快赶上 H20 了,直接买来替换 NVIDIA 卡就行。”

正解硬件指标只是第一层,CUDA 软件生态才是关键壁垒。算子库、深度学习框架适配、分布式通信库、性能调优工具都深度绑定英伟达平台,迁移通常要数周甚至数月。

为何常见:跑分榜单和纸面参数容易让人忽略软件工程成本,等真部署时才发现“买硬件只是开始”。

误区“多转几手就不算对华出口了吧?市面上不是有 H100 现货嘛。”

正解出口管制以最终用户和最终用途为准,中间商只是“漂白渠道”。一旦被审计发现,企业会面临高额罚款和实体清单风险,未来连合规特供版都买不到。风险远超投机收益。

为何常见:现货诱惑和信息不对称让人产生“法不责众”的错觉,忽略了出口合规的穿透式监管逻辑。

面试题

Q1. A800 与 A100 最明显的性能差异在于?

单选题 · easy

  • A.显存容量更大
  • B.核心数量更多
  • C.互连带宽较低← 正确答案
  • D.制造工艺较新

答案:C。A800 是 A100 的“限钩版”,主要将 NVLink 互连带宽从 600GB/s 降到 400GB/s,单卡算力保持不变。显存、核心数、制程基本不变,所以正确答案是互连带宽较低。

Q2. H20 的显存配置是?

单选题 · easy

  • A.24GB HBM3
  • B.80GB HBM2E
  • C.96GB HBM3← 正确答案
  • D.64GB GDDR6

答案:C。H20 保留了大货箱设计,配备 96GB HBM3 显存和约 4.0TB/s 显存带宽。它在算力上大幅缩水,但显存配置甚至有优势,这正是它适合推理场景的原因。

Q3. 出口管制中的 TPP 属于什么指标?

单选题 · mid

  • A.总处理性能指标← 正确答案
  • B.芯片面积指标
  • C.功耗散热指标
  • D.网络延迟指标

答案:A。TPP(Total Processing Performance,总处理性能)用于衡量 AI 芯片的计算能力,由 TOPS 与位宽等因子构成。管制阈值正是用 TPP 划界,芯片面积、功耗和延迟都不是出口管制的判定对象。

Q4. 大模型分布式训练中,NVLink 带宽主要影响?

单选题 · mid

  • A.单卡算子执行速度
  • B.梯度同步与通信← 正确答案
  • C.最终模型精度
  • D.数据集标注流程

答案:B。分布式训练每步都需要在卡间同步梯度,NVLink 带宽决定通信快慢。单卡算力、模型精度和数据标注都不依赖卡间互连,因此带宽主要影响梯度同步环节。

Q5. 下列哪些是 NVIDIA 特供版芯片的设计策略?

多选题 · mid

  • A.削减 NVLink 带宽← 正确答案
  • B.保留较高显存容量← 正确答案
  • C.降低浮点峰值性能← 正确答案
  • D.提升制程工艺等级

答案:ABC。A800 削减互联带宽,H20 降低 FP16 峰值算力,同时保留高显存容量,这些都是特供版实际采用的策略。提升制程工艺是原版芯片的迭代方向,与特供版降低性能的合规逻辑相反。

Q6. 将 A800 固件“魔改”回更高互连带宽,最可能造成的后果是?

单选题 · hard

  • A.提升芯片的制造良率
  • B.触碰出口合规红线← 正确答案
  • C.降低系统的功耗成本
  • D.延长大规模保修周期

答案:B。特供版通过硬件限制保证合规,固件改动一旦恢复原版性能,相当于让被管制的芯片获得超阈值能力,属于典型的出口违规行为。企业可能面临实体清单风险,其他选项都不构成后果。

Q7. 国产 AI 芯片替代中,“生态短板”主要指?

单选题 · extreme

  • A.芯片功耗过高
  • B.缺少 CUDA 软件栈← 正确答案
  • C.显存容量不足
  • D.散热方案落后

答案:B。国产芯片硬件在追赶,但 CUDA 生态(算子库、框架适配、分布式通信库、调优工具)积累不足,导致模型迁移成本极高。功耗、显存和散热是硬伤或工程问题,生态才是长期壁垒。

Q8. 为应对 GPU 断供风险,企业可采取的措施有?

多选题 · mid

  • A.多供应商采购← 正确答案
  • B.设定安全库存← 正确答案
  • C.依赖单一供应商
  • D.制定国产化预案← 正确答案

答案:ABD。供应链风控的三条路是多源采购、安全库存和国产化预案。依赖单一供应商会把命运押在一张牌上,是风险集中而非风险分散,因此 C 不应选。

Q9. 关于 H20 芯片的说法正确的有?

多选题 · hard

  • A.FP16算力接近H100
  • B.显存带宽强于A800← 正确答案
  • C.适合大规模推理部署← 正确答案
  • D.适合大模型预训练

答案:BC。H20 的 FP16 算力只有 H100 约 15%,但显存带宽约 4.0TB/s,明显高于 A800,因此适合对显存敏感的推理场景。大模型预训练需要高算力,H20 并不擅长。

Q10. 海淘 H100 现货背后的主要风险是?

单选题 · easy

  • A.固件被锁无法升级
  • B.触发合规与法律风险← 正确答案
  • C.芯片功耗过高
  • D.显存容量不足

答案:B。出口管制关注最终用户与用途,海淘 H100 属于绕过管制形成灰色渠道,一旦被审计将面临罚款和实体清单风险。固件、功耗、显存都是产品层面问题,不是合规风险。