混合并行策略选择指南

可视化演示

动态演示混合并行策略选择指南的核心机制，通过总览/传输/转换/输出四种模式展示关键概念与交互流程。

并行全景图

「小灶台」生意爆满，你准备扩店。摆在面前的无非三条路：开分店让每个店都有一份菜谱、把一道菜拆开让几位厨师合炒、按工序把后厨排成流水线。这三条路对应大模型训练里的数据并行、张量并行、流水线并行。注意，它们不是互斥的，而是三个可以任意叠加的维度。

那到底怎么选？核心判断标准是「瓶颈在哪」。如果模型不大但数据海量，瓶颈在数据处理速度，开分店最划算；如果单个层大得一张卡都放不下，瓶颈在显存，就得合炒；如果模型特别深，层数上百，瓶颈在整条计算链太长，就用流水线。餐厅老板的第一课：别一上来就三路全开，先看哪块最卡。

理想情况下，多请一位厨师，出菜速度就翻一倍。但现实是厨师之间要喊话、要递菜、要等位，这些开销会吃掉一部分收益。于是我们有这样一个基准公式：

理解了这张全景图，你就能明白：并行选型的本质，是在「多请人」和「多沟通」之间找平衡。接下来我们逐个看三种并行各自的擅长与代价。

数据并行

开分店的逻辑很简单：同样的菜谱复制三份，三家店同时营业，每家用不同的客人订单做菜。对应到训练里，就是把模型权重复制到 N 张卡上，把训练数据切成 N 份，每张卡各算各的。这是最直觉、也最常见的并行方式。

但分店有个隐藏成本：每天打烊后，三家店的店长必须碰头，把自己今天的火候心得（梯度）汇总成一份新菜谱（更新权重）。这个「碰头」的频率是每个训练步都要做一次的，谁也逃不掉。数据并行最怕的就是模型太大——菜谱越厚，碰头时要交换的内容就越多。

这引出了数据并行最重要的通信量公式：每步梯度同步的通信量大约等于两倍的模型体积。

所以数据并行最适合「模型不大但数据极多」的场景。如果你的模型已经大到一张卡装不下，单纯开分店是行不通的——因为根本没有一张卡能放下整本菜谱。这时候，就需要请几位大厨合炒一道菜了。

张量并行

佛跳墙这道菜太复杂，一位厨师连锅都端不动。你的解决办法是：让四位厨师围着同一口锅，一个管鲍鱼、一个管鱼翅、一个管花胶、一个管高汤，炖完再把四个人的成果拼成一盘端出去。张量并行就是这个思路：把神经网络的一层矩阵运算拆成几块，分给多张卡一起算。

张量并行切的是「一层内部」，而不是层与层之间。比如一个庞大的矩阵乘法，按行或按列切成 n 块，每张卡只算自己那一块，算完后再拼接。它最大的价值是解决「单层太大」——当隐藏层维度大到单卡显存放不下时，只有它能救场。

但合炒的代价极其昂贵：每做完一层运算，四张卡都要互相传一次半成品数据。层数越多，喊话次数越多。它的核心公式是拼接：

张量并行对通信带宽的要求极高，所以它通常只在同一台机器内使用——机器内部有 NVLink 这种高速通道，喊话几乎不费时间。一旦跨了机器，网络带宽立刻成为瓶颈。如果你的集群是机器之间用千兆网连的，TP 的度数要慎重。

流水线并行

如果餐厅的菜特别多工序——洗菜、切菜、炒菜、装盘——与其让每个厨师从头到尾做一道菜，不如按工序把后厨分成四段，每人专攻一段，菜一道接一道地往后传。流水线并行就是按神经网络的层来切：前几层放第一张卡，中间几层放第二张卡，以此类推。

流水线最大的优势是省显存——每张卡只需要存自己那一段的权重和中间结果，不用背下整个模型。但同时它有个著名的毛病：气泡。想象一下，第一道菜还在洗菜师傅手里，切菜师傅已经闲下来了，只能干等。这种「上游没传完、下游没事干」的空闲时间，就是气泡。

想要气泡变小，方法是一次多送几道菜进门——把一个大 batch 拆成很多个小 batch（micro-batch）连续送进流水线。气泡占比的公式如下：

流水线并行适合层数特别深的大模型，它把显存压力摊到了多张卡上。但要注意：流水线的级数不是越多越好。P=8 时气泡占比明显高于 P=2，把 1024 层拆成 64 段并不一定比拆成 16 段快——级数越多，传菜排队的时间反而越长。

组合搭配

现实中的大模型训练，极少只用一种并行。就像大型餐饮集团既开分店、又在大厨房里合炒、还把后厨排成流水线一样，三种策略是在三个不同维度上叠加的：数据并行切数据、张量并行切层内、流水线并行切层间。它们互不冲突，它们的关系是相乘的。

组合时有一条铁律：所有维度的并行度相乘必须等于总卡数。如果你有 64 张卡，想用 4 路数据并行、2 路张量并行、那么流水线并行度就是 64 ÷ (4 × 2) = 8。这条公式是所有并行方案设计的起点。

实际组合时还有个经验法则：通信最频繁的维度放最近的地方。张量并行每层都要通信，所以优先放在同一台机器内部；流水线并行每个 micro-batch 通信一次，可以跨机器；数据并行每个训练步才通信一次，最适合放在最远的网络层级。先定通信拓扑，再分配并行度，顺序一定不能反。

规模选型

有了上面的工具，我们来看看不同规模的「餐厅」该怎么配置人手。

小模型（10 亿参数以下）：一本菜谱一个厨师就能端得动，单卡训练即可，完全不需要并行。非要上并行反而会引入通信开销，越搞越慢。中等模型（7B~13B 参数）：单卡 80G 显存勉强能放下，这时优先用数据并行或 FSDP（一种把优化器状态也切分的数据并行变体），因为通信只在梯度同步时发生一次，性价比最高。

大模型（70B 参数级）：单卡肯定装不下完整权重，需要张量并行 + 流水线并行先解决显存，再把多份副本做数据并行扩大吞吐。这就是经典的 3D 并行。千亿参数以上：三路全开已是标配，通常 TP=8、PP=8~16、DP 按剩余卡数填。显存估算有一个经验公式：

选型的结论可以浓缩成一句话：小模型用 DP，中模型用 FSDP，大模型上 TP+PP，超大模型三路全开。重要的不是记住某个具体配置，而是掌握「先算显存、再看通信、最后定维度」的决策顺序。

链路瓶颈

再好的分工方案，也可能被「传菜通道」卡死。餐厅里传菜的小窗口只有巴掌大，厨师们就算手脚再快，菜堵在窗口一样白搭。分布式训练里，这个窗口就是网络带宽。三种并行对带宽的胃口完全不同：TP 每层都要吃带宽，PP 每个 micro-batch 吃一次，DP 每个训练步才吃一次。

另一个隐形瓶颈是负载不均。流水线里如果切菜工序比炒菜慢一倍，炒菜师傅就得隔三差五地闲下来；张量并行里如果某块矩阵比其他块大，算得快的卡就得等慢的卡。因此设计并行时，要尽量让每一段计算量大致相等，否则「木桶效应」会拖垮整体。

判断系统是否被通信拖累，可以用一个效率公式——计算时间占总算时间的比例：

排查瓶颈时，先用 profiler（性能分析工具）看每张卡的 GPU 利用率：如果利用率长期低于 80%，要么是通信在等，要么是负载不均。然后对照网络拓扑图检查 TP 是否跨了机器、PP 的每个 stage 是否均衡。大多数训练变慢的问题，到最后都出在这两个环节，而不是模型代码本身。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""并行策略推荐器: 给定模型参数量与GPU数量, 推荐DP/TP/PP组合."""import math  def est_mem_gb(num_params_b: float, tp: int, pp: int) -> float:    """经验估算每卡显存(GB): 权重被 tp*pp 切分, 数据并行不省显存."""    bytes_per_param = 16  # 参数+梯度+优化器状态+激活的粗略合计    total_bytes = num_params_b * 1e9 * bytes_per_param    return total_bytes / (tp * pp) / 1e9  def comm_score(tp: int, pp: int, dp: int) -> float:    """通信代价经验分: 张量并行最高, 流水线其次, 数据并行最低."""    return tp * 10.0 + pp * 3.0 + dp * 0.5  def recommend(num_params_b: float, num_gpus: int, gpu_mem_gb: float = 80.0):    """枚举合法组合, 选通信代价最低且每卡显存不超限的方案."""    best = None    for tp in (1, 2, 4, 8):        for pp in (1, 2, 4, 8):            if tp * pp > num_gpus or num_gpus % (tp * pp) != 0:                continue            dp = num_gpus // (tp * pp)            if est_mem_gb(num_params_b, tp, pp) > gpu_mem_gb:                continue            score = comm_score(tp, pp, dp)            if best is None or score < best[0]:                best = (score, dp, tp, pp)    if best is None:        raise ValueError("当前集群装不下该模型, 请增大TP/PP或换大显存卡")    return {"dp": best[1], "tp": best[2], "pp": best[3]}  def main():    cases = [        ("7B 模型, 8 张 80G 卡", 7, 8),        ("13B 模型, 16 张 80G 卡", 13, 16),        ("70B 模型, 64 张 80G 卡", 70, 64),        ("175B 模型, 256 张 80G 卡", 175, 256),    ]    for name, b, gpu in cases:        cfg = recommend(b, gpu)        print(f"{name}: DP={cfg['dp']} x TP={cfg['tp']} x PP={cfg['pp']}")  if __name__ == "__main__":    main()

1. est_mem_gb(num_params_b, tp, pp)用 16 字节/参数的经验公式估算每卡显存，TP 和 PP 会切分权重，DP 不切，所以只除以 tp×pp。
2. comm_score(tp, pp, dp)给三种并行赋不同的通信权重：TP 通信最频繁所以权重 10，PP 其次权重 3，DP 最低权重 0.5，方便排序。
3. num_gpus % (tp * pp) != 0: continue确保 DP 的副本数是整数，不存在「半张卡」的情况。
4. dp = num_gpus // (tp * pp)卡数先被 TP 和 PP 瓜分，剩下的就是数据并行度，直接对应用餐厅比喻里「分店数量」。

常见误区

面试题