流水线与张量并行组合方案

可视化演示

展示BST的插入构建、查找路径和中序遍历过程，切换模式查看核心操作的不同执行流程。

组合背景动机

回到婚宴的比喻。100 桌宴席、每桌 10 道菜，你发现光有“按菜切流程”还不够：有一道硬菜本身太大，单独一个工位的厨师也端不动。此时必须再叫几位厨师围在同一道菜前，一人切肉、一人配菜、一人掌勺、一人装盘——这就是“同菜分人做”。也就是说，流水线负责把菜谱切成段落，张量并行负责把某一道巨型硬菜再切成小块分给多人。两个维度叠加，才装得下真正的满汉全席。

技术世界里，这一幕每天都在发生。大语言模型的参数从 10 亿涨到 1750 亿（如 GPT-3），单张 A100 显卡只有 80GB 显存，而 1750 亿参数仅权重一项用 FP16 存储就需要约 350GB，单卡连参数都放不下，更别提训练还要存梯度和优化器状态。于是训练框架引入了三种切分：数据并行复制多个完整模型、流水线并行按层切段、张量并行把每一层的权重矩阵切开。当模型大到“层数很多”和“单层很大”两个问题同时出现时，流水线和张量并行就必须组合上场。

组合并行在业界常被称为“3D 并行”，因为三个并行维度像一个三维立方体，每个维度管一件事。要算总共需要多少张显卡，只需把三个维度的并行度乘起来：

回到比喻：饭店最终的总人手，从来不是简单相加，而是“几个厨房 × 每厨房几个工位 × 每工位几位厨师”。理解了这三个维度各自的角色，下面就能看清它们各自负责切什么了。

并行维度对比

假设你现在当上了这家大饭店的厨师长，手里有一本 32 层的菜谱。三种分工方式各有各的切法：按“菜”切，是把第 1 到第 8 道菜分给工位一、第 9 到第 16 道菜分给工位二——这是流水线并行，切的是模型的“层序列”；按“菜里的原料”切，是让四位厨师同时做同一道菜，一个切肉、一个切菜、一个掌勺、一个装盘——这是张量并行，切的是某一层内部的“权重矩阵”；整间厨房复制一份，搬到隔壁再开一套同样的流水线——这是数据并行，切的是“数据的批次”。

从技术上看，三个维度有着本质区别。流水线并行把 Transformer 的层序列切成 P_pp 段，每张卡只持有其中一段的完整参数，工位之间只传递“半成品”（每层的输出激活张量），通信稀疏。张量并行则把每一层内的 QKV 投影矩阵、MLP 全连接矩阵按行或列切开，同一层的多张卡需要频繁同步彼此的中间结果，通信密集。数据并行不减少任何一张卡的模型显存——每个副本都拿着完整模型，它只负责用不同数据喂出梯度再互相平均。

三种切法对显存的影响也可以直接算出来。模型参数被流水线和张量两个维度同时分摊，每张卡存放的模型参数占比为：

一句话回扣：储物柜的存货，被“分段”和“分块”两个动作共同摊薄；但要小心，张量并行摊薄显存的同时，也带来了每层都要发生的沟通成本——这正是下一节要平衡的重点。

切分组合策略

既然两个维度要一起上，先切哪个？回到厨房：你得先确定每道菜属于哪个工位（流水段），再决定这道菜由几个人合作（张量切分）。顺序不能反——如果先让四位厨师围着一道菜切好料，却发现这道菜被分到了两个不同的工位，料就白切了。同理，组合并行必须“先划层、后切权”：先把 N 层模型均匀分给 P_pp 个流水级，再把每个流水级内部的每一层权重矩阵按 P_tp 切块。

具体操作上有两条硬性规则。第一，层的总数必须能被流水线并行度整除，否则各工位分到的层数不均匀，层数少的工位会提前完工空转，层数多的工位拖垮整个流水线。第二，每一层的注意力头数必须能被张量并行度整除，因为多头注意力是按“头”分组的——张量并行把 32 个注意力头分给 4 张卡，每卡负责 8 个头；如果头数除不尽，某些卡就会多分到半个头，权重形状直接对不上。

这两个维度分别决定了“每一级有几层”和“每张卡有几个头”，可以用两个式子同时刻画：

回到比喻：菜单要先排好菜序，再给每道菜分人手；同理，先定流水段边界（哪些层在哪个工位），再在段内做张量切分（矩阵怎么分块）。切分方案落定之后，下一个绕不开的问题是：料怎么传？

通信拓扑设计

四位厨师围着同一个烤炉做烤全羊，切配师傅每切下一块肉就要递给掌勺师傅，一来一回极其频繁——这是张量并行：同层的多张卡每算一小步就要做一次 All-reduce 全量同步，频率极高。而工位之间传菜就从容得多：备菜台把装好盘的凉菜用手推车推到下一个工位，一桌只推一次——这是流水线并行：只在工位边界传递一次激活张量，频率低得多。

这种频率差异直接决定了硬件选型。张量并行的 All-reduce 发生在每一层的前向和反向中，一个 Transformer 层大约要同步 4 次，而且必须等到同步完才能继续算下一步，属于“卡着算”的同步通信，必须走 GPU 之间的 NVLink 高速互联。因此张量并行度绝不能超过一个节点内的 GPU 数量——节点内 NVLink 是全互联的，跨节点只能走慢得多的 InfiniBand 或以太网。流水线并行则不同：它只在工位边界做点对点传输，单次数据量大但次数少，可以搭配异步流水线做“边算边传”，用通信与计算重叠来隐藏延迟。

把通信量写成公式，能直观看到两者量级差异。设层数为 N_layer，批次、序列长度、隐藏维度乘积为 bsh：

回到厨房画面：调料小碟要放在伸手可及的地方（NVLink 同节点），传菜推车可以走远路（IB 跨节点）。搞清了这个主次关系，下一步就要算一算：分工带来的显存节省，和等人等料造成的空转，到底怎么权衡？

显存计算平衡

储物柜和灶台的矛盾来了。分工越细，每位厨师手边要放的原料越少（显存越省），但互相递料的次数越多（通信越贵）；流水段切得越多，工位之间传菜越频繁，而且一道菜在上下游之间的等待时间也越长——这就是“气泡”。气泡指的是流水线上某些工位没活干、干等着的时间，好比婚宴上宾客还没吃完凉菜，热菜工位的厨师只能站在灶台边看着火发呆。

更精确地说，显存账单由三部分构成：模型参数与梯度、优化器状态、激活值（每层的中间输出，相当于做菜过程中的半成品）。流水线和张量并行组合能显著压缩第一部分——参数按两个维度分摊。但第二部分激活值有个特点：它不随张量并行度线性下降（LayerNorm、Dropout 等算子仍然需要全量激活），而是主要和“同时有多少个微批次在流水线上”成正比。至于第三部分，优化器状态也要按参数占比同步分摊。

于是工程上真正要权衡的是“流水线级数”和“微批次数量”对气泡的影响。当有 P_pp 个流水级、把一个大批次切成 M 个微批次时，气泡占比有一个经典的估算公式：

一句话回扣：省下来的储物柜空间，有一部分被“等人等料”的时间悄悄吃掉了。为了不让空转太难看，业界发明了错峰上菜的调度办法——这正是下一节的主角。

调度分配策略

婚宴上菜不能等第 1 桌的 10 道菜全部做完再上第 2 桌，那样第 2 桌客人要饿到半夜。聪明的厨师长会错峰：第 1 桌的凉菜刚端出去，备菜台就开始备第 2 桌的凉菜；第 1 桌的热菜下锅时，第 2 桌的凉菜已经上桌。训练大模型也是这个道理，把一个大的训练批次切成 M 个微批次（micro-batch），让它们像流水一样一个接一个涌进流水线。

最早的 GPipe 方案是“先全部前向、再全部反向”：所有微批次先从前到后做完前向，攒下一大堆激活值，然后再从后到前做反向。这样做实现简单，但所有微批次的中间结果必须同时存活，显存峰值极高——相当于把 100 桌的半成品菜全堆在厨房台面上。后来提出的 1F1B（One-Forward-One-Backward）调度则规定：每个工位做完一个微批次的前向，只要条件允许就立刻做反向，前向反向交替进行。这样流水线上同时存活的微批次数量被压到大约一个流水线级数 P_pp，显存峰值大幅下降。

1F1B 的显存占用可以概括为：常驻的参数、梯度、优化器状态（M_参数），加上最多 P_pp 份微批次激活值：

回到宴席：1F1B 的精髓是“随做随清”，不让半成品堆满整个后厨。前向、反向交错推进，显存峰值被压住，气泡也被微批次填掉大半——调度方案定好了，最后一步就是把这一切写进训练框架的配置文件。

工程配置实践

现在你已经是这家大饭店的厨师长了，手里攥着一份排班表。最流行的开源框架 Megatron-LM 里，排班表就两行参数：--tensor-model-parallel-size 控制张量并行度（几位厨师合做一道菜），--pipeline-model-parallel-size 控制流水线并行度（几个工位接力）。下面是一个 TP=8、PP=8 的典型配置：

配置时记住三个口诀。第一，“TP 不出节点”：张量并行度上限是单节点 GPU 数，8 卡的节点最多 TP=8，因为张量通信必须走节点内 NVLink。第二，“PP 受整除约束”：流水线并行度必须能整除模型层数，32 层模型可以 PP=8（每级 4 层），但不能 PP=12。第三，“DP 最后补足”：确定 TP 和 PP 后，用数据并行度把剩余 GPU 填满，即 N_GPU = DP × TP × PP。经验上，训练千亿模型常用 TP=8、PP=8、DP 视集群规模取 2 到 16。

排查问题时也按这个顺序来：先看整除约束是否满足，再看 TP 是否跨了节点，最后用性能分析工具（如 PyTorch Profiler、Nsight Systems）看通信时间占比。两个整除约束是配置文件能跑起来的前提：

回到厨房：排班表最终要回答三个问题——几个厨房（DP）、几个工位（PP）、每工位几个人（TP）。口诀“TP 不出节点、PP 看层数、DP 补位”就是所有大模型训练团队的共同经验。组合并行的原理与配置，到此闭环。

--tensor-model-parallel-size 8 \--pipeline-model-parallel-size 8 \--micro-batch-size 1 \--global-batch-size 256

AI 应用场景

Python 演示

"""Demo of 3D parallel plan enumeration: check divisibility and bubble ratio"""  class ParallelConfig:    def __init__(self, layers, heads, gpus_total, gpus_per_node,                 n_microbatches):        self.layers = layers        self.heads = heads        self.gpus_total = gpus_total        self.gpus_per_node = gpus_per_node        self.n_microbatches = n_microbatches     def find_plans(self):        """Enumerate feasible (data_parallel, tensor_parallel, pipeline_parallel)"""        plans = []        for p_tp in (1, 2, 4, 8):            if self.heads % p_tp != 0:                continue            if p_tp > self.gpus_per_node:                continue            for p_pp in (1, 2, 4, 8, 16):                if self.layers % p_pp != 0:                    continue                if self.gpus_total % (p_tp * p_pp) != 0:                    continue                p_data = self.gpus_total // (p_tp * p_pp)                plans.append((p_data, p_tp, p_pp, self.bubble_ratio(p_pp)))        return plans     def bubble_ratio(self, p_pp):        """Bubble ratio = (pp - 1) / (pp + microbatches - 1)"""        return (p_pp - 1) / (p_pp + self.n_microbatches - 1)  def main():    config = ParallelConfig(layers=32, heads=32, gpus_total=64,                            gpus_per_node=8, n_microbatches=32)    print("64 GPUs / 8 per node: feasible 3D parallel plans")    for p_data, p_tp, p_pp, bubble in config.find_plans():        print("  data=%2d  tensor=%d  pipeline=%2d  bubble=%.1f%%"              % (p_data, p_tp, p_pp, bubble * 100))  if __name__ == "__main__":    main()

1. if self.heads % p_tp != 0:注意力头数必须能被张量并行度整除，否则多头注意力无法按整“头”均分。
2. if p_tp > self.gpus_per_node:张量并行度不能超过单节点卡数，否则 All-reduce 要走慢速跨节点网络。
3. if self.layers % p_pp != 0:层数必须能被流水线并行度整除，保证每个工位分到的层数一致。
4. p_data = self.gpus_total // (p_tp * p_pp)用总卡数反推数据并行度，凑满 N_GPU = DP × TP × PP 的 3D 组合。
5. return (p_pp - 1) / (p_pp + self.n_microbatches - 1)气泡率公式：级数越大气泡越大，微批次越多气泡越小（但显存会涨）。
6. for p_data, p_tp, p_pp, bubble in config.find_plans():遍历所有可行方案并打印气泡率，便于对比选型。

常见误区

面试题