3D并行训练架构

可视化演示

动态演示3D并行训练架构的核心机制，通过架构/数据/状态/性能四种模式展示关键概念与交互流程。

三种并行模式：一张三维蓝图

筹备千人宴，主厨掰着手指说：一个灶台炒不了千人的菜。他准备了三件法宝——第一，把整个厨房原样复制到隔壁楼里，两间厨房同时开工；第二，把最大的炒锅切成四份，四位厨师各占一角同时翻炒；第三，把炒菜流程拆成“备菜→烹调→装盘”，每个工位各有专人。三件法宝叠在一起，就是一张三维厨房蓝图。

在深度学习训练中，这三件法宝分别对应数据并行、张量并行和流水线并行。数据并行（DP）：每张 GPU 持有一份完整模型副本，各吃一批不同的训练数据，最后把梯度汇总。张量并行（TP）：把某层的权重矩阵按行或列切开，让多张 GPU 合作完成一次矩阵乘法。流水线并行（PP）：把几十上百层网络按层切段，设备 i 只负责其中一段。三者分别从“样本维度、层内计算维度、层间序列维度”分开下刀。

把三种切分组合起来，总 GPU 数量等于三个维度数字之积：

这个公式揭示了 3D 并行的第一原则：三个方向的切分度相乘，正好得到总设备数。实际部署时，通常先在节点内切 TP，再用 PP 连接不同层段，最后用 DP 复制整个链条来提高吞吐——三个数字共同决定集群怎么组织。

主厨把三种切法叠在一起，发现整体是一个“分层大网格”：数据并行沿样本方向复制，张量并行在每层内部横切，流水线并行沿层序列纵切。这就是“3D 并行”名字的由来。

数据并行详解：多厨房同时开火

主厨在东西两楼各布置一间一模一样的厨房，厨师照着同一本菜谱，只是每间厨房分到不同的食材批次。每天收工后，两间厨房的厨师把各自调出的味道笔记（梯度）拿到中央台面比对，取一个平均值，再统一照着平均值调整明天的火候。第二天，两间厨房继续同步开火。

数据并行是三种并行里最直观的一种：把训练数据集按 batch 维度切成 $D_p$ 份，每张 GPU 拥有完整的模型参数副本。每个训练步，各副本独立完成前向和反向，计算出各自的梯度。为了保持参数一致，需要对所有梯度做一次平均。

梯度平均由集合通信里的 AllReduce 原语完成。设第 $i$ 个副本算出梯度 $g_i$，则最终平均梯度为：

这个公式看起来简单，但每一次 AllReduce 都要把所有梯度的字节从所有卡传到所有卡，通信量随参数量线性增长。因此在 3D 并行中，数据并行通常承担“扩吞吐”角色：它把吞吐扩大 $D_p$ 倍，同时只需在每步结束时花一次通信开销。

数据并行的好处像开分店：厨房越多，批次吞吐越大。但主厨很快意识到，若只有分店而没有店内配合，每间厨房还是放不下一整套锅具——这正是张量并行出场的原因。

张量并行详解：切开一口巨锅

千人宴的招牌菜是一张比圆桌还大的千层披萨，一口锅根本烙不下。主厨把披萨面饼切成四等份，四位厨师各拿一个测温计同时烤，出锅后再拼回完整形状上桌。切开的不是“菜谱”，而是“菜本身”。

张量并行切的是模型层的权重矩阵。以最常见的线性层 $Y = XW$ 为例，$X$ 是输入激活，$W$ 是权重。若把 $W$ 按行切成两块 $W_1, W_2$，分别放到两台设备，那么输入也要相应切成 $X_1, X_2$。每台设备先算自己的局部矩阵乘，再通过一次 AllReduce 把两个局部结果相加：

这个公式揭示了张量并行的本质：把一次大矩阵乘法拆成若干个小矩阵乘法，让多卡合作完成。矩阵乘法在每个 Transformer 层中会出现几十次，因此张量并行必须在层与层之间都保持同步，通信频率极高。它要求设备间用最快的互连（如 NVIDIA NVLink）连接——这也是为什么张量并行几乎不会跨机柜。

主厨总算明白：披萨切得越细，灶位越省地方，但拼回完整披萨时需要的“拼盘手势”（通信）越频繁。要是把切披萨的厨师安排在相隔两层的厨房，端菜跑一趟的时间就比做菜还长了。

流水线并行详解：后厨接力流水线

主厨把后厨改造成一条流水线：第一站洗菜切菜，第二站热锅翻炒，第三站装盘点缀。一道菜必须依次经过三个工位才能上桌。问题来了：如果一桌有十道菜，第一道菜正在第二站炒着时，第一站已经可以开始洗第二道菜——大家并行起来，出菜速度大幅提升。

流水线并行把一个大模型按层切成 $P_p$ 段，每个设备组只负责其中一段。与数据并行和张量并行不同，PP 让信息“串行流过”各段。为了让各段设备不空等，我们把一个 batch 进一步切成 m 个 micro-batch（微批次），让它们像排队进入流水线一样连续被处理。

流水线并行有不可避免的“气泡”：第一段设备最早开工也最晚收工；最后一段设备则要等前面的微批次送过来。气泡占比可以用利用率公式描述：

当 m 远大于 $P_p$ 时 U 接近 1，但 m 增大会占用更多显存（每个 micro-batch 的中间激活都要缓存）。实践中常用 1F1B（one-forward-one-backward）调度，让前向和反向交替下发，既保持高利用率又限制显存峰值。

主厨发现一个道理：工位砌得越多（$P_p$ 越大），每道菜在每个工位上的等待时间越长；把菜切得越碎（m 越大），流水线装得越满，但台面上待处理的食材（显存）也堆得越高。厨师要在“装得满”和“摆得下”之间找平衡。

GPU分配与通信设计：厨房空间魔法

主厨拿着图纸算水电：切披萨的老师傅必须站在同一间厨房里，隔着一堵墙传锅还能接受，隔两层楼就不行了；楼与楼之间只能用电动餐车送半成品，一趟能拉很多但速度慢；分店之间交换菜谱靠电话也能办，但对话回合太多。厨房的物理布局决定了工序能不能跑得快。

3D 并行里三种并行的通信特征完全不同。张量并行每个计算步骤都要高频交换中间结果，通信量最大，必须放在同一节点内用 NVLink 直连；流水线并行只在段间传递激活值，次数少但单次数据大，适合用 InfiniBand 等高速跨节点网络；数据并行每步收尾只做一轮梯度同步，次数少，以太网即可。

三种通信的耗时大致可以写成：

其中 V 是需要传递的数据量，B 是各层网络的带宽。因此分配 GPU 时有一条铁律：先把张量并行组安置在同一节点内，再按节点安排流水线并行段，最后把数据并行副本铺到不同节点和机架。

主厨最后总结：空间布局就是性能的隐形天花板。把切披萨的厨师放在同一屋檐下，把流水线工位放在同楼层，把分店隔得远一点反而没关系——因为分店之间一周才通一次电话。

3D并行部署调优：三管齐下的总谱

开工前夜，主厨把三项技术全部铺开：两个分店（DP=2）同时做宴席；每间厨房里四位厨师共用一口巨锅（TP=4）；后厨分为“蒸、炒、炖”三个工位（PP=3）。主厨需要在纸上验算：显存会不会爆、排队会不会太久、传菜会不会堵。

3D 并行本质上是三维正交切分：样本、层内、层间三个方向同时开刀。配置的目标是在 GPU 总数固定的前提下，让单卡显存放得下、通信时间尽量短、流水线气泡尽量少。通常的启发式是：先确定 TP 匹配节点内的 GPU 数，再为流水线选尽量少的段数，最后把剩余 GPU 全部用于数据并行。

一个常用的效率度量是“实际计算时间占总时间的比例”：

其中 $\eta$ 是端到端训练效率。工程上还会用“计算通信比”来诊断：某一步里算得很快但通信很慢，就考虑调低 TP；气泡占比高，就增加 micro-batch 数或减少 PP 段数。典型例子：64 卡训练 70B 模型，节点内 8 卡 NVLink，可取 TP=4、PP=2、DP=8。

主厨最终把总谱定为 8 分店 × 4 切锅 × 3 工位，既让每口锅都放进一张完整的食材台，又让每一层传送带的压力控制在可控范围。3D 并行的真谛，正是让三种并行在空间上各司其职、在时间上无缝咬合。

AI 应用场景

Python 演示

import numpy as np np.random.seed(42)  def shard(matrix, axis, parts):    """把张量沿指定轴平均切成 parts 片"""    return np.array_split(matrix, parts, axis=axis)  def predict_ref(x, w1, w2):    """单卡上的完整前向：两层感知机"""    h = np.maximum(x @ w1.T, 0)    return h @ w2.T  def predict_3d(x, w1, w2, dp=2, tp=2):    """模拟 3D 并行前向：    - 数据并行：把样本切成 dp 份，分别进入 dp 个副本    - 张量并行：把 w2 的输出维度切成 tp 片，拼回完整输出    - 流水线并行：w1 和 w2 代表两个阶段，串行执行    """    x_parts = shard(x, 0, dp)    w2_parts = shard(w2, 0, tp)    outs = []    for xp in x_parts:        stage1 = np.maximum(xp @ w1.T, 0)        # 流水线阶段 1        stage_out = []        for wp in w2_parts:            stage_out.append(stage1 @ wp.T)      # 每个 TP 设备算局部片        y = np.concatenate(stage_out, axis=1)     # 拼回完整输出        outs.append(y)    return np.concatenate(outs, axis=0)           # DP 副本结果拼回  def main():    x = np.random.randn(16, 32)    w1 = np.random.randn(64, 32)    w2 = np.random.randn(16, 64)     y_ref = predict_ref(x, w1, w2)    y_3d = predict_3d(x, w1, w2, dp=2, tp=2)     print("两种前向结果的最大误差:", np.max(np.abs(y_ref - y_3d)))    assert np.allclose(y_ref, y_3d, atol=1e-12)    print("3D 并行切分与原模型完全等价 OK")  if __name__ == "__main__":    main()

1. shard(matrix, axis, parts)用 np.array_split 沿指定轴切分，对应把矩阵按行/列切给不同设备。
2. x_parts = shard(x, 0, dp)把输入样本沿 batch 维切成 dp 份，对应数据并行把订单分给多个分店。
3. w2_parts = shard(w2, 0, tp)把第二层权重沿输出维切成 tp 片，对应张量并行切分权重矩阵。
4. stage1 = np.maximum(xp @ w1.T, 0)先过第一层线性变换加激活，对应流水线阶段 1。
5. stage_out.append(stage1 @ wp.T)每片权重与同一份激活做局部矩阵乘，对应每个 TP 设备的局部计算。
6. np.concatenate(stage_out, axis=1)把多片输出拼回，等价于完整权重一次算完。
7. np.allclose(y_ref, y_3d, atol=1e-12)断言两种路径数值一致，证明切分不改变数学结果。

常见误区

面试题