Interleaved交叉流水线实战

可视化演示

通过动态时序图展示交叉流水线调度的虚拟阶段分配、V值对气泡率的影响，以及TP/DP/PP三维并行拓扑结构，直观理解大模型训练并行策略。

气泡成因分析

回到后厨。四位师傅排成流水线，第一道工序没做完，第二位师傅就只能擦灶台。这里的本质是：每桌菜必须按顺序经过四道工序，谁也不能跳过自己前面的步骤。模型训练里的“前向传播”就是这样——第1层的输出才能喂给第2层，第2层的输出喂给第3层，层层递进、天然串行。

在流水线并行中，我们把模型按层切成几段，每个GPU负责一段。但训练是一个接一个的小批量（microbatch）轮流来的。当第一个小批量刚进入第1段时，第2、3、4段都是空的；当第一个小批量终于走到最后一段时，第1段又开始空转等待新的小批量排队。这些空转时段就是气泡（bubble）。

气泡率可以用一个简单的公式刻画。假设流水线有 \(p\) 个阶段（对应 \(p\) 个设备），一次训练要跑 \(m\) 个小批量：

想象四位师傅带四桌客人：第一位师傅切菜时三位等着，最后一位师傅上菜时前面三位又等着——只有中间一小段时间大家同时忙碌。设备越多、单批数据切得越少，空等的比例就越吓人。

虚拟阶段切分

既然气泡来自“任务太大块、串行太僵硬”，那能不能把每道工序再切细一点？在Interleaved方案里，我们给每个设备多分几份更小的任务，这些更小的任务叫做虚拟阶段（virtual stage）。

虚拟阶段怎么切呢？把每个完整的模型阶段再切成若干层组，然后让每个设备轮流领好几组。比如原本一个设备负责第1~4层，现在切成两块：设备0负责第1~2层和第9~10层，设备1负责第3~4层和第11~12层……这样每个设备手里有 \(v\) 份“小任务”。虚拟阶段总数变成了 \(V = p \times v\)。

气泡率公式也随之改写。用设备数 \(p\)、每个设备的虚拟阶段数 \(v\)、微批数 \(m\) 表示：

把四道大菜各切成两盘，四位师傅手里各有两盘小菜，配合起来就能交叉着做。虚拟阶段数 \(v\) 就像“切菜刀工”的精细度——切得越细，空等越少，但切太多也会累（后面讲通信开销）。

交叉调度策略

有了虚拟阶段，怎么安排执行顺序？这就是交叉调度：让不同微批的任务在各设备间轮转交织，像交叉编织一样把空闲缝隙填满。

还是后厨的例子。四位师傅、每桌四道小菜。师傅A先做A桌第1道小菜，做完立刻做B桌第1道小菜，再做C桌、D桌；与此同时师傅B已经拿到了A桌第2道小菜开始炒……每一轮师傅们都在做“不同桌、同一顺序”的小菜，而不是“同一桌、全部顺序”。这样整个流水线的节奏变成了多桌并行推进，任何一位师傅做完手头小菜，下一道小菜已经摆在台面上。

在训练中，这一步对应调度器对微批的切分与轮转。设备 \(d\) 负责的虚拟阶段编号为 \(d, d+p, d+2p, \dots\)，每个微批按固定步长在这些虚拟阶段间流动。稳态时每个时间步所有设备都有活干：

交叉调度本质上是“用任务交错换取时间连续”。它不需要改变硬件，只需要调度器更聪明地安排顺序，就能让原本闲置的算力跑起来。

通信开销控制

切细和交错不是免费的。后厨里每做完一盘小菜，就要端给下一位师傅——切得越细，端盘子的次数就越多。在分布式训练里，“端盘子”就是GPU之间的张量通信，它同样消耗时间。

原本每个微批在阶段间只需传输一次张量；切成虚拟阶段后，每个微批要跨越 \(V-1\) 次设备边界，通信次数变成了原来的 \(v\) 倍。好的一面是，单次传输的数据量变小了（因为每段模型层数变少），通信总量基本不变；坏的一面是，通信的启动开销和同步等待会累积。

好消息是，通信可以和计算重叠。GPU在等待下一段张量到达时，可以先算本地已有的其他微批任务。类比后厨：传菜的小工把菜端走的同时，师傅已经在炒下一道小菜，并不需要干等。通信隐藏的效果可以这样理解：

通信开销是Interleaved的“隐藏税”。配置时不能只盯着气泡率，还要看集群的通信带宽和拓扑，否则切得过细会让“端盘子”变成新的瓶颈。

并行方式配合

Interleaved不是孤立存在的，真实的分布式训练通常同时使用数据并行（DP）、张量并行（TP）和流水线并行（PP）。它们像后厨的三种优化手段：DP是“多开几个灶台同时做同样的菜”，TP是“一道菜多位师傅合作炒”，PP是“按工序排流水线”。

三种并行方式的维度互不冲突，可以叠加使用。数据并行复制模型的多个副本，每个副本吃不同的数据；张量并行把某一层的计算拆到多卡上合作完成；流水线并行把不同层分配到不同设备串联。三者组合起来就是经典的3D并行：

实际部署时，通常把张量并行放在同一台机器内（走NVLink高速互联），把流水线并行放在机器之间，数据并行维度放在最外层。Interleaved则在PP内部生效，让每一段流水线都更加饱满。

工程实战配置

理论说完了，真正落地时怎么调参？这是Interleaved最考验经验的地方。核心旋钮有三个：虚拟阶段数 \(v\)、微批数 \(m\)、通信带宽。

虚拟阶段数不是越大越好。每台设备分到的虚拟阶段数必须能被设备数整除（即 \(V\) 是 \(p\) 的整数倍），且一般从 \(v=2\) 起步。增大 \(v\) 能降气泡，但通信次数线性增加、调度复杂度变大、显存占用也可能上升。工程上的常见做法是先固定 \(v=2\) 跑通，再逐步增大观察端到端吞吐。

微批数 \(m\) 与气泡率直接相关：\(m\) 越大，流水线越“饱满”。但每个微批都需要保存中间激活用于反向传播，显存会随 \(m\) 增长。所以 \(m\) 的上限由显存决定，通常做法是先用小 \(m\) 跑通，再在显存允许范围内尽量调大。气泡率对两个参数的敏感性可以统一写成：

实战调参就像调后厨的排班表：先保证每盘菜的量（显存）装得下，再尽量多分几桌（增大 \(m\)），最后微调切菜刀工（\(v\)），找到气泡和通信之间的最佳平衡点。记住一个朴素原则——任何调参都要用端到端吞吐来验证，不能只看某一项指标。

AI 应用场景

Python 演示

def build_schedule(p, m, v=1):    """生成调度表并统计气泡率。    v=1 表示传统流水线，v>1 表示 Interleaved。    返回: (busy_slots, total_slots, bubble_rate)    """    V = p * v    total_time = m + V - 1    busy = 0    for t in range(total_time):        for d in range(p):            has_task = False            for s in range(m):                # 设备 d 持有虚拟阶段 d, d+p, d+2p, ...                for vk in range(d, V, p):                    if s + vk == t:                        has_task = True                        break                if has_task:                    break            if has_task:                busy += 1    total = total_time * p    return busy, total, 1 - busy / total  def main():    p, m = 4, 4    print("=== 传统流水线 (v=1) ===")    busy1, total1, bubble1 = build_schedule(p, m, v=1)    print(f"忙碌格点: {busy1}/{total1}, 气泡率: {bubble1:.2%}")     print("=== Interleaved (v=2) ===")    busy2, total2, bubble2 = build_schedule(p, m, v=2)    print(f"忙碌格点: {busy2}/{total2}, 气泡率: {bubble2:.2%}")     print("=== Interleaved (v=4) ===")    busy4, total4, bubble4 = build_schedule(p, m, v=4)    print(f"忙碌格点: {busy4}/{total4}, 气泡率: {bubble4:.2%}")  if __name__ == "__main__":    main()

1. total_time = m + V - 1计算整个调度周期的总时间步数，这是流水线的“总工期”。
2. for d in range(p)遍历每个设备，统计每个设备在所有时间步是否有活干。
3. for vk in range(d, V, p)设备d负责的虚拟阶段编号按步长p分布，这是Interleaved交叉分配的数学表达。
4. busy += 1只要任一虚拟阶段在该时刻有微批在执行，就记一个“忙碌格点”。
5. 1 - busy / total忙碌格点占比的补数就是气泡率，设备空闲的比例一目了然。

常见误区

面试题