流水线并行：1F1B调度策略

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

流水线基础：把大模型“切开”的学问

回转寿司店的后厨，没有哪位师傅能独自完成从洗米、捏团到摆盘的全部工序。店长把流程拆成几段，每位师傅专精一段，寿司沿着传送带一份份往下传。大模型训练也是同一个道理——一个上百层的Transformer模型塞不进一张GPU，于是工程师把网络按层切成几段，每段由一个设备（GPU）负责，这就是流水线并行（Pipeline Parallelism）。

但切好还不够，还要决定“一次做多少”。如果一口气把一整批数据（比如128条样本）丢给流水线，每个工位都要等上一个工位把整批处理完才开工，效率极低。所以工程上再把总批次切成许多小份，每一份就叫一个micro-batch（微批量），像传送带上一碟碟的寿司。每个micro-batch按顺序流过所有stage，一个stage做完自己的那层计算，就把中间结果传给下一个stage。

具体来说，假设模型共有L层，被P个stage平分，每个stage负责其中的L/P层。训练样本总批大小B被切成N个micro-batch，每份大小b=B/N。数据像寿司碟一样依次进入流水线，每个设备只保存自己那几层的参数和梯度，显存压力被自然分摊。这里有两个必须记住的概念：前向传播是从输入算出输出，就像把食材加工成寿司；反向传播是根据损失算出梯度，就像收拾用过的盘子、记录下次哪里该改进。

$$N = B \div b$$

1. 总批量B：一次参数更新所覆盖的全部样本数，好比晚高峰接到的总订单量。

$$B$$

2. 切分份数N：把订单分成N碟，每碟是流水线上流动的最小单位。

$$N$$

3. 每碟份量b：每个micro-batch包含的样本数，决定案板上每碟的“占地面积”。

$$b = B \div N$$

流水线并行把大模型像寿司工序一样切开，再把数据按小碟分装。有了“切”和“分”，我们才能讨论接下来1F1B这部精密节拍器如何运转。

前后向节拍：1F1B的核心循环

店长立下的新规矩是“做一收一”。注意，厨师并不是每捏完一碟就非要立刻收拾同一碟的盘子——收拾动作要等客人吃完、盘子从远端传回来才行。1F1B的精髓在于：只要手头有活就干，优先做反向，腾不出手做反向时才做前向。于是每个micro-batch的前向和反向像齿轮一样交错啮合，整个厨房始终在运转。

所谓1F1B，全称是 One Forward One Backward，即“一个前向、一个反向”交替执行。每个stage完成某个micro-batch的前向计算后，不急着连续做下一个前向，而是先检查有没有已完成前向、可以立即做反向的micro-batch。如果有，就做那个反向；没有，才做下一个micro-batch的前向。

为什么需要这样的“插队”？看朴素调度就明白了。朴素调度（GPipe风格）先让所有N个micro-batch依次走完前向，直到最后一个micro-batch的前向结束，才开始逐一做反向。这导致两个严重问题：第一，每个stage必须把N份前向激活全部缓存下来等着反向使用，显存直接爆炸；第二，前向全部结束后、反向尚未开始时，流水线处于大段空转，GPU算力白白浪费。1F1B让反向任务穿插在前向之间，既及时释放激活，又让每个stage始终有计算可做。

每个micro-batch在一个stage上的完整节拍时间，可以简单记为：

$$T_{\text{step}} = T_f + T_b$$

其中 \(T_f\) 是前向耗时，\(T_b\) 是反向耗时。这个“节拍”是后面分析一切时间开销的最小单位。

1. 前向耗时T_f：把一份食材做成寿司（计算输出）所需的时间。

$$T_f$$

2. 反向耗时T_b：把一只用过的盘子收拾干净（计算梯度）所需的时间。

$$T_b$$

3. 完成节拍：这个micro-batch在这一工位上的总占台时间，前向反向各一次。

$$T_f + T_b$$

厨师捏一碟（前向）、收拾一碟（反向）、再捏下一碟，动作之间几乎无缝衔接。1F1B的“节拍感”就是大模型训练吞吐的命脉。

显存优化：从O(N)到O(1)

老规矩下，案板为什么会爆？因为所有厨师先一口气捏完N碟寿司，然后集体等客人吃完、盘子送回。等待期间，这N碟寿司的“食材状态”必须全部保留在案板上，供后续收拾（反向）时对照。到了大模型训练里，这些“食材状态”就是前向激活（activation）——每层计算出的中间结果，反向传播必须用到它们来求梯度。

在朴素调度中，一个stage要等它经手的N个micro-batch全部完成前向，才开始做反向，所以必须把N份激活全部暂存。显存占用随N线性增长，写作O(N)。1F1B打破了这种堆积：一个micro-batch的前向刚完成，它的反向很快就会跟上并释放激活，因此每个stage的案板上永远只有极少数碟子。

精确一点说，1F1B下每个stage大约同时持有 2份 micro-batch激活：一份是本地正在做前向的“生食材”，另一份是刚传给下游、正等待反向的“半成品”。于是两种策略的显存峰值对比一目了然：

$$M_{\text{naive}} \propto N \cdot m_0, \qquad M_{\text{1F1B}} \approx 2 \cdot m_0$$

其中 \(m_0\) 是一个micro-batch的激活体积。

1. 单碟体积m0：一碟寿司占的案板面积，即一个micro-batch的激活张量大小。

$$m_0$$

2. 旧策略缓存N份：所有寿司都摆在案板上等待收盘，占用随N线性增长。

$$M_{\text{naive}} = N \cdot m_0$$

3. 1F1B只留2份：一碟正在做、一碟等着收，案板空间与N无关。

$$M_{\text{1F1B}} = 2 \cdot m_0$$

显存占用从“要铺满整个晚高峰的订单”变成“只需两张碟的位置”。省下的显存可以用来加大微批次数、拉长序列，或直接塞进更大的模型——这正是1F1B最诱人的地方。

气泡减少：把空转压到理论下限

传送带空转是什么体验？回转带上没有寿司，客人干瞪眼，厨师也闲着——这叫流水线气泡（pipeline bubble）。在流水线并行中，气泡不可避免：第一批micro-batch需要时间逐级灌满流水线，最后一批也需要时间逐级排空，这两段时间里总有stage在等待。我们无法消灭气泡，但可以用1F1B把气泡压到理论下限。

气泡到底有多大？假设有P个stage、N个micro-batch，每个micro-batch在一个stage上的前向+反向总耗时为 \(T = T_f + T_b\)。理想情况下（通信被完全隐藏），流水线总墙钟时间为第一个micro-batch进入、到最后一个micro-batch离开所经过的时间：

$$T_{\text{total}} = (N + P - 1) \times (T_f + T_b)$$

而所有stage真正用于计算的总工时是 \(N \times (T_f + T_b)\)。两者之差就是气泡时间。于是气泡率为：

$$\text{Bubble} = \frac{(P-1)}{(N+P-1)}$$

1. 有效总工时：所有N碟寿司的制作加收拾时间之和，这是“真正干活”的量。

$$N \cdot (T_f + T_b)$$

2. 流水线总时长：传送带从第一碟开工到最后一碟收工的实际墙钟时间。

$$(N + P - 1) \cdot (T_f + T_b)$$

3. 气泡占比：总时长减去有效工时后除以总时长，化简即得气泡率公式。

$$\text{Bubble} = 1 - \frac{N}{N+P-1} = \frac{P-1}{N+P-1}$$

注意到P固定时，N越大气泡率越小。1F1B本身并不能比GPipe把气泡率降得更低（两者理想公式相同），但它因为显存占用低，可以承受更大的N，于是间接把气泡摊薄到几乎看不见——晚高峰订单足够多时，传送带自然全程不空转。

调度时序：温启动、稳定态与排空

一家回转寿司店一天的节奏：开门时，第一碟寿司慢慢摆上传送带，几个工位陆续开工；晚高峰时，所有工位全速运转；打烊时，最后一碟寿司被取走，传送带逐渐清空。1F1B的一个完整训练step，也精确地分为同样的三个阶段。

温启动（warm-up）：前 \(P-1\) 个micro-batch依此进入流水线。此时每个stage刚开始领到自己的第一个任务，越靠后的stage等待越久，气泡相对较多，就像刚开店时传送带上的寿司稀稀拉拉。稳定态（steady）：流水线被灌满后，每个时间步都有前向和反向任务同时在执行，所有stage几乎满负荷，这是吞吐最高的黄金时段。排空（drain）：最后 \(P-1\) 个micro-batch逐渐完成反向，流水线从尾到头清空，气泡再次出现，就像打烊前盘点的收尾阶段。

若令 \(T = T_f + T_b\)，则三个阶段合起来的总时长为：

$$T_{\text{total}} = \underbrace{(P-1)}_{\text{温启动}} \times T + \underbrace{(N-P+1)}_{\text{稳定态}} \times T + \underbrace{(P-1)}_{\text{排空}} \times T$$

这正是上一节总时长公式的展开形式。稳定态跨度 \(N-P+1\) 越大，整条流水线的有效工作时间占比就越高。

1. 温启动填充：前P-1个节拍把每个工位的第一个活补齐，气泡较多。

$$T_{\text{warm}} = (P-1) \times T$$

2. 稳定态满负荷：中间N-P+1个节拍前后向同时开工，利用率最高。

$$T_{\text{steady}} = (N-P+1) \times T$$

3. 排空收尾：最后P-1个节拍让所有寿司流转完毕，气泡再次出现。

$$T_{\text{drain}} = (P-1) \times T$$

理解了这三个阶段，你就能看懂1F1B的甘特图为什么总是“两头尖、中间胖”——和一家火爆寿司店一天的客流曲线如出一辙。调度时序的把握，直接影响你是否能准确预判训练任务的耗时。

工程实践：从公式到千卡集群

店长掌握了新规矩后，还得琢磨几个实际问题：每碟放多少料？高峰排几个班？传菜和结账能不能并行？1F1B从理论走向工程，同样绕不开这些细节。

第一，micro-batch数N怎么定？ 由气泡率公式可知，N越大气泡越小，但N过大会增加调度器负担和通信次数。工程实践通常取 N ≥ 4P，此时稳定态占比超过75%，理想气泡率不超过25%。第二，通信与计算重叠。 stage之间只需要传递边界层（切分处）的激活和梯度，1F1B天然让通信与计算重叠——前向数据送往下游的同时，本stage可以立刻开始另一个micro-batch的反向计算，GPU不会干等数据。第三，千卡集群中的3D并行。 流水线并行通常与数据并行、张量并行组合，形成3D并行。1F1B省下的显存意味着可以开更大的N，直接拉高整体利用率。

利用率 \(U\) 是衡量流水线健康度的核心指标，它与气泡率互补：

$$U = \frac{N}{N+P-1}$$

1. 利用率定义：所有stage实际干活的时间占墙钟时间的比例。

$$U = \frac{N \cdot T}{(N+P-1) \cdot T}$$

2. 化简结果：分子分母约去T，利用率只由N和P决定。

$$U = \frac{N}{N+P-1}$$

3. 工程经验值：当N不小于4倍P时，理论利用率可以超过80%。

$$N \ge 4P \Rightarrow U \ge 80\%$$

店长把“一碟多少料”和“排班节奏”调好，传送带在晚高峰几乎不停转——这正是1F1B在千卡集群中价值千金的现实写照。理解了这些工程参数，你才算真正把1F1B用到了实处。

AI 应用场景

Python 演示

def bubble_ratio(P, N):    """计算1F1B理想流水线气泡率（P为stage数，N为micro-batch数）"""    return (P - 1) / (N + P - 1)  def memory_peak(P, N, per_micro=1.0):    """对比朴素调度与1F1B的峰值激活显存（相对单位）"""    mem_naive = N * per_micro    # 朴素调度要缓存N份激活    mem_1f1b = 2.0 * per_micro   # 1F1B最多保留2份    return mem_naive, mem_1f1b  def find_workable_N(P, mem_budget, per_micro=1.0):    """在显存预算内寻找让利用率最高的N（工程选参模拟）"""    best_N, best_u = 0, 0.0    for N in range(1, 65):        _, mem = memory_peak(P, N, per_micro)        if mem <= mem_budget:            u = N / (N + P - 1)            if u > best_u:                best_u, best_N = u, N    return best_N, best_u  def main():    P = 4    print("P=%d 个stage时，不同N的气泡率与显存对比" % P)    print("N\t气泡率\t朴素显存\t1F1B显存")    for N in range(4, 13):        br = bubble_ratio(P, N)        mn, m1 = memory_peak(P, N)        print("%d\t%.1f%%\t%.0f份\t%.0f份" % (N, br * 100, mn, m1))    best_N, best_u = find_workable_N(P, mem_budget=8.0)    print("显存预算8份时，1F1B可用N=%d，理论利用率=%.1f%%" % (best_N, best_u * 100))  if __name__ == "__main__":    main()

1. return (P - 1) / (N + P - 1)气泡率公式，N越大分母越大、气泡率越小。
2. mem_naive = N * per_micro朴素调度显存随N线性增长，对应餐厅案板堆满N碟。
3. mem_1f1b = 2.0 * per_micro1F1B显存恒为常数，与N无关，这是它的灵魂。
4. find_workable_N在显存预算内枚举所有可行N，挑出利用率最高者，模拟工程师的选参逻辑。
5. if __name__ == "__main__":提供可执行入口，直接运行即可看到完整对比结果。

常见误区

面试题