流水线并行：气泡Bubble分析

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

气泡：后厨里的“空锅时刻”

后厨里，洗菜师傅切完第一份菜后，炒菜师傅面前的锅是空的；等最后一份菜传到装盘师傅手里时，前面几份已经装完盘的师傅又闲了下来。这些“空锅时刻”不是偶然，而是一道菜只能顺序经过所有工位造成的必然空闲。在流水线并行中，这些空锅时刻就是气泡（Bubble）。

把大模型按层切到多张 GPU 上，就相当于在后厨多设了几个工位。一个训练小批量会被拆成多个微批（micro-batch），依次流过第一层设备、第二层设备……每个设备必须等上游微批算完传过来才能开工。微批还没到，设备只能空转；反向传播时，梯度也要沿着相反方向传回，同样会造成等待。于是，前向依赖、反向依赖、通信传输都成了气泡的来源。

从系统角度看，气泡是流水线并行中设备利用率低于 100% 的直接原因。想象一张 GPU 的时间线：一段时间在计算，一段时间在等待。那些等待的空白，既不算算力产出，也不产生任何收益，还会让端到端训练时间变长。气泡分析的目的，就是把这些空白找出来，量化它，再想办法填掉它。

回到后厨，老板不会只抱怨“师傅在发呆”，而是会记录每个工位空等了多久、发生在什么时候。气泡分析做的正是这件事：把训练过程中的空闲片段变成可观测、可计算的指标，为后续优化提供依据。

气泡度量公式：给空锅时间算笔账

老板想量化空锅时间，于是记录下四个工位处理四份菜的过程。他发现：从第一份菜进入洗菜工位，到最后一份菜装盘结束，总跨度是 7 个时间单位；而每个工位真正干活的时间只有 4 个单位，剩下 3 个单位在等待。这笔账就是流水线气泡率的来源。

在 GPipe 这类经典流水线并行中，气泡率可以写成非常简洁的公式。设 \(p\) 为流水线阶段数（即设备数），\(m\) 为一个训练步内切分的微批数，那么理论气泡率为：

边界情况也很直观：如果 \(m=1\)，气泡率等于 \(1-\frac{1}{p}\)，阶段越多浪费越严重；如果 \(m\) 趋于无穷大，气泡率趋近于 0。但现实中 \(m\) 受显存限制，不可能无限增大。老板记账时发现，要让空锅时间少于三成，就得让一桌客人的菜够多、工位不那么多；训练里也是一样。

影响气泡大小的三股力量

后厨老板发现，空锅时间不是固定的。如果从四个工位增加到八个工位，首尾等待的时间会变长；如果一份菜单里只点两个菜，师傅们刚热完身就没活干了；如果切菜师傅动作特别慢，炒菜师傅就得举着空锅等配菜。气泡的大小，正是被这些因素推着走的。

第一个因素是阶段数 \(p\)。公式中分子是 \(p-1\)，分母是 \(p+m-1\)。当 \(p\) 增大时，分子、分母同时增大，但分子增长得更快，所以气泡率整体上升。比如 \(p=4, m=4\) 时气泡率是 \(42.9\%\)，而 \(p=8, m=4\) 时气泡率会飙升到 \(63.6\%\)。设备越多，流水线越长，首尾的“排空”时间越明显。

第二个因素是微批数 \(m\)。\(m\) 越大，每个阶段连续干活的时间越长，空闲占比自然下降。\(p=4, m=8\) 时气泡率降为 \(27.3\%\)。但微批数不能随意加大，因为每个微批在设备上产生的中间激活都要占显存，显存不够时就得靠重计算或换调度策略来腾地方。

第三个因素是通信与负载均衡。公式计算的是理想情况，实际训练中设备之间还要传输激活和梯度，通信时间会叠加到气泡上。此外，如果模型各层计算量差异很大，切分不均会导致某些设备早干完、干等慢设备，出现额外的“木桶效应”。这三股力量共同决定了你最后在时间线上看到的真实气泡。

让气泡变小的四种策略

面对空锅，后厨老板的直觉是让师傅一次多接几道菜，或者重新设计排班，让每个工位都别闲着。流水线并行也有类似的四大招：增大微批、使用 1F1B 调度、采用交错流水、均衡切分模型。

增大微批数 \(m\) 是最直接的思路。在显存允许的情况下，把 \(m\) 从 4 提到 8，气泡率可以从 \(42.9\%\) 降到 \(27.3\%\)。但显存是硬约束，所以工程师往往需要配合激活重计算，宁可多算几次也不让显存爆掉。

1F1B（One-Forward-One-Backward）调度则改变了前后向的执行顺序：不等到所有前向都算完再统一反传，而是算完一个微批的前向就尽快插入反向，从而大幅降低同时存活的中间激活数量。它和 GPipe 的理论气泡率近似相同，但显存占用明显更低，等于为增大 \(m\) 腾出了空间。

交错流水（Interleaved Pipeline）更进一步，把每个设备负责的层段再切成 \(v\) 份，让设备在多个子阶段之间轮流干活。这样气泡被摊薄，近似公式为：

最后，均衡切分模型也很关键。用计算量更均匀的切分方式，让每个阶段耗时接近，避免某个慢工位拖着整条流水线。四种策略可以组合使用，目标不是让气泡归零，而是把空锅时间压到工程可接受的范围内。

气泡与显存：一对跷跷板

后厨老板想让师傅一次接十二道菜，这样空锅时间很少，但案台放不下那么多备料。显存就是流水线训练中的案台。想少气泡，就得让设备多存几个微批的中间结果；想省显存，就得少放微批，气泡又会变大。

GPipe 在反传前要保存所有微批的前向激活，显存占用随 \(m\) 线性增长。如果显存只有 40G，而每个微批激活要 6G，那么 \(m\) 最多只能取 6 左右，气泡率被显存卡住。想要突破，就得用激活重计算：反传时重新算一遍前向，用算力换显存，从而把 \(m\) 提得更高。

1F1B 调度在这里也很有价值。由于它让反传尽早开始，同一时刻保活的微批数量比 GPipe 少，显存占用更低。在相同显存预算下，1F1B 能支持更大的 \(m\)，间接降低气泡。工程上通常的做法是：先画一条显存-气泡权衡曲线，找到吞吐最高且不会显存溢出的配置点。

气泡和显存就像跷跷板的两端：一端是算力利用率，一端是存储成本。优秀的大模型训练工程师，不是追求某一端压到极限，而是在模型规模、带宽、显存、容错之间找到最稳的平衡点。

观测气泡并调优实战

老板想知道空锅到底出现在哪，最简单的方法是调监控录像：看每个工位在每个时间段是在干活还是在发呆，然后把发呆时间统计成占比。训练中的“监控录像”就是性能时间线工具，比如 PyTorch Profiler、DeepSpeed 日志或 Megatron 的 timeline 信息。

观测的第一步是画出每个设备的时间线，把计算块和空闲块分开展示。空闲块出现的位置很有讲究：如果集中在流水线启动和排空阶段，说明是理论气泡；如果散落在整个训练过程中，可能是通信延迟或负载不均导致。接下来，把实测空闲占比和公式预测对比。比如 \(p=4, m=4\) 时理论气泡率是 \(42.9\%\)，如果实测到了 \(55\%\)，说明有额外的等待需要排查。

调优时有一个典型流程：先记录当前 \(p\) 和 \(m\)，算理论气泡率；再用时间线确认气泡集中在哪些阶段；然后尝试增大 \(m\)、开启激活重计算、换成 1F1B 或交错流水；每改一次重测一次，直到吞吐指标达标。例如某场景从 \(p=8, m=8\) 调成 \(p=8, m=16\)，气泡率从 \(46.7\%\) 降到 \(30.4\%\)，再配合交错流水进一步压低。

后厨的管理智慧是“先看见，再改进”。气泡分析也是一样：只有把空闲时间变成时间线上清晰的红色空槽，你才知道该往哪个方向拧参数。观察、假设、实验、再观察，这就是气泡调优的日常。

AI 应用场景

Python 演示

def gpipe_schedule(p, m):    """Generate GPipe forward slot matrix: 1=busy, 0=bubble."""    total = p + m - 1    grid = [[0] * total for _ in range(p)]    for stage in range(p):        for micro in range(m):            grid[stage][micro + stage] = 1    return grid  def bubble_ratio(p, m):    return (p - 1) / (p + m - 1)  def show_schedule(p, m):    grid = gpipe_schedule(p, m)    total = p + m - 1    print("p=%d, m=%d, span=%d, bubble=%.1f%%" % (        p, m, total, bubble_ratio(p, m) * 100))    for idx, row in enumerate(grid):        line = "".join("X" if cell else "." for cell in row)        print("stage%d: %s" % (idx, line))    print()  if __name__ == "__main__":    for p, m in [(4, 4), (4, 8), (8, 4), (8, 8)]:        show_schedule(p, m)

1. total = p + m - 1总时间跨度需要 \(p+m-1\) 个时间片，这是公式的分母来源。
2. grid[stage][micro + stage] = 1第 stage 个设备在第 micro+stage 个时间片处理第 micro 个微批。
3. bubble_ratio(p, m)直接套用气泡率公式 \((p-1)/(p+m-1)\)，返回理论占比。
4. "".join("X" if cell else "." for cell in row)把每一行的 0/1 变成点和叉，让空闲槽位一眼可见。
5. if __name__ == "__main__":提供可执行入口，分别对比 \(p=4, m=4\)、\(p=4, m=8\)、\(p=8, m=8\) 等典型组合。

常见误区

面试题