ZeRO-Infinity：万亿参数训练

可视化演示

展示ZeRO-Infinity的GPU/CPU/NVMe三级存储架构与带宽特性，以及ZeRO-Infinity与ZeRO-3在容量、带宽、延迟、扩展性四个维度的对比。

ZeRO-Infinity的三级存储架构与设计动机

这一节讲ZeRO-Infinity为什么要把训练状态分散到GPU、CPU内存和NVMe固态硬盘三个层级。当模型参数达到万亿规模时，仅靠GPU显存和CPU内存都无法装下全部参数、梯度和优化器状态，ZeRO-Infinity引入NVMe作为第三级大容量存储，利用其远超DRAM的容量和仍可接受的带宽，把暂时不用的状态卸载到SSD，需要时再按需换入GPU，从而突破显存墙。

核心要点包括：GPU显存容量有限是万亿参数训练的核心物理瓶颈；CPU内存容量大于显存但带宽仍不足以支撑全量参数高频换入。这些要点构成了理解ZeRO-Infinity的三级存储架构与设计动机的基础框架。

此外还需关注NVMe SSD容量最大且带宽远高于机械盘适合做第三级卸载。通过案例分析和实践应用，可以加深对这一概念的理解。

NVMe Offload的参数卸载与按需换入机制

这一节讲NVMe Offload具体如何工作。在前向和反向传播过程中，ZeRO-Infinity把当前层不需要的参数从GPU卸载到NVMe，当某一层需要计算时再把对应参数从NVMe经PCIe读入GPU。关键在于用异步预取和流水线化搬运隐藏NVMe的访问延迟，让数据搬运与计算重叠，避免GPU因等待参数而空转，从而在牺牲部分带宽的前提下保持较高计算利用率。

核心要点包括：参数卸载指将非活跃层参数从GPU转移到NVMe固态硬盘；按需换入在层计算开始前通过PCIe把所需参数读回GPU。这些要点构成了理解NVMe Offload的参数卸载与按需换入机制的基础框架。

此外还需关注异步预取提前搬运下一层参数以隐藏NVMe访问延迟。通过案例分析和实践应用，可以加深对这一概念的理解。

ZeRO-Infinity与ZeRO-3的能力边界对比

这一节讲ZeRO-Infinity相对于ZeRO-3的扩展点。ZeRO-3已经把参数、梯度、优化器状态分片到多卡GPU显存上，但仍受限于集群总显存；ZeRO-Infinity在此基础上把卸载目标从GPU扩展到CPU内存乃至NVMe，使可训练参数规模不再被GPU显存总量硬性限制。同时ZeRO-Infinity改进了通信调度和带宽利用率，在更大规模下保持更好的扩展效率。

核心要点包括：ZeRO-3将训练状态分片到多卡显存但仍受总显存限制；ZeRO-Infinity把卸载目标扩展到CPU内存与NVMe突破显存墙。这些要点构成了理解ZeRO-Infinity与ZeRO-3的能力边界对比的基础框架。

此外还需关注ZeRO-Infinity改进通信调度降低all-gather与reduce的带宽竞争。通过案例分析和实践应用，可以加深对这一概念的理解。

万亿参数训练的显存预算与状态切分

这一节讲万亿参数训练中显存预算如何分配。训练状态包括参数、梯度、优化器状态三部分，混合精度下用Adam时每个参数约占20字节。万亿参数仅状态就需约20TB存储，远超任何单机配置。ZeRO-Infinity按层切分这些状态并分散到三级存储，结合卸载比例配置决定多少留在GPU、多少在CPU、多少在NVMe，在显存占用与换入换出开销间取得平衡。

核心要点包括：混合精度Adam下每参数约占20字节含参数梯度与优化器状态；万亿参数训练状态总量达数十TB远超单机显存与内存。这些要点构成了理解万亿参数训练的显存预算与状态切分的基础框架。

此外还需关注按层切分状态使每层可独立决定卸载目标层级。通过案例分析和实践应用，可以加深对这一概念的理解。

带宽感知的卸载调度与计算重叠策略

这一节讲ZeRO-Infinity如何调度数据搬运以最大化计算与通信重叠。GPU显存、CPU内存、NVMe三者的带宽差异巨大，ZeRO-Infinity采用带宽感知调度器，根据各层级带宽动态决定搬运顺序和预取深度，让NVMe到CPU、CPU到GPU的数据流并行进行，并与前向反向计算流水线重叠，从而把NVMe的高延迟对训练吞吐的影响降到最低。

核心要点包括：GPU HBM带宽远高于CPU内存带宽远高于NVMe带宽；带宽感知调度器按层级带宽差异动态安排搬运顺序。这些要点构成了理解带宽感知的卸载调度与计算重叠策略的基础框架。

此外还需关注预取深度参数控制提前多少层搬运参数到GPU。通过案例分析和实践应用，可以加深对这一概念的理解。

AI 应用场景

Python 演示

from collections import defaultdictfrom datetime import datetime class Tracker:    def __init__(self, name):        self.name = name        self.items = []    def add(self, item, priority, status='pending'):        self.items.append({'item': item, 'priority': priority, 'status': status, 'time': datetime.now().isoformat()})    def by_status(self, status):        return [i for i in self.items if i['status'] == status]    def progress(self):        if not self.items: return 0.0        done = sum(1 for i in self.items if i['status'] == 'done')        return round(done / len(self.items) * 100, 1) def analyze(data):    if not data: return {'avg': 0, 'count': 0}    vals = list(data.values()) if isinstance(data, dict) else data    return {'avg': round(sum(vals)/len(vals), 2), 'max': max(vals), 'min': min(vals), 'count': len(vals)} t = Tracker('Project')t.add('Task A', 'high', 'done')t.add('Task B', 'high', 'in_progress')t.add('Task C', 'medium', 'pending')print(f'Progress: {t.progress()}%')print(f'Analysis: {analyze({"x": 10, "y": 20, "z": 30})}')

1. class Tracker:定义项目跟踪器类
2. def add(self, item, priority, status='pending'):添加任务，记录优先级和状态
3. def by_status(self, status):按状态筛选任务
4. def progress(self):计算完成进度百分比
5. return round(done / len(self.items) * 100, 1)进度=已完成/总数×100
6. def analyze(data):分析指标数据
7. vals = list(data.values()) if isinstance(data, dict) else data兼容字典和列表输入
8. t = Tracker('Project')创建项目跟踪器实例

常见问答

常见误区

参考来源

• webpageAIQZ AI技术知识平台DeepSpeed ZeRO-Infinity 与 NVMe Offload：扩展到万亿参数训练相关知识参考
• paperarXiv学术预印本平台AI领域研究论文参考
• webpageHarvard Business Review商业管理参考
• webpageMcKinsey Insights行业趋势分析
• videoCoursera在线课程参考