Accelerate：分布式加速

为什么需要 Accelerate：分布式逻辑与训练代码解耦

传统做法是把分布式逻辑直接写进训练代码：手动调用 torch.distributed.init_process_group 初始化进程组、用 DistributedDataParallel 包模型、手工把数据搬到 cuda:rank、为每个 dataloader 重写 DistributedSampler，再叠加 GradScaler 处理混合精度。单卡、多卡、多机各维护一套脚本，换一种设备策略就要动整个工程，极易出错且难以迁移到 TPU 等新后端。

Accelerate 把这一整套样板逻辑收敛到 Accelerator 类：初始化时自动读取环境变量判断后端，prepare() 统一完成设备放置、DDP/FSDP 包装、混合精度上下文与采样器分片，backward() 负责梯度正确缩放。用户只需把原有脚本改动约 4 个位置，再用同一个启动命令即可在任意规模硬件上运行，单卡与多卡之间无缝切换。

相比 PyTorch 原生 DDP 需要按后端重写启动逻辑，相比 Lightning 需要把整个代码迁移到框架抽象写法，Accelerate 保留用户自己的训练循环，对现有代码侵入最小，并原生适配 transformers 生态。

安装与环境配置：3 步就绪

先确认环境满足 Python 3.8+ 且已安装 PyTorch（1.10 以上，建议 2.x，按 pytorch.org 指引选择对应 CUDA 版本）。然后通过 pip 安装 Accelerate，最后验证版本并生成配置文件。

accelerate config 会依次询问计算类型（CPU/GPU/TPU）、使用卡数、是否启用混合精度（fp16/bf16）、是否使用 FSDP 或 DeepSpeed 等，交互完成后生成 default_config.yaml。推荐在项目仓库保存一份固定配置，用 accelerate launch --config_file config.yaml train.py 启动，保证团队环境一致。

# 1. 先安装 PyTorch（按官方站选择 CUDA 版本）pip install torch # 2. 安装 / 升级 Acceleratepip install -U accelerate # 3. 验证安装，打印当前版本号python -c "import accelerate; print(accelerate.__version__)" # 4. 交互式生成分布式配置文件（默认写入 ~/.cache/huggingface/accelerate/）accelerate config

快速上手：5 分钟跑通多卡训练

核心思路：写一份普通 PyTorch 训练脚本，只替换 4 个位置——初始化 Accelerator()、用 prepare() 包装对象、用 accelerator.backward(loss) 替换 loss.backward()、用 accelerator.print 替换 print；然后用统一启动命令在任意规模硬件上运行。

• 步骤一：编写 train.py，包含数据加载、模型、优化器与训练循环的普通 PyTorch 代码，不要写 model.cuda() 这类设备硬编码。

• 步骤二：加入 Accelerate 的 4 处改动（见下方代码）。

• 步骤三：单卡验证，直接执行 python train.py，Accelerate 自动识别为单进程训练。

• 步骤四：执行 accelerate config 选择多卡与混合精度配置；或在命令行临时指定参数。

• 步骤五：执行 accelerate launch --num_processes 4 --mixed_precision bf16 train.py，观察 loss 只由主进程打印且数值正常下降。

进阶：把 checkpoint 保存统一改为 accelerator.save_state("ckpt")、恢复用 load_state，即可在多卡、多机之间无缝续训。

# train.py —— 普通 PyTorch 训练循环 + 4 处 Accelerate 改动from accelerate import Accelerator # ① 初始化加速器（自动检测后端与混合精度配置）accelerator = Accelerator() # ② 用 prepare 统一包装模型、优化器、数据加载器、调度器model, optimizer, train_dl, scheduler = accelerator.prepare(    model, optimizer, train_dl, scheduler) for batch in train_dl:    optimizer.zero_grad()    loss = loss_fn(model(batch["input_ids"]), batch["labels"])    # ③ 用 accelerator.backward 替换 loss.backward()    accelerator.backward(loss)    optimizer.step()    scheduler.step()    # ④ 日志只由主进程输出    if accelerator.is_main_process:        accelerator.print(f"loss: {loss.item():.4f}")

核心能力详解：5 大支柱

支柱一·Accelerator 统一抽象。 单一入口把设备放置、混合精度（fp16/bf16/fp8）、梯度累积、随机种子管理集中封装。配置在 accelerate config 中完成，训练代码无需感知具体硬件；移除 device="cuda:0" 一类硬编码后，脚本天然可移植到 CPU、MPS 或 TPU。

支柱二·启动器与配置体系。 accelerate launch 自动设置 MASTER_ADDR、RANK、WORLD_SIZE 等分布式环境变量，支持单机多卡、多节点、TPU、MPS、XPU 多种后端；v0.30 起与 torchrun 启动参数完全兼容，也可直接用 torchrun 拉起脚本。配置支持命令行覆盖与配置文件两种来源。

支柱三·分布式策略集成。 prepare() 按配置自动选择 DDP、FSDP（全分片数据并行，参数/梯度/优化器状态按层分片到多卡）或 DeepSpeed ZeRO（三级显存优化）。策略差异对训练代码透明，切换仅需改配置，这是 Accelerate 相比手写分布式的最大价值。

支柱四·大模型推理。 device_map="auto" 自动按各层权重大小把模型分片到多 GPU、CPU 甚至磁盘（offload），单卡放不下的百亿参数模型也能完成推理；transformers 的 device_map 参数底层正是由 Accelerate 驱动。

支柱五·训练生命周期管理。 save_state/load_state 一键保存模型、优化器、调度器与 RNG 状态；tracker 接口统一对接 TensorBoard、W&B、Comet 等日志系统；gather/gather_for_metrics 在分布式下正确聚合评估指标。

生产部署与监控：从上线到运维

集群调度（SLURM 等）。 在 sbatch 脚本中用 srun 调用 accelerate launch --multi_gpu --num_machines N --num_processes P --machine_rank $SLURM_PROCID train.py 完成多节点启动。多机场景建议先在单机跑通配置再扩节点；首次上线加 --debug 检查进程间握手，避免通信超时。

大规模训练。 追求显存极致时启用 DeepSpeed ZeRO-3 或 FSDP：在 accelerate config 中选择对应插件并填写 ZeRO 阶段、CPU offload 等参数，训练代码无需改动。注意 ZeRO-3 下权重处于分片状态，查看完整模型参数需先用 accelerator.unwrap_model 解包。

可观测性与容错。 用 init_trackers 注册 W&B/TensorBoard，accelerator.log 统一上报指标；所有打印走 accelerator.print 避免多卡刷屏；断点续训用 save_state/load_state 完整恢复；评估指标聚合使用 gather_for_metrics 而不是裸 torch.cat，避免最后一批样本不齐导致重复计数或形状错误。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>手动 model.to(device) 与 prepare 冲突：Accelerate 会自动放置模型与数据，再手写 .to(device) 会出现设备不一致；统一交给 prepare，仅参数打印等场景用 unwrap_model 解包。</li><li>配置了 gradient_accumulation_steps 又手写梯度累加：Accelerate 会按累积步数缩放梯度，双重累加放大梯度导致训练崩溃；二选一，推荐用 accelerator.accumulate(model) 上下文。</li><li>断点续训只恢复权重不恢复 RNG：数据顺序不可复现、调度器位置错位；用 save_state/load_state 同时保存 random_states 等完整状态。</li><li>DeepSpeed/FSDP 直接用 python 启动：插件初始化缺失会静默回退或报错；统一用 accelerate launch（v0.30 起也可用 torchrun）启动。</li><li>用 accelerator.gather 聚合并计算末批指标：分布式下最后一批数据可能不齐，gather 会抛形状错误或重复计数；改用 gather_for_metrics。</li></ul>

版本迭代

Accelerate 自 2021 年开源后保持高频迭代：0.x 阶段快速补齐 FSDP、DeepSpeed、大模型推理等核心能力；2024 年 7 月发布 1.0 稳定版，集中清理废弃 API；进入 1.x 后约每月一个小版本，持续做生态适配与性能优化（截至本文撰写时最新可确认版本为 v1.5.0，此后可能已有更新小版本）。

AI 应用场景

常见误区

面试题