大模型全参数微调实践指南

可视化演示

展示全参数微调的参数更新、ZeRO显存分片优化与训练曲线，切换模式查看核心概念。

全参微调概览：全员重新上岗

把大模型想象成一家现成的通用客服公司，它的每个参数都像一位有通识能力的员工。全参数微调的意思不是调整岗位说明书，而是让全公司所有员工脱产参加一次新业务集训：知识、话术、判断习惯全部刷新。相比之下，只改最后几层或者加几条提示词，就像只给管理层贴便签，改动有限。

技术上说，模型先在海量文本上完成预训练，已经会说话；监督微调 SFT 再给它一批高质量的「问题-理想回答」对，让它在特定领域重新学习如何输出。全参数微调让模型里每一个权重 \(\theta\) 都参与梯度更新，而不是只改头部的分类层。这样学到的能力会渗透到所有环节，因此在下游任务上往往能获得最大幅度的性能提升。

$$\displaystyle \theta^*=\arg\max_{\theta}\sum_{(x,y)\in\mathcal{D}}\log P(y\mid x;\theta)$$

1. 数据集 \(\mathcal{D}\)：它装着集训用的全部「问题-标准答案」对，是员工们要反复练习的题库。

$$\displaystyle \mathcal{D}=\{(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)\}$$

2. 条件概率 \(P(y\mid x;\theta)\)：给定问题 \(x\)，当前参数 \(\theta\) 的模型输出正确答案 \(y\) 的概率。概率越高，说明回答越靠谱。

$$\displaystyle P(y\mid x;\theta)$$

3. 对数求和：把所有题目的对数概率加起来，便于数值计算，也让乘法变成加法。

$$\displaystyle \sum_{(x,y)\in\mathcal{D}}\log P(y\mid x;\theta)$$

4. \(\arg\max_{\theta}\)：在参数空间里找出让上述总和最大的那一组 \(\theta\)，也就是让全员整体表现最好的「新工作手册」。

$$\displaystyle \theta^*=\arg\max_{\theta}(\cdots)$$

所以全参微调的目标，就是找到一套让全公司员工最擅长回答这批新客户问题的共同工作手册。它得到的不是表面话术，而是渗透到每个环节的深层能力，这也是它在下游任务往往能压过轻量方案的原因。

训练流程搭建：选教材、排课时、配教练

集训不能只喊口号，要排课表。数据决定了教材，批次和序列长度是课时，优化器是教练风格，混合精度是训练器材。你要让员工练什么题，模型就会在什么方向变强。

实践中，我们把指令数据组织成 \((x,y)\)，其中 \(x\) 是任务描述加输入，\(y\) 是标准回答。模型按自回归方式逐字预测 \(y\)，并用交叉熵衡量每个位置预测分布和真实答案的差距。微调时不断让这个差距变小，模型就慢慢学会了「在特定场景下该怎么说话」。

$$\displaystyle \mathcal{L}(\theta)=-\frac{1}{N}\sum_{n=1}^{N}\log P_{\theta}(y_n\mid x_n)$$

1. \(y_n\mid x_n\)：对第 \(n\) 条样本，模型看到问题 \(x_n\) 后，要预测标准答案 \(y_n\) 中的每一个词。

$$\displaystyle P_{\theta}(y_n\mid x_n)$$

2. 对数概率：取对数后，概率连乘变成了连加，计算更稳定。

$$\displaystyle \log P_{\theta}(y_n\mid x_n)$$

3. 求平均：除以 \(N\)，让损失不随训练集大小膨胀，方便在不同数据规模间比较。

$$\displaystyle \frac{1}{N}\sum_{n=1}^{N}\log P_{\theta}(y_n\mid x_n)$$

4. 负号：概率越大越好的目标，加上负号后变成越小越好的损失。

$$\displaystyle \mathcal{L}(\theta)=-\frac{1}{N}\sum_{n=1}^{N}\log P_{\theta}(y_n\mid x_n)$$

器材上，混合精度像是给员工发了一双更轻的跑鞋：梯度用 bf16 存储，计算变快、显存减半，主权重保留 fp32 保证稳定。优化器通常选 AdamW，它不只看当前坡度，还会累积历史动量，保证每一步都走得稳。排好了课表和教练，集训才真正开始。

显存优化策略：给集训队分宿舍

如果说训练流程是排课，显存就是宿舍。7B 模型的全员集训不能挤在一间房里，必须给员工分宿舍、分楼栋。否则一张卡根本装不下这么多「人和行李」。

全参微调时，每个参数不只有自己，还带着梯度、主权重副本和优化器状态。尤其在混合精度加 Adam 的情况下，平均每个参数要占 16 字节。对 70 亿参数模型来说，这个数字会迅速膨胀到上百 GB。

$$\displaystyle M_{\text{total}}=N_{\text{params}}\times(2+2+4+4+4)=16N_{\text{params}}$$

1. 参数与梯度：模型参数用 bf16 存一份，梯度再存一份，各占 2 字节。

$$\displaystyle 2+2$$

2. 主权重：为了保证数值稳定，还要保留一份 fp32 主权重，占 4 字节。

$$\displaystyle 4$$

3. Adam 动量：Adam 的 \(m\) 和 \(v\) 两个状态各占 4 字节，一共 8 字节。

$$\displaystyle 4+4$$

4. 合并计算：每个参数平均 16 字节，乘上参数量就是总显存。

$$\displaystyle 16N_{\text{params}}$$

ZeRO 把这份账单分摊到多张卡上：第一阶段把 Adam 的 \(m/v\) 分到不同显卡；第二阶段再把梯度也分出去；第三阶段连参数都分片，用的时候临时拼回来。FSDP 与 ZeRO-3 思路相似，本质上都是「分宿舍、临时集合」。激活检查点则是把训练中间结果扔掉，需要时再算一遍，用计算时间换显存空间。

学习率与调度：热身与冷却

集训第一天，你不会让员工直接跑五公里，而是先做十分钟热身。学习率预热就是这个道理：模型刚从预训练状态醒来，如果学习率突然拉满，很容易一步跨出舒适区，破坏已经学好的知识。

预热期通常把学习率从 0 线性升到最大值，让优化器先适应数据节奏；之后再用余弦退火把学习率平滑降到很低，让参数稳稳落到最优解附近。梯度裁剪则是额外加的安全带，防止某个大梯度把模型撞飞。

$$\displaystyle \eta_t= \begin{cases} \eta_{\max}\dfrac{t}{T_{\text{warm}}}, & t\leq T_{\text{warm}}\\[4pt] \eta_{\min}+\dfrac{1}{2}(\eta_{\max}-\eta_{\min})\left(1+\cos\dfrac{\pi t}{T}\right), & t>T_{\text{warm}} \end{cases}$$

1. 预热阶段：当训练步数 \(t\) 小于预热长度 \(T_{\text{warm}}\) 时，学习率从 0 线性升到 \(\eta_{\max}\)。

$$\displaystyle \eta_t=\eta_{\max}\frac{t}{T_{\text{warm}}}, \quad t\leq T_{\text{warm}}$$

2. 余弦退火：预热结束后，学习率按余弦曲线从最高点平滑下降到最低点。

$$\displaystyle \eta_{\min}+\frac{1}{2}(\eta_{\max}-\eta_{\min})\left(1+\cos\frac{\pi t}{T}\right)$$

3. 收尾保护：\(\eta_{\min}\) 是很小的最终学习率，让参数只在最优解附近微调，不来回震荡。

$$\displaystyle \eta_t\to\eta_{\min}$$

热身和冷却配合使用，相当于给全员集训配了一张科学的强度表。最大学习率通常是预训练学习率的十分之一甚至更低，因为我们的目标不是重新学知识，而是把已有能力校准到新任务上。

过拟合防护：防止学员背答案

集训最怕的不是学员学不会，而是学员把例题答案背了下来。全参数微调的参数量极大，模型有足够「记忆力」把训练集背得滚瓜烂熟，但一到真实考试就露馅。

判断标准很简单：训练损失持续下降，只能说明背题能力在增强；验证损失先降后升，才是过拟合的警报。专业做法是每训练几步就在验证集上算一次损失，并设置一个容忍窗口：如果验证损失连续多轮没有再创新低，就提前停止训练。

$$\displaystyle t_{\text{stop}}=\min\left\{t\mid \mathcal{L}_{\text{val}}(t)-\min_{s\leq t}\mathcal{L}_{\text{val}}(s)>\delta\right\}$$

1. 历史最佳验证损失：记录到目前为止验证损失的最低点，代表模型泛化最好的时刻。

$$\displaystyle \min_{s\leq t}\mathcal{L}_{\text{val}}(s)$$

2. 反弹幅度：用当前验证损失减掉历史最佳值，得到「恶化程度」。

$$\displaystyle \mathcal{L}_{\text{val}}(t)-\min_{s\leq t}\mathcal{L}_{\text{val}}(s)$$

3. 提前停止：当恶化程度超过阈值 \(\delta\)，就选出第一次越界的时刻作为停止点。

$$\displaystyle t_{\text{stop}}=\min\{t\mid \mathcal{L}_{\text{val}}(t)-\min_{s\leq t}\mathcal{L}_{\text{val}}(s)>\delta\}$$

除了早停，权重衰减也是一种「防背题」手段：它让参数不要长得太极端，保持对训练数据的谦逊。最终评估也应以验证集或测试集上的真实指标为准，而不是看训练集上的漂亮曲线。

全参与PEFT对比：全员集训还是贴便签

当资源允许时，你会面临一个选择：让全公司脱产集训，还是只给几个关键岗位贴便签？全参数微调是前者，LoRA 这类 PEFT 是后者。LoRA 只更新一小部分低秩矩阵，参数少、显存小、训练快；全参数微调则把所有权重都纳入更新范围。

从性能上看，全参数微调的下限更有吸引力，尤其当下游任务分布与预训练知识差异较大时，它能把模型重塑得更彻底。但 LoRA 的少量参数自带正则化效果，在数据很少时反而更稳。真正专业的做法不是无脑选全参，而是先看资源和数据，再看任务差异。

$$\displaystyle N_{\text{full}}=N,\quad N_{\text{LoRA}}=r(d+k),\quad R=\frac{r(d+k)}{N}\ll 1$$

1. 全参数数量：全参微调要更新的权重就是模型全部参数量 \(N\)。

$$\displaystyle N_{\text{full}}=N$$

2. LoRA 参数量：LoRA 为两个低秩矩阵增加 \(r(d+k)\) 个参数，\(r\) 通常远小于维度 \(d\)。

$$\displaystyle N_{\text{LoRA}}=r(d+k)$$

3. 参数比例：两者相比得到 \(R\)，用来衡量轻量微调省了多少训练量。

$$\displaystyle R=\frac{r(d+k)}{N}\ll 1$$

回到公司的比喻：全员集训烧钱又费力，但能把员工的思维习惯彻底改造；贴便签便宜快捷，但面对复杂新业务时容易不够用。如果 GPU 充足、数据质量高、任务与通用能力差异大，全参数微调是换取最佳下游性能的最优解。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""微型全连接网络的全参数微调演示: 预热/余弦退火/AdamW"""import numpy as np rng = np.random.default_rng(42)N, D, H = 1024, 8, 16X = rng.normal(size=(N, D))y = (X[:, 0] + X[:, 1] - X[:, 2] > 0).astype(int)Y = np.eye(2)[y]  def softmax(z):    e = np.exp(z - z.max(axis=1, keepdims=True))    return e / e.sum(axis=1, keepdims=True)  def forward(params, x):    h = np.tanh(x @ params["W1"] + params["b1"])    p = softmax(h @ params["W2"] + params["b2"])    return p, h  def backward(params, h, x, p, y_onehot):    dz = (p - y_onehot) / len(x)    g = {        "W2": h.T @ dz,        "b2": dz.sum(axis=0),        "W1": x.T @ (dz @ params["W2"].T * (1 - h ** 2)),        "b1": (dz @ params["W2"].T * (1 - h ** 2)).sum(axis=0),    }    return g  params = {    "W1": rng.normal(size=(D, H)) / np.sqrt(D),    "b1": np.zeros(H),    "W2": rng.normal(size=(H, 2)) / np.sqrt(H),    "b2": np.zeros(2),} m = {k: np.zeros_like(v) for k, v in params.items()}v = {k: np.zeros_like(val) for k, val in params.items()}beta1, beta2, eps = 0.9, 0.999, 1e-8weight_decay, max_lr, n_steps, warmup = 0.01, 0.05, 300, 30  def lr_at(t):    if t < warmup:        return max_lr * (t + 1) / warmup    progress = (t - warmup) / (n_steps - warmup)    return 1e-4 + 0.5 * (max_lr - 1e-4) * (1 + np.cos(np.pi * progress))  for step in range(n_steps):    idx = rng.choice(N, 128, replace=False)    xb, yb = X[idx], Y[idx]    prob, hidden = forward(params, xb)    grads = backward(params, hidden, xb, prob, yb)     eta = lr_at(step)    for key in params:        m[key] = beta1 * m[key] + (1 - beta1) * grads[key]        v[key] = beta2 * v[key] + (1 - beta2) * grads[key] ** 2        m_hat = m[key] / (1 - beta1 ** (step + 1))        v_hat = v[key] / (1 - beta2 ** (step + 1))        params[key] -= eta * (m_hat / (np.sqrt(v_hat) + eps) + weight_decay * params[key])     if step % 50 == 0 or step == n_steps - 1:        prob_all, _ = forward(params, X)        acc = (prob_all.argmax(axis=1) == y).mean()        print(f"step={step:3d} lr={eta:.4f} train_acc={acc:.3f}")

1. prob, hidden = forward(params, xb)前向传播，相当于让学员做一次练习题。
2. grads = backward(params, hidden, xb, prob, yb)反向传播，算出每个参数的改进方向。
3. def lr_at(t):定义训练节奏表：预热期线性升温，之后余弦退火。
4. m[key] = beta1 * m[key] + (1 - beta1) * grads[key]一阶动量记录梯度历史，像教练攒着学员的近期表现。
5. v[key] = beta2 * v[key] + (1 - beta2) * grads[key] ** 2二阶动量记录梯度大小，让更新幅度更平稳。
6. params[key] -= eta * (m_hat / (np.sqrt(v_hat) + eps) + weight_decay * params[key])用 AdamW 更新每一份参数，权重衰减相当于每节课后做一次「旧知识复习」，防止全参微调跑偏。

常见误区

面试题