全参数SFT详解：让大模型全面学习领域知识

可视化演示

动态演示全参数SFT详解的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

概念定义

小琳的公司遇到一个幸福的烦恼：通用大模型什么都能聊，但用户问“高血压患者能不能吃柚子”，它却答得模棱两可。CEO拍板：“送模型去进修！”可进修也分两种：一种是报个周末速成班，只学几门关键课（LoRA）；另一种是送进全日制专业学院，所有课程、所有考试、所有笔记全部重写一遍（全参数SFT）。后者就是这篇文章的主角。

全参数SFT的全称是 Full Parameter Supervised Fine-Tuning，翻译过来就是“监督微调 + 全部参数更新”。什么意思？在微调阶段，模型读到的每一份“教材”都是由“提问 + 标准回答”组成的标注数据（所以叫监督），而训练过程中，模型内部的每一个权重——从第一层到最后一层——都会被反向传播的梯度“拨动”。对比一下LoRA：LoRA冻结原始权重，只在旁边加两条很小的旁路矩阵，训练时只更新旁路。一个是全身重塑，一个是局部微调。

为什么“全身重塑”能带来更强的领域能力？因为领域知识往往散布在模型的各个层：词汇、句法、逻辑、常识判断。只动几条旁路，相当于只纠正了模型的“口音”，却没改变它的“思维方式”。全参数SFT让每个参数都沿梯度方向移动，优化目标可以用参数更新公式表示：

$$\displaystyle \theta_{\text{new}} = \theta_{\text{old}} - \eta \nabla_{\theta} \mathcal{L}(\theta_{\text{old}})$$

1. θ_old（旧参数）：这是模型当前学到的全部知识，也是本轮训练的起点，在公式里是一个包含所有层权重的大集合。

$$\theta_{\text{old}} = \{ W_1, W_2, \ldots, W_L \}$$

2. η（学习率）：控制每步走多大，像学员做笔记的用力程度，太小学得慢，太大会把原有知识冲掉。

$$\eta = 2 \times 10^{-5}$$

3. ∇θL（梯度）：损失函数对每个参数的偏导方向，指明了“往哪个方向调能让错误更小”。

$$\nabla_{\theta} \mathcal{L} = \left[ \frac{\partial \mathcal{L}}{\partial W_1}, \frac{\partial \mathcal{L}}{\partial W_2}, \ldots \right]$$

4. θ_new（新参数）：所有参数都沿梯度反方向更新一步，没有任何参数被冻结，这就是“全参数”的含义。

$$\theta_{\text{new}} = \theta_{\text{old}} - \eta \nabla_{\theta} \mathcal{L}$$

想象那位全能学霸在法学院的第一学期：他不再只记结论，而是把案例分析、法条检索、辩论逻辑逐一内化到自己的知识体系里。全参数SFT要的就是这种“内化到骨子里”的效果——代价高昂，但正是这个“所有参数都动一遍”的仪式感，让领域知识真正长在模型身上。

训练流程

全日制训练营的作息表是固定的。早上七点，学霸拿到当天的教材；上午做例题（前向传播）；下午老师批改打分（损失计算）；晚上按错题订正（反向传播）。第二天，同样的流程再来一遍。全参数SFT的训练流程完全可以对照这张作息表。

第一步，加载预训练权重，也就是让模型“带着通识基础入学”；第二步，把指令-回答对喂进模型，逐层计算输出，称为前向传播；第三步，用损失函数给模型的预测“批个分”，判断离标准答案差多远；第四步，反向传播，从最后一层把误差“传回去”，算出每个参数的梯度，并更新所有参数。四步循环贯穿整个训练周期。

损失函数最常用的是交叉熵。对一批N条样本，模型给出的回答越接近标准答案，损失越小：

$$\displaystyle \mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} \log p_{\theta}(y_i \mid x_i)$$

1. N（样本数）：一个训练批次里包含的指令-回答对数量，像一次小测验的题目总数。

$$N = \text{batch size}$$

2. (x_i, y_i)：第 i 条样本的输入指令和标准回答，是教材里的“例题 + 标准答案”。

$$x_i = \text{指令}, \quad y_i = \text{标准回答}$$

3. p_θ(y_i | x_i)：模型在当前参数 θ 下生成该标准回答的概率，反映了模型“答得有多像标准答案”。

$$p_{\theta}(y_i \mid x_i) = \prod_{t=1}^{T} p_{\theta}(y_{i,t} \mid x_i, y_{i,<t})$$

4. −log p（损失值）：概率越接近 1，损失越接近 0，相当于老师给的分越高。

$$-\log p \to 0 \quad \text{as} \quad p \to 1$$

训练营的每一天，都在“做题—批改—订正”中循环。理论上，当损失不再明显下降，说明这套教材的养分已经被吸收得差不多了。全参数SFT就是把这种四步循环，在数万条领域数据上重复成千上万轮，直到模型成为真正的领域专家。

数据准备

训练营的口碑，七成靠教材。教材里例题错漏百出，再勤奋的学生也会学歪；教材里全是超纲题，学霸也会被带偏。数据之于全参数SFT，就是教材之于学生。

SFT数据长什么样？最常见的是“指令-回答”对（instruction-response）。比如：用户问“高血压患者能吃柚子吗？”标准回答是“多数情况下可以，但服用钙拮抗剂类降压药时应避免大量食用，因为柚子会影响药物代谢……”。模型要学的，就是看到这样的提问，给出这样的回答。

数据准备有四道工序。第一，格式化成统一的指令-回答模板；第二，清洗：去重、去毒、去敏感、截断超长文本；第三，配比：既要有领域数据（法律问答），也要掺少量通用数据（日常对话），避免模型变得“只会说法语”；第四，质量评估：用规则或小模型给数据打分，剔除低质量样本。配比粒度可以用加权损失来建模：

$$\displaystyle \mathcal{L}_{\text{total}} = \sum_{k=1}^{K} \lambda_k \, \mathcal{L}_k$$

1. K（数据组数）：把训练数据按来源或类型划成 K 组，比如领域数据一组、通用数据一组。

$$K = \text{数据类别数}$$

2. λ_k（第 k 组权重）：每组数据在总损失中的重要性，所有权重之和通常等于 1。

$$\lambda_k \geq 0, \quad \sum_{k=1}^{K} \lambda_k = 1$$

3. L_k（第 k 组损失）：只在这一组数据上计算的交叉熵损失，衡量该组样本的学习程度。

$$\mathcal{L}_k = -\frac{1}{N_k} \sum_{i \in k} \log p_{\theta}(y_i \mid x_i)$$

4. L_total（总损失）：各组损失的加权求和，训练时最小化这个总目标，从而兼顾不同数据的配比要求。

$$\mathcal{L}_{\text{total}} = \lambda_1 \mathcal{L}_1 + \lambda_2 \mathcal{L}_2 + \cdots$$

小琳后来总结：全参数SFT把整个模型都押上了，教材质量差一点点，都会被放大成大模型的“坏习惯”。数据配比得当、清洗得越干净，这笔昂贵的学费才花得值。

资源需求

全日制学院的学费单让CEO的咖啡杯都端不稳了。全参数SFT的费用不是按学期算，而是按“参数个数”算——模型越大，账单越贵。

训练时，显存里同时住着几户“住户”：模型参数、梯度、优化器状态和激活值。混合精度（FP16）训练搭配AdamW优化器时，每个参数平均约需要16字节：参数本身2字节，梯度2字节，优化器状态12字节（FP32主权重副本4 + 一阶动量4 + 二阶动量4）。这还没算前向传播时每一层临时保存的激活值，那部分往往能让账单再翻一倍。

我们来算一笔账。7B模型的权重，仅参数、梯度、优化器状态就需要：

$$\displaystyle M \approx 16 \times N$$

训练的总计算量与参数量和训练数据量成正比：

$$\displaystyle \text{FLOPs} \approx 6 \times N \times D$$

1. 16（每参数字节数）：混合精度 + AdamW 下的单参数开销，由参数、梯度、优化器状态三部分拼成。

$$16 = 2_{\text{参数}} + 2_{\text{梯度}} + 12_{\text{优化器}}$$

2. N（参数量）：模型拥有的参数量级，是显存和算力估算的基础。

$$N = 7 \times 10^9$$

3. D（训练 token 数）：训练集被分词后的总 token 数量，教材越厚，算力账单越贵。

$$D = \sum_{i} \text{len}(x_i) + \text{len}(y_i)$$

4. 6（FLOPs 系数）：训练一个 token 完成前向和反向所需的标准计算量系数，其中前向约 2N，反向约 4N。

$$\text{FLOPs per token} \approx 6N$$

小琳看着账单深吸一口气：7B模型至少两张80G显卡，13B模型就得四张起步。全参数SFT不是“想不想”的问题，而是“花不花得起”的问题——这也正是需要跟CEO把账算清楚的地方。

优缺点分析

全日制训练到底值不值？训练营有它的光环，也有它的阴影。光环是：效果扎实，领域上限高。阴影是：学费昂贵，还可能“过犹不及”。

优点很明确。全参数SFT对领域知识的吸收最彻底，在垂直任务上的效果上限通常高于任何轻量微调——它像给学霸换了一套完整的思维框架。缺点是：第一，训练成本高，显存和算力需求是LoRA的好几倍；第二，灾难性遗忘风险更大，模型可能为了学法律而淡忘了原本的通用闲聊能力；第三，数据不够时会过拟合，把训练集的“口癖”背下来。

从“参数更新量”的视角对比更直观。全参数SFT的权重变化是满秩的；而LoRA把变化限制在低秩子空间：

$$\displaystyle \Delta W_{\text{full}} = W_{\text{new}} - W_{\text{old}}, \qquad \Delta W_{\text{lora}} = B A$$

1. ΔW_full（全参数变化）：全参数SFT下整个权重矩阵的差值，维度与原始权重完全相同，每个位置都可能非零。

$$\Delta W_{\text{full}} \in \mathbb{R}^{d \times k}$$

2. A、B（两个低秩矩阵）：LoRA把权重变化拆成两个小矩阵相乘，乘积的秩受 r 限制，只能表达“低维方向”的变化。

$$B \in \mathbb{R}^{d \times r}, \quad A \in \mathbb{R}^{r \times k}$$

3. r（秩）：远小于原始维度的中间维度，决定了LoRA能表达的更新自由度。

$$r = 8 \sim 64, \quad r \ll \min(d, k)$$

用训练营的话说：全日制能培养出真正的专家，但要是学生底子不稳、教材又少，反而可能把原本的通识能力搞乱。全参数SFT的“得”与“失”，本质上是“效果上限”与“成本 + 风险”之间的天平。

适用场景

什么样的学生适合送全日制？小琳在项目复盘里写下三条标准：第一，他真的需要成为领域专家；第二，手头的教材（数据）够多够好；第三，家里负担得起学费（算力）。三条都满足，才值得上全参数SFT。

具体来说，适合全参数SFT的场景包括：垂直领域专家模型（医疗、法律、金融）、企业私有化大模型、以及需要把模型能力“推到极致”的严肃产品。反之，如果数据只有几千条、训练资源只有一两张显卡、或者只是想快速验证想法，LoRA是更务实的选择。

训练过程中还有一个重要的“止损”信号——过拟合。当训练损失还在下降、验证损失却开始回升，说明模型开始死记硬背训练集了，这时候全参数继续硬撑着反而有害：

$$\displaystyle \Delta \mathcal{L}_{\text{train}} < 0 \ \wedge \ \Delta \mathcal{L}_{\text{val}} > 0$$

1. ΔL_train（训练损失变化）：相邻两个训练步之间，训练集上的损失差值，体现模型对教材的记忆程度。

$$\Delta \mathcal{L}_{\text{train}} = \mathcal{L}_{\text{train}}^{(t+1)} - \mathcal{L}_{\text{train}}^{(t)}$$

2. ΔL_val（验证损失变化）：同一段时间里，未见过的验证集损失差值，体现模型的泛化能力。

$$\Delta \mathcal{L}_{\text{val}} = \mathcal{L}_{\text{val}}^{(t+1)} - \mathcal{L}_{\text{val}}^{(t)}$$

3. ∧ 条件（过拟合判断）：训练损失下降且验证损失上升同时成立，就说明模型开始背题而不是学方法。

$$\text{过拟合} \iff \Delta \mathcal{L}_{\text{train}} < 0 \wedge \Delta \mathcal{L}_{\text{val}} > 0$$

最后，小琳把结论写进了给CEO的邮件：全参数SFT不是奢侈品，也不是万能药——它是一个“投入产出比”决策。数据、算力、目标三者齐备，就勇敢地送学霸进全日制；否则，先让LoRA这位“周末私教”顶上，把账算明白再说。

AI 应用场景

Python 演示

from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainerfrom datasets import load_dataset # 1. load pretrained model and tokenizer (enroll the scholar)model_name = "Qwen/Qwen2-0.5B"tokenizer = AutoTokenizer.from_pretrained(model_name)model = AutoModelForCausalLM.from_pretrained(model_name) # 2. load domain instruction data (get the textbooks)dataset = load_dataset("json", data_files="domain_qa.jsonl") # 3. format "instruction-response" pairs and tokenizedef format_example(ex):    text = "### 指令:\n" + ex["instruction"] + "\n### 回答:\n" + ex["output"]    enc = tokenizer(text, truncation=True, max_length=512, padding="max_length")    enc["labels"] = enc["input_ids"].copy()    return enc tokenized = dataset.map(format_example, remove_columns=dataset["train"].column_names) # 4. training args: small lr protects general knowledge, grad accum saves VRAMtraining_args = TrainingArguments(    output_dir="./full_sft",    per_device_train_batch_size=1,    gradient_accumulation_steps=16,    learning_rate=2e-5,    num_train_epochs=3,    fp16=True,    logging_steps=10,    save_strategy="epoch",) # 5. full-parameter training: every weight gets updatedtrainer = Trainer(    model=model,    args=training_args,    train_dataset=tokenized["train"],)trainer.train()

1. model = AutoModelForCausalLM.from_pretrained(model_name)加载预训练权重，所有参数默认可训练，这是全参数SFT的起点，相当于学霸报到入学。
2. text = "### 指令:\n" + ... + "\n### 回答:\n" + ...把指令和回答拼成统一模板，让模型学会“看到指令就续写回答”。
3. enc["labels"] = enc["input_ids"].copy()让模型以自回归方式预测下一个token，从而计算交叉熵损失。
4. gradient_accumulation_steps=16每16个小batch累积一次梯度再更新，等效大batch但显存占用小，是省钱的关键配置。
5. learning_rate=2e-5很小的学习率，像“轻手轻脚地改笔记”，避免破坏预训练学到的通用知识。
6. fp16=True混合精度训练，显存几乎减半，让大模型在更少的卡上跑起来。

常见误区

面试题