偏好优化：从 RLHF 到 DPO 的技术演进

可视化演示

展示RLHF三阶段对齐流程、DPO直接偏好优化原理以及两者在复杂度、稳定性、数据效率和计算量四个维度的工程权衡对比。

对齐问题：为什么要调教大模型的“口味”

厨师学院的课程只教一件事：“根据菜谱，预测下一道工序是什么。”小模在学院里成绩优异，他能根据前半道菜的做法，准确说出后半道菜怎么做——这就是大模型预训练的本质：预测下一个词。可顾客真正关心的不是“你有没有按常理出牌”，而是“这道菜好不好吃、合不合我口味”。模型懂知识，但不懂偏好，这就是对齐问题的由来。

从比喻过渡到技术：要让小模从“会做菜”变成“做出客人爱吃的菜”，我们需要在预训练之外增加一个“偏好对齐”阶段。这张训练图谱上，核心是让模型学会一个隐藏的“人类口味函数”——我们看不见它，但可以通过人类的对比反馈去逼近它。

技术展开：把这个问题形式化，假设策略模型是 $\pi_\theta$，它接收用户请求 $x$，生成回答 $y$。我们期望找到一个模型，让输出 $y$ 在“人类真实偏好”函数 $r^*(x, y)$ 上的期望分数最高：

$$\displaystyle \pi_{\text{aligned}} = \arg\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} \left[ r^*(x, y) \right]$$

1. 策略模型：$\pi_\theta(y|x)$ 表示当前模型在看到输入 $x$ 时，生成回答 $y$ 的概率分布。它就是“厨师小模”的决策机制。

$$\displaystyle \pi_\theta(y|x)$$

2. 真实偏好：$r^*(x, y)$ 是顾客对“输入 $x$ 时给出回答 $y$”的真实满意度。在数学上把它当作一个理想化的打分函数，实际中不可直接观测。

$$\displaystyle r^*(x, y)$$

3. 期望与最大化：$\mathbb{E}[\cdot]$ 是对所有输入和输出取平均；$\arg\max$ 表示我们要找一套参数 $\theta$，让这个平均满意度最高。

$$\displaystyle \arg\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} \left[ r^*(x, y) \right]$$

回到比喻：菜谱学院只教会小模“世界上的菜长什么样”，没教会它“顾客的舌头喜欢什么”。而接下来的所有方法——RLHF、DPO，都是在回答同一个问题：如何用有限的顾客反馈，把厨师的厨艺拧到正确的方向上。

RLHF流程：老派的三步教法

老板决定用最稳妥的方法训练小模。第一步，请一位经验丰富的老师傅手把手带他做几道经典招牌菜——这是“监督微调”（SFT），先把基础动作练对。第二步，请一批美食评论家来盲测，记录“哪道菜更好吃、为什么”，训练出一位能打分的首席评论家——这是“奖励模型”。第三步，让小模自己反复试做新菜，首席评论家打分，他根据分数调整厨艺——这是 PPO 策略优化。

这三步层层递进：SFT 让模型先学会“说人话”，奖励模型把“人类偏好”压缩成一个可计算的分数，PPO 再用这个分数驱动模型迭代。从宏观视角看，RLHF 的目标就是让策略模型产出的回答在奖励模型上拿到高分：

$$\displaystyle \max_{\theta} \mathbb{E}_{(x, y) \sim \pi_{\theta}} \left[ r_\phi(x, y) \right]$$

其中 $r_\phi$ 是训练好的评分函数（奖励模型），$\phi$ 是它的参数。这个公式看起来很简洁，但它背后藏着大量的工程细节：奖励模型怎么训、PPO 怎么采样、怎么保证梯度稳定。

1. 期望采样：$\mathbb{E}_{(x, y) \sim \pi_{\theta}}$ 表示从当前策略生成的一批“用户提问 + 模型回答”组合中取平均。这就是让小模不断试菜、记录成绩。

$$\displaystyle \mathbb{E}_{(x, y) \sim \pi_{\theta}}$$

2. 奖励函数：$r_\phi(x, y)$ 是评论家对“在问题 $x$ 下给出回答 $y$”给出的分数，$\phi$ 是评论家自己的参数。

$$\displaystyle r_\phi(x, y)$$

3. 最大化：$\max_{\theta}$ 是我们要调整厨师小模的策略参数 $\theta$，让这组分数在平均意义下尽量高。

$$\displaystyle \max_{\theta}$$

RLHF 就像老字号培养传人：每一步都有师傅把关、有评论家背书，效果稳健。但整套体系搭起来很重——要训练评论家、要反复采样、要精细调 PPO 的超参数。一旦评论家本身品味有偏差，所有努力都会被带偏。这也是后来 DPO 要革新的地方。

奖励模型：训练一位“美食评论家”

小模做菜好不好吃，不能自己说了算，得请评论家打分。可这位评论家不是天生的，ta 在学徒期间品尝了成千上万道菜，听了无数句“这道比那道好吃”的评语，才慢慢建立起品味。奖励模型的训练正是如此：它需要海量“偏好对”数据来养成。

技术细节上，奖励模型接收一个回答，输出一个标量分数。训练数据是一个个对比对：给定同一个用户提问 $x$，模型先生成两个候选回答 $y_w$（更好的那个）和 $y_l$（较差的那个），人类标注者判断哪个更好。奖励模型要最大化“赢家得分高于输家”的概率。这里最常用的数学框架是 Bradley-Terry 模型：

$$\displaystyle P(y_w \succ y_l \mid x) = \frac{\exp(r_\phi(x, y_w))}{\exp(r_\phi(x, y_w)) + \exp(r_\phi(x, y_l))}$$

1. 偏好符号：$y_w \succ y_l$ 表示“回答 $y_w$ 比 $y_l$ 更受人类偏好”，这是训练数据的核心标注。

$$\displaystyle y_w \succ y_l$$

2. 指数化：$\exp(r_\phi(x, y))$ 把奖励分数映射成正数，分数越高权重越大。就像把“美味程度”从线性刻度换到指数刻度。

$$\displaystyle \exp(r_\phi(x, y_w))$$

3. 归一化占比：用赢家的权重除以所有候选权重之和，得到“赢家胜出”的预测概率。训练时让这个概率尽量接近真实标注（即接近 1）。

$$\displaystyle \frac{\exp(r_\phi(x, y_w))}{\exp(r_\phi(x, y_w)) + \exp(r_\phi(x, y_l))}$$

评论家的偏好不是凭空出现的，而是被偏好数据“喂”出来的。它把顾客口味压缩成了一根可计算的标尺。但隐忧也随之而来：如果标尺本身有偏差（标注一致性差、覆盖场景不够），后面整个 PPO 训练都会被带偏。这正是 DPO 想绕开的坑。

PPO核心：策略更新与那根“橡皮筋”

有了评论家，小模就开始按分数改菜。可他越改越歪：他发现评论家喜欢摆盘华丽的菜，于是他疯狂堆砌雕花、用花瓣点缀，菜却难以下咽——这就是“奖励窜改”（Reward Hacking）。为了让小模不疯魔，老师傅给他拴了一根“橡皮筋”：你可以在新方向上探索，但别离传统做法太远。这根橡皮筋在数学上叫 KL 散度惩罚。

PPO 的优化目标因而包含两项：一是奖励分数要尽量高，二是新策略不能偏离参考策略太远：

$$\displaystyle \max_{\theta} \mathbb{E}_{(x, y) \sim \pi_{\theta}} \left[ r_\phi(x, y) - \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)} \right]$$

1. 参考模型：$\pi_{\text{ref}}(y|x)$ 是“传统做法”的化身，通常取 SFT 之后的模型，用来记录重训之前的行为基准。

$$\displaystyle \pi_{\text{ref}}(y|x)$$

2. 对数概率比：$\log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$ 衡量新策略相比参考策略，对当前回答的“偏爱变化”。偏离越大，惩罚越大。

$$\displaystyle \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$$

3. KL 惩罚系数：$\beta$ 控制橡皮筋的松紧。$\beta$ 大，新策略不敢乱动；$\beta$ 小，探索更激进但更容易窜改奖励。

$$\displaystyle \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$$

除了这个目标，PPO 还会用“优势估计”来判断某个回答比平均水平好多少，从而决定往哪个方向更新。整根流程就像一次步步为营的探索：既要高分，又别跑偏。橡皮筋的思想后来也被 DPO 继承了下来，只是 DPO 把整套强化学习舞台设备都撤掉了。

DPO原理：跳过评论家，直接学

老板终于受不了了：“请评论家、建评分体系、再调 PPO——太折腾了。为什么不直接用顾客的对比反馈练厨师？”DPO 的核心洞察是：在 RLHF 的最优解条件下，奖励函数其实可以被策略模型的概率比直接表示出来。也就是说，奖励模型是“多余”的——它的打分功能可以隐式地藏在策略里。

这个“隐式奖励”长这样：

$$\displaystyle r_{\text{DPO}}(x, y) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$$

把它代回 Bradley-Terry 框架，就可以直接写出 DPO 的损失函数：

$$\displaystyle \mathcal{L}_{\text{DPO}}(\theta) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)} \right) \right]$$

1. 隐式奖励：$r_{\text{DPO}}(x, y)$ 用策略自身的概率比来充当奖励函数，不需要单独训练评论家。

$$\displaystyle r_{\text{DPO}}(x, y) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$$

2. 奖励差：$\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}$ 计算好回答与差回答的隐式奖励差，相当于“好菜比坏菜好多少”。

$$\displaystyle \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}$$

3. Sigmoid 与负对数：$\log \sigma(\cdot)$ 把奖励差转换成“好回答胜出的概率”，再取负对数变成损失——概率越高损失越低。

$$\displaystyle -\log \sigma(\cdot)$$

DPO 的最大优势是训练稳定：不需要强化学习循环，没有评论家偏差，计算成本大幅下降。餐厅老板砍掉了整套评审体系，用顾客最原始的偏好直接改写厨师的肌肉记忆。没有复杂舞台道具，训练自己就跑起来了。

方法对比：旧派与革新怎么选

小模的餐厅里，老派师傅坚持 RLHF，新派老板推 DPO。到底选谁？这取决于你的后厨资源。RLHF 像老字号培养传人，稳扎稳打但要养一个评论家团队；DPO 像快餐连锁培训，简单直接，上菜快。两条路其实都在同一条“橡皮筋”下做文章——KL 散度。

KL 散度是衡量新旧策略差异的标尺：

$$\displaystyle \mathrm{KL}\big(\pi_\theta \,\|\, \pi_{\text{ref}}\big) = \mathbb{E}_{y \sim \pi_\theta} \left[ \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)} \right]$$

RLHF 把它作为惩罚项显式扣除；DPO 则把它内化到隐式奖励中，实现“用结果说话”。两者殊途同归，都不想让模型跑得太偏。

1. 分布差异：$\mathrm{KL}(\pi_\theta \| \pi_{\text{ref}})$ 计算新策略与参考策略分布之间的距离。值为 0 时两者完全一致，越大说明改得越猛。

$$\displaystyle \mathrm{KL}\big(\pi_\theta \,\|\, \pi_{\text{ref}}\big)$$

2. 期望：$\mathbb{E}_{y \sim \pi_\theta}$ 表示在新策略生成的回答分布上取平均，统计平均的偏离程度。

$$\displaystyle \mathbb{E}_{y \sim \pi_\theta} \left[ \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)} \right]$$

3. 两种用法：RLHF 把它写成目标函数里的减法项；DPO 把它装进隐式奖励，再由对比对间接约束。

$$\displaystyle \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$$

具体怎么选，可以看几个关键维度：

| 维度 | RLHF | DPO |

|---|---|---|

| 额外模型 | 需训练奖励模型 | 不需要 |

| 训练稳定性 | 依赖 PPO 调参 | 相对稳定 |

| 计算成本 | 高 | 低 |

| 长度偏差控制 | 较容易 | 需额外克制 |

| 适用场景 | 复杂推理、安全严控 | 快速迭代、通用对话 |

选哪条路取决于你的资源：有成熟的强化学习团队、不差算力、任务又刁钻，RLHF 仍是一把好手；想快、想省、想稳定迭代，DPO 是更轻的解法。没有银弹，只有匹配场景的选择。

前沿变体：DPO 的进化家族

DPO 的成功带火了一个家族。就像餐厅后厨里，有人发明了“不用顾客对比也能知道好不好”的新教法，有人发现“连老菜谱都不需要了”，还有人用“平方误差”取代原来的概率损失。它们各显神通，把偏好优化推向了更轻、更稳的边界。

• KTO：不需要成对偏好，只需要知道某个回答“整体上被接受还是被拒绝”。类似顾客只对一道菜竖拇指或摇头，就能训练。数据收集难度大大降低。

• SimPO：连参考模型都省了，直接用回答的平均对数概率代替参考得分，减少一次模型前向，更省显存。

• IPO：把 DPO 的 sigmoid 损失改成类似平方间隔的损失，避免模型对“赢家赢多少”过度自信，训练更稳。

以 SimPO 为例，它的目标函数长这样：

$$\displaystyle \mathcal{L}_{\text{SimPO}} = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \left( \frac{\beta}{|y_w|} \log \pi_\theta(y_w|x) - \frac{\beta}{|y_l|} \log \pi_\theta(y_l|x) - \gamma \right) \right]$$

1. 长度归一化：$\frac{1}{|y_w|}$ 和 $\frac{1}{|y_l|}$ 把得分除以回答长度，防止长回答因为“字数多”而天然占便宜，这是 SimPO 的特色去偏手段。

$$\displaystyle \frac{\beta}{|y_w|} \log \pi_\theta(y_w|x)$$

2. 目标间隔：$\gamma$ 是“领先阈值”。奖励差至少要超过 $\gamma$，模型才认为这对偏好被学到位了。

$$\displaystyle \frac{\beta}{|y_w|} \log \pi_\theta(y_w|x) - \frac{\beta}{|y_l|} \log \pi_\theta(y_l|x) - \gamma$$

3. 省略参考模型：整个公式没有再出现 $\pi_{\text{ref}}$，这意味着训练时不需要加载并前向参考模型，显存和耗时都下降。

$$\displaystyle -\log \sigma(\cdot)$$

DPO 家族的这些变体，本质上都是在“简化操作、增强稳定、适配低成本部署”三个维度上做取舍。没有万能的偏好优化器，只有最贴合你数据形态和算力预算的那一种。

AI 应用场景

Python 演示

import torchimport torch.nn.functional as F  def compute_logps(model, input_ids, attention_mask):    logits = model(input_ids, attention_mask=attention_mask).logits[:, :-1, :]    targets = input_ids[:, 1:]    log_probs = F.log_softmax(logits, dim=-1)    per_token_logp = torch.gather(log_probs, 2, targets.unsqueeze(-1)).squeeze(-1)    mask = attention_mask[:, 1:].float()    return (per_token_logp * mask).sum(dim=-1)  def dpo_loss(w_logps, l_logps, w_ref_logps, l_ref_logps, beta=0.1):    ratio = beta * ((w_logps - w_ref_logps) - (l_logps - l_ref_logps))    loss = -F.logsigmoid(ratio).mean()    return loss  def dpo_step(policy, ref_policy, batch, optimizer, beta=0.1):    w_ids = batch["w_ids"]    w_mask = batch["w_mask"]    l_ids = batch["l_ids"]    l_mask = batch["l_mask"]    w_logps = compute_logps(policy, w_ids, w_mask)    l_logps = compute_logps(policy, l_ids, l_mask)    with torch.no_grad():        w_ref = compute_logps(ref_policy, w_ids, w_mask)        l_ref = compute_logps(ref_policy, l_ids, l_mask)    loss = dpo_loss(w_logps, l_logps, w_ref, l_ref, beta)    optimizer.zero_grad()    loss.backward()    optimizer.step()    return loss.item()  if __name__ == "__main__":    torch.manual_seed(42)    w_logps = torch.tensor([-2.0, -1.6, -2.8, -2.3])    l_logps = torch.tensor([-3.2, -2.5, -3.6, -2.8])    w_ref = torch.tensor([-2.1, -1.9, -2.7, -2.5])    l_ref = torch.tensor([-2.6, -2.1, -2.9, -2.6])    loss_val = dpo_loss(w_logps, l_logps, w_ref, l_ref, beta=0.1)    print("DPO loss:", loss_val.item())

1. logits = model(input_ids, attention_mask=attention_mask).logits[:, :-1, :]取模型每个位置输出的预测 logits，去掉最后一个位置（因为最后一个词没有“下一个词”）。
2. targets = input_ids[:, 1:]把输入序列右移一位作为预测目标，形成“根据前文预测当前词”的配对。
3. per_token_logp = torch.gather(...)从 log 概率矩阵中取出每个位置真实 token 对应的 log 概率。
4. mask = attention_mask[:, 1:].float()把 padding 位置遮掉，确保损失只计算真实 token。
5. ratio = beta * ((w_logps - w_ref_logps) - (l_logps - l_ref_logps))这是 DPO 的核心：好回答的隐式奖励差减去差回答的隐式奖励差。
6. loss = -F.logsigmoid(ratio).mean()把奖励差转换成“偏好正确”的损失，差距越小损失越大。

常见误区

面试题