DPO：无需奖励模型的偏好优化

可视化演示

展示RLHF与DPO流程对比、Bradley-Terry偏好模型、损失函数收敛曲线及联邦学习适配，通过多模式交互理解偏好优化原理。

1. DPO本质：偏好数据与配对比较

老板的批注本是 DPO 的原点。里面不写抽象标准，只写一句句具体判断：“同一碗汤面，多加葱的这碗更香”“同样的火候，多焐三分钟的这一碗更劲道”。这些成对的“好/坏”记录，就是偏好数据。只要批注足够多，徒弟不必听“品鉴师”打分，也能从历史判断里提炼做面的规律。

技术世界里，偏好数据形如三元组 \((x, y_w, y_l)\)：\(x\) 是用户提示，\(y_w\) 是更受欢迎的回复，\(y_l\) 是相对逊色的回复。我们不知道绝对分能打多少，但可以判断谁更好。Bradley-Terry 模型用一个“隐式”奖励函数 \(r\) 来描述这种相对好坏的关系：

\[

\displaystyle p(y_w \succ y_l \mid x) = \sigma\Big( r(x, y_w) - r(x, y_l) \Big)

\]

1. 给定提示的条件概率：左式 \(p(y_w \succ y_l \mid x)\) 表示“输入同一个 \(x\) 时，人类认为 \(y_w\) 比 \(y_l\) 更好的概率”。

$$\displaystyle p(y_w \succ y_l \mid x)$$

2. 隐式奖励分数：\(r(x, y)\) 代表回复质量的“高分卡”，分数越高表示越讨喜。

$$\displaystyle r(x, y)$$

3. sigmoid 映射：\(\sigma(\cdot)\) 把两个奖励的差值压缩到 0 到 1 之间，正好是概率范围。

$$\displaystyle \sigma(z) = \frac{1}{1 + e^{-z}}$$

4. 赢家差值：\(r(x, y_w) - r(x, y_l)\) 为正时，赢家胜出的概率就超过 50%。

$$\displaystyle r(x, y_w) > r(x, y_l)$$

这里的 \(r\) 不需要被显式训练出来；DPO 的关键在于，让策略模型本身承载这份偏好判断。这就像徒弟最终不需要老板坐在旁边打分，而是把判断胜负的能力内化成自己的肌肉记忆。

2. RLHF弊端：品鉴师体系的成本与脆弱

传统的教法是“先请品鉴师”。流程大致是：收集偏好数据，训练一个奖励模型当评委，再用 PPO 这类强化学习让徒弟反复试菜、拿分、改进。问题在于，这位品鉴师本身很贵：训练它需要大量标注，PPO 调参时像伺候一位脾气古怪的老饕，稍有不慎分数就崩。更糟糕的是，徒弟可能学会“讨好评委”而非“做好面条”，比如把面做得特别咸来骗过评委的味觉——这就是奖励黑客（reward hacking）。

RLHF 的目标函数可以写成：

\[

\displaystyle \max_{\pi_\theta} \; \mathbb{E}_{x \sim \mathcal{D},\, y \sim \pi_\theta(\cdot|x)}\big[ r(x, y) \big] - \beta \, \mathrm{KL}\Big( \pi_\theta(\cdot|x) \,\|\, \pi_{\mathrm{ref}}(\cdot|x) \Big)

\]

1. 策略模型：\(\pi_\theta\) 是待训练的徒弟模型；\(\pi_{\mathrm{ref}}\) 是微调前的参考模型，相当于“入门基础菜谱”。

$$\displaystyle \pi_\theta(\cdot|x)$$

2. 奖励期望：第一项 \(\mathbb{E}[r(x,y)]\) 衡量模型输出在品鉴师眼中的平均得分。

$$\displaystyle \mathbb{E}\big[ r(x, y) \big]$$

3. KL 约束：第二项惩罚新策略与参考策略的分布偏离，防止徒弟把基础手艺全丢掉。

$$\displaystyle \mathrm{KL}\big( \pi_\theta \,\|\, \pi_{\mathrm{ref}} \big)$$

4. β 温度系数：\(\beta\) 控制“冲高奖励”和“保持稳重”之间的平衡，\(\beta\) 越大越保守。

$$\displaystyle \beta > 0$$

PPO 类方法需要同时维护 actor、critic、reference、reward 四个模型，超参数敏感、训练波动大。这些贵、慢、脆的问题，正是 DPO 登场的最佳理由。

3. DPO推导：把隐式奖励写进策略

徒弟决定不请品鉴师，而是把师父的每条批注当作“暗号”，直接从批注里提炼“好面”的味道。数学上，这等价于把奖励模型消去。既然 RLHF 的目标是在 KL 约束下最大化奖励，那么它的最优策略 \(\pi^*\) 有一个闭式解，反推可得：

\[

\displaystyle r(x,y) = \beta \log \frac{\pi^*(y|x)}{\pi_{\mathrm{ref}}(y|x)} + \beta \log Z(x)

\]

\(Z(x)\) 是只与 \(x\) 有关的配分函数，在成对比较中会被约掉。把这个“隐式奖励”代回 Bradley-Terry 模型，就得到直接用策略参数表达的 DPO 损失：

\[

\displaystyle \mathcal{L}_{\mathrm{DPO}}(\theta) = -\mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}} \log \sigma\left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\mathrm{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\mathrm{ref}}(y_l|x)} \right)

\]

1. 赢家相对优势：\(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\mathrm{ref}}(y_w|x)}\) 是当前策略相对参考策略在 \(y_w\) 上的对数优势。

$$\displaystyle \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\mathrm{ref}}(y_w|x)}$$

2. 输家相对优势：同理，第二项是输家 \(y_l\) 上的对数优势。

$$\displaystyle \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\mathrm{ref}}(y_l|x)}$$

3. 偏好间距：两者相减表示“赢家相对参考的提升”应明显大于“输家相对参考的提升”。

$$\displaystyle \log \frac{\pi_\theta(y_w|x)}{\pi_{\mathrm{ref}}(y_w|x)} - \log \frac{\pi_\theta(y_l|x)}{\pi_{\mathrm{ref}}(y_l|x)}$$

4. 负对数 sigmoid：负对数把最大化赢家优势转化为标准的分类式损失，直接用梯度下降优化。

$$\displaystyle -\log \sigma(\cdot)$$

整个训练管线只需：取偏好对，算两个对数比值，套 sigmoid，做一次交叉熵更新。没有奖励模型，没有在线采样交互，徒弟拿着批注本就能完成口味对齐。

4. 联邦适配：各店本地批注、总部只收心得

真实世界里，总店不可能把各分店的批注本都收上来。于是我们把 DPO 放进联邦学习框架：总部先发一份“通用菜谱模板”（初始模型）给各分店；各分店在自己的批注本上本地运行 DPO，再把“调整心得”（模型更新，而不是原始数据）传回总部；总部用联邦平均（FedAvg）合并，再发回去继续迭代。

一轮联邦 DPO 更新可以写成：

\[

\displaystyle \theta^{(t+1)} = \sum_{k=1}^{K} \frac{n_k}{N} \Big( \theta^{(t)} - \eta \nabla \mathcal{L}_{\mathrm{DPO}} \big( \theta^{(t)}; \mathcal{D}_k \big) \Big)

\]

1. 客户端数量：\(K\) 是参与本轮的客户端数，也就是各分店数量。

$$\displaystyle K$$

2. 数据权重：\(\frac{n_k}{N}\) 表示第 \(k\) 家分店的本地偏好样本量占总样本的比例，数据多的门店话语权更大。

$$\displaystyle \frac{n_k}{N}$$

3. 本地 DPO 更新：括号内表示第 \(k\) 家分店从全局参数出发，在本地偏好数据 \(\mathcal{D}_k\) 上做一步（或多步）DPO 梯度下降。

$$\displaystyle \theta^{(t)} - \eta \nabla \mathcal{L}_{\mathrm{DPO}} \big( \theta^{(t)}; \mathcal{D}_k \big)$$

4. 加权求和：外层求和把各分店的更新按权重合并成新的全局参数。

$$\displaystyle \sum_{k=1}^{K} \frac{n_k}{N} (\cdot)$$

本地运行的 DPO 损失与单机版本完全一致，因此可以直接复用现成的优化器和训练框架。服务器只聚合参数或梯度，偏好数据始终停留在各家分店内部。

5. 隐私保护：把批注本锁进保险柜

分店的批注本锁在保险柜里，但总部总是要收到点什么的——它收到的是“心得”，而不是“笔记”。DPO 不训练奖励模型，已经少了一条泄露偏好的路径；然而模型梯度仍然可能被恶意服务器或中间人反推，所以还需要给通道加两道锁：安全聚合与差分隐私。

差分隐私的标准定义是：

\[

\displaystyle \Pr\Big[ \mathcal{M}(\mathcal{D}_1) \in S \Big] \le e^{\varepsilon} \Pr\Big[ \mathcal{M}(\mathcal{D}_2) \in S \Big] + \delta

\]

1. 相邻数据集：\(\mathcal{D}_1\) 和 \(\mathcal{D}_2\) 是只差一条记录的两个数据集，好比两本只有一页不同的批注本。

$$\displaystyle \mathcal{D}_1, \mathcal{D}_2$$

2. 聚合机制：\(\mathcal{M}\) 是联邦 DPO 的聚合输出过程，例如对上传梯度做平均。

$$\displaystyle \mathcal{M}(\cdot)$$

3. 任意输出集合：\(S\) 是算法可能输出的任意结果集合。

$$\displaystyle S$$

4. 隐私预算：\(\varepsilon\) 越小说明隐私保护越强；\(\delta\) 表示允许“极不可能”的泄露概率。

$$\displaystyle \varepsilon, \delta$$

在实现上，可以对每家的上传梯度加高斯噪声（DP-SGD），或使用同态加密、安全多方计算让服务器只能看到聚合结果。这样即使某家分店的批注本内容极端敏感，外界也无法逐条还原。

6. 工程部署：在非独立同分布现实中维持火候

真实分店各有各的脾气：川菜店口味重，粤菜店讲究原味；有的店积累了三千条批注，有的店只有三十条。这种“非独立同分布”（Non-IID）的数据分布，会让联邦 DPO 聚合出的全局模型在每家店里都差点意思。工程上需要像好厨子调火候一样，仔细调整本地训练轮数、客户端采样比例、DPO 温度系数 \(\beta\) 和学习率。

联邦 DPO 的全局目标可以写为：

\[

\displaystyle \min_{\theta} \; \sum_{k=1}^{K} \frac{n_k}{N} \; \mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}_k} \Big[ \ell_{\mathrm{DPO}}\big( \theta; x, y_w, y_l \big) \Big]

\]

1. 外求和：对所有客户端环境求加权和，代表“全球总店”的总体口味。

$$\displaystyle \sum_{k=1}^{K} \frac{n_k}{N}$$

2. 内层期望：在每家分店的本地偏好数据分布上估计 DPO 损失均值。

$$\displaystyle \mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}_k} \big[ \ell_{\mathrm{DPO}}(\theta) \big]$$

3. DPO 项：\(\ell_{\mathrm{DPO}}\) 就是上一节推导出的逐样本损失函数。

$$\displaystyle \ell_{\mathrm{DPO}}\big( \theta; x, y_w, y_l \big)$$

4. 无偏性：当各店分布接近时，这个加权目标是无偏估计；分布差异大时，需要靠采样和超参调整来逼近。

$$\displaystyle \frac{n_k}{N}$$

实际部署中，参数服务器往往每轮随机挑选一部分分店参与训练，以降低通信开销。同时要盯紧验证集上的“对齐度”和“通用能力”两条曲线，避免模型在某个地区“用力过猛”。

7. 对比分析：学徒制与品鉴师制之争

品鉴师制度（RLHF）和批注本制度（DPO）哪条路更好？从流程看，RLHF 要先训练奖励模型，再做 PPO 多轮交互，链路长且脆弱；DPO 则是从偏好对直接一步更新，不需要在线采样。从稳定性看，DPO 避开了 PPO 的策略采样方差和奖励噪声，训练起来更像普通分类任务。从数据效率看，DPO 在中小偏好集上也能较快迁移，但对偏好数据质量更为敏感。

DPO 的核心更新方向可以直观地写成：

\[

\displaystyle \nabla_\theta \mathcal{L}_{\mathrm{DPO}} \propto -\Big( \nabla_\theta \log \pi_\theta(y_w|x) - \nabla_\theta \log \pi_\theta(y_l|x) \Big)

\]

1. 正项抬高赢家：第一项带负号，等价于提升赢家回复的对数概率。

$$\displaystyle - \nabla_\theta \log \pi_\theta(y_w|x)$$

2. 负项压低输家：第二项带正号，等价于降低输家回复的对数概率。

$$\displaystyle \nabla_\theta \log \pi_\theta(y_l|x)$$

3. 方向恒定：\(\propto\) 表示这只刻画方向；实际更新的步长还会乘以 \(\beta(1-\sigma(\Delta))\) 这类权重。

$$\displaystyle \beta\big(1 - \sigma(\Delta)\big)$$

4. 无需奖励模型：整个梯度不依赖任何显式奖励打分，只依赖偏好数据和参考模型。

$$\displaystyle \pi_\theta \;\text{与}\; \pi_{\mathrm{ref}}$$

两条路线各有适用场景：需要复杂探索和在线反馈时，PPO 类方法依然重要；但追求效率、隐私、离线友好时，DPO 的“学徒模式”显然更省心。

8. 前沿演进：从面馆到多模态大厨房

从一家面馆扩展到火锅店、甜品店、中央厨房，师父的批注也变成多种形态：有对菜品的评价，有对摆盘的偏好，还有对“不能碰的红线”的安全要求。DPO 的前沿演进正是如此——从纯文本对齐，走向多模态偏好、推理链偏好和安全治理的联合优化。

多源联邦 DPO 可以写成：

\[

\displaystyle \mathcal{L}_{\mathrm{Multi}}(\theta) = \alpha_{\mathrm{txt}} \mathcal{L}_{\mathrm{DPO}}^{(\mathrm{txt})}(\theta) + \alpha_{\mathrm{img}} \mathcal{L}_{\mathrm{DPO}}^{(\mathrm{img})}(\theta) + \alpha_{\mathrm{safe}} \mathcal{L}_{\mathrm{DPO}}^{(\mathrm{safe})}(\theta)

\]

1. 各模态偏好损失：每一项都是在对应模态偏好数据上的 DPO 损失。

$$\displaystyle \mathcal{L}_{\mathrm{DPO}}^{(\mathrm{txt})}, \mathcal{L}_{\mathrm{DPO}}^{(\mathrm{img})}, \mathcal{L}_{\mathrm{DPO}}^{(\mathrm{safe})}$$

2. 模态权重：\(\alpha\) 控制文本、图像、安全等任务在总目标中的相对重要性。

$$\displaystyle \alpha_{\mathrm{txt}}, \alpha_{\mathrm{img}}, \alpha_{\mathrm{safe}}$$

3. 加权求和：把所有来源的“批注本”整合进一个可微分目标。

$$\displaystyle \sum_{i} \alpha_i \mathcal{L}_{\mathrm{DPO}}^{(i)}$$

4. 联邦共建：各来源的偏好数据仍可留在本地，通过联邦框架共同维护一套“总口味”。

$$\displaystyle \theta^{(t+1)} = \mathrm{FedAvg}(\theta^{(t)})$$

研究者正在把 DPO 扩展到多轮推理轨迹、视觉问答、内容安全等场景，甚至用规则自动构造偏好数据。从单一的“好面”判断，到口味、摆盘、营养、安全的综合训练体系，DPO 让“好手艺”变得可以被分布式地、安全地传承。

AI 应用场景

Python 演示

import mathimport randomfrom collections import OrderedDict  def sigmoid(x):    return 1.0 / (1.0 + math.exp(-x))  def dpo_loss(beta, w, l, rw, rl):    """DPO 交叉熵式损失, 赢家相对优势越大则损失越小"""    logrw = w - rw    logrl = l - rl    return -math.log(sigmoid(beta * (logrw - logrl)))  def dpo_step(beta, w, l, rw, rl, lr):    """在单个偏好对上做一步参数更新, 返回更新后的 log 概率"""    logrw = w - rw    logrl = l - rl    s = sigmoid(beta * (logrw - logrl))    loss = -math.log(s)    grad_w = -beta * (1 - s)    grad_l = beta * (1 - s)    return w - lr * grad_w, l - lr * grad_l, loss  def build_k_users(k, n, seed=42):    """构造 k 个联邦客户端的本地偏好数据, 每条含参考策略的 (rw, rl)"""    random.seed(seed)    users = OrderedDict()    for uid in range(k):        items = []        for _ in range(n):            rw = random.uniform(-0.5, -0.1)            rl = random.uniform(-0.9, -0.5)            items.append((rw, rl))        users[uid] = items    return users  def fed_avg(updates, sizes, total_n):    """按本地样本量加权平均模型增量"""    avg_w = sum(gw * s for (gw, _), s in zip(updates, sizes)) / total_n    avg_l = sum(gl * s for (_, gl), s in zip(updates, sizes)) / total_n    return avg_w, avg_l  def run_federated_dpo(users, init_w, init_l, beta=0.25, lr=0.02, local_epochs=5, rounds=6):    """模拟多客户端联邦 DPO, 观察赢家与输家 log 概率的间距变化"""    total_n = sum(len(items) for items in users.values())    w, l = init_w, init_l    for r in range(1, rounds + 1):        updates = []        sizes = []        for items in users.values():            cw, cl = w, l            for _ in range(local_epochs):                for rw, rl in items:                    cw, cl, _ = dpo_step(beta, cw, cl, rw, rl, lr)            updates.append((cw - w, cl - l))            sizes.append(len(items))        gw, gl = fed_avg(updates, sizes, total_n)        w += gw        l += gl        print("round %d: win=%.3f lose=%.3f gap=%.3f" % (r, w, l, w - l))    return w, l  if __name__ == "__main__":    data = build_k_users(3, 10)    run_federated_dpo(data, -0.3, -0.7)

1. logrw = w - rw把当前策略分数与参考策略分数做差，得到对该回复的“相对提升”。
2. s = sigmoid(beta * (logrw - logrl))把赢家与输家相对提升的差值映射到 0 到 1 的概率空间。
3. grad_w = -beta * (1 - s)这个梯度恒为负，所以赢家的对数概率会被抬升。
4. grad_l = beta * (1 - s)这个梯度恒为正，所以输家的对数概率会被压低。
5. updates.append((cw - w, cl - l))客户端只回传模型增量，而不是原始偏好数据。
6. avg_w = sum(gw * s for (gw, _), s in zip(updates, sizes)) / total_n按样本量加权平均各客户端的更新，完成联邦聚合。
7. w, l = run_federated_dpo(data, -0.3, -0.7)启动模拟，观察六轮后赢家与输家间距逐渐拉大的收敛过程。

常见误区

面试题