新学期，小林转学到了一所以写作见长的学校。班主任王老师每周布置一篇作文，周末批改时，她会把两篇作文摆在一起点评：“这一篇比那一篇好，你仔细体会一下差别。”小林对照着反复读，慢慢琢磨出好作文的门道，下笔越来越有章法。两个月后，他的作文平均分从勉强及格爬到了优秀档。这个故事，其实就是一条完整的“迭代对齐”链路：小林是大语言模型，王老师的对比点评是偏好信号，DPO 是小林“从两篇作文的比较中直接改进”的学习方法，而 RM（奖励模型）则是把王老师口味量化成分数的 AI 记分员。两者配合，让小林每一轮都有新鲜反馈、每一轮都进步一点。本文将用“写作文—打点评—改进—再写”这条线索，带你从零走通 DPO+RM 迭代对齐的完整技术链路。

岗位关联

掌握 DPO 与 RM 的迭代协作，你就能亲手搭建“采样→打分→更新→评估”的对齐闭环，这是大模型对齐工程师的核心能力。

目录
  1. 可视化演示
  2. DPO直接偏好优化：从“这篇更好”学起
  3. 奖励模型RM：AI记分员怎样打分
  4. 迭代对齐流程：周而复始的进步循环
  5. 偏好数据构建：喂给评委的好样本
  6. 训练稳定性：守住底线不跑偏
  7. 效果评估方法：怎样确认真的进步了
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示DPO直接偏好优化与RM奖励模型结合的迭代对齐循环，偏好对比较和评估反馈驱动模型持续优化。

本节配有交互动效（进入视口后自动加载，约 3KB）。

DPO+RM迭代对齐 DPO优化→RM打分→偏好评估→迭代收敛，闭环驱动模型对齐 偏好对比较A>B>C，RM辅助排序稳定训练 大模型对齐的核心方案，DPO与RM配合实现高效迭代优化

DPO直接偏好优化：从“这篇更好”学起

王老师批改作文有个习惯：她不逐字逐句修改，而是把两篇作文放在一起，告诉小林“这一篇比那一篇好，你体会一下差别”。小林不追问为什么，只凭这一句比较，就能琢磨出好作文的门道。DPO（Direct Preference Optimization，直接偏好优化）干的正是这件事——它不要求模型理解抽象复杂的“好”，而是直接利用“回答 A 比回答 B 更受青睐”这个比较信号来更新参数。

在传统强化学习对齐路线（如 PPO）中，需要先训练奖励模型给每个回答打绝对分数，再让策略模型反复试错去最大化分数，过程曲折又昂贵。DPO 的巧妙之处在于：它证明了“谁比谁好”的偏好关系里已经隐含了奖励信息，可以把偏好对直接翻译成参数更新的梯度，绕开单独的奖励模型训练环节。

DPO 的损失函数只做一件事：让模型对被偏好回答的“偏爱程度”尽量高于对坏回答的偏爱程度。偏爱程度用当前模型相对参考模型的对数概率比来衡量，公式如下：

回到小林：每次听到“这篇更好”，他就在心里默默给好作文的写法加分、给差作文的写法减分。DPO 干的正是这套“加减分”，只不过它加减的是神经网络里成千上万的参数。

LDPO(πθ)=−log⁡σ(βlog⁡πθ(yw∣x)πref(yw∣x)−βlog⁡πθ(yl∣x)πref(yl∣x))\mathcal{L}_{\text{DPO}}(\pi_\theta) = -\log \sigma\left(\beta \log \frac{\pi_\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \beta \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)}\right)
通俗理解：好回答与坏回答的“相对被选中概率差”越大，sigmoid 输出越接近 1，负对数损失越小。模型被训练得越“偏爱”好回答，损失就越低。
  1. 偏好样本对 $(x, y_w, y_l)$$x$ 是用户提问，$y_w$ 是更被青睐的回答，$y_l$ 是相对逊色的回答，三者组成一条“这篇更好”的比较信号。
    (x, yw, yl),yw≻yl\left(x,\ y_w,\ y_l\right),\quad y_w \succ y_l
  2. 当前策略与参考模型$\pi_\theta$ 是被训练的模型，$\pi_{\text{ref}}$ 是训练前固定下来的初始模型，充当“未改之前的原稿”锚点。
    πθ(y∣x),πref(y∣x)\pi_\theta(y \mid x),\qquad \pi_{\text{ref}}(y \mid x)
  3. 对数概率比$\log \frac{\pi_\theta(y \mid x)}{\pi_{\text{ref}}(y \mid x)}$ 大于零，说明当前模型比参考模型更愿意生成回答 $y$。
    log⁡πθ(y∣x)πref(y∣x)\log \frac{\pi_\theta(y \mid x)}{\pi_{\text{ref}}(y \mid x)}
  4. 偏好差与缩放系数好回答与坏回答的对数概率比之差被系数 $\beta$ 放大，$\beta$ 越大，模型越激进地追逐偏好。
    β(log⁡πθ(yw∣x)πref(yw∣x)−log⁡πθ(yl∣x)πref(yl∣x))\beta \left( \log \frac{\pi_\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)} \right)
  5. sigmoid 与负对数$\sigma(z) = \frac{1}{1+e^{-z}}$ 把任意实数压到 0～1 之间，取负对数后，偏好越明显损失越小。
    −log⁡σ(z),σ(z)=11+e−z-\log \sigma(z),\qquad \sigma(z) = \frac{1}{1 + e^{-z}}

奖励模型RM：AI记分员怎样打分

王老师一个人批 50 份作文，精力实在有限。为了让评价又快又稳，她把打分标准提炼成一套固定规则，交给“记分员”去执行。在迭代对齐流程里，奖励模型（Reward Model，RM）就是这个记分员：输入“问题 + 回答”，输出一个标量分数，分数越高代表回答越符合人类偏好。

RM 本身也是一个语言模型，它靠人工标注的偏好数据训练，最常用的目标函数是 Bradley-Terry 模型：对同一问题下的两个回答，让好回答的分数尽量高于坏回答。当 RM 训练得足够好，它就能替代人工，在迭代流程里批量打分，成为自动化反馈的核心引擎。

说白了，王老师把“这篇更好”翻译成“83 分 vs 71 分”，记分员替她不知疲倦地给每篇新作文打分。RM 的意义，就在于把主观偏好变成可批量计算的客观信号。

LRM=−E(x,yw,yl)∼D[log⁡σ(r(x,yw)−r(x,yl))]\mathcal{L}_{\text{RM}} = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[\log \sigma\left(r(x, y_w) - r(x, y_l)\right)\right]
通俗理解：好回答得分减坏回答得分要尽量大；一旦好回答得分比坏回答还低，损失就会急剧上升，驱动 RM 自我修正。
  1. 奖励分数 $r(x, y)$RM 给“问题 x + 回答 y”的输出标量，越高代表越符合人类偏好。
    r(x,y)∈Rr(x, y) \in \mathbb{R}
  2. 分数差$r(x, y_w) - r(x, y_l)$ 大于 0 表示打分与人类偏好一致，越大说明越有区分度。
    r(x,yw)−r(x,yl)>0r(x, y_w) - r(x, y_l) > 0
  3. sigmoid 与期望差值过 sigmoid 变成“好回答胜出”的概率，对所有样本取负对数均值就是最终损失。
    −log⁡σ(r(x,yw)−r(x,yl))-\log \sigma\left(r(x, y_w) - r(x, y_l)\right)

迭代对齐流程：周而复始的进步循环

小林发现，只靠每周一篇作文的批改意见，进步还是太慢。于是他和王老师约定了一套“周循环”：周一写三篇不同风格的草稿，周二王老师打分排序，周三小林根据“哪篇好”调整写法，周四、周五再写新一批，周六统一评估本周进步。如此循环一个月，效果远超想象。DPO+RM 的迭代对齐，正是把这条循环搬进了模型训练流水线。

标准的迭代对齐分四步：先用当前策略模型采样生成一批回答；再用 RM 给回答打分、按分数挑出好坏配成偏好对；接着在这些偏好对上做 DPO 更新；最后评估本轮效果。关键区别在于——每一轮的数据都来自“当前最新模型”，而不是反复使用旧数据。

小林的“周循环”坚持两个月后，作文水准突飞猛进。秘诀只有一句话：每一轮都用最新的自己接受反馈。迭代对齐同理——让模型不断用自己新生成的作品去“碰”裁判的评分标准，才能持续逼近人类偏好。

πt+1=DPO⁡(πt, Dt, πref),Dt={(x, yw, yl)}\pi_{t+1} = \operatorname{DPO}\left(\pi_t,\ \mathcal{D}_t,\ \pi_{\text{ref}}\right),\qquad \mathcal{D}_t = \left\{\left(x,\ y_w,\ y_l\right)\right\}
通俗理解：第 t+1 轮的模型 = 用第 t 轮新采样的偏好数据，对当前模型做一次 DPO 更新。
  1. 当前策略 $\pi_t$第 t 轮模型，既负责生成新数据，也是本轮更新的起点。
    πt\pi_t
  2. 新偏好集 $\mathcal{D}_t$用 $\pi_t$ 采样回答、RM 打分后构成的偏好对集合，相当于“本周新批改的作文”。
    Dt={(xi,yw,i,yl,i)}i=1N\mathcal{D}_t = \{(x_i, y_{w,i}, y_{l,i})\}_{i=1}^{N}
  3. DPO 更新算符以 $\pi_t$ 为初始化，在新数据上求 DPO 损失并梯度更新，得到 $\pi_{t+1}$。
    πt+1←πt−α∇LDPO(πt,Dt)\pi_{t+1} \leftarrow \pi_t - \alpha \nabla \mathcal{L}_{\text{DPO}}\left(\pi_t, \mathcal{D}_t\right)

偏好数据构建：喂给评委的好样本

王老师再敬业，也要有作文可看才能打分。如果小林交上来的三篇草稿大同小异，老师根本分不出高下。偏好数据就是迭代对齐的“作文素材”，素材的差异度和质量，直接决定每一轮 DPO 能学到多少东西。

构造偏好对的第一步是“多样采样”：对同一个问题，用不同温度、不同随机种子生成多个回答，保证候选之间有差异。第二步是“打分配对”：让 RM 给每个候选打分，把最高分与最低分配成一对 $(y_w, y_l)$。第三步是“清洗入库”：剔除重复、答非所问、长度失衡的样本。

小林后来学乖了：每次草稿故意用三种截然不同的开头——开门见山、环境渲染、设问引入。差异一大，王老师一眼就能看出哪种写法更适合考场。偏好数据构建中“多样性”的价值，正在于此。

Dt={(xi, arg⁡max⁡y∈Sir(xi,y), arg⁡min⁡y∈Sir(xi,y))}i=1N\mathcal{D}_t = \left\{\left(x_i,\ \arg\max_{y \in S_i} r(x_i, y),\ \arg\min_{y \in S_i} r(x_i, y)\right)\right\}_{i=1}^{N}
通俗理解：对每个问题采样一组候选回答，用 RM 挑出最高分和最低分凑成一对，汇成本轮训练集。
  1. 候选集 $S_i$对问题 $x_i$ 采样出的 K 个候选回答，如 $K=4$。
    Si={y(1),y(2),…,y(K)}S_i = \left\{y^{(1)}, y^{(2)}, \dots, y^{(K)}\right\}
  2. 最高分配对最低分RM 打分后，取最高分回答作 $y_w$、最低分回答作 $y_l$，差异越大偏好信号越强。
    yw=arg⁡max⁡y∈Sir(xi,y),yl=arg⁡min⁡y∈Sir(xi,y)y_w = \arg\max_{y \in S_i} r(x_i, y),\quad y_l = \arg\min_{y \in S_i} r(x_i, y)
  3. 规模与平衡每轮收集 N 个偏好对，并抽样平衡领域和难度，避免模型只学会某类问题。
    N≈104∼105N \approx 10^4 \sim 10^5

训练稳定性：守住底线不跑偏

有一段时间，小林为了追求高分，在作文里堆砌华丽辞藻，结果期中考试被阅卷老师批评“空洞无物”。他这才明白：一味讨好评委，可能丢掉基本功。模型对齐也一样，一个劲儿往偏好方向冲，很可能“越练越偏”——这就是训练稳定性问题。

稳定性风险主要有两类：一是模型与参考模型偏离过远，输出变得怪异甚至崩坏；二是对当前偏好数据过拟合，导致其他领域能力断崖式下跌（灾难性遗忘）。DPO 的天然防线是 KL 散度约束，训练实践中还要配以温和的学习率和早停策略。

王老师对小林说：“追求高分可以，但不能丢了叙事功底。”这番话翻译成技术语言，就是 KL 约束：在追逐人类偏好的同时，和最初的自己之间拉一根“安全绳”。

Ltotal=LDPO+β DKL(πθ ∥ πref)\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{DPO}} + \beta \, D_{\text{KL}}\left(\pi_\theta \,\|\, \pi_{\text{ref}}\right)
通俗理解：总损失 = 对齐目标 + 稳定性约束。$\beta$ 越大，模型越不敢偏离参考模型。
  1. KL 散度定义KL 散度度量两个概率分布的差异，值越大说明分布差得越远。
    DKL(P∥Q)=∑yP(y)log⁡P(y)Q(y)D_{\text{KL}}(P \| Q) = \sum_y P(y) \log \frac{P(y)}{Q(y)}
  2. 约束权重 $\beta$$\beta$ 控制“稳定”与“对齐”的平衡，太小易过拟合，太大则学不动。
    β∈(0,1)\beta \in (0, 1)
  3. 总损失最小化优化器在最小化 DPO 损失的同时压低 KL 散度，相当于随时提醒模型“别忘了原来的自己”。
    min⁡θ[LDPO+β DKL]\min_{\theta} \left[ \mathcal{L}_{\text{DPO}} + \beta \, D_{\text{KL}} \right]

效果评估方法：怎样确认真的进步了

两个月后，小林想知道自己究竟进步了多少。光看王老师的日常打分还不够，于是他报名参加了年级作文统考，还把自己开学初的旧作找出来对比排名。迭代对齐工程同样需要这样一场“统考”来回答：这一轮迭代，到底值不值？

最常用的指标是胜率（Win Rate）：准备一批固定问题，让新旧两版模型各生成一个回答，由 RM 打分或人工盲评，统计新模型胜出的比例。另一个常用指标是 RM 平均分随轮次的走势曲线——它直观反映模型与人类偏好的贴合趋势。两者之外，还须叠加安全测试，防止对齐过程引入新风险。

统考放榜那天，小林发现自己的排名从班级中游升到了年级前列，阅卷老师盲评时也几乎一致认为他的文章立意更深刻。胜率过半、盲评更优、安全无虞——这套“统考”体系，就是迭代对齐工程的验收标准。

WinRate=1N∑i=1NI[r(xi,yinew)>r(xi,yibase)]\text{WinRate} = \frac{1}{N}\sum_{i=1}^{N} \mathbb{I}\left[ r\left(x_i, y_i^{\text{new}}\right) > r\left(x_i, y_i^{\text{base}}\right) \right]
通俗理解：N 个问题上新旧模型各写一篇，数一数新模型得分更高的比例。
  1. 指示函数 $\mathbb{I}[\cdot]$括号内条件成立记 1，不成立记 0，用于把比较结果变成可累加的数字。
    I[rnew>rbase]∈{0,1}\mathbb{I}[r_{\text{new}} > r_{\text{base}}] \in \{0, 1\}
  2. 配对回答同一问题下新旧模型分别生成回答，保证可比性。
    ynew∼πnew,ybase∼πbasey^{\text{new}} \sim \pi_{\text{new}},\quad y^{\text{base}} \sim \pi_{\text{base}}
  3. 平均胜率对所有问题求平均，高于 0.5 说明新模型整体更好；再配合 RM 曲线与人工盲评多维度确认。
    WinRate∈[0,1]\text{WinRate} \in [0, 1]

AI 应用场景

智能客服机器人的多轮对齐

阶段：偏好对齐与迭代优化

解决的问题：传统客服机器人基于固定话术库回答，语气生硬、答非所问，且难以持续优化。迭代对齐方案让客服模型每轮用自身生成的新回答接受打分与偏好反馈，逐步收敛到礼貌、准确、简洁的服务风格。

具体案例：某电商平台客服助手上线后，由运营团队标注首批 2 万条偏好数据启动第 1 轮迭代；之后每两周自动从线上日志采样新对话，由 RM 打分构造偏好对，再跑 DPO 更新。连续 6 轮后，用户满意度提升 23%，生硬表达率下降一半。

代码生成助手的风格对齐

阶段：数据构建与策略更新

解决的问题：通用代码模型生成的代码能跑但风格杂乱，不遵循团队规范。通过迭代对齐，让模型在“可读性优先 vs 极简写法”等维度上持续贴近团队偏好。

具体案例：某企业内部代码助手收集工程师的代码评审意见，把“好写法 vs 差写法”配成偏好对，采用 DPO+RM 迭代对齐，每周一轮更新模型。一个月后，代码评审一次通过率提升 31%。

内容创作平台的安全对齐

阶段：效果评估与安全测试

解决的问题：生成模型在开放领域可能输出偏见、违规内容，单纯追求“文笔好”可能帮倒忙。迭代对齐中加入安全维度的 RM 打分和人工盲评，把“符合规范”作为与“文笔优美”并列的偏好维度。

具体案例：某社区写作助手的每一轮迭代都附带安全测试：用越狱样本集评测新模型，只有安全通过率不下降才允许发布新版本，实现了风格提升与安全红线共守。

Python 演示

python56 行
import random  class RewardModelSim:    """模拟奖励模型：分数 = 回答质量 - 风格偏离度"""     def __init__(self, target_style):        self.target_style = target_style     def judge(self, style, quality):        return quality - abs(style - self.target_style)  class PolicyModelSim:    """模拟策略模型：记录当前风格，可采样生成回答"""     def __init__(self, init_style):        self.style = init_style        self.ref_style = init_style     def sample_answer(self):        noise = random.uniform(-0.6, 0.6)        quality = random.uniform(0.5, 1.0)        return self.style + noise, quality  def dpo_update(policy, chosen_style, rejected_style, beta=0.5):    """DPO更新：靠近被选中的回答，远离被否定的回答"""    gap = chosen_style - rejected_style    grad = beta * gap / (1.0 + abs(gap))    policy.style += 0.3 * grad    policy.style -= 0.1 * (policy.style - policy.ref_style)  def run_iterative_alignment(rounds=10, candidates=4):    rm = RewardModelSim(target_style=3.0)    policy = PolicyModelSim(init_style=0.0)    for rnd in range(rounds):        pairs = []        for _ in range(candidates):            a_style, a_q = policy.sample_answer()            b_style, b_q = policy.sample_answer()            if rm.judge(a_style, a_q) > rm.judge(b_style, b_q):                pairs.append((a_style, b_style))            else:                pairs.append((b_style, a_style))        for chosen, rejected in pairs:            dpo_update(policy, chosen, rejected)        scores = [rm.judge(s, q) for s, q in                  [policy.sample_answer() for _ in range(50)]]        avg_score = sum(scores) / len(scores)        print(f"第{rnd + 1:2d}轮 | 风格={policy.style:6.2f} | RM平均分={avg_score:5.2f}")  if __name__ == "__main__":    run_iterative_alignment()
目的：用两个极简类模拟“策略模型 + 奖励模型”，跑完 10 轮 DPO 迭代对齐，直观看到风格参数与 RM 平均分同步上升。
  1. rm = RewardModelSim(target_style=3.0)创建“记分员”，目标风格为 3.0
  2. policy = PolicyModelSim(init_style=0.0)创建“学生”，初始风格为 0.0
  3. a_style, a_q = policy.sample_answer()当前模型采样生成候选回答
  4. if rm.judge(a_style, a_q) > rm.judge(b_style, b_q):RM 对两个候选打分比较
  5. pairs.append((a_style, b_style))构造“好 vs 坏”偏好对
  6. dpo_update(policy, chosen, rejected)执行 DPO 参数更新
  7. policy.style += 0.3 * grad让风格向“被选中的回答”方向挪动
  8. policy.style -= 0.1 * (policy.style - policy.ref_style)KL 约束，防止偏离参考模型

常见误区

误区教程里说“DPO 不需要显式奖励模型”，所以 DPO 和 RM 是互斥的两条路线，做迭代对齐只要 DPO 就够了。

正解DPO 省去的是“单独训练 RM 再跑强化学习”的中间环节，但它内部依然隐式地学了一个奖励。在迭代对齐中，RM 往往担任“数据筛选器”：从当前模型采样出的多个回答里挑出最高分和最低分配成偏好对，喂给 DPO。二者是分工协作，不是二选一。

为何常见：很多科普为了对比 DPO 与 PPO，反复强调“DPO 不需要奖励模型”，初学者把“不需要显式训练 RM 来做 RL”误解为“RM 在整个流程里毫无用处”。

误区把同一份偏好数据集翻来覆去训练 10 个 epoch，就当完成了 10 轮迭代对齐。

正解迭代对齐的灵魂是“每轮用当前模型生成新数据、重新打分构成新偏好对”。重复旧数据只会让模型死记硬背，无法触及新的分布变化，还容易过拟合。真正的迭代是数据在变、模型在变，两者互相追赶。

为何常见：“迭代”两个字让人直觉联想到“重复执行”，而忽略了迭代对齐里“数据必须来自最新模型”这个关键约束。

误区评估时只看 RM 分数，只要每轮奖励均值都在涨，就认为对齐效果很好、可以发布。

正解RM 分数升高可能是 reward hacking——模型学会了钻 RM 的打分漏洞，比如堆砌看似高级实则空洞的词汇，而不是真的更符合人类偏好。必须配合人工盲评、胜率对比和越狱安全测试，多维交叉验证。

为何常见：RM 分数是最容易自动化的指标，人天生倾向于用一条漂亮的上升曲线证明进步，忽略了“分数是代理指标，不是终极目标”。

误区既然每轮模型都在进步，那参考模型也应该同步更新，换成最新最好的版本，约束才更宽松。

正解参考模型通常在训练开始时固定为初始版本（如 SFT 模型），它的作用是充当“锚点”，防止模型在追逐偏好时丢失基础能力。如果每轮都换参考模型，KL 约束的语义就变了——“和谁对比”在漂移，模型也会跟着一步步漂出安全区。

为何常见：“reference“直译是”参照物“，让人误以为每一轮的参照都应是最新模型，其实它应该是”最初的自己”。

面试题

Q1. DPO 的英文全称对应的中文含义是？

单选题 · easy

  • A.直接偏好优化算法← 正确答案
  • B.动态策略优化算法
  • C.深度偏好优化算法
  • D.分布偏好排序算法

答案：A。DPO 全称 Direct Preference Optimization，直译“直接偏好优化”，强调直接利用偏好比较信号优化策略，无需显式训练奖励模型做强化学习。B、C、D 都是混淆项，与“偏好”和“直接”两个关键词不符。

Q2. 奖励模型 RM 在迭代对齐中的主要职责是？

单选题 · easy

  • A.给回答打分并排序偏好← 正确答案
  • B.直接修改模型的参数
  • C.压缩模型的内存占用
  • D.加速训练数据的加载

答案：A。RM 是“AI 记分员”，输入问题和回答输出偏好分数，用于从候选回答中挑出好坏、构造偏好对。B 是优化器的职责，C、D 是模型部署或工程优化手段，都与 RM 的打分职能无关。

Q3. DPO 的学习信号来自？

单选题 · easy

  • A.单个回答的绝对分数
  • B.两个回答的比较信号← 正确答案
  • C.模型输出的困惑度值
  • D.回答文本的字符长度

答案：B。DPO 的核心是“回答 A 比回答 B 更好”这类比较信号，而不是单个回答的绝对好坏。绝对分数是传统 RM 打分思路，困惑度衡量生成流畅度，字符长度与偏好无关，均不是 DPO 的学习信号。

Q4. DPO 损失函数中 sigmoid 的作用是？

单选题 · mid

  • A.把偏好差距映射成概率← 正确答案
  • B.放大梯度更新的幅度
  • C.抑制训练中的过拟合
  • D.将损失约束到零附近

答案：A。sigmoid 把“好回答相对坏回答的偏好差距”这一任意实数压缩到 0～1 之间，变成平滑的概率，再接负对数形成损失。B、C、D 分别是学习率、正则化和损失设计的职责，不是 sigmoid 的数学功能。

Q5. 迭代对齐中每一轮的新数据由谁生成？

单选题 · mid

  • A.对旧数据做简单复制
  • B.当前最新策略模型采样← 正确答案
  • C.参考模型在旧库检索
  • D.奖励模型反向解码生成

答案：B。迭代的灵魂是“用当前最新策略模型生成新回答”，再交给 RM 打分构成新偏好对，实现数据与模型共同进化。A 复制旧数据不是新数据；C 检索仍来自旧库；D 奖励模型只打分，不负责生成内容。

Q6. 训练 RM 的 Bradley-Terry 损失目标是？

单选题 · hard

  • A.好回答分数高于坏回答← 正确答案
  • B.所有回答分数趋向均值
  • C.坏回答分数高于好回答
  • D.回答分数服从均匀分布

答案：A。Bradley-Terry 模型假设“好回答胜过坏回答”的概率由两者分数差决定，训练时最大化好回答得分高于坏回答的可能。B、D 会抹平回答之间的区分度，C 与人类偏好完全相反，都会让 RM 失去排序能力。

Q7. 参考模型在 DPO 迭代中的正确用法是？

单选题 · hard

  • A.固定锚点防止模型跑偏← 正确答案
  • B.每轮替换为最新模型
  • C.负责生成全部偏好数据
  • D.替代 RM 进行打分排名

答案：A。参考模型在训练开始时固定为初始版本，作为 KL 约束的锚点，防止模型偏离能力基线。B 若成立，约束的“对比基准”会不断漂移；C 生成数据是策略模型的职责；D 打分是 RM 的职责。

Q8. 迭代对齐完整流程包含哪些阶段？

多选题 · mid

  • A.当前模型采样生成回答← 正确答案
  • B.RM 打分构造偏好对← 正确答案
  • C.DPO 更新策略参数← 正确答案
  • D.删除参考模型全部参数

答案：ABC。标准流程是“采样生成 → RM 打分配对 → DPO 更新”，再辅以效果评估，A、B、C 正是三个核心阶段。D 是错误操作，参考模型必须保留，它是 KL 约束的锚点，删掉会导致模型失去稳定基准。

Q9. 评估迭代对齐效果时应关注哪些信号？

多选题 · mid

  • A.新旧模型胜率对比结果← 正确答案
  • B.RM 平均分的迭代曲线← 正确答案
  • C.人工盲评与安全测试← 正确答案
  • D.训练集损失降为零

答案：ABC。胜率、RM 分数趋势、人工盲评和安全测试构成多维评估体系，互相印证才能确认真实进步。D 中训练集损失降为零通常是过拟合信号——模型背下了数据而非学会了偏好，不能作为对齐成功的标志。

Q10. 关于 DPO 与 RM 的协作，正确的说法有？

多选题 · hard

  • A.RM 为候选挑选偏好对← 正确答案
  • B.DPO 内含隐式奖励机制← 正确答案
  • C.RM 分数上升就是完美
  • D.二者多轮迭代协同提升← 正确答案

答案：ABD。RM 为 DPO 提供偏好数据，DPO 的数学推导中隐式包含奖励，二者在多轮迭代中协同进化，A、B、D 正确。C 忽略了 reward hacking 风险——RM 分数持续上升可能只是模型学会了钻打分漏洞，必须辅以人工盲评确认。