Reward Model训练与Bradley-Terry建模

可视化演示

奖励模型定位

小李入职的第一天，老板就给他换了工牌：从“实习服务员”变成“首席评论员”。他的工作不再是端菜，而是在每道菜出锅后尝一口，然后在评分卡上写下一个数字。老板强调：你不需要告诉我这道菜该怎么做，你只需要告诉我它值几分。这个定位在AI世界完全对应：奖励模型不生成文本，只对给定的回复打分，输出一个标量奖励值。它与策略模型的分工，就像评论员与厨师的分工——一个负责品，一个负责做。

在RLHF（基于人类反馈的强化学习）整套流程里，奖励模型处于承上启下的位置。上游，它消耗人类标注员产出的偏好数据；下游，它把“这条回复更好”转化成强化学习可优化的数值信号，喂给PPO算法。策略模型每生成一条新回复，奖励模型就迅速给出分数，这个分数的高低直接决定策略模型往哪个方向更新。可以说，奖励模型是全流程中唯一携带“人类口味”的裁判。

工程实现上，奖励模型一般从SFT模型初始化——也就是已经学过“怎么把话说通顺”的基座模型——然后把语言建模头摘掉，换上一个回归头。回归头的任务是把模型最后一层隐状态压缩成一个实数。训练时会冻结部分底层参数，只更新靠近输出的上层参数，这样既能保留语言理解能力，又不至于让分数发散。

$$r_\theta(x, y) = \mathbf{w}^T \mathbf{h}_\theta(x, y) + b$$

1. 输入拼接：把提示词x和回复y首尾相接，作为模型的输入序列。

$$[x; y]$$

2. 编码得到隐状态：语言模型主干把整个序列压缩成最后一层的整体语义向量。

$$\mathbf{h}_\theta(x, y) = \mathrm{LLM}_\theta\big([x; y]\big)$$

3. 线性投影成标量：回归头用权重向量做点积再加上偏置，把高层语义压缩为单一分数。

$$r_\theta = \mathbf{w}^T \mathbf{h}_\theta + b$$

就这样，小李的评分卡上线了。他不再写“这道菜不错”这种含糊评价，而是给出一个明确的数字。这个数字虽然冷冰冰，却是后厨每道改进工序的第一依据——厨师看完它，才知道自己这道菜做得对不对。

偏好数据构建

小李上岗前，老板给他准备了“教学素材”：几百场正式的品鉴会。每场品鉴会，服务员端上两道菜——同一道“宫保鸡丁”的两个版本，菜牌上只写着“A“和”B“，防止顾客有先入为主的偏见。顾客尝完，必须选出一位”胜者”。被多数人选中的B版记为chosen，落败的A版记为rejected。一场品鉴会，就是一条偏好数据对。

搬到AI数据工厂里，这个流程变成流水线作业。第一步，从用户请求池或指令数据集中采样一批prompt；第二步，用多个候选模型（或同一个模型的不同温度采样）对每个prompt各生成几条回复；第三步，让标注员看两条或更多回复，选出更符合人类偏好的那条。被选中的记为chosen，没被选中的记为rejected。注意chosen和rejected必须来自同一个prompt，否则比较就失去了基准。

数据构建有几个容易踩坑的细节。首先是顺序偏差：如果A永远显示在左边，标注员可能无意识地偏爱左侧，因此两条回复的展示顺序必须随机打乱。其次是标注一致性：一个标注员的偏好可能很个人化，一般会让三到五人独立标注，再用多数投票决定最终的chosen/rejected，并用Kappa系数衡量共识程度。最后是数据规模：同一prompt可以采集多条回复做两两比较，用类似锦标赛的方式排出全局偏好序，这样能获得更丰富、更稳定的训练信号。

$$\mathcal{D} = \left\{ \big(x^{(i)},\; y_w^{(i)},\; y_l^{(i)}\big) \right\}_{i=1}^{N}$$

1. 三元组结构：每个样本包含提示词、chosen回复、rejected回复三个要素。

$$\big(x^{(i)},\; y_w^{(i)},\; y_l^{(i)}\big)$$

2. 符号含义：下角标w代表胜者chosen，l代表败者rejected，胜者严格更受人类偏好。

$$y_w^{(i)} \succ y_l^{(i)}$$

3. 数据集规模：N表示偏好对的总数量，N越大，小李见过的“品鉴会”就越多。

$$|\mathcal{D}| = N$$

品鉴会一场接一场，小李的“口味记忆库”越来越丰富。老板把教学素材分成三份：大部分用来日常练习，一小份用来阶段考核，最后一份留作上岗终审。有了这些精心准备的素材，小李才敢真正走进后厨打分。

Bradley-Terry模型

小李能分清哪道菜更好吃，但老板要的是分数。怎么从一大堆“这道比那道好”的相对判断中，推算出每道菜各自的绝对分数？Bradley-Terry模型的回答是：每道菜其实都有一个隐藏的“实力值”，顾客的判断就像一场比赛，实力值高的一方更可能获胜。这道菜在比赛里的“实力值”，在奖励模型里就是“奖励分数”。

Bradley-Terry模型最早诞生于体育统计领域——用来根据球队的胜负关系反推各队的真实战力。它的妙处在于不需要绝对评分：只需要知道A赢了B、B赢了C，就能推断出A、B、C的实力排名。奖励建模沿用同一套逻辑：把“人类选了chosen”看作“chosen在比赛中赢了rejected”，于是模型对两者打出的奖励分数之差，就定义了这场“比赛”的胜负概率。

具体到数学形式：chosen的指数级得分占两者指数得分之和的比例，就是它被人类选中的概率。这个概率只依赖于两个分数之差——差值大，chosen几乎必胜；差值为零，双方各半；差值反号，则rejected反超。

$$P(y_w \succ y_l) = \frac{\exp\big(r_\theta(x, y_w)\big)}{\exp\big(r_\theta(x, y_w)\big) + \exp\big(r_\theta(x, y_l)\big)} = \sigma\big( r_\theta(x, y_w) - r_\theta(x, y_l) \big)$$

1. 指数化消去负数：先给两个奖励分数取指数，让分数映射到正数空间，负分也不影响比较。

$$\exp(r_w), \quad \exp(r_l)$$

2. 比例即概率：用chosen的指数作为分子，两者指数之和作为分母，得到chosen获胜的概率。

$$\frac{\exp(r_w)}{\exp(r_w) + \exp(r_l)}$$

3. 化简为sigmoid：分子分母同除以exp(r_l)，整个表达式化为sigmoid函数，计算更简洁。

$$\sigma(r_w - r_l) = \frac{1}{1 + \exp\big(-(r_w - r_l)\big)}$$

小李从杂乱无章的品鉴记录中整理出了每个菜品的“实力值账本”。账本上每个数字都来自成百上千次两两对决——这，就是Bradley-Terry模型送给小李的礼物：从相对比较中提取绝对尺度。

训练损失设计

小李打分会犯错：有时被精致的摆盘迷惑，给中看不中吃的菜打了高分；有时遇到没尝过的异域香料，评分忽高忽低。老板需要一套纠偏机制——在每次品鉴后告诉他“这轮判断错在哪里、错得多离谱”。这套机制落实到数学上，就是损失函数。

奖励模型训练遵循最大似然思想：我们希望模型对chosen给出的奖励分，高于对rejected给出的奖励分，而且差距越大越好。Bradley-Terry损失（简称BT loss）把所有偏好对串起来：每一对计算差值，过sigmoid，取负对数再求期望。当一个chosen的胜率被模型估计到接近1时，这一对的损失就趋近于0；当模型押错了宝，把rejected打得更高时，损失会迅速变大。

$$\mathcal{L}(\theta) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma\big( r_\theta(x, y_w) - r_\theta(x, y_l) \big) \right]$$

1. 计算奖励差值：模型先对chosen和rejected分别打分，再相减得到差值d，差值越正说明模型越认可chosen。

$$d = r_\theta(x, y_w) - r_\theta(x, y_l)$$

2. 映射成胜率：把差值送入sigmoid，得到“chosen获胜”的估计概率。

$$\hat{p} = \sigma(d) = \frac{1}{1 + e^{-d}}$$

3. 负对数施加惩罚：对胜率取负对数，胜率越接近1损失越小，越接近0损失剧增。

$$-\log \hat{p} = -\log \sigma(d)$$

4. 全体样本期望：对数据集中所有偏好对的损失取平均，形成可梯度回传的训练目标。

$$\frac{1}{N} \sum_{i=1}^{N} -\log \sigma(d_i)$$

训练中还常用几个技巧稳住训练过程：引入温度参数缩放差值，控制模型过自信；加入dropout与权重衰减限制模型自由度；监控训练集与验证集损失差，防止奖励模型“背答案”钻数据空子。这些手段全部指向同一个目标：让小李的口味在泛化中变得稳定，而不是死记硬背某一场品鉴的结果。

训练流程细节

小李的训练不是无限量试菜。老板把品鉴记录分成三份：八成用于日常练习，一成用于阶段考核，最后一成留作上岗终审。练习时还会控制节奏——练多了怕他腻，练少了怕他不熟。这套节奏，映射到奖励模型训练里就是三分法数据划分、小学习率微调和早停策略。

训练时，模型从SFT权重出发，冻结大部分底层参数，释放靠近顶层的一小部分参数做微调。学习率不能太猛，一般取5e-6到1e-5之间；批量大小常见16到64；训练轮数通常只有2到4个epoch。之所以这么保守，是因为奖励模型的上游是一个已经会说人话的基座模型——我们只想给它换一个“打分大脑”，不想让它把语言能力忘光。

收敛判断靠验证集准确率。每完成一个epoch，就在验证集上计算“模型给chosen的分数高于rejected的比例”。这个比例随训练进程先快速上升、后趋于平缓，一旦连续几个epoch不再提升甚至下滑，就触发早停，保存最佳checkpoint。训练过度时，"reward hacking"风险会显著上升——模型开始学会刷分数，而不是真正理解人类偏好。

$$\text{Acc}_{\mathrm{val}} = \frac{1}{N_{\mathrm{val}}} \sum_{i=1}^{N_{\mathrm{val}}} \mathbb{I}\big[ r_\theta(x_i, y_{w,i}) > r_\theta(x_i, y_{l,i}) \big]$$

1. 逐对判断：对验证集中每个样本，判断模型是否给chosen打了比rejected更高的分。

$$\mathbb{I}\big[ r_w > r_l \big]$$

2. 求平均：把判断正确的样本个数除以验证集总数，得到0到1之间的准确率值。

$$\frac{1}{N_{\mathrm{val}}} \sum_{i=1}^{N_{\mathrm{val}}}$$

3. 与历史最优比较：当当前准确率低于历史峰值并持续回落时，保存最优模型并停止训练。

$$\text{Acc}_{\mathrm{val}} < \text{Acc}_{\mathrm{val, best}}$$

小李按这套节奏训练下来，状态一天比一天稳定：练习集上判断准确，考核集上不怯场，终审时拿捏有度。老板终于点头：可以上岗了。

质量评估方法

小李上岗第一天，老板决定做一次突击考核：拿出他从未见过的品鉴记录，让小李给每道菜打分，再与顾客的判断逐一比对。准确率高是底线；更重要的是观察他的“手型”——是分数全部挤在一起、含糊其辞，还是分数两极分化、过于极端？这，就是质量评估要做的事。

奖励模型上线前通常做三重质检。第一重是偏好准确率，直接计算测试集上chosen得分高于rejected的占比——这是最接地气的指标，客户能一眼看懂。第二重是校准度检查，考察分数分布是否健康：如果所有回复都拿差不多的分，说明模型缺乏判别力，下游PPO拿到的信号近乎噪声；如果分数差距巨大，则怀疑过拟合或对某些模板产生了偏见。第三重是下游效果验证，把奖励模型装进RLHF管线，看策略模型生成的回复是否真的更受人类欢迎——这能揭示reward hacking。

衡量判别力时，最常用的一个统计量是chosen与rejected的平均奖励分数差。它像一个游标卡尺：读数太小，说明模型分不出好赖；读数太大，说明卡尺被校过头了。

$$\Delta = \mathbb{E}_{(x,y_w,y_l) \sim \mathcal{D}_{\mathrm{test}}} \big[ r_\theta(x, y_w) \big] - \mathbb{E}_{(x,y_w,y_l) \sim \mathcal{D}_{\mathrm{test}}} \big[ r_\theta(x, y_l) \big]$$

1. chosen平均分：求测试集上所有chosen回复奖励分数的均值，代表模型对“好回复”的基准印象。

$$\mathbb{E}[r_w] = \frac{1}{N} \sum_{i=1}^{N} r_\theta(x_i, y_{w,i})$$

2. rejected平均分：同理求所有rejected回复的均值，代表模型对“坏回复”的基准印象。

$$\mathbb{E}[r_l] = \frac{1}{N} \sum_{i=1}^{N} r_\theta(x_i, y_{l,i})$$

3. 计算判别力差距：两者相减得到一个有符号的差值，正数越大判别力越强，但过大需警惕过拟合。

$$\Delta = \mathbb{E}[r_w] - \mathbb{E}[r_l]$$

经过三轮质检，小李顺利转正。老板发现，只要小李的口味与顾客高度一致、分数分布合理、放进后厨真能让改进方向变准，他就是一个合格的品鉴官。奖励模型，也正是在这层层质检中，成为RLHF机器里最值得信赖的裁判。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class SmallRewardModel(nn.Module):    def __init__(self, input_dim=64, hidden_dim=32):        super().__init__()        self.fc = nn.Sequential(            nn.Linear(input_dim, hidden_dim),            nn.ReLU(),            nn.Linear(hidden_dim, 1)        )     def forward(self, x):        return self.fc(x).squeeze(-1)  def bradley_terry_loss(model, chosen_feats, rejected_feats):    r_chosen = model(chosen_feats)    r_rejected = model(rejected_feats)    logits = r_chosen - r_rejected    loss = -torch.nn.functional.logsigmoid(logits).mean()    return loss, r_chosen, r_rejected  def main():    torch.manual_seed(42)    model = SmallRewardModel()    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)     # 模拟偏好数据对: 8个样本, 64维特征    # chosen回复的特征整体偏高, rejected回复的特征整体偏低    chosen_feats = torch.randn(8, 64) + 0.5    rejected_feats = torch.randn(8, 64) - 0.5     for epoch in range(200):        optimizer.zero_grad()        loss, r_chosen, r_rejected = bradley_terry_loss(            model, chosen_feats, rejected_feats        )        loss.backward()        optimizer.step()        if epoch % 50 == 0:            acc = (r_chosen > r_rejected).float().mean().item()            print("epoch {:3d} loss {:.4f} acc {:.3f}".format(                epoch, loss.item(), acc            ))  if __name__ == "__main__":    main()

1. r_chosen = model(chosen_feats)对偏好对中的chosen回复特征打分。
2. r_rejected = model(rejected_feats)对rejected回复特征打分。
3. logits = r_chosen - r_rejected计算两者奖励差值，这正是BT模型的核心。
4. loss = -torch.nn.functional.logsigmoid(logits).mean()BT loss等价于负对数sigmoid损失。
5. chosen_feats = torch.randn(8, 64) + 0.5模拟“更好的回复”特征整体偏高。
6. rejected_feats = torch.randn(8, 64) - 0.5模拟“更差的回复”特征整体偏低。
7. acc = (r_chosen > r_rejected).float().mean().item()计算当前批次“chosen得分更高”的准确率。

常见误区

面试题