PRM800K过程奖励数据集

可视化演示

通过步骤级三类标注、推理链过程评分和Best-of-N选择三个模式，展示OpenAI PRM800K数据集的标注方法与奖励模型应用。

背景价值：为什么不能只看答案

中国围棋大师常说，赢棋不一定每一步都对。复盘时，师父会指着某一步说：“这手棋虽然没被对手抓住，但它留下了一个漏洞，对手若下对，你就会输。” 正是这种不盯着最终胜负、只盯中间过程的复盘，才能让棋手真正进步。AI推理模型的训练，也面临着同样的课题。

早期的大模型常用“结果奖励模型”ORM，只看最终答案：答对就给高分，答错就给低分。但数学证明和推理是链条式的，链条中间任何一环断掉，结论都可能是“侥幸”。过程奖励模型PRM的目标，是把裁判的目光从“只看得分”转移到“检查每一个步骤”。PRM800K正是用于训练PRM的大规模监督数据。

从概率的角度看，整个推理链条的正确性可以展开为各步骤条件概率的乘积。一个步骤出错，即使后面步骤都对，整体推断也会崩塌。这也是过程奖励比结果奖励更可靠的根本原因。

师父复盘时不看输赢，只看每手棋是否留有隐患。PRM800K做的正是这件事：它让AI在“赢棋”时也能看到“昏招”，及早修正。这样训练出的模型，才是踏踏实实一步步推理、而不是靠运气答题的“及格棋手”。

数据构成：一座名局档案馆

要把师父的复盘智慧传承下去，先要有足够多的对局记录。PRM800K就是一座棋盘上的“名局档案馆”：它从MATH题库中挑选了一万两千道数学竞赛题，让模型先解答，再由人类标注者把每道题的解题过程逐条标记。

PRM800K的“800K”不是80万道题，而是约80万条步骤级标签。每条标签对应解题过程中的一个步骤，标注员给这个步骤打上“没问题”（正标签）或“有问题”（负标签）。平均每道题被拆分约66.7个步骤，这也是它能支撑“过程奖励”训练的原因。

MATH数据集里的题目覆盖代数、几何、概率统计等竞赛难度，保证标注样本有足够的难题分布，也让PRM学会在真正有挑战的推理链上判断对错。因此PRM800K天然是研究推理能力的优质材料。

档案馆里存的不是“我会做这道题”的答案索引，而是每一道题“棋手走过哪些弯路、哪一手该被指出”的复盘明细。数据决定了教练的见识：题目越难、标注越细，AI教练的水平上限就越高。

采集流程：师徒间的复盘循环

师父复盘时，不会让学生重新讲一遍完整棋局，而是盯着棋谱走到一半喊“停”——“这手不对，改一手看看。” 采集PRM800K也有类似的“喊停”机制。

整个流程由模型和人类交替完成。首先是生成模型对题目输出完整解答草稿。人类标注员按步骤阅读，一旦发现第一个错误就停止；如果这条解答全对就直接结束，否则标注出错误步骤并修正，再把修正后的解答交给生成模型继续生成新步骤，如此循环直到解题完成。

一个解答从初始草稿到最终可接受的过程，可以写成迭代形式：第 \(t\) 轮的解答，经过人类对错误集合的修正，得到第 \(t+1\) 轮的解答。这个循环既控制了人类的劳动量——不需要从零重写，也保留了“哪些步骤曾经出错”的标注信号。

这条人机循环不像“你写题我评分”那种割裂分工，更像师父在棋盘旁实时指点：“走到这步不对劲，咱们退回来重走。” 每一条修正记录都被保留下来，成为AI未来自我纠错的学习素材。

标注标准：明确错误与隐藏错误

棋谱上的“好手”和“昏招”，不能凭心情认定。师父会先分清：这一手是看错了气数（明确错误），还是战术背后藏着一个更隐蔽的陷阱（隐藏错误）？PRM800K也有一套标注标准，用来保证80万条标签的口径统一。

标注标准规定，每个步骤只有在“没有在当前状态中引入错误”时才标注为正；一旦引入任何错误，就是负。错误分为“明确错误”和“隐藏错误”：前者是直接的运算错误、自相矛盾；后者是推理链条上有逻辑瑕疵，要仔细回看才能发现。两者只要出现，该步骤都记为负。

标注员还被要求独立判断——不看最终答案，只看当前步骤的状态变换是否正确。这样能避免“答案对了就顺手放过中间错误”的确认偏差。一条标签 \(y_i\) 的定义如下：

有了标准，师父的评语才不是“感觉不对”，而是一句技术判断：“这里漏看了对方的棋筋。” 同理，PRM800K里的每条标签都附带了清晰语义，AI教练才能学到“什么算对、什么算错”的边界。

评分训练：训练一位新教练

师父不可能永远在旁边。要培养一个能独立“看棋评棋”的AI教练，就需要让模型在大量复盘记录中学会打分——这就是训练PRM的过程。

PRM的输入是解题过程中的一个状态（已经生成的部分解答），输出是该状态最终能得到正确答案的概率。通过PRM800K上的二分类训练，模型从“只会做答案选择题”变成“会给每一步写评语”。这与结果奖励模型形成鲜明对比：结果奖励只输出整道题的得分，而PRM能输出逐步质量。

训练时，把步骤标签当作监督信号，使用二值交叉熵损失。对每一步 \(s_i\)，模型输出一个logit \(f_\theta(s_i)\)，经过sigmoid函数压缩成概率。如果该步是正的，我们希望预测值接近1；如果为负，则接近0。

如果把PRM800K比作师父留下的复盘笔记，那训练就是让新人教练反复对照笔记判断“这手该不该骂”。练得多了，新人也能一眼看出棋局里的隐患，不再依赖师父在场。

评测应用：带新教练上棋会

新教练出师，总要带去真正的棋会试一试。PRM800K训练出的PRM要在MATH、AIME等新题目集上接受检验，看看它评棋是否真的准。

评测常用BoN（best-of-N）方法：先让生成模型对每道题采样64条完整解答，再用奖励模型为每条解答打分，选出最高分的那条。PRM的评分方式是对每条解答内所有步骤评分，再取“最差步骤”的值作为该解答的过程分。

实验显示，在MATH和AIME等数学竞赛题上，PRM的BoN搜索正确率普遍超过只看最终答案的ORM。这说明过程奖励确实能定位中间错误，从而在候选生成时保留更多高质量步骤。这种“推理时搜索”不需要重训生成模型，成本低、可复用。由于PRM800K数据开源，社区也能复现并将该方法扩展到更多领域。

这位教练带队打比赛，不再只看“谁赢了”——它先复盘每一条解题路径里有没有烂手棋，再挑出最没雷的那条路。这正是过程奖励的价值：让AI像个谨慎的棋手一样，不给运气留机会。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""用规则模拟"过程奖励模型"的逐步打分, 并用 best-of-N 挑选最稳推理链."""  class ProcessRewardModel:    def __init__(self, bad_words):        self._bad_words = bad_words     def _score_step(self, step_text):        if any(w in step_text for w in self._bad_words):            return 0.0        return 1.0     def score_solution(self, steps):        return min(self._score_step(s) for s in steps)  def collect_labels(problems, human_marks):    """把人工标注转换为 (题号, 步号, 文本, 标签) 样本."""    rows = []    for pid, (steps, marks) in enumerate(zip(problems, human_marks)):        for idx, (step, mark) in enumerate(zip(steps, marks)):            rows.append((pid, idx, step, int(mark)))    return rows  def best_of_n(solutions, prm, n=3):    """按过程奖励取最小值排序, 返回分数最高的前 n 条."""    ordered = sorted(solutions, key=prm.score_solution, reverse=True)    return ordered[:n]  if __name__ == "__main__":    prm = ProcessRewardModel(["乱", "矛盾"])     solutions = [        ["移项得x=2", "代回原式成立", "所以x=2"],        ["移项得x=2", "代入时出现矛盾推导", "修正后x=2"],        ["两边平方", "开方丢弃正负号", "得x=2但不完整"],    ]    marks = [        [1, 1, 1],        [1, 0, 1],        [1, 0, 0],    ]     dataset = collect_labels(solutions, marks)    print("逐句标注样本数:", len(dataset))    for row in dataset[:3]:        print(row)     print("best-of-3 选中的解答:", best_of_n(solutions, prm, 3)[0])

1. return min(self._score_step(s) for s in steps)最差步骤的分数就是整条解答的过程分。
2. rows.append((pid, idx, step, int(mark)))把题号、步号、文本和标签组成一条监督样本。
3. ordered = sorted(solutions, key=prm.score_solution, reverse=True)按过程奖励从高到低排序候选解答。
4. prm = ProcessRewardModel(["乱", "矛盾"])用规则词模拟“一眼看出错误”的标注老师。
5. marks = [[1, 1, 1], ...]模拟人工对每一步打出的正负标签。

常见误区

面试题