过程监督：提升模型推理能力的关键

可视化演示

展示CQRS命令查询职责分离、事件溯源状态重建和Saga分布式事务协调，动态演示写模型与读模型的分离架构。

过程监督概念

陈老师教了二十年数学，批改作业却有两种风格。第一种，在作业末尾写一个“对”或“重做”；第二种，拿红笔一路追踪解题步骤，第一步画勾，第二步写上“这里符号错了！”再画叉。第二种，就是我们今天的主角——过程监督。它要求训练者把模型的推理过程拆成若干步，对每一步都给出独立反馈，而不是等模型走到终点才宣布输赢。

AI 训练中的过程监督和这位老师的做法如出一辙。让模型做一次推理，它的完整回答 y 可以被拆成 n 个中间步骤 s₁, s₂, …, sₙ，每个步骤都有对应的奖励 R(sᵢ)。把各步骤奖励加起来，就是总奖励。而传统的结果监督只保留最终答案那一个信号。两者最本质的差别，就是“奖励放在哪里”。

就像陈老师逐步骤画勾叉，过程监督让模型的每一小步都能收到“你走的方向对不对”的明确反馈，而不是等到终点才被告知是赢是输。这种细粒度的反馈，是模型学会规范推理的第一步。

结果监督局限

有一次，小明在作业里把一元二次方程的十字相乘分解写错了，却因为最后一步“答案 x=1”看起来正常而侥幸过关。陈老师要是不看过程，就会以为他完全掌握了因式分解。这就是结果监督最大的隐患：答案正确会掩盖步骤错误。模型在中间步骤引入错误符号、错误取值，最终答案却恰好对上了，结果监督给出的信号是“正确”，于是那组有缺陷的步骤被错误地强化。

更麻烦的是，结果监督的信号是稀疏的——只有整条路径走到最后才产生一个 0 或 1 的反馈，中间步骤毫无梯度引导，模型很难定位自己错在哪一步。用数学语言看，结果监督的奖励就是一个二值指示函数：

结果监督就像一位只在试卷末尾写分数的老师，他永远不知道小明从哪一步开始糊涂；而糊涂的步骤还会因为“答案侥幸对了”被固化下来，越练越歪。这就是为什么很多模型看似会做题，却总在简单步骤上翻车。

过程标注数据

要实施过程监督，陈老师需要一套“批改标准答案集”——每道题不但有最终答案，还写清了每一步的得分点。OpenAI 为训练推理模型而构建的 PRM800K 数据集，就是这样一本为 AI 准备的“详细批注作业集”。它由标注人员逐条阅读模型生成的解题过程，对每个步骤判定正误，同时补充正确的参考解答，覆盖从初等代数到竞赛级数学的广泛题目。

PRM800K 的规模大约是 75 万条步骤级标注。理解这个数字可以从一个简单公式出发：标注总量等于问题数乘以平均每题能够拆出的步骤数。模型生成解题步骤越多、覆盖的题目越广，需要人工把关的步骤自然就越多。

陈老师带着一群“助教”人手一本这样的批注册，逐题逐步骤地标出对错；模型在后续训练中，就能“看到”每一位助教画下的红勾与红叉。有了这个数据集，过程监督才真正有了可用的“教材”。

奖励信号设计

有了批注册还不够，陈老师得先把“每题怎么给分”的规则定下来。结果监督的规则是“答案对给满分，答案错给零分”；过程监督的规则则是“每步对给分、每步错扣分”，甚至允许模型为每个步骤输出一个 0 到 1 之间的“正确概率”。这个概率不是简单的对/错标签，而是一种更细腻的量化信心分。

要实现这套规则，业界训练了一个“过程奖励模型”（Process Reward Model，PRM）。PRM 的输入是问题描述和已经写下的步骤序列，输出是当前这一步正确的概率——它就像一位学会了“逐步骤批改”的 AI 助教。与之相对的“结果奖励模型”（Outcome Reward Model，ORM）则只输出最终答案整体正确的概率。PRM 的核心输出可以写成：

就像陈老师不再干巴巴地写“对/错”，而是给出“这一步大概率是对的，但第二步有点悬”的量化信心分。模型依据这些细颗粒度的分数，才知道该把力气花在修正哪个薄弱环节上。

强化推理应用

陈老师批改完作业，小明看着红笔批注，把错的步骤一道一道订正；第二天再做类似的题，就能避开昨天的坑。AI 中的强化学习（RL），就是“小明订正练习”的自动化版本：模型根据奖励信号不断调整自己的策略。只不过这里的学生是千万参数的神经网络，订正的方式是梯度更新。

在强化推理阶段，我们把过程监督给出的步骤奖励接入策略梯度目标：模型完成一次推理后，每个步骤的动作概率与 PRM 给出的奖励一一对应。若某一步被判定为正确（高 Q 值），就提高这一步出现的概率；否则降低。用公式表示：

此外，在推理阶段 PRM 还可以配合束搜索（beam search）：同时尝试多条解题路径，用 PRM 的步骤分数淘汰明显要错的路径，保留更有希望的几条继续走。小明的练习册越做越规范，因为每一道订正都精确到某个步骤；模型的策略也越走越稳，因为每一次修正都精确到某个推理环节。

实验效果评估

半学期后，陈老师把“只看答案班”和“逐步骤批改班”的月考成绩单放在一起对比，发现后者的平均分不仅更高，而且尤其擅长把难题一步步拆开，几乎不会在简单步骤上翻车。现实中，OpenAI 的实验也得出了类似的结论：在 MATH 数学基准上，使用过程监督训练的模型比结果监督模型取得更高的最终答案准确率，尤其在多步推理的难题上优势明显。

同时，过程奖励模型在推理时还能直接提升束搜索等策略的表现——用 PRM 的步骤分数引导搜索，比用 ORM 的最终分数引导更可靠。衡量这种提升，通常会算“相对提升幅度”：

成绩单一目了然：被逐步骤批改过的学生，每一步都踩得更实，最终成绩自然更稳。过程监督带来的正是这种“踩实每一步”的稳定性，而不是靠运气蒙对的短期提升。

成本与规模化

逐步骤批改好是好，但陈老师心里在算账：全班几十本作业，每本都逐步骤批注，工作量翻了好几倍；要是把所有科目、所有年级都这样批，得请多少位助教？过程监督的成本确实是它落地面临的最大阻力——人工逐步骤标注比只标最终答案贵数倍。

于是业界提出了多种规模化方案。一是让模型自动生成多步解题数据，只对最终答案做自动校验，再结合其他信号为步骤生成标签；二是先训练一个较弱的 PRM 自动标注步骤，再由人工抽查修正；三是在束搜索框架中复用同一个 PRM，让已标注的步骤数据发挥更大价值。整个成本结构可以概括为：

实验表明，增加过程标注预算带来的推理增益，大于同等预算在结果标注上的增益。陈老师最终没有辞职，因为他发现：与其高价请助教一本一本批，不如让“第一批助教”教会“第二批助教算法”——用更聪明的流程，把逐步骤批改变成一件可以规模化的事。

AI 应用场景

Python 演示

import random  def make_steps(probs):    # 按每步正确概率做一次三步推理并返回各步是否正确    return [random.random() < p for p in probs]  def train_result(probs, trials, lr):    # 结果监督: 三步全对才一次性奖励整条路径    p = probs[:]    for _ in range(trials):        steps = make_steps(p)        if all(steps):            p = [x + lr * (1 - x) for x in p]    return p  def train_process(probs, trials, lr):    # 过程监督: 每一步正确就立刻奖励该步    p = probs[:]    for _ in range(trials):        steps = make_steps(p)        for i, ok in enumerate(steps):            if ok:                p[i] += lr * (1 - p[i])    return p  def main():    random.seed(42)    lr, trials = 0.02, 3000    p_r = train_result([0.5, 0.5, 0.5], trials, lr)    p_p = train_process([0.5, 0.5, 0.5], trials, lr)    avg_r = sum(p_r) / 3    avg_p = sum(p_p) / 3    print("结果监督 平均步骤正确率: {:.3f}".format(avg_r))    print("过程监督 平均步骤正确率: {:.3f}".format(avg_p))    print("过程监督相对提升: {:.1f}%".format((avg_p - avg_r) / avg_r * 100))  if __name__ == "__main__":    main()

1. if all(steps):结果监督的唯一判据：三步全部正确才算最终答案正确，否则整道题不给奖励
2. p = [x + lr * (1 - x) for x in p]最终答对时给整条路径的所有步骤统一提升概率，不区分哪步需要更多修正
3. for i, ok in enumerate(steps):过程监督逐步骤遍历检查，这正是“逐步骤批改”在代码上的体现
4. p[i] += lr * (1 - p[i])某一步正确就只提升这一步，错误步骤不会收到错误的正向信号

常见误区

面试题