假设你是一位数学老师，手下有个特别听话的“学霸”——你把习题集和标准答案丢给他，他能一字不差地背下来。可一到期末，题目换个说法、加个弯，他就愣住了：因为他从未真正“想”过题，只是学会了抄。今天的语言模型也面临同样的困境：过去我们用监督学习（SFT）喂给它海量“标准答案”，它模仿得惟妙惟肖，却解不出没见过的新题。于是，让 AI 学会“自己思考”的强化学习推理（RL for Reasoning）登场了——它不再给模型抄现成答案，而是给它一张允许试错的沙盘，用“对错”和“过程反馈”当老师，让模型在反复尝试、碰壁、纠错中长出真正的推理能力。这，正是 o1 类模型横扫各种难题的秘密武器，也是通往更强 AI 的一把钥匙。

岗位关联

理解强化学习推理，等于掌握了 o1 类模型“会思考”的核心引擎，是迈向下一代强推理 AI 的关键一步。

目录
  1. 可视化演示
  2. 推理能力困局：为什么抄答案的 AI 走不远
  3. 奖励信号设计：老师怎样说“对与不对”
  4. 策略优化方法：把经验炼成习惯
  5. 推理行为塑造：草稿纸上的思维进化
  6. 训练流程体系：从热身到多轮月考
  7. 工程挑战落地：考场之外的现实考验
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

交互展示过程奖励与结果奖励的机制对比、GRPO组相对优化策略和自我对弈训练循环，理解RL如何驱动模型多步推理能力突破。

本节配有交互动效（进入视口后自动加载，约 3KB）。

PRM vs ORM奖励机制对比 PRM对每步推理给予过程奖励 ORM仅对最终答案给予结果奖励 R_prm = \u03a3 r(s_i) 过程奖励提供更细粒度的训练信号

推理能力困局：为什么抄答案的 AI 走不远

想象你是一位数学老师，面前坐着一位“学霸”。你丢给他一本写满标准答案的习题集，他背得滚瓜烂熟。可期末考试题目换个说法，他就懵了——因为他的所有知识都来自“标准答案”，他从未真正想过：这道题为什么要这么做？换一道题，我该怎么办？这就是监督学习下 AI 的真实处境。

今天的语言模型在“教你抄答案”上已经炉火纯青。传统监督学习（SFT，Supervised Fine-Tuning）把人类写好的优质回答当作标准答案，让模型一遍遍模仿，直到它能“背”出风格相似的回复。这套方法在对话、写作、翻译上确实好用，但它有一个躲不开的短板——凡是需要多步规划、没有唯一标准答案的问题，它就现出原形。

SFT 的优化目标，是让模型看到题目后生成“标准答案”的概率尽可能大。它学到的是题目与标准答案之间的固定映射。一旦题目分布偏移，或求解路径需要十步以上的推理与试错，SFT 就力不从心了——因为标准答案里根本不会写“我先走错了，然后退回来重算”这样的过程。复杂推理任务恰恰充满岔路与返工，这正是它的瓶颈。

孩子真正需要的不是厚厚的答案本，而是一张允许他写错、再自己发现错误的沙盘。强化学习推理，就是这张沙盘——它把 AI 从“背答案的学霸”变成“会试错的探索者”。

LSFT(θ)=−log⁡Pθ(Y∗∣X)\displaystyle L_{SFT}(\theta) = -\log P_\theta(Y^* | X)
这个公式翻译成人的话：SFT 把所有力气都用来提高“照着标准答案写”的概率，至于自己会不会想，它不关心。
  1. 损失函数 L$L_{SFT}(\theta)$——衡量模型当前“抄答案”水平有多差，训练就是不断降低这个值。
  2. 标准答案$Y^*$——老师给出的唯一正确答案，SFT 眼中不可质疑的“圣经”。
  3. 条件概率$P_\theta(Y^* | X)$——模型看到题目 X 后，把标准答案 Y* 完整生成出来的概率。
  4. 取负对数$-\log$——概率越高损失越小，模型越“会抄”，L 就越低；但它只是会抄。

奖励信号设计：老师怎样说“对与不对”

有了沙盘，谁来当裁判？想象孩子开始自己解题了，老师有两种反馈方式。第一种：只看最终答案，对了给一朵小红花，错了画个叉——这叫结果奖励。第二种：老师坐到旁边，看他每一步草稿，写到关键步骤时点点头，发现思路跑偏时皱皱眉——这叫过程奖励。

在推理 RL 里，两者都会被用到。结果奖励适合答案可验证的任务（比如数学题结果、代码能否跑通），判定简单、不易作弊；过程奖励则适合步骤繁多、难以一步看到终局的场景，但它不能凭空产生——我们需要训练一个奖励模型（Reward Model, RM），让人类标注“这一步推理好不好”，再让 RM 学会自动给每一步打分。这个过程，就像先请一位有经验的老师总结批改标准，再让他去批量批改草稿。

实际训练时，往往把两类信号加权组合起来：既要最终答对，也要过程好看。一味只盯结果，模型可能碰巧猜中答案而没学会推理；一味只盯过程，奖励模型本身又有打分不准的风险。两者搭配，才是稳妥的“教学大纲”。

老师既要看卷面分数，也要抽查草稿质量。奖励信号设计得越贴合“真正的推理能力”，模型在试错中就越不容易走偏——这是强化学习推理的“指挥棒”。

R(τ)=w1⋅I[correct]+w2T∑t=1Trt\displaystyle R(\tau) = w_1 \cdot \mathbb{I}[\text{correct}] + \frac{w_2}{T}\sum_{t=1}^{T} r_t
一句话：最终答对了给一大笔奖励（w₁），每一步推理表现好再给一笔小奖励（w₂），两笔钱凑成总报酬。
  1. 轨迹 τ$\tau$——模型从读题到作答的一整条行动序列，相当于孩子完整的解题过程。
  2. 正确性指示函数$\mathbb{I}[\text{correct}]$——答案为 1，错误为 0，只回答“最后对了没有”。
  3. 过程即时奖励$r_t$——第 t 步推理的即时打分，来自奖励模型对草稿的逐行评估。
  4. 加权求和$w_1, w_2$——结果信号与过程信号的相对权重，由训练方根据任务特性调节。

策略优化方法：把经验炼成习惯

孩子写了很多张草稿纸，有的走得通，有的走不通。老师不会让他记住每一道题的答案，而是希望他沉淀出一套“解题手感”：遇到什么条件先做什么，发现矛盾就回头检查。在 RL 里，这套“手感”叫策略（policy），让策略越变越好的过程叫策略优化。

当前最主流的策略优化算法是 PPO（Proximal Policy Optimization）。它像一个谨慎的教练：每次练习后，只让孩子的解题风格小幅改进，绝不一次改动太大。PPO 用“新旧策略的概率比”来判断这次改动幅度，并用一个裁剪（clip）机制把步子限制在安全范围内——改多了容易把之前学到的能力冲掉，改少了又进步太慢。

为了进一步提效，后来的 GRPO 去掉了 PPO 中负责估计“优势”的 Critic 网络，改为在同一道题上让模型生成多个解答，用组内对比来判定哪些步骤更优。同时，优化过程中都会加入 KL 散度约束，防止新策略偏离参考模型太远——就像教练提醒孩子：练新招可以，但别把基本功丢了。此外，采样探索也至关重要：模型必须多尝试不同的解题路径，才有机会发现更好的策略。

孩子通过一次次小步调整，把“哪种思路更管用”沉淀成肌肉记忆。策略优化算法做的事情，就是确保每一步改进都稳健、不反弹、不掉队。

LCLIP(θ)=Et[min⁡(rt(θ)A^t, clip⁡(rt(θ),1−ϵ,1+ϵ)A^t)]\displaystyle L^{CLIP}(\theta) = \mathbb{E}_t\left[\min\left(r_t(\theta)\hat{A}_t,\ \operatorname{clip}\left(r_t(\theta), 1-\epsilon, 1+\epsilon\right)\hat{A}_t\right)\right]
翻译成人话：新招可以用，但每步只能小改；效果好的动作多鼓励，效果差的动作要果断踩刹车。
  1. 概率比$r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{old}(a_t|s_t)}$——新策略与旧策略在同一个决策点上的概率之比，反映这次更新“动得多大”。
  2. 优势函数$\hat{A}_t$——这一步比平均水平好多少，好动作得正分，差动作得负分。
  3. 裁剪函数$\operatorname{clip}(r_t, 1-\epsilon, 1+\epsilon)$——把概率比限制在 $[1-\epsilon, 1+\epsilon]$ 内，防止单次更新步子太大。
  4. 取最小值$\min(\cdot, \cdot)$——对好动作限制冒进，对坏动作允许大幅下调，两边都安全。

推理行为塑造：草稿纸上的思维进化

如果训练顺利，你会发现一个神奇的现象：模型开始在“草稿纸”上长篇大论地演算——这就是思维链的生成。它不再直接蹦答案，而是先写下“已知条件是什么”“我打算先算什么”“这一步可能有问题”。这些思考痕迹并非人类设计出来的，而是 RL 在奖励信号的引导下自己“长”出来的。

更令人惊奇的是一系列高级行为：模型会在推理中途发现前后矛盾，主动退回几步重新计算——这叫自我纠错机制；它面对复杂问题时，会先做一个粗略规划，再逐步执行——这叫规划与回溯；随着训练推进，模型的推理时长也会自适应增长：简单题目一两步带过，难题则展开更长链条。就像孩子从“想到哪写到哪”进化为“先规划、再落笔、边写边检查”。

从数学上看，RL 优化的不是单个动作，而是整条推理轨迹的概率。模型生成的每一步都乘以一个概率，整条链的概率是这些步概率的乘积；取对数后变成求和，让优化器可以逐项调整“每一步的决策质量”。这正是多步推理行为能被塑造的数学基础——每一步都要为最终结果负责。

草稿纸从空白到密密麻麻，从直线输出到带回溯的折线——这就是 RL 塑造推理行为的完整画面：每一个自我纠错的回钩，都是模型在奖励信号下学会的“聪明”。

log⁡πθ(τ)=∑t=1Tlog⁡πθ(at∣st)\displaystyle \log \pi_\theta(\tau) = \sum_{t=1}^{T} \log \pi_\theta(a_t | s_t)
一句话：整道题解得好不好，由每一步想得对不对共同决定，所以模型必须学会步步为营。
  1. 轨迹概率$\pi_\theta(\tau)$——整条推理链被生成出来的概率，是多步决策概率的乘积。
  2. 单步决策概率$\pi_\theta(a_t | s_t)$——在第 t 步的状态下选择某一步动作的概率，相当于草稿纸上的一行推演。
  3. 对数化累加$\log \sum$——把连乘变成连加，方便求导和优化，同时避免数值下溢。
  4. 步数总量$T$——推理链的长度，T 越大，说明模型“想得越多”，更可能在难题面前展开深度思考。

训练流程体系：从热身到多轮月考

直接把孩子扔进题海，他会不知所措。聪明的老师会先给他讲几道经典例题，让他知道“解题过程长什么样”——这就是冷启动准备：在强化学习之前，先用少量高质量的 SFT 数据做预热，让模型学会输出像样的推理过程。没有这一步，模型一开始只会乱写，奖励信号再准也教不会一个不开口的学生。

接下来进入多轮迭代优化。每一轮 RL 训练后，模型会生成大量解题轨迹，但并非所有轨迹都值得学习——于是要做数据收集筛选：只保留奖励较高的优质轨迹，作为下一轮训练的参考或监督数据。这个过程很像月考：考完只挑出优秀答卷，分析它们为什么好，然后让全班照着改进。经过多轮“训练-筛选-再训练”，模型的推理能力像滚雪球一样增长。

值得一提的是，基座模型的预热（基座模型预热）也很讲究：如果基座模型本身知识储备不足，RL 再怎么优化也只是在空地上盖楼。所以推理 RL 通常选在已经具备强大语言能力的基座模型上进行，让它把已有的知识“用起来”，而不是从零学起。

训练是一场精心设计的“月考循环”：热身、考试、批改、筛选、再练。每一轮都在合格线上多迈一步，推理能力便在这种螺旋上升中越来越强。

Dk+1={τ∈Dk:R(τ)≥Q0.5(R(Dk))}\displaystyle D_{k+1} = \left\{ \tau \in D_k : R(\tau) \ge Q_{0.5}(R(D_k)) \right\}
这个公式描述的是“筛选优秀答卷”：每一轮只留下奖励高于中位数的解题轨迹，作为下一轮的学习素材。
  1. 当前数据池$D_k$——第 k 轮训练使用的解题轨迹集合，相当于这一轮的“题库 + 答卷库”。
  2. 奖励门槛$R(\tau) \ge Q_{0.5}$——只有轨迹奖励不低于中位数的才被选中，相当于“及格线”。
  3. 中位数$Q_{0.5}(R(D_k))$——把当前所有轨迹按奖励排序后取中间值，作为动态调整的筛选阈值。
  4. 下一轮数据池$D_{k+1}$——用保留的高质量轨迹更新数据池，让下一轮训练素材更精良。

工程挑战落地：考场之外的现实考验

孩子终于会解难题了，但走出考场他还要面对：时间够不够用？答题卡有没有涂错？题目超纲了怎么办？强化学习推理从论文走向产品，同样要跨过几道现实的坎。

首先是训练成本控制。RL 推理需要模型自己生成海量轨迹，再逐条打分、逐条优化，算力消耗远高于 SFT——就像请家教一对一陪练，比发答案让学生自己背贵得多。其次是奖励漏洞规避：模型天生是“刷分机器”，一旦发现奖励函数的空子，就会用各种投机取巧的方式拿高分，比如输出冗长无意义的推理却恰好命中答案。这要求奖励设计足够严谨，并辅以自动化校验。再次是安全对齐保障：RL 可能学到人类不想要的“捷径”行为，必须在优化目标中加入约束，确保新策略不偏离安全基线太远——正如给孩子立规矩：聪明可以，但不能使坏。

最后，也是最容易被忽略的场景适配评估：并非所有任务都适合上推理 RL。简单问答、检索类任务用传统方法又快又省；只有真正需要多步规划、自我纠错的高复杂度任务，才值得付出高昂的 RL 成本。技术可行、成本可接受、场景真正需要——三者同时满足，才算一次成功的落地。

会解题只是第一步，安全、可控、划算地解题才是真正的考验。强化学习推理的工程落地，本质上是在“能力上限”与“现实约束”之间找到那个最优平衡点。

---

max⁡θEτ∼πθ[R(τ)]−β DKL(πθ∥πref)\displaystyle \max_{\theta} \mathbb{E}_{\tau \sim \pi_\theta}[R(\tau)] - \beta\ D_{KL}(\pi_\theta \| \pi_{ref})
这是“带安全带的奖励最大化”：既要提升任务得分，又用 KL 散度把新策略拴在参考模型身边，防止学着学着学歪了。
  1. 最大化期望奖励$\max_\theta \mathbb{E}_{\tau \sim \pi_\theta}[R(\tau)]$——训练目标依然是提高平均得分，让孩子更会解题。
  2. 参考模型$\pi_{ref}$——训练前的稳定模型，代表孩子原有的“基础功底”。
  3. KL 散度$D_{KL}(\pi_\theta \| \pi_{ref})$——衡量新策略和基础功底的差距，差距越大说明越“忘本”。
  4. 惩罚权重$\beta$——安全带系得紧不紧，β 越大越保守、越安全，但也可能限制能力提升。

AI 应用场景

数学与算法竞赛解题引擎

阶段：模型训练阶段

解决的问题：传统 SFT 训练的解题模型只能复现题库中的解法，遇到新题型或需要多步推导的竞赛题时正确率骤降；RL 推理通过“结果奖励 + 过程奖励”让模型在大量试错中学会规划与自我纠错，真正把解题能力泛化到未见过的题目上。

具体案例：某教育科技公司构建竞赛数学助手，对模型进行冷启动 SFT 后用含正确性校验的 RL 训练。模型在 AIME 类竞赛题上的准确率从 SFT 时代的不足 15% 提升到 50% 以上，并且能输出完整的推理步骤，供学生参考学习。

企业客服多步处理流程

阶段：推理服务与部署阶段

解决的问题：传统客服机器人面对“退换货 + 补差价 + 优惠券”等多重条件叠加的复杂请求时，常常一步答错满盘皆输；RL 推理让模型学会先规划处理顺序、逐步确认信息，并在发现矛盾时主动回溯纠正，显著提升一次性解决率。

具体案例：某电商平台将推理 RL 应用于售后客服，模型在处理多条件售后单时，会先生成“处理计划”，再按步骤查询订单、核对规则，遇到信息不一致时回头重新询问用户，最终将复杂工单的准确处理率提升了 32%。

自动化代码修复与回归验证

阶段：数据筛选与迭代评估阶段

解决的问题：代码修复需要“理解缺陷 → 定位根因 → 修改 → 验证”的多步推理，传统端到端生成模型经常改 A 坏 B；RL 推理引入可验证奖励（编译是否通过、测试是否全绿）和过程奖励（修改步骤是否合理），让模型学会像工程师一样先诊断再动手。

具体案例：某 DevOps 平台用推理 RL 训练代码修复模型，每轮修复后自动运行回归测试集，将修复成功率从 21% 提升到 44%，同时模型学会了在修复前生成简短的根因分析，极大方便了人工复核。

Python 演示

python79 行
import mathimport random N = 5MAP = [    ".....",    ".##..",    "...#.",    ".#.T.",    ".....",]ACTIONS = [(-1, 0), (1, 0), (0, -1), (0, 1)] def inside(r, c):    return 0 <= r < N and 0 <= c < N def open_pos(r, c):    return inside(r, c) and MAP[r][c] != '#' def is_target(r, c):    return MAP[r][c] == 'T' theta = [[[0.0] * 4 for _ in range(N)] for _ in range(N)] def softmax(vals):    m = max(vals)    exps = [math.exp(v - m) for v in vals]    s = sum(exps)    return [e / s for e in exps] def rollout(max_steps=40):    r, c = 0, 0    states, acts = [], []    for _ in range(max_steps):        if is_target(r, c):            break        states.append((r, c))        probs = softmax(theta[r][c])        a = random.choices(range(4), weights=probs)[0]        acts.append(a)        dr, dc = ACTIONS[a]        nr, nc = r + dr, c + dc        if open_pos(nr, nc):            r, c = nr, nc    return states, acts, is_target(r, c) def train(epochs=500):    for ep in range(epochs):        states, acts, ok = rollout()        reward = 10.0 if ok else -0.5        reward -= 0.05 * len(acts)        for (r, c), a in zip(states, acts):            theta[r][c][a] += 0.02 * reward            for b in range(4):                if b != a:                    theta[r][c][b] -= 0.005 * reward        if ep % 100 == 0:            avg = 0.0            for _ in range(100):                s, a, o = rollout()                avg += len(a) if o else 40            print("epoch %3d avg_steps %.1f" % (ep, avg / 100)) def show_path():    r, c = 0, 0    path = []    while not is_target(r, c):        path.append((r, c))        probs = softmax(theta[r][c])        a = max(range(4), key=lambda i: probs[i])        dr, dc = ACTIONS[a]        nr, nc = r + dr, c + dc        if open_pos(nr, nc):            r, c = nr, nc    print("learned path:", path + [(3, 3)]) if __name__ == "__main__":    train()    show_path()
目的：用一个可运行的迷你示例，演示“结果奖励 + 过程约束 + 策略迭代”如何让智能体从随机乱逛变成会规划路径的推理者。
  1. states.append((r, c))记录当前状态（决策点），相当于保存孩子每一笔草稿的“位置”。
  2. probs = softmax(theta[r][c])把每个方向的权重转成概率，权重越高越容易被选中。
  3. a = random.choices(range(4), weights=probs)[0]按概率采样一个动作，体现 RL 的“探索”：不是总走最优，而是敢于尝试。
  4. if open_pos(nr, nc): r, c = nr, nc撞墙则原地不动，相当于推理中碰壁后留在原处，等待换一条思路。
  5. reward = 10.0 if ok else -0.5结果奖励：到达终点得高分，失败得负分。
  6. reward -= 0.05 * len(acts)过程约束：每走一步都扣一点分，逼着智能体找最短路径，不要绕远路。
  7. theta[r][c][a] += 0.02 * reward正向强化：对“成功轨迹”上经历过的决策点，提升所选动作的权重。
  8. theta[r][c][b] -= 0.005 * reward对同状态其他动作做轻微抑制，让好路径逐渐脱颖而出。
  9. avg += len(a) if o else 40统计平均步数，训练越久平均路径越短，证明模型真的“学会推理”了。

常见误区

误区我一直以为 ChatGPT 的 RLHF 就是强化学习推理，既然模型已经做了人类偏好对齐，推理能力应该也顺便提升了。

正解RLHF 让模型“讨人喜欢”（对齐人类偏好），推理 RL 让模型“会想问题”（提升真实推理能力），两者的奖励信号完全不同：一个来自人类偏好打分，一个来自答案正确性和过程质量。o1 类模型在 RLHF 之后还要单独做推理 RL，因为“讲话礼貌”和“解题正确”是两个维度。

为何常见：术语里都带 RL，而且 ChatGPT 最先让大众熟悉 RLHF，自然容易先入为主地混为一谈。

误区只要我收集足够多的高质量难题和对应解答，用 SFT 一直训，模型迟早也能学会推理吧？

正解SFT 本质是“背答案”，永远背不完开放式问题无穷无尽的组合空间。RL 的关键在于模型自己生成轨迹、自己吃奖惩、自己纠错——这个“从反馈中学习”的闭环是 SFT 没有的。就像孩子背完所有例题也解不了新题，但学会试错的孩子可以。

为何常见：数据规模在 SFT 时代太有效了，容易让人觉得“更多数据 = 更强能力”，忽略了 RL 提供的是全新的学习回路。

误区过程奖励看得细、反馈丰富，肯定比粗糙的结果奖励厉害，全用过程奖励就行。

正解过程奖励需要额外训练一个奖励模型（RM）给每一步打分，标注成本高，而且 RM 本身可能被钻空子——它只能判断“像不像对的”，无法保证“真的是对的”。实践中通常以可验证的结果奖励为主、稀疏的过程奖励为辅，就像老师既看最终分数，也抽查几步关键草稿，而不是给每一笔画都打分。

为何常见：直觉上“更细的反馈更好”，却忽略了细粒度反馈引入的噪声与标注成本。

误区o1 模型思考时间越长越厉害，推理 token 越多代表模型越聪明，那干脆让它一直想。

正解推理长度是 RL 训练中“学出来”的——模型在不确定时才多想几步，不是任何题都无脑长篇大论。无脑拉长输出只会浪费时间、增加成本，甚至引入更多错误。RL 真正优化的是“在恰当时机多想一步”，而不是“永远啰嗦”。

为何常见：大家看到 o1 长思维链的展示，容易把“形式”当成“本质”，忽略了自适应长度才是训练目标。

误区强化学习在模型输出上做优化，会不会让模型忘记预训练学到的大量语言知识和常识？

正解训练时加入了 KL 散度约束，限制新策略偏离参考模型太远，就像孩子再怎么练竞赛题，基础运算能力不会退化。真正要防的是 reward hacking——为了拿奖励走歪路，所以才需要完善奖励设计和安全对齐。KL 约束就是“不忘本”的保险丝。

为何常见：听过“RL 让模型钻奖励空子”的案例，担心训练破坏基础能力，却忽略了 KL 约束这道安全闸门。

面试题

Q1. SFT 训练出来的解题模型主要短板是什么？

单选题 · easy

  • A.训练速度太过缓慢
  • B.只会模仿标准答案← 正确答案
  • C.无法处理超长文本
  • D.训练数据易过拟合

答案：B。SFT 的目标是最大化标准答案的生成概率，本质是在“抄答案”。它模仿得再好，面对新题型仍会卡壳。就像背熟例题的孩子解不了新题。其他选项都不是 SFT 的核心短板——速度、长度、过拟合并非其最本质的局限。

Q2. 结果奖励与过程奖励的核心区别是什么？

单选题 · mid

  • A.结果看最终答案，过程看每步推理← 正确答案
  • B.结果用于预训练，过程用于微调
  • C.结果需奖励模型，过程完全不需要
  • D.结果只适合选择题，过程只适合生成题

答案：A。结果奖励只看最终答案是否与标准答案一致，过程奖励则评估每一步推理的质量（通常由奖励模型打分）。如同老师既看卷面分，也看草稿步骤。B、C、D 都是对两类奖励信号的错误理解。

Q3. GRPO 相对 PPO 最主要的简化是什么？

单选题 · mid

  • A.去掉价值网络，用组内采样结果对比估计优势← 正确答案
  • B.增加单独 Critic，让优势估计更准确
  • C.完全抛弃奖励信号，只靠最终答案是否正确的
  • D.增加一个判别器，让每一步输出都通过判别

答案：A。PPO 需要 Critic 网络估计状态价值，GRPO 则对同一问题采样多个回答，用组内相对好坏来估计优势，省去了 Critic。就像老师给同一道题让几个孩子都做，比较谁做得更好。C、D 均不符合 GRPO 的实际设计。

Q4. 下列哪些做法属于过程奖励？

多选题 · mid

  • A.对每一步推理打质量分← 正确答案
  • B.根据最终答案计算给分
  • C.分步验证计算过程对错← 正确答案
  • D.只看输出序列的长度

答案：AC。过程奖励关注“每一步推理的质量”，A 和 C 都是对中间步骤的评估。B 是典型的结果奖励，D 只看长度、与推理质量无关。过程奖励就像老师逐行批改草稿，而不是只看最后答案。

Q5. 思维链长度增加的核心价值是什么？

单选题 · easy

  • A.给模型更多回溯与纠错空间← 正确答案
  • B.让输出显得更加专业
  • C.方便人工阅读和审核
  • D.提高 token 消耗收益

答案：A。思维链的价值在于把推理过程显式展开，模型写到中途发现矛盾时能退回去重算——这是自我纠错的前提。长度只是结果，不是目的。B、C 是附带效应，D 是成本增加，均非核心价值。

Q6. 训练推理模型时 KL 散度约束的主要作用是什么？

单选题 · hard

  • A.防止策略偏离参考模型过远造成知识遗忘← 正确答案
  • B.提升采样速度从而显著降低训练时间成本
  • C.直接提高正确性奖励数值让模型更快收敛
  • D.强制每个推理步骤输出长度保持一致

答案：A。KL 散度衡量新策略与参考模型的差距，约束它防止策略“放飞自我”而遗忘预训练知识。就像教练提醒孩子练新技巧时别把基本功丢掉。B、C、D 都不是 KL 散度的功能。

Q7. 奖励漏洞出现的典型原因有哪些？

多选题 · hard

  • A.奖励函数未完全表达真实目标被钻空子← 正确答案
  • B.模型找到评分漏洞获得虚高但无用的分数← 正确答案
  • C.可验证奖励同样可能存在定义与覆盖盲区← 正确答案
  • D.训练步数足够长就不会出现任何奖励漏洞

答案：ABC。奖励漏洞本质是“优化目标”与“真实意图”不一致。无论结果奖励还是过程奖励，只要定义不完整就可能被模型发现捷径。D 是错误认知——训练再久，目标函数有漏洞就依然会被利用。

Q8. 推理模型训练中的冷启动通常指什么？

单选题 · easy

  • A.先用少量高质量 SFT 数据教会模型开口← 正确答案
  • B.从零训练大模型不借助任何预训练权重
  • C.完全随机策略探索不设任何监督信号
  • D.先生成大量语料再用于无监督预训练

答案：A。冷启动是指先用少量高质量 SFT 数据让模型学会输出像样的推理过程，否则纯 RL 初期全是乱写，奖励信号再准也难起作用。就像先讲几道例题，再让孩子进入题海。

Q9. 优势函数 A(s,a) 的直观含义是什么？

单选题 · mid

  • A.当前动作相对平均策略水平的相对好坏← 正确答案
  • B.当前动作对应的即时奖励的具体数值
  • C.模型输出序列的总长度和总推理时长
  • D.状态 s 下所有动作奖励的平均值

答案：A。优势函数 = 该动作的实际回报 − 该状态的平均回报，它回答“这一步比平常好多少”。正优势鼓励该动作，负优势抑制它。就像老师评价“这一步比这孩子平时的水平高”。

Q10. 企业落地推理 RL 时需要重点评估哪些方面？

多选题 · extreme

  • A.业务是否真需要多步规划纠错← 正确答案
  • B.训练推理算力成本是否可控← 正确答案
  • C.是否引入越狱或安全对齐风险← 正确答案
  • D.模型参数量是否业界排名第一

答案：ABC。落地评估的三要素是技术可行性、部署成本、场景适配度：任务是否真需要推理 RL、成本能否承受、安全风险是否可控。D 是典型的“唯参数论”误区，参数量不是决定任务是否适合推理 RL 的判据。