推理链评估方法：模型推理能力评测技术

可视化演示

展示推理链（Chain-of-Thought）逐步评估流程，以及推理质量指标包括步骤准确率与逻辑一致性度量。

推理链概述

林老师批改数学卷子有个习惯：先看过程，再定分数。看到学生跳过所有推导直接从题目写出答案，他会画个问号——这多半是蒙的。看到过程工整、逻辑严谨，哪怕最后一步笔误，他也会在过程分上手下留情。过程与结果，两条线都要看，缺一条都会误判学生的真实水平。

大语言模型回答复杂问题时同样会“打草稿”：在给出最终答案之前，先输出一段分步推导的文本，这段文本就是推理链（Chain of Thought，简称 CoT）。推理链评估要做的，正是像林老师一样把这段“草稿”纳入评分体系，而不是只核对最终答案与标准答案是否一致。这是它对传统答案匹配式评测最重要的补充。

形式化地说，一条推理链可以写作一个按顺序排列的推导序列：

林老师看重过程，是因为过程暴露思维漏洞；推理链评估的价值也在于此——它补上了传统“只对答案”评测的盲区，让模型真实的推理能力被看见、被量化。

链式推理拆解

草稿纸上一大段推导没法直接批改，林老师的做法是先切块：读题、设未知数、列方程、化简、求解、验算，一块一块地打钩打叉。哪一块出了毛病，一眼就能定位。切块切得好不好，直接决定后面所有批改动作的质量。

评测推理链的第一步同样是“切块”——把模型输出的长文本按逻辑边界拆解成若干可独立检查的步骤，这个过程称为链式推理拆解。模型可能一口气写出几百个字，评测系统要识别出其中的推导边界，把它切成一个个有明确含义的单元。

拆解要把握两个关键：粒度和顺序。粒度上，每步最好是“原子操作”，小到能单独判断对错；顺序上，步骤之间有依赖关系，后续步骤必须建立在前序步骤之上。拆解结果可表示为：

拆解就像把草稿纸整理成规整的格子，格子越规整，林老师批改的效率就越高、误判就越少。

步骤验证机制

步骤切好之后，林老师开始逐行批改：移项有没有变号？合并同类项有没有漏项？每一步都单独判对错。他手里的红笔就是一台“步骤验证器”——碰到合理的推导就画钩，碰到可疑的跳跃就画叉。

对应到技术，就是对推理链中的每个步骤 s_i 逐一调用验证器，判断它是否由前文正确推出、是否符合已知事实与数学规则。这一整套检查动作，就是步骤验证机制，它是推理链评估中最核心的环节。

验证机制通常包含四类检查：逐点验证（每步单独判对错）、逻辑一致性（前后步骤是否自洽）、幻觉检测（是否引用了不存在的定理或数据）、矛盾识别（是否与前提条件冲突）。把所有步骤的验证结果汇总，就得到逐步正确率：

正是这一排排红钩红叉，让“答案对但过程错”的模型无所遁形。

端到端度量

过程分算完，林老师还要在成绩单上填上“结果分”——毕竟考试最终看的是有没有答对。两栏分都高，才是真本事；只靠过程分撑场面，显然站不住脚。端到端度量就是这第二栏分数。

端到端度量从整条推理链的最终成效出发，与步骤验证形成互补：步骤验证回答“错在哪一步”，端到端度量回答“整体行不行”。两者共同构成完整的评分维度，缺一不可。

常用的端到端指标有四类：结果正确率（最终答案是否与标准答案一致）、链路贯通性（整条链是否全程合理）、推理一致性（多次采样结论是否稳定）、效率代价（达到正确结果需要多少步骤和计算量）。其中链路贯通率是最严格的过程性指标：

过程分与结果分双栏打分，模型的成绩单才完整可信。

评测基准构建

林老师心里清楚：自己班平均 90 分、隔壁班平均 90 分，如果试卷难度不一样，这两个 90 分根本没有可比性。要横向比较，就必须统一命题、统一评分细则。这是所有考试公平性的根基。

AI 评测也是同理。要让不同团队、不同版本的模型在推理能力上做横向对比，必须有一套标准化评测基准（Benchmark），包含统一的题目集、参考答案和打分协议。没有基准，各家自说自话的分数就像难度不同的两张卷子，无法对比。

构建一套推理链基准要完成四件事：数据集设计（题目覆盖多领域、多题型）、标注规范（为每条推理链标注参考答案步骤与评分规则）、难度分级（从单步推理到多步推理分层设置）、基准对比（维护跨模型的公共排行榜）。其中标注规范尤其重要，参考答案标注的一致性直接决定基准的可信度，常用 Cohen's kappa 系数衡量两位标注老师的判断是否一致：

一套好基准，就是那份全校老师反复研讨出来的标准卷，是公平较量的基石。

评测执行流程

有了标准卷，还得有规范的考务流程：何时发卷、如何作答、怎样阅卷、怎么统分。哪个环节随意，成绩就会失真。林老师所在的学校每次统考都有成文的流程手册，每一步都有规定动作。

推理链评测的执行同样是一条流水线，任何环节不标准都会污染分数。评测工程师需要像教务主任一样，把整条流水线的每个环节都固定下来，让任何人来操作都能得到可复现的结果。

流水线包括四个环节：提示设计（用固定模板引导模型输出推理链）、采样策略（同一问题多次采样以降低随机性）、聚合统计（把多条采样的结果汇总成得分）、结果解读（结合步骤验证与端到端指标给出诊断结论）。其中采样策略直接影响分数稳定性，常用 pass@k 指标估计“采样 k 次内至少成功一次”的概率：

流程规范，卷子谁来批都一样；评测流程标准化，模型分数才能经得起复测与质疑。

局限与发展

林老师也有自我怀疑的时刻：学生用了一种他从没见过的巧解，步骤跳跃但结论正确；还有一次参考答案本身印错了，全班被冤枉扣分。他渐渐明白，批改这件事并不完美，需要持续修订评分细则。

推理链评估也面临同样的困境，集中体现为三个典型局限。评估噪声：不同标注员对“这一步是否合理”可能判断不一；多样化正确解：正确思路往往不止一种，参考答案之外的合理链可能被误判；过程偏差：参考答案自身若有错误，评估就会系统性跑偏。

这些局限驱动着方法论不断演进：自动化过程监督（用训练好的验证器替代人工标注）、自一致性方法（用多路采样结果相互印证）、学习型验证器（从数据中学出更鲁棒的步骤评分函数）等方向相继涌现。评估噪声本身也可以用一致率来量化：

好老师会不断修订评分细则，推理链评估方法论也正是在一次次纠偏中走向规范化与体系化，成为模型能力横向对比的统一基准。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""推理链评估器：模拟对模型解题过程的逐步评分与端到端汇总"""import re  class StepVerifier:    """步骤验证器：用关键词覆盖率判断单步推导是否合理"""     def __init__(self, gold_steps):        self.gold_steps = gold_steps  # 参考答案步骤列表     def _tokens(self, text):        """把步骤文本切成关键词集合"""        return set(re.findall(r"[\w\u4e00-\u9fa5]+", text))     def verify(self, pred_step, gold_step):        """预测步骤与参考答案步骤做关键词比对"""        pred_tokens = self._tokens(pred_step)        gold_tokens = self._tokens(gold_step)        if not gold_tokens:            return False        hit = len(pred_tokens & gold_tokens) / len(gold_tokens)        return hit >= 0.6  # 覆盖率不低于 60% 判定该步合理  class ChainEvaluator:    """推理链评估器：统计逐步正确率与链路贯通率"""     def __init__(self):        self.step_acc_total = 0.0        self.chain_pass_total = 0.0        self.case_count = 0     def evaluate_one(self, prediction, gold):        """评估单条推理链，返回逐步正确率、贯通标记与答案对错"""        verifier = StepVerifier(gold["steps"])        step_scores = []        for i, gold_step in enumerate(gold["steps"]):            if i < len(prediction["steps"]):                ok = verifier.verify(prediction["steps"][i], gold_step)                step_scores.append(1 if ok else 0)            else:                step_scores.append(0)        step_acc = sum(step_scores) / len(step_scores)        chain_pass = 1 if all(step_scores) and prediction["steps"] else 0        answer_correct = 1 if str(prediction["answer"]) == str(gold["answer"]) else 0        self.step_acc_total += step_acc        self.chain_pass_total += chain_pass        self.case_count += 1        return {            "step_acc": step_acc,            "chain_pass": chain_pass,            "answer_correct": answer_correct,        }     def report(self):        """输出汇总指标"""        if self.case_count == 0:            return {}        return {            "平均逐步正确率 StepAcc": round(self.step_acc_total / self.case_count, 3),            "链路贯通率 PassRate": round(self.chain_pass_total / self.case_count, 3),        }  def main():    samples = [        {            "prediction": {                "steps": ["甲比乙大 3 岁", "丙比甲小 5 岁", "所以丙比乙小 2 岁"],                "answer": 2,            },            "gold": {                "steps": ["设甲为基准", "乙比甲小 3 岁", "丙比甲小 5 岁", "丙比乙小 2 岁"],                "answer": 2,            },        },        {            "prediction": {                "steps": ["先算总面积", "面积除以 2 得到体积"],                "answer": 12,            },            "gold": {                "steps": ["测量长宽高", "长乘宽得到底面积", "底面积乘高得到体积"],                "answer": 12,            },        },    ]    evaluator = ChainEvaluator()    for idx, item in enumerate(samples, 1):        detail = evaluator.evaluate_one(item["prediction"], item["gold"])        print("样本 %d: 逐步正确率=%.2f 链路贯通=%d 答案正确=%d" % (            idx, detail["step_acc"], detail["chain_pass"], detail["answer_correct"]))    print(evaluator.report())  if __name__ == "__main__":    main()

1. hit = len(pred_tokens & gold_tokens) / len(gold_tokens)计算预测步骤与参考答案步骤的关键词覆盖率，覆盖率越高说明该步越接近标准推导。
2. return hit >= 0.6设定 60% 的覆盖阈值，达到即判定这一步“合理”，就像老师认为关键要点都写到了就算对。
3. chain_pass = 1 if all(step_scores) and prediction["steps"] else 0只有整条链每一步都通过验证才算贯通，任何一步出错都会让贯通标记归零。
4. answer_correct = 1 if str(prediction["answer"]) == str(gold["answer"]) else 0端到端判定：最终答案与参考答案一致记 1 分，与步骤分分开统计。
5. self.step_acc_total += step_acc把每条链的逐步正确率累计起来，最后求平均得到整体 StepAcc。
6. "平均逐步正确率 StepAcc": round(self.step_acc_total / self.case_count, 3)汇总报告输出平均逐步正确率，保留三位小数。
7. pred_tokens = set(re.findall(r"[\w\u4e00-\u9fa5]+", pred_step))用正则抽取步骤中的关键词并转成集合，方便后续做交集比较。

常见误区

面试题