GSM8K答案抽取：推理结果评估技术

可视化演示

展示从模型回复中定位####标记、提取数值答案并与标准答案比对的完整流程，切换模式查看误差分析与多策略融合。

基准概述：一份8500道题的数学试卷

新学期开始，数学老师拿到一沓厚厚的试卷——学校统一的标准化考试，一共8500道小学应用题。题目不长，但每道都需要两三步甚至七八步的思考。老师在批改前，先要搞清楚这份试卷的底细：考什么范围、答案长什么样、怎么计分。不了解试卷，就没有批改的依据。

在AI评测界，这份“试卷”叫GSM8K（Grade School Math 8K），由OpenAI的研究者收集8500道小学水平的数学应用题，每题附有人工写好的标准解答。它被广泛用于衡量大语言模型的数学推理能力：模型不仅要写出正确结果，还要能用自然语言呈现推理步骤。

GSM8K按固定比例划分数据集，其中7473道用于训练，1319道用于测试。所有标准答案都是整数，这是答案抽取能够以“提取一个数”为核心的根基。评测的核心指标就是准确率，即答对的题目占全部题目的比例。

老师要看清试卷全貌才知道怎么批；评测者要理解GSM8K的规模、划分和整数答案特性，才能设计出匹配的判卷规则。这张“试卷”的每一处细节，都直接决定了后续抽取与比对环节的走向。

答案标注：试卷底部的“方框”

为了让批改高效，出卷老师给试卷立了一条规矩：请把最终答案写进卷子末尾的方框里，前面怎么写过程都可以。这样一来，批改老师只需要扫到方框，就能一眼读出答案，不必在草稿海洋里反复打捞。

GSM8K数据集也有一条一模一样的“规矩”：每份标准解答的最后，答案前面都有一个特殊标记"####"。这个标记就是试卷上的方框线，把最终答案与前面的推理过程清晰地隔开。模型的训练样本和标准答案都遵循这个惯例。

具体的数据格式是：先是一段自然语言的逐步推理，然后另起一行写“#### “，行尾跟上唯一的整数答案。例如：”计算5+3=8，所以一共8个。\n#### 8“。抽取器可以充分利用这个稳定结构：先定位”####”，再把其后的内容作为答案候选区，最后从中提取整数。

有方框的卷子好批，有"####"的答案好抽。正是这种标注规律，让基于规则的抽取器有了最可靠的抓手——先找标记，再读答案，简单直接。

抽取目标：只找方框里的最终答案

经验丰富的老师批卷，不会把学生的每一步计算都验算一遍——那样批完8500份卷子会累垮。他的目标非常纯粹：找到方框里的数字，和答案本核对。至于过程写得潦草还是工整，都不影响这个核心动作。

答案抽取的目标同样纯粹：定位最终答案，而不是理解或验证整个推理过程。GSM8K的评分只关心最终答案是否与标准答案一致。抽取器需要从模型输出的长文本中，准确识别出那个唯一的整数，同时忽略掉所有中间算式和解释性文字。

形式上，抽取器是一个函数 Extract：输入整段回复文本，输出一个候选答案（可能为空）。评测时把候选答案与标准答案比对。设计目标有三个：一是准确，别把中间结果当最终答案；二是鲁棒，面对不同措辞风格都能稳定工作；三是确定，同一回复永远得到同一结果，保证评测可复现。

老师只找方框，抽取器只找最终答案——这个“只”字，正是评测公正性的起点。目标越聚焦，规则越简单，评测就越不容易被无关信息干扰。

解析规则：老师的三种查找习惯

每个老师都有自己的扫卷习惯：先找方框；如果学生忘了画框，就看卷子末尾有没有孤零零的数字；如果卷面太乱，就找“答案是”“最终结果”这类关键词。这些习惯，就是抽取器的“解析规则”。

解析规则决定抽取器如何从文本中定位答案。真实模型的输出五花八门：有的规规矩矩带上“####“，有的说”所以答案是96“，有的直接把答案写在最后一行。因此抽取策略需要分层：首选”####“标记截断，其次用关键词定位，最后用”末尾数字”兜底。

在工程实现上，第一策略是文本截断：在回复中定位“####“，只保留其后的内容再提取数字。若没有该标记，则寻找”答案是”“结果为”等关键词；仍找不到，就提取全文最后一个整数。手写正则 re.findall(r'\d+', tail) 可以抓出所有数字候选，取最后一个作为答案。

查找习惯越清晰，批卷越快越准；解析规则越明确，抽取就越不容易被模型的“花式草稿”带偏。分层设计让抽取器在混乱输出面前依然有章可循。

格式归一：把“96个”看成96

学生们的答案书写五花八门：有人写“96个”，有人写“$96“，有人写”96.“，还有人写”1,200“这种带千位分隔的。老师心里默念：先剥掉装饰、统成一个标准数字，再对答案本。这层”剥装饰”的功夫，就是格式归一化。

归一化要解决的核心问题是：模型输出与标准答案数值相同，但书写形式不同。如果直接按字符串比对，“96个”和“96“不可能相等。归一化把这些表面差异抹平，确保比较的落脚点是”数值“而不是”字符串长相”。

通常的归一化步骤包括：去除首尾空白、清理标点符号、去除货币符号（如$）、删除千位分隔逗号，最终统一解析成整数。以"$1,200“为例，去掉美元符和逗号后为1200；”$96“去掉货币符号后为96；”96个"去掉量词后仍是96。完成归一化后，所有不同写法都映射到同一个整数。

老师不会因为学生多写一个“个”字就批错，归一化后的抽取器也同样“通情达理”。它只认数值本质，不认书写皮相。

结果比对：全对或全错，没有步骤分

批改对答案的时刻，老师翻开答案本：方框里的数和答案本一致，这道题就得分；不一致，就不得分。不存在“过程对了给半分”的温柔——不管草稿多么工整，最终答案错了就是错了。

GSM8K的评分也是同样的“全对或全错”哲学：把抽取出的答案与标准答案都做归一化，然后做精确匹配。匹配成功得1分，失败得0分。这种二值化评分的好处是：无歧义、可复现、适合大规模自动评测——任何人在任何时间运行同一套代码，都会得到同样的分数。

比较时使用归一化后的整数做相等判断，而不是原始字符串。这里的容错边界必须小心：只能容忍“书写形式不同”，不能容忍“数值不同”。比如96和95，归一化后依然是不相等的整数，必须判错。评测脚本的职责就是保证这一判断的确定性。

答案本不认花里胡哨的书写，只认数值本身——评测的严格性，正是公平性的另一面。全对或全错看似苛刻，却让每一次评分都经得起推敲。

错误分类：批错卷子的三种情况

再细心的老师也有批错的时候：要么根本没找到方框，要么看花了眼，要么学生真的算错了。老师复盘时，会把“我批错”和“学生做错”严格分开——批错是自己的问题，做错才是学生的水平问题。

评测中，当抽取答案与标准答案不一致，同样需要区分错误来源：抽取器没找到任何数字，属于抽取失败；找到了数字但格式差异没被归一化吞掉，属于格式误判；归一化之后数值依然不同，才是模型真正的计算错误。此外，标准答案本身的标注噪声也是一种不可忽视的特殊错误。

把错误率分解成几部分，有助于定位评测管道的问题。抽取失败率可以通过人工抽查估算；格式误判率可以通过扩展归一化规则来降低；计算错误才是衡量模型能力的真实信号。如果抽取失败和格式误判占比过高，说明是评测管道需要修缮，而不是模型能力差。

老师复盘时发现“看花眼”是自己批改流程的问题，下次就能改；评测者分类错误来源，才能让分数真正反映模型水平，而不是反映抽取器的缺陷。

评测价值：一张有意义的成绩单

只有当批改足够公平时，成绩单才有意义。家长看成绩单，才能知道孩子哪块知识薄弱、该补什么；研究人员看GSM8K分数，才能判断模型的数学推理是进步还是退步。成绩单的公信力，建立在每一次批改的可靠性之上。

GSM8K在LLM评测体系中地位举足轻重：它是验证思维链（Chain-of-Thought）能力的核心基准之一，模型在测试集上的分数直接反映其多步推理与数值计算能力。而答案抽取作为评分管道的最后一环，决定了这些分数的真实性与可比性——抽取器抽错答案，模型再聪明也拿不到应得的分数。

抽取器的质量直接影响评测信号：同一份模型输出，用不同抽取器可能得出不同分数，甚至改变模型的相对排名。因此评测平台在公布分数时，通常会说明使用的抽取与比对规范，确保分数可复现。相比之下，两个模型之间的分数差 Δ 是更有价值的信号。

一份成绩单的价值，藏在每一次公平的批改里；一个模型的排名，建立在每一道题的可靠抽取之上。答案抽取看似只是小小的“圈数字”动作，却是整个LLM评测大厦最不容忽视的地基。

AI 应用场景

Python 演示

import re  def extract_answer(response_text):    """从模型回复中抽取最终答案整数"""    # 优先使用GSM8K的####分隔符    if '####' in response_text:        tail = response_text.split('####')[-1]    else:        tail = response_text    # 提取尾部所有整数，取最后一个作为答案    numbers = re.findall(r'\d+', tail)    if not numbers:        return None    return int(numbers[-1])  def normalize_int(raw):    """格式归一化：去掉非数字字符后解析为整数"""    if raw is None:        return None    cleaned = re.sub(r'[^0-9-]', '', str(raw))    if cleaned in ('', '-'):        return None    return int(cleaned)  def score_gsm8k(predictions, gold_answers):    """批量评测：抽取答案并与标准答案比对，返回准确率"""    if len(predictions) != len(gold_answers):        raise ValueError('预测与标准答案数量不一致')    correct = 0    for pred, gold in zip(predictions, gold_answers):        if extract_answer(pred) == normalize_int(gold):            correct += 1    return correct / len(gold_answers)  if __name__ == '__main__':    samples = [        ('小明有5个苹果，又买3个，共有几个？\n5+3=8\n#### 8', 8),        ('蛋糕3元一块，买4块多少钱？\n3×4=12\n答案是12元', 12),        ('队伍有15人，走了7人还剩几人？\n15-7=8，剩8人。', '8'),        ('每分钟走60米，走5分钟多远？\n60×5=300\n300米', 300),    ]    preds = [p for p, _ in samples]    golds = [g for _, g in samples]    acc = score_gsm8k(preds, golds)    print('评测样本数:', len(samples))    print('答案抽取准确率: {:.1%}'.format(acc))    for i, (p, g) in enumerate(samples):        print('样本{} 抽取={} 标准={}'.format(            i + 1, extract_answer(p), normalize_int(g)))

1. if '####' in response_text:优先寻找数据集约定的“方框标记”，这是最可靠的第一策略
2. tail = response_text.split('####')[-1]取分隔符后面的文本作为答案候选区
3. numbers = re.findall(r'\d+', tail)用正则抓出候选区里的所有整数
4. return int(numbers[-1])取最后一个整数作为最终答案，模拟“末尾数字”策略
5. cleaned = re.sub(r'[^0-9-]', '', str(raw))归一化：删掉货币符号、逗号、量词等所有非数字装饰
6. if extract_answer(pred) == normalize_int(gold):抽取结果与归一化后的标准答案做数值比对，相等即得分

常见误区

面试题