GSM8K：MATH竞赛数学基准

可视化演示

MATH竞赛数学基准评估模型的数学推理能力，涵盖多步解题与难度分级。拖动滑块调整题目难度，观察模型正确率与推理步骤表现。

MATH基准概览：一道奥赛入场券

小算在 GSM8K 的小学口算测验里拿下了高分，教练却拍了拍他的肩膀说：“别急着骄傲，真正的战场在 MATH——那是全国高中数学联赛的考卷。”MATH（Mathematics Aptitude Test of Heuristics）是由 Hendrycks 团队在 2021 年推出的数学推理基准，全卷共 12500 道题，题型全部来自 AMC、AIME 等真实竞赛以及 AOPs 数学社区，目标只有一个：检验模型面对陌生难题时的启发式推理能力，而不是简单套用训练时见过的套路。

这份考卷共分七个大类：预备代数、代数、计数与概率、几何、中级代数、初等数论、预备微积分。每一道题都需要多步推导，题干中几乎没有“鸡兔同笼”式的固定模板，更像一位奥赛教练随手写给学生的挑战题。正因为如此，论文中的 GPT-3 即使带着 5 个示例进场，也只有 6.9% 的准确率——而训练有素的人类解题者能拿到 90%。换句话说，MATH 用一整套竞赛题，把“背题型”和“真推理”之间那条鸿沟摊开在了所有人面前。

小算盯着这份七大类、上万道题的卷子，意识到他不可能靠“背答案”蒙混过关——唯一的路，是真正学会像数学家一样思考。

与GSM8K对比：小学口算 vs 全国联赛

如果把两张卷子并排放在桌上，小算第一眼就会感到明显的“压迫感”。GSM8K 是给小学生设计的口算应用题：一袋苹果有 8 个，吃掉 3 个还剩几个？题目直白，两到三步就能算完。而 MATH 里的题动辄需要四步以上，涉及变量替换、分类讨论、数论构造，甚至要把多个公式组合起来使用。平均而言，MATH 每道题需要的推理步数大约是 GSM8K 的三倍，就像从“两位数口算”直接跳到“奥林匹克证明题”。

难度之外，两者的评测目标也截然不同。GSM8K 考察的是模型能不能理解日常语言、做基础算术，相当于检验“运算基本功”；MATH 则考察模型面对陌生数学结构时的策略调度能力——该用反证法还是构造法？要不要先做变量替换？这种差异也体现在答案格式上：GSM8K 的答案往往是个简单数字，而 MATH 要求把最终答案规范地写在 boxed{} 密封格中，像奥赛试卷上专门留出的“最终答案框”，裁判一眼就能找到你的结论。

小算把两张卷子收进书包，心里已经有了底：小学测验靠的是肌肉记忆，而联赛考的是临场调度——他必须从头开始练习写步骤。

评测机制原理：密封格里交答案

奥赛试卷有一个铁律：最终答案必须写在指定的密封格中，否则过程再漂亮也不算分。MATH 沿用了同样的设计，要求模型把最终结论放进 boxed{} 标记里。评测时，裁判（评测脚本）先扫描模型的全部输出，用正则表达式把 boxed{...} 里的内容抠出来，再与官方给定的金黄色答案逐字符比对。这个过程既像监考老师找密封格，又像阅卷机扫描答题卡——位置对了，答案才有效。

为了防止模型因为“3“写成”3.0“这类小瑕疵而被误判，评测流程还加入了容错归一化：去掉多余空格、逗号、反斜杠，把等价写法归拢成统一形式。最终，每道题只有两种结果：命中或未命中，所有题目的命中率平均值就是模型的最终得分。这套机制的好处是客观、可复现；代价则是它只认”最终答案”，不管推理过程多么漂亮——与真实奥赛按步骤给分的规则并不完全一致。

小算看着阅卷机“咔哒咔哒”地扫描密封格，忽然理解了规则的游戏：你可以在草稿纸上涂涂画画，但只有密封格里的那个答案，才是裁判眼中唯一重要的事情。

模型性能表现：分数榜的十年跃迁

MATH 榜单刚公布时，几乎是一张“人类碾压机器”的成绩单。训练有素的人类解题者均分 90，而当时最强的 GPT-3 只有 6.9 分——两者相差约 13 倍。细看错误类型会发现，模型的失误集中在三类：符号操纵出错（移项变号时算错）、几何空间想象薄弱（无法从文字描述还原图形关系）、以及长文本逻辑链条断裂（推理到第三步就丢了前文条件）。这就像小算在考场上明明会做，却总在“抄写过程”时手一抖写错符号。

但这张分数榜并没有凝固在 2021 年。随着思维链提示（Chain-of-Thought）在 2022 年出现，PaLM-540B 在 MATH 上突破了 50%；同年 Minerva 借助代码执行与多数投票进一步逼近人类线；2024 年之后，以 o1 为代表的推理模型在 MATH 上已经稳定突破 90%。从 6.9 到 90，不是某个模型的单打独斗，而是“写步骤”“带计算器”“多次验算”等策略层层叠加的结果——好比小算的教练给他配了草稿纸、计算器和验算流程，他的得分自然水涨船高。

看着分数榜上那条一路向上的曲线，小算意识到：考高分的秘诀不在模型本身，而在方法——接下来的招式才是真正的破局点。

数据构建方法：命题组的匠心工艺

MATH 为什么能成为“金标准”？因为它的命题过程足够严谨。数据构建的第一站是题目来源：Hendrycks 团队从 Art of Problem Solving（AOPs）社区以及 AMC、AIME 等真实竞赛中收集题目，这些题天然带有“竞赛基因”——每一道都经过命题人反复打磨，不存在歧义表述。接下来是清洗环节：团队移除了大量依赖图形才能解答的题目，只保留纯文本可完全描述的题，这样模型就不需要“看配套图”也能作答。

清洗之后是人工标注流水线。标注者不仅要写出标准答案，还要把答案放进统一的 boxed 格式，并记录题目所属类别与难度层级。为了降低个人偏差，同一道题由两名标注者相互独立地标注，再交叉校验。最终经过多轮筛选，留下 12500 道题，并划分为 7500 道训练集与 5000 道测试集——训练集供模型调参，测试集则严格封存、只在评测时启用。这种“出题组命卷→密封保存→公开考试”的流程，正是 MATH 能被长期信赖的结构基础。

小算翻着这套精心编印的试卷，感慨命题组把每个细节都考虑到了——也正因如此，“作弊”与“漏题”的争议才显得格外刺眼。

性能优化策略：教练的三板斧

小算的教练有一套经典的“奥赛提分三板斧”。第一板斧是思维链提示（CoT）：不再让模型直接报答案，而是要求它像写草稿一样把步骤一步步列出来，把隐藏的推理过程显式化。这一步直接把准确率从 7% 拉到 36%——就像小学生从“心算报数”改成“列竖式计算”，错误率自然下降。第二板斧是代码执行验证：允许模型在 Python 环境里演算数值、化简表达式，相当于让考生带一台计算器进考场，避免手算失误。

第三板斧是多数投票自洽（Self-Consistency）：同一道题让模型独立做多次（例如采样 K 条推理路径），最后统计哪个答案出现得最多，就把它作为最终答案。这就像组织一个“数学小组”各自解题，少数服从多数——独立尝试越多，偶发的随机错误越容易被淹没。再往后，强化学习微调（RLHF / RL）登场：模型在训练中不断“做新题、对答案、纠正思路”，逐步逼近人类表现。这几招组合起来，就是小算从 7 分冲向 90 分的完整路径。

小算在考场上用足了教练教的技巧：先列步骤、再验算、最后找“分身们”对答案——一张曾经让他绝望的奥赛卷，终于变得可攻克了。

局限与争议：考场软肋与争议

MATH 并非无懈可击，它的最大软肋是数据污染。由于大模型训练语料往往包含了互联网上海量公开内容，MATH 的测试题很可能早就被模型“背诵”过——相当于考生在考前偷偷拿到了原题答案。这种污染一旦发生，分数就失去了衡量推理能力的意义。2023 年之后，多篇论文发现，部分模型在 MATH 上的高分与其在全新未公开题目上的表现并不匹配，印证了这一担忧。

第二个争议是“算力军备竞赛”。CoT、多数投票、代码执行本质上都在用更多推理预算换取分数：答一道题消耗的算力可能是早期模型的几十倍。有人质疑，这样的进步是“更会做题”还是“更会堆算力”？第三个争议则关乎公平性：MATH 全英文命题、取材于西方竞赛体系，对中文模型天然存在语言与题型偏差——就像让中国学生去考美国高考数学，分数低未必代表数学能力差。过度拟合这张卷子，反而可能降低模型在其他数学领域的泛化能力。

小算摘下眼镜，盯着分数榜上那些漂亮但存疑的数字，终于明白教练最后那句叮嘱：考试无捷径，推理才是唯一的通行证。

AI 应用场景

Python 演示

import refrom collections import Counter MATH_CATEGORIES = [    "algebra", "counting_and_probability", "geometry",    "intermediate_algebra", "number_theory", "prealgebra",    "precalculus",] def parse_boxed(text):    match = re.search(r"boxed\{([^}]*)\}", text)    return match.group(1).strip() if match else None def normalize(ans):    if not ans:        return ""    ans = ans.replace(" ", "").replace(",", "").replace("\\", "")    return ans def evaluate(predictions, gold):    correct = 0    pairs = []    for pred, g in zip(predictions, gold):        p = normalize(parse_boxed(pred))        gg = normalize(g)        hit = (p == gg)        correct += int(hit)        pairs.append((hit, p, gg))    acc = correct / len(gold)    return acc, pairs def majority_vote(samples_per_q):    finals = []    for samples in samples_per_q:        votes = []        for s in samples:            parsed = normalize(parse_boxed(s))            if parsed:                votes.append(parsed)        if votes:            finals.append(Counter(votes).most_common(1)[0][0])        else:            finals.append("")    return finals if __name__ == "__main__":    demo_predictions = [        "解方程得 x=3，因此最终答案 boxed{3}",        "概率为 1/2，写成 boxed{1/2}",        "几何面积算得 9，答案是 boxed{10}",    ]    gold_answers = ["3", "1/2", "9"]    acc, detail = evaluate(demo_predictions, gold_answers)    print(f"准确率: {acc:.1%}")    for hit, p, g in detail:        print(f"预测={p or '未提取'} 标准={g} 结果={'对' if hit else '错'}")     demo_multi = [        ["直接回答 boxed{5}", "换个思路得到 boxed{5}"],        ["直接回答 boxed{7}", "验算后改正为 boxed{7}"],    ]    print("多数投票结果:", majority_vote(demo_multi))

1. import re导入正则模块，用于从模型长长的输出文本里“揪出”boxed 密封格中的答案。
2. def parse_boxed(text)定义答案提取函数，相当于阅卷机扫描密封格。
3. re.search(r"boxed\{([^}]*)\}", text)匹配第一个 boxed{} 并捕获花括号内部的答案字符串。
4. normalize(ans)把所有等价写法“抹平”，去掉空格、逗号、反斜杠，让 1/2 和 1/2 能稳定对齐。
5. evaluate(predictions, gold)逐题比对模型答案与金标准，返回准确率和明细，等价于计算 Acc。
6. correct / len(gold)用命中数除以总题数，得到 0-1 之间的准确率。
7. majority_vote(samples_per_q)对每道题的多次采样结果做投票，选出现次数最多的答案。
8. Counter(votes).most_common(1)[0][0]利用计数器统计票数并取出第一名，这就是 argmax 的实现。

常见误区

面试题