数学能力：竞赛数学AMC/AIME

可视化演示

展示AMC至AIME难度阶梯递进、AI模型在AIME上的准确率演进趋势，以及整数答案精确匹配评测机制。切换步骤查看各维度。

赛事体系概览：一张登山路线图

登山基地的墙上挂着两张地图：一张是景区栈道，一张是岩壁线路。AMC 和 AIME 就是这两张图——它们是美国数学竞赛体系里最广为人知的两段赛道，前者是入门选拔，后者是进阶邀请。

AMC（American Mathematics Competitions，美国数学竞赛）是一个按年级分组的系列赛，最常见的是 AMC 8、AMC 10、AMC 12；AIME（American Invitational Mathematics Examination，美国数学邀请赛）则是只有收到邀请才能参加的进阶赛，相当于从栈道毕业才允许摸岩壁。

AMC 10/12 都是 25 道选择题、75 分钟、满分 150 分；成绩进入全美前 5%（AMC 12）或前 2.5%（AMC 10）的考生会收到 AIME 邀请。AIME 只有 15 道题，却给 180 分钟，平均每题 12 分钟，是 AMC 的两倍多。对 AI 评测而言，这条“晋级链”天然构成难度梯度：先用栈道过滤会做选择题的模型，再上岩壁考验能写完整推理的模型。官方还把计分规则公开，这让评测协议可以一比一复刻到模型身上。

两张地图画的是同一座山，但线路难度完全不同。评测师要做的是把两条线路都铺给同一个模型，看它在哪条线上走得更远——这正是竞赛体系作为 AI 基准的起点。

题目特征差异：栈道的护栏与岩壁的手点

栈道最舒服的地方是有护栏——选择题的四个选项就是护栏，即使走不稳也能扶着“排除法”前进；岩壁没有护栏，你得自己找手点——AIME 的填空题没有选项可以参考，每一步都要自己推导出来。

两种题型的本质差异在于答案形式：AMC 是四选一，模型可以靠选项之间的分布特征、表面词频甚至猜测拿分；AIME 要求填 0 到 999 之间的整数，机器阅卷，写错一个数字就是零分。这意味着 AIME 强制模型生成一条端到端的推理链：读题、建模、演算、验算，任何一环出错都会让最终答案前功尽弃，因此它被称为“推理试金石”。

难度梯度与时间压力也随之分层：AMC 每题约 3 分钟，比拼快速反射与策略性取舍；AIME 每题约 12 分钟，考验深度沉思与长链条推演。一个在 AMC 上靠排除法横扫千军的模型，到了 AIME 可能连第一题都摸不到手点——因为选项这个“护栏”一旦撤掉，它过去扶墙走路的习惯全变成了负担。若每道题独立做对的概率为 $p$，15 道题全部做对的概率就是 $p$ 的 15 次方，这个指数关系把“侥幸”压缩到几乎为零。

一个在栈道上健步如飞的模型，可能在岩壁第一段就掉下来——护栏一撤，它对“像不像答案”的依赖全部暴露，这正是 AIME 作为高难度评测段的独特价值。

评测协议设计：教练的秒表与规则手册

教练组织测试不能随手记成绩：要统一秒表、统一路线、还要防着有人抄近路。AI 评测同理，协议设计的核心就是让所有模型在完全相同的条件下答题。

评测协议通常包含四要素。提示词规范：所有模型用同一套指令模板，禁止联网检索、禁止附带示例答案，就像所有队员从同一条起跑线出发。采样策略：填空题没有过程分，模型可以独立作答多次，再取最优解或多数表决作为最终答案，这相当于允许队员多试几次，但必须在规则手册里写明试了几次。评分标准：严格按官方计分公式，AMC 用 $S = 6C + 1.5B$，AIME 用答对题数。防泄漏机制：公开赛题可能出现在训练语料里，正规评测必须使用未公开的私有题或隔离年份的题目做 holdout 集，否则就是让队员提前踩点。

采样策略是最容易被忽视的一环：同一个模型，单次作答与 16 次采样取最优，得分可能相差 20 个百分点。如果单次成功率为 $p$，独立采样 $n$ 次后至少成功一次的概率是：

统一的规则手册保证“所有队员在同一阵风里跑”，否则教练记下来的成绩没有任何比较价值。读任何数学基准的论文，先找它的协议四要素，再谈分数高低。

通过率表现：成绩单上的海拔线

教练给每个队员记录“完赛率”：多少人能在规定时间到达规定海拔。评测报告里的通过率，就是这条最直观的海拔线。

通过率的定义很简单：达到分数线的样本数占总样本数的比例。以 AIME 2024 为例，人类参赛者平均分约 4-5 分（满分 15）；公开报道中，GPT-4o 约 13%，o1-preview 约 56%，DeepSeek-R1 约 79.8%，o3 在高算力下约 96.7%。如果把 AMC 晋级线（通常约 90-100 分）当成“及格线”，还能看到典型的难度分层：赛段越难，模型之间的差距拉得越大，弱模型在 AMC 段就被大量淘汰，强模型则要到 AIME 段才显出高下。

这提醒我们：榜单必须同时报告“赛段 + 采样数 + 是否私有题”，否则数据不可比。一个在 AIME 上 60% 通过率的模型，如果用的是 16 次采样和泄露题，含金量可能不如单次采样 40% 的私有题成绩。通过率这条海拔线，画出来的不仅是绝对高度，更是模型之间的相对间距。

成绩单上不是一条线，而是很多条海拔线。看一个模型不能只看它登顶没有，还要看它在每一段海拔上甩开了多少队友——这就是通过率分层带来的诊断粒度。

能力提升趋势：登山海报上的海拔记录

教练把每个队员历次训练的海拔高度连成曲线贴在墙上，进步快慢一目了然。AI 数学能力的提升趋势，也是这样一条可以被记录和预测的海拔曲线。

过去两年，前沿模型在 AIME 上的通过率从 13% 级别跃升到 96% 级别，主要驱动来自强化学习让模型学会“自我纠错”——在推理中途发现矛盾就回头重算，相当于攀岩时发现手点不对会主动下降调整。研究者发现，把通过率对训练算力取对数，曲线接近直线，这说明提升具有显著的规模化效应：算力每翻几倍，通过率就稳定爬升一截。

但曲线末端开始出现平台期：长推理链（几十步以上）的误差累积、推理成本指数上升、公开赛题污染导致的“虚高”，都让进一步提升变慢。面对瓶颈，评测协议要引入更新鲜的题源和更细分的难度梯度，才能继续分辨模型差异——就像教练在队员接近山顶后，必须设计更陡的新路线来拉开差距。

曲线告诉我们，登山没有捷径：前段是体能的快速适应，后段拼的是每一个微小手点的精确控制。读懂这条对数曲线，就能平和地看待“刷分”与“真实能力”之间的差距。

诊断价值应用：体检报告的短板定位

教练手里的成绩单不是为了排名，而是为了写训练计划——哪块肌肉弱就练哪块。AMC/AIME 评测的最高价值，就是输出这样一份能指导改进的诊断报告。

做法很简单：把竞赛题按知识领域打标签（代数、几何、数论、组合），统计模型在每个领域的得分率，就得到一张“能力雷达图”。再与基准人类得分率对比，差距最大的几项就是优先改进方向。例如一个模型几何类得分率比代数低 30 个百分点，说明它的空间建模与辅助线构造能力薄弱，训练数据就该向几何推理倾斜。

误差分析还能进一步细分错误类型：计算失误、题意误读、推理链断裂——三类错误的改进手段完全不同。计算失误要靠自我校验，题意误读要靠指令微调，推理链断裂要靠强化学习。这正是竞赛评测相对普通数学题库的独特价值：既有难度梯度，又有结构化标签，能同时回答“多强”和“弱在哪”两个问题。

最好的教练从不问“你行不行”，而是问“你哪一段路线不行”。AI 评测最终要交付的，正是这样一张能直接指导训练数据的诊断报告。

AI 应用场景

Python 演示

# AMC/AIME 评测模拟:计算得分,通过率与采样增益import random  def amc_score(correct, blank):    # AMC 计分:答对 6 分,空答 1.5 分,答错 0 分    return 6 * correct + 1.5 * blank  def aime_total(correct_list):    # AIME 计分:15 道填空题,答对 1 题得 1 分    return sum(correct_list)  def pass_rate(scores, cutoff):    # 通过率 = 达到分数线的样本数 / 样本总数    return sum(s >= cutoff for s in scores) / len(scores)  def sample_success(p, n):    # 独立采样 n 次,至少一次命中的概率    return 1 - (1 - p) ** n  def main():    random.seed(42)    n = 300    # 模拟 300 个模型在 AMC 上的答题情况    correct = [random.randint(8, 18) for _ in range(n)]    scores = [amc_score(c, 25 - c) for c in correct]    print("AMC 平均分:", round(sum(scores) / n, 1))    cutoff = 100  # AIME 晋级线按当年 top 5% 划定,此处取 100    print("晋级线:", cutoff)    print("AMC 通过率:", round(pass_rate(scores, cutoff), 3))    # 每道 AIME 题独立正确率 0.25,共 15 道    p = 0.25    aime_correct = [sum(1 for _ in range(15) if random.random() < p) for _ in range(n)]    print("AIME 平均得分:", round(sum(aime_correct) / n, 2))    print("得 13 分以上比例:", round(sum(s >= 13 for s in aime_correct) / n, 3))    print("采样 4 次整体成功率:", round(sample_success(p, 4), 3))  if __name__ == "__main__":    main()

1. return 6 * correct + 1.5 * blank复刻 AMC 官方计分公式，答对 6 分、空白 1.5 分、答错零分。
2. random.seed(42)固定随机种子，保证每次运行结果可复现，这是评测可复现性的最小实践。
3. cutoff = 100模拟 AMC 12 晋级 AIME 的分数线，对应当年 top 5% 的难度。
4. pass_rate(scores, cutoff)通过率就是二值门槛统计：超过分数线算过关，再除以总样本数。
5. random.random() < p对每道 AIME 题按单题成功率建模，15 道独立成败合成一个人的得分。
6. sample_success(p, 4)展示采样增益公式：单次 25% 的成功率，采样 4 次后整体接近 68%。

常见误区

面试题