GPQA Main：研究生级AI基准全解

可视化演示

展示GPQA Main研究生级AI基准的学科分布、评分方法（原始/校正准确率）、三个子集对比及题目类型构成，支持切换不同分析视角。

基准概览

回到那场“研究生资格考”。出题组由资深教授团组成，他们定下三条铁律：题目要覆盖多个硬核学科；内容必须是研究生阶段才会触及的深度；考题绝不允许“打开搜索引擎就能抄到答案”。这套规则背后的名字，就是 GPQA——一个专门为“为难”大模型而生的评测基准。它不像聊天评测那样看重对话流畅，也不像代码评测那样聚焦工程能力，而是死死盯住一个目标：模型在不同学科中到底有没有真知识、会不会做深度推理。

从概念上说，GPQA Main 是这套基准的“正式统考卷”。它包含约 448 道四选一多选题，试卷既不考背诵，也不考搜索，考察的是模型能否像受过研究生训练的人那样，把学科原理与复杂推理结合起来。它适合三类从业者：研究团队用它测模型能力的上限，工程团队用它做版本迭代回归，产品团队用它判断“这个模型到底行不行”。一句话，GPQA Main 是一把经过专家校准的“能力游标卡尺”。

评测最核心的动作是“批卷”：模型每答完一题，阅卷组就记录一次对错，最终算出一个百分比。这就是 GPQA 的首要指标——准确率：

回到比喻里看：批改老师只关心“答对了几题”，不关心模型答题时的“自信程度”和“花哨动作”。准确率就是考卷上的红分，简单、公平、可复现。理解了这把标尺，后面的学科分布、基线对照和版本差异，都是在这个基础上进一步“解剖考卷”。

题目构成

一场合格的资格考，最怕“一卷定天下”——全是物理，生物系学生就会哭。GPQA 的出题委员会深谙此道，他们把试卷精心配比成三大板块：生物学、化学、物理学。每个学科内部，题目又刻意错开难度，基础概念题、机制推理题、前沿交叉题层层递进。这样设计的好处是，模型在某科翻车不会被其他科“平均掉”，评测报告可以直接告诉你：这个模型是“化学偏科”还是“物理全废”。

在题量上，GPQA Main 约 448 道多选题，规模适中——太少则统计噪声大，太多则评测成本高。题型统一采用四选一，四个选项只有一个正确。这种格式既贴近真实考试，又方便自动化批改。从难度定位看，这些题不是本科生“期末考试卷”，而是研究生“资格考”：光靠记忆教材无法通关，必须理解概念、串联知识、完成多步推理。

要想看清学科配比，我们可以用比例公式衡量某学科在试卷中的“出镜率”：

顺着比喻走：一份试卷如果三科各占约三分之一，那每个模型都是“全科考生”。当你的模型在 Main 上整体准确率不错，却在化学子集上明显掉队时，就好比一个总分达标但“化学单科挂科”的研究生——资格考委员会会毫不犹豫地让你看到偏科现实。这种学科维度的拆解，让 GPQA Main 不只是给出一个冷冰冰的总分，而是直接生成一张“学科体检报告”。

质量把控

聪明的读者会问：题目是教授们自己出的，万一某道题本身就出错了怎么办？万一答案是某本冷门教材上的一句话，教授也是查了才知道呢？这正是 GPQA 最较真的地方——出题只是开始，验证才是重头戏。每一道候选题目，至少要经过多位领域专家独立作答与交叉审核，只有被验明“正身”的题目才有资格进入正式试卷。

整个流程像极了学术论文的同行评审：专家撰写初稿后，系统把题目分发给另外的验证专家；验证专家在看不到标准答案的情况下独立作答，并标注置信度。若验证者答错，题目打回修改或直接废弃；若验证者答对但觉得题目有歧义，也要重新打磨。更关键的是“防搜索筛选”：命题组会刻意排除那些只需关键词搜索就能定位答案的题目，确保模型是“真会”而不是“会查”。最终，只有通过验证的题目才进入 Main。

我们用“验证通过率”来量化这套筛选机制的严格程度：

用资格考的比喻说：教授团写完题后，要先“内部试考”一轮。试考中有人答错、有人质疑、有人上网搜到了原题，这些题目全部作废或返工。只有经过这种“魔鬼式打磨”的题目，才敢印上正式试卷。这也解释了为什么 GPQA 的题目如此耐考——人类专家亲自上阵都未必全对，模型想靠投机取巧蒙混过关，几乎不可能。

评分方法

批卷看似简单，但 GPQA 的阅卷组还藏了两条“参照线”。第一条是随机基线：如果一只猴子瞎蒙四选一，它的期望正确率是多少？显然，四个选项均匀猜，每一个都是四分之一概率。任何模型如果准确率连 25% 都不到，说明它连“蒙”都不如。第二条是专家水平线：研究报告显示，具备工具访问权限的领域专家在 GPQA 上的准确率约为 74%，这代表人类高手的表现上限。

先看随机基线的数学表达：

阅卷组还提供了一种辅助指标——Top-2 准确率：由于研究生级题目极其困难，模型可能对正确答案没有十足把握，这时评测者会允许模型把两个“最有可能”的选项都列出来，只要正确答案在二者之中就算答对。这种宽松一点的计分方式，可以用来区分“完全不会”和“隐约知道”的模型。

回到资格考现场：主考官不会因为你“感觉会”就给分，但会额外记录你“排除明显错误选项”的能力。真正的阅卷智慧在于对照参照线——如果某个模型的 Main 准确率是 30%，别急着高兴，因为它只比随机乱蒙高 5 个百分点，本质上是“半桶水”；而如果另一个模型拿到 70%，说明它已经逼近专家水平线，是真正的“学霸级”候选。

版本对比

同一场资格考，却发三张不同的卷子，这就是 GPQA 家族的设计巧思。Main 是正式统考卷，约 448 题，覆盖三大学科，用来做标准化的能力评估；Diamond 是荣誉加试卷，198 道题，全部是“专家验证时全体答对且高度自信”的难题，相当于从 Main 里再挑出一批最硬核的题目，专门用来区分顶级模型；Extended 是扩展题库，约 546 题，包含 Main 中的题目以及更多通过初步筛选但未完全满足严格验证的题，适合需要更大样本量的科研分析。

这三卷的关系可以用一个嵌套结构理解：Extended 像“大仓库”，Main 是从仓库里按严格标准选出的“正式货架”，Diamond 则是货架上最贵的“镇店之宝”。Diamond 与 Main 的题量比值，可以用公式表示：

既然有三张卷子，该怎么选？如果你是做常规排行榜，Main 最合适，样本量充足且学科均衡；如果你想判断两个顶尖模型谁更强，Diamond 是主战场，它专治“分数饱和”——当大家都考 70 分时，只有加试卷能把 72 分和 78 分拉开；如果你是做学术研究、需要更细粒度分布，Extended 的更大量级能降低统计波动。记住：Main 定标准，Diamond 分高下，Extended 供研究。

实战应用

考试的目的从来不是打分本身，而是通过分数指导行动。GPQA Main 的实战价值，体现在一条完整的评测工作流中：选卷 → 跑测 → 对照基线 → 诊断学科 → 驱动改进。工程团队的常见做法是，把 Main 作为标准化回归集，每次模型迭代后都跑一遍，观察总分是否下降、学科是否失衡；研究团队则进一步把 Diamond 当作“高压测试”，专门观察模型在最高难度下的推理极限。

在解读结果时，一个非常实用的量化工具是“相对水平指数”，它把模型放在随机基线与专家基线之间定位：

落到日常工作中，这套方法的本质是“用同一把尺子说话”。模型从 40% 提到 45%，绝对值看似只涨了 5 个百分点，但相对水平指数从 0.31 提升到 0.41，说明它确实在向专家方向收敛。反过来，如果总分涨了但化学子集反而跌了，这说明新版本在某学科引入了“知识回退”——回到资格考比喻里，模型就像一个总分进步但单科亮红灯的考生，需要立刻“补课”。

AI 应用场景

Python 演示

import random def answer_question(q, known_subjects, rng):    """模拟模型作答：掌握了的学科直接答对，没掌握的随机蒙。"""    if q["subject"] in known_subjects:        return q["answer"]    return rng.randint(0, 3) def evaluate(questions, predictor):    """计算准确率：答对数 / 总题数，对应 GPQA 的评分方法。"""    correct = sum(1 for q in questions if predictor(q) == q["answer"])    return correct / len(questions) def main():    # 构造 36 道模拟题：生物 / 化学 / 物理 各 12 道，四选一    rng = random.Random(42)    subjects = ["biology"] * 12 + ["chemistry"] * 12 + ["physics"] * 12    questions = [        {"id": i, "subject": subjects[i], "answer": rng.randint(0, 3)}        for i in range(36)    ]     # 两个模拟模型：模型A只掌握生物，模型B掌握生物+化学    model_a = lambda q: answer_question(q, {"biology"}, rng)    model_b = lambda q: answer_question(q, {"biology", "chemistry"}, rng)     # 跑完整张"Main 卷"并对比    for name, model in [("模型A(仅生物)", model_a), ("模型B(生物+化学)", model_b)]:        acc = evaluate(questions, model)        print(f"{name} 在模拟 Main 上的准确率: {acc:.1%}")     # 随机基线和专家基线参照    random_acc = evaluate(questions, lambda q: rng.randint(0, 3))    print(f"随机基线(模拟): {random_acc:.1%} | 理论值 25%")    print("专家基线(参考): 约 74%")     # 抽出 Diamond 子集：物理题（相当于资格考中的压轴加试）    diamond = [q for q in questions if q["subject"] == "physics"]    print(f"Diamond 子集(物理)题数: {len(diamond)}")     for name, model in [("模型A(仅生物)", model_a), ("模型B(生物+化学)", model_b)]:        acc = evaluate(diamond, model)        print(f"{name} 在 Diamond 上的准确率: {acc:.1%}") if __name__ == "__main__":    main()

1. def evaluate(questions, predictor):定义核心评分函数，对应 GPQA 的准确率计算：答对数除以总题数。
2. correct = sum(1 for q in questions if predictor(q) == q["answer"])逐个比对模型预测与标准答案，统计答对数。
3. rng = random.Random(42)固定随机种子，确保每次运行结果可复现，这是评测工程的基本功。
4. model_a = lambda q: answer_question(q, {"biology"}, rng)模拟一个“只懂生物”的模型：遇到生物题答对，其他题随机蒙。
5. diamond = [q for q in questions if q["subject"] == "physics"]抽取单选学科作为 Diamond 子集，演示“局部压轴考核”的用法。
6. random_acc = evaluate(questions, lambda q: rng.randint(0, 3))跑一遍纯随机策略，用真实数据验证“25% 随机基线”在有限样本下的波动。

常见误区

面试题