GPQA：学科深度

可视化演示

展示GPQA题目构造与专家多轮验证流程、前沿模型与人类专家Diamond子集准确率对比、Google-Proof防搜索设计机制，交互切换核心环节。

1. 基准定位：AI 的“博士毕业考”

还是回到那间教室。小明平时考的“模拟卷”，是市面教辅里反复出现的题——多刷几遍，就算不会做，也能靠眼熟选出答案。这正是传统 AI 基准的困境：题目一旦被“剧透”（数据污染），模型背下答案就能拿高分，真实推理能力反而被掩盖。

要治这个病，就得靠“新题型、高难度、防剧透”。GPQA 的全称是 Graduate-Level Google-Proof Q&A，中文可理解为“研究生级且谷歌搜不到的问答”。它由纽约大学等机构的科学家打造，包含 448 道博士级科学选择题，覆盖生物、化学、物理三大领域。每一道题都经过领域专家出题与验证，确保即便你去谷歌、必应上搜，也找不到现成答案。

“学科深度”在这里的含义，不是“模型记住了多少知识点”，而是“模型能否在无人提示、无法搜索的封闭环境下，凭借对学科原理的深层理解推导出正确答案”。就像高考命题组刻意避开所有模拟题，专门出“新情境、新问法”的题目，学科深度考察的正是这种迁移推理能力。

回到教室的比喻：普通模拟卷是“教辅题”，GPQA 是“大学教授临时编的新题”。小明靠刷题能在模拟卷上拿高分，但一遇到 GPQA 这种博士级新题，学科深度不足的马脚就露出来了。

2. 设计原理：如何让考题“谷歌不到”

你可能会问：怎么保证题目真的搜不到？光靠“出题人觉得新”可不够。GPQA 的设计者用了一道“三保险”：专家出题、专家验证、消融测试。

第一道保险是专家出题：出题人必须是相关领域的博士级研究者。他们从自己的科研实践中提取“只有真正懂行的人才会遇到”的问题，而不是从教科书上抄。

第二道保险是答案可验证：每道题都要经过至少两位独立认证专家作答，只有专家们一致认同的答案才被采纳为“金标准”。

第三道保险是消融测试（Ablation Study）：研究人员把题目发给成绩优异的非专家（比如本科高年级学生），并允许他们上网搜索。结果显示，非专家即便能上网，正确率也只有约 34%——几乎等于瞎蒙。这说明题目确实“谷歌不到”，网上没有现成答案。

这个设计和“防作弊高考”如出一辙：出题组封闭入闱、题干原创、阅卷双盲。GPQA 把这三招搬到了 AI 评测里，目的就是堵死“背题”和“搜索”两条捷径，逼模型展现出真正的学科深度。

3. 评估指标：分数背后的“能力分层”

考场有了，题目有了，接下来看分数。GPQA 最震撼的地方，是它画出了一道清晰的“能力分层线”。

人类专家（具备博士学位的科学家）在 GPQA 上的正确率约 74%；成绩优异的非专家即使能上网搜索，正确率也仅约 34%；而当时最先进的大语言模型，最高得分仅约 39%——勉强超过非专家的瞎蒙水平。

回到教室的比喻：教授 74 分、AI 39 分、开卷的优等生 34 分。AI 既不如教授，也没比“拿着参考答案的学渣”强多少。这个分数对比，让“学科深度不足”从一个抽象概念，变成了一个触目惊心的数字。

4. 学科分布：不同学科难倒不同模型

真实的考场从来不只考一门课。GPQA 的 448 道题分布在三个学科：生物、化学、物理。每个学科都代表一种独特的推理方式——生物需要因果链条和系统思维，化学需要微观结构与反应规律，物理需要数学抽象和直觉验证。

研究者发现，不同模型在不同学科上的表现有显著差异：有的模型在生物领域表现尚可，但在物理领域接近随机水平。这意味着，学科深度不是一个单一分数，而是一张“能力剖面图”。就像班里的学生：有人文科好，有人理科强，你不能用一次总分抹平所有差异。

为了量化这种差异，可以引入分学科得分率：

这个“分学科成绩单”让开发者能精准定位模型的弱项：产品要辅助生物科研，就重点看生物学科的得分；要处理物理问题，就多关注物理维度的表现。

5. 局限性：满分试卷也有盲区

再好的试卷也有边界。GPQA 虽然精妙，但仍存在几个不容忽视的局限。

第一是数据污染问题。只要题目公开发布，后续训练的大模型就可能通过网络抓取“看到”答案。哪怕题量再大、再“谷歌不可搜”，一旦出现在训练语料里，“金标准”就失效了。这与高考模拟卷被泄题同理。

第二是选择题形式的天花板。GPQA 采用四选一格式，这意味着随机蒙也有 25% 的正确率。当模型得分逼近 60% 时，你很难分辨它是真的推理选对，还是靠统计模式排除错误项。就像小明蒙题能力再强，也不能证明他真懂物理。

第三是单点静态评测。GPQA 只是一套固定试卷，只能反映模型在某个时间点的水平，无法刻画模型的持续进化轨迹。这就像用一次期末考试判断整个学期的学习过程，难免以偏概全。

回到教室的比喻：小明在“四选一”考试里靠排除法蒙了个 50 分，但你要真让他写解题步骤，他一个字都写不出来。这就是选择题的局限——它给了“蒙”一个温床。

6. 应用价值：从“看分数”到“用深度”

讲了这么多，学科深度到底怎么用？答案是：它把 AI 评测从“看热闹”升级为“看门道”。

第一，模型选型。企业在选大模型时，如果只看 MMLU 等传统基准，很容易被“背题高分”欺骗。加入 GPQA 这样的深度基准，就能筛掉“虚胖”的应试型模型，留下真正具备科研级推理能力的选手。

第二，能力诊断。通过 GPQA 的分学科得分率，团队可以画出模型的“能力雷达图”，精准定位其在生物、化学、物理等维度的薄弱环节，从而决定后续微调数据的采集方向。

第三，科研辅助。在药物研发、材料科学等垂直领域，GPQA 的题目风格可以作为“学科深度提示模板”，辅助生成更难、更有价值的新评测题，推动 AI 不断向科学家的认知水平靠近。

回到教室：学科深度就像“教授出的临时考题”。用它来选拔 AI，你不是在招“刷题王”，而是在招“真学霸”。对 AI 从业者来说，掌握学科深度的评测思维，就是握住了判断模型真实能力的“测谎仪”。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""GPQA 学科深度模拟评测：用一个小型正确率评估器演示分层思想。"""import random  def evaluate(dp, answers, gold):    """计算模型在某学科上的得分率。"""    total = len(gold)    if total == 0:        return 0.0    correct = 0    for key, pred in dp.predict(answers).items():        if pred == gold[key]:            correct += 1    return correct / total  class DummyModel:    """一个'应试型'模型：靠模式匹配+随机猜测作答。"""     def __init__(self, guess_prob=0.40):        self.guess_prob = guess_prob     def predict(self, answers):        """对每个问题返回答案，大概率用固定选项充当'背题'信号。"""        result = {}        for qid, options in answers.items():            if random.random() < self.guess_prob and qid in self.memorized:                result[qid] = self.memorized[qid]            else:                result[qid] = random.choice(options)        return result  def sample_gpqa():    """构造 12 道模拟题：3 个学科，每个学科 4 题。"""    subjects = ["bio", "chem", "phys"]    questions = {}    gold = {}    key = 0    for sub in subjects:        for i in range(4):            qid = f"{sub}{i}"            options = ["A", "B", "C", "D"]            questions[qid] = options            gold[qid] = random.choice(options)            key += 1    return questions, gold  def main():    random.seed(42)    questions, gold = sample_gpqa()    model = DummyModel(guess_prob=0.30)    model.memorized = {"bio0": gold["bio0"], "chem2": gold["chem2"]}    score = evaluate(model, questions, gold)    print(f"模拟 GPQA 总得分率: {score:.2%}")    for sub in ["bio", "chem", "phys"]:        sub_qs = {k: v for k, v in questions.items() if k.startswith(sub)}        sub_gold = {k: v for k, v in gold.items() if k.startswith(sub)}        sub_score = evaluate(model, sub_qs, sub_gold)        print(f"学科 {sub} 得分率: {sub_score:.2%}")  if __name__ == "__main__":    main()

1. class DummyModel定义一个“应试型”模型，用背题和随机猜想来模拟没有真正推理能力的 AI。
2. self.guess_prob = guess_prob控制模型在没有背过题时“瞎蒙”的概率。
3. if random.random() < self.guess_prob and qid in self.memorized只有在“碰巧背过”时才给出正确选项，否则随机选一个。
4. score = evaluate(model, questions, gold)计算总得分率，相当于 GPQA 的全局准确率。
5. for sub in ["bio", "chem", "phys"]按学科拆分，输出分科得分率，复现“能力剖面图”。

常见误区

面试题