GPQA：研究生级问答

可视化演示

展示GPQA基准448道研究生级选择题的学科分布、四种提示方式准确率对比及主流LLM与专家水平差距，直观呈现高难度科学推理评测的核心机制。

基准概览：这张“专家会诊考卷”长什么样

医院里，一群主任医师聚在会议室，为一位症状极其复杂的患者会诊。他们讨论的不是感冒发烧这类常见病，而是教科书上只有寥寥几段、互联网也搜不到完整答案的疑难杂症。这些病例被收录进教学病例库，用来考核年轻医生——这才是真正见功底、见推理的硬核考题。GPQA 之于大语言模型，就相当于这样一份“主任级病例库”。

GPQA 的全称是 Graduate-level Google-Proof Q&A，直译为“研究生级、防谷歌问答”。它由物理、化学、生物等领域的博士级专家亲手编写，每道题都是四选一的选择题，形式高度标准化。与很多大众化基准不同，GPQA 的出题人都是活跃在科研一线的专家，题目天然带着“科研深水区”的难度。它的题库分为两个版本：经过最严格审核的 main 主集，以及规模更大、审核条件相对宽松的 extended 扩展集。主集题目少而精，扩展集题目多而广，两个版本共同构成完整的考核体系。

对 AI 从业者来说，认识 GPQA 的第一课就是记住：这不是一套普通的选择题，而是一批由领域专家精心设计、专门用来检验深层功底的“疑难病例”。看一份基准报告，要先搞清楚题源是谁、题目长什么样，否则很容易被表面分数误导。

设计理念：为什么“上网搜不到”才是好题

如果会诊考核用的都是教科书上的经典病例，年轻医生照书背书就能通过，那根本考不出真实临床水平。所以主任医师们偏要挑选那些网络资料破碎、没有现成攻略的罕见病例——因为只有面对未知，才能逼出真正的诊断能力。GPQA 的核心设计理念，正是把这种“防攻略”思路贯彻到底。

GPQA 最具辨识度的标签就是 “Google-Proof”（防谷歌）。所谓防谷歌，并不是指题目保密不公开，而是指：哪怕你把一道题的完整题干原封不动地粘贴到搜索引擎里，也很难直接查到标准答案和解析。这意味着模型无法靠“记忆力”得分——如果在训练时背过相似段落、在推理时偷偷联网检索，都不可能轻易绕过去。这正是 GPQA 与传统“刷题型”基准最大的不同：它迫使模型只能依靠对学科知识的深层理解与多步推理来作答。

为什么要把“防搜索”提到如此高度？因为大模型训练数据来自互联网，一旦题目在网上有现成答案，模型就可能“背答案”而不是“学知识”。会诊考卷要想测出真才实学，就必须保证病例在公开渠道里找不到攻略。GPQA 的防搜索设计，正是给 AI 评测装上的一道“反作弊滤网”。

质量验证：出题之后还要过三关

主任医师拿出一个自认为精彩的疑难病例后，并不能直接放进考核题库。他还要请另一位资历相当的老专家独立审阅：这个病例描述是否有歧义？诊断结论是否唯一？会不会存在灰色地带？只有通过了“同行评审”，病例才算合格。GPQA 的题目在正式入册前，同样要经历类似的严格质量把控。

GPQA 的题目由博士级领域专家编写，而验证环节则引入其他同等资历的专家进行交叉审核。每道题都要求：题干信息完整、标准答案唯一、干扰项足够有迷惑性但绝不成立。为了确保题目真的“够难”，论文作者还做了一项关键实验：让拥有博士学位的专家在受限时间内快速作答，结果平均准确率只有约 65%。这个数据说明，GPQA 的题目已经难到“连出题人都无法轻松拿满分”，也因此，65% 成为学界公认的“人类专家基线”。

有了这样一套“出题—交叉验证—基线测定”的完整流程，GPQA 的分数才有了公信力。就像疑难病例只有经过主任会审后才配进入执业考核，GPQA 的每道题也都是经过层层把关才进入题库的。

评测流程：一场标准化答题考试

会诊考核采用统一的标准化试卷：每位年轻医生拿到一份病历摘要，面对 A/B/C/D 四个诊断选项，选出最合理的那一个。所有人都用同一张卷子、同一套评分标准，谁强谁弱一目了然。GPQA 的评测流程，本质上就是这样一场标准化的答题考试。

在具体操作上，GPQA 每次向模型输入一道题目的完整题干，让模型从四个候选中选择答案。由于四选一结构天然存在“瞎蒙”的可能，评测报告一定会给出随机基线：$\frac{1}{4}=25\%$。实际评测中，常见做法有两种：一是“零样本”直接提问，考模型的即时推理能力；二是配合思维链（Chain-of-Thought）提示，让模型先展示推理过程再给出最终选项。两种模式各有意义，研究者通常在报告中同时给出。最终用准确率作为模型成绩。

标准化考试最怕的就是“评分规则不一致”。GPQA 通过统一的四选一格式、明确的准确率指标和固定的随机基线，让不同团队、不同模型之间的成绩可以直接比较。这也正是它作为行业基准能够广泛流传的原因之一。

模型表现：谁能在会诊中考高分

会诊考核的第一次成绩单发下来，场面有些尴尬：刚毕业的实习医生靠着瞎蒙只拿了 25 分；在病房里摸爬滚打了几年的普通医生也仅仅拿到 34 分；出题的主任医师们在时间压力下能拿到 65 分。所有人都意识到：这份考卷真的很难，想拿高分必须拿出真本事。

在真实数据中，早期普通 LLM 在 GPQA 上的准确率大约只有 34%，仅比随机猜测高出不到 10 个百分点。这个数字曾让业界惊呼“大模型连研究生题都答不利索”。但随后，随着模型架构、训练数据和推理技术的进步，GPT-4o、Claude 3.5 等顶尖模型在 GPQA 上的表现开始逐步逼近并反超 65% 的专家基线，部分报告显示已超过 70% 甚至接近 80%。准确率的每一次跃升，都对应着模型在科学知识理解与链式推理能力上的实质性突破。

回看这场“会诊考试”，从 25% 的瞎蒙线，到 34% 的普通水平，再到 65% 的专家基线，最后到顶尖模型的超越——GPQA 用一组不断攀升的数字，默默记录了大模型从“知识记忆者”向“深度推理者”进化的全过程。

局限争议：这份考卷的瑕疵

金无足赤，就算是主任医师精心编撰的会诊考卷，也难免有批评声。有人说：这份卷子只考内科不考外科，只考诊断不考操作，用它的成绩来给医生整体能力排名，难免片面。GPQA 的争议，正是围绕“它到底能代表多少能力”展开的。

首先，GPQA 的学科覆盖面有限，主要集中在物理、化学、生物等科学领域，对语言、代码、数学、历史、艺术等维度几乎不设考题。其次，选择题这种形式只能考察“识别正确答案”的能力，无法评估模型是否真的能自主生成严谨的推导过程。更隐蔽的问题藏在统计学里：主集只有不到 500 道题，样本量有限导致准确率的波动区间较大。用标准误公式来看，当顶尖模型之间的成绩差异小于误差范围时，细微的排名差距其实并不具备统计显著性。

理解了这些局限，你就不会再被单一数字牵着鼻子走。会诊考卷能考出主诊能力，却考不出手术刀下的沉稳；GPQA 能测出科学推理水平，却测不出开放生成的创造力。真正的行家在读榜时，会把 GPQA 和 MMLU、BIG-Bench 等其他基准放在一起交叉验证，而不是只看一个分数。

行业价值：AI能力的一面“照妖镜”

医院把历年经典疑难病例汇集成册，不仅用来考核新人，更用来追踪整个科室的成长曲线：去年大家还在 65% 徘徊，今年已经有人冲到 80%——这说明教学、科研、临床都在进步。GPQA 在 AI 行业中的角色，正是这样一面记录能力变迁的“照妖镜”。

从实际用途看，GPQA 已成为 LLM 能力评估体系中的关键标杆：一线大模型团队把 GPQA 成绩当作发布前的“出厂体检”；研究机构在论文中用 GPQA 分数证明新方法的有效性；技术社区则将模型在 GPQA 上的进步曲线视为推理能力发展的核心信号。通过追踪准确率从 34% 到 65% 再到反超的轨迹，研究者能判断出哪些技术路线——强化学习、思维链、推理时扩展——真的带来了能力提升，哪些只是表面花活。

每一个疑难病例的答对与答错，都不只是一道题的得失，而是行业进步的注脚。GPQA 的分数背后，是一场持续多年的“AI 医学专家养成实验”——它让所有人看到：AI 正在从“背教材的实习生”，成长为能和主任医师同台会诊的深度推理者。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""GPQA 评测流程简化演示(模拟版)"""import random  class GPQAQuestion:    """一道四选一的 GPQA 题目"""     def __init__(self, text, choices, answer, domain):        self.text = text        self.choices = choices        self.answer = answer        self.domain = domain  QUESTIONS = [    GPQAQuestion(        "某放射性同位素半衰期为10天, 初始活度为1000 Bq, 30天后剩余活度约为?",        ["125 Bq", "250 Bq", "500 Bq", "750 Bq"],        0,        "physics",    ),    GPQAQuestion(        "下列哪种分子具有手性中心?",        ["2-丁醇", "2-丁烯", "正丁烷", "异丁烷"],        0,        "chemistry",    ),    GPQAQuestion(        "酶的 Km 值增大, 最可能的原因是?",        ["底物亲和力下降", "酶浓度升高", "反应温度降低", "产物浓度降低"],        0,        "biology",    ),    GPQAQuestion(        "标准状况下 1 mol 理想气体的体积约为?",        ["22.4 L", "11.2 L", "44.8 L", "2.24 L"],        0,        "chemistry",    ),]  class RandomBaseline:    """随机猜测预测器, 四选一答对概率约 25%"""     def answer(self, question):        return random.randint(0, len(question.choices) - 1)  class SimulatedLLM:    """模拟 LLM 预测器, 以 skill 概率选中正确答案"""     def __init__(self, skill=0.70):        self.skill = skill     def answer(self, question):        if random.random() < self.skill:            return question.answer        return random.randint(0, len(question.choices) - 1)  def evaluate(model, questions):    """逐题作答并计算准确率, 与真实 GPQA 评测流程一致"""    total = len(questions)    correct = sum(        1 for q in questions if model.answer(q) == q.answer    )    return correct / total  def main():    random.seed(42)     rand_acc = evaluate(RandomBaseline(), QUESTIONS)    llm_acc = evaluate(SimulatedLLM(skill=0.70), QUESTIONS)     expert_baseline = 0.65  # 论文中博士专家的受限时间基线     print("===== GPQA 简化评测演示 =====")    print("题目数量:", len(QUESTIONS))    print("随机猜测准确率: {:.1%} (期望 25%)".format(rand_acc))    print("模拟 LLM 准确率: {:.1%}".format(llm_acc))    print("博士专家基线: {:.1%}".format(expert_baseline))    print("结论: LLM 需超越专家基线, 才具备稳健的深层推理能力.")  if __name__ == "__main__":    main()

1. class GPQAQuestion:定义一道四选一题目的数据结构，真实评测时会替换为从 JSON 加载的完整 GPQA 题库。
2. class RandomBaseline:随机猜测预测器，对应评测报告中必须标注的 25% 随机基线。
3. class SimulatedLLM:模拟一个“答对率 70% 的 LLM”，真实使用时在这里接入 GPT、Claude 等模型的 API 调用。
4. def answer(self, question):模型答题入口，传入一道题，返回选中的选项下标（0-3）。
5. if random.random() < self.skill:模拟 LLM 在 70% 的概率下选择正确答案，其余 30% 随机蒙一个。
6. correct = sum(...)逐题比对模型输出与标准答案，统计答对题目总数。
7. evaluate(RandomBaseline(), QUESTIONS)先评测随机基线，确保 4 题里大约只有 1 题对，约 25%。
8. expert_baseline = 0.65写入论文报告的博士专家受限时间基线，作为模型成绩的对照标杆。

常见误区

面试题