想象一下故宫御膳房要考核新来的大厨。宗师们不考“会不会报菜名”这种基本功——那是新东方学员的题。他们要考真正的功夫菜：每道题由一位宗师亲手出，出完先让其他宗师盲测，只有宗师们也能稳拿的菜才端上考场。结果普通食客来尝，十道里只能蒙对三四道；而宗师闭着眼也能答对九成。这张考卷，就是 GPQA——一份由顶尖专家出题、连专家都要认真对待的“研究生级问答基准”。AI 就是来应考的学徒，必须证明自己不是背熟了菜谱，而是真懂火候与刀工。GPQA Extended 则是加长版考卷，题目更多、学科更广，让考核结果更可靠、更稳定。

岗位关联

学会解读 GPQA Extended 的分数，等于学会判断“AI 学徒是否出师”。它是模型发布前最硬的试金石，也是评测工程师与算法研究员共同的语言。

目录
  1. 可视化演示
  2. 基准测试起源
  3. GPQA设计理念
  4. 五大学科
  5. 难度评估
  6. GPQA Extended
  7. 评测方法论
  8. 性能表现
  9. 工程实战
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

三步展示GPQA研究生级科学问答基准：Diamond⊂Main⊂Extended子集层级关系、4选1多选题准确率评测机制、以及研究生难度/专家原创/Google-proof三大设计。

本节配有交互动效（进入视口后自动加载，约 3KB）。

GPQA子集层级 Extended: 题目最多 Main: 中等质量 Diamond: 最严筛选 Diamond⊂Main⊂Extended 质量与数量权衡。

基准测试起源

御膳房的旧考核，是让学徒“报菜名”：说出满汉全席有多少道菜、每道菜用什么料。最初这能筛掉外行，可渐渐地，学徒们把菜谱背得滚瓜烂熟，人人都能拿满分。考核失去了意义——它再也分不清谁是背书的、谁是真正掌过勺的。AI 领域的基准测试也经历了同样的困境。早期的 MMLU 等基准考的是“知识面”，模型通过海量语料训练，很快把分数推到了接近满分的天花板。

当一个考卷人人都能满分时，它就不再能衡量能力差异。这就是评测基准需要不断升级的原因。LLM 评测体系要求基准具备三个特质：足够的难度、明确的区分度、以及难以被刷分。GPQA 正是为满足这些需求而诞生的新一代基准。

基准测试的通用语言是准确率，它描述“学徒做对的菜占总菜数的比例”：

宗师们很快意识到，想让考核重新有效，必须出“报菜名背不出来的题”：不是考你知道什么，而是考你能否像真正的厨师一样推理出答案。于是，一张全新的御膳房考卷开始酝酿。

accuracy=答对题数总题数\displaystyle \text{accuracy} = \frac{\text{答对题数}}{\text{总题数}}
准确率是 0 到 1 之间的比值，乘以 100 就是常说的“正确率百分比”。
  1. 分子是答对题数统计模型在考卷上回答正确的题目数量，就像学徒做对了几道功夫菜。
    正确数\text{正确数}
  2. 分母是总题数考卷上所有题目都算进分母，无论做对还是做错。
    N总题数N_{\text{总题数}}
  3. 两者相除得比例正确数除以总题数，得到一个 0 到 1 的小数，这就是正确率。
    正确数N总题数\frac{\text{正确数}}{N_{\text{总题数}}}

GPQA设计理念

宗师们坐进御膳房，每人出一道自己的拿手难题。规则有两道：第一，出完题先请其他宗师独立作答，如果宗师之间意见不一致，这道菜就撤下；第二，所有题目必须在网上搜不到直接答案——防止学徒偷看题库。这就是 GPQA 的"Google-Proof"设计理念：像御膳房用隔板挡住灶台，不许学徒偷师。

这个流程对应着 GPQA 的核心方法论：由博士级专家撰写题目，再由专家群体独立验证。只有专家们一致认同答案的题目才会被保留。论文作者统计发现，经过专家一致性筛选后，可用题目的比例大幅下降——因为很多“难题”其实是出题人自己表述不清，经不起同行推敲。

衡量专家一致程度的指标是 Cohen's Kappa 系数，它在去除“瞎猜碰巧一致”的影响后，衡量两位宗师真正达成共识的程度：

“宗师也答不齐的题不留”这一原则，让 GPQA 的每道题都像一道精心验过的御膳——独门但公正，难倒外行却难不住内行。这也为后续的“盲测”打好了地基。

κ=po−pe1−pe\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}
\(\kappa\) 越接近 1 代表专家越一致；如果两位宗师全靠猜也能对上，\(\kappa\) 就趋近于 0。
  1. 分子是实际一致率减去偶然一致率\(p_o\) 是专家实际作答一致的占比，\(p_e\) 是两人随机猜也能一致的期望占比，差值代表“真正的一致”。
    po−pep_o - p_e
  2. 分母是最大可能的一致增益\(1 - p_e\) 表示除去碰巧一致后，最多还能提升多少一致性空间。
    1−pe1 - p_e
  3. 两者相除得到修正后的一致性比值越大，说明题目本身确实有“标准答案”，而非专家各说各话。
    po−pe1−pe\frac{p_o - p_e}{1 - p_e}

五大学科

御膳房的功夫菜分五路：生物学像药膳，讲究食材与身体的微妙作用；化学像调味配比，差一克都变了味道；物理学像火候力学，掌握锅中的能量转换；历史学像宫廷典故，需要考证与推断；哲学则像治厨之道，考验思辨与逻辑。GPQA 正是沿着这五条专业路线出题。

五大学科的设置让 GPQA 不是“某一类天才的专场”，而是对 AI 综合专业推理能力的全面检验。生物学和化学题目涉及分子机制与实验设计，物理学题目涉及复杂现象的判断，历史与哲学题目则涉及证据权衡与概念辨析。所有题目都必须经过深度推理，而非检索记忆。

这种多学科结构对 AI 评测意义重大：如果模型只在理科强而文科弱，总分就会暴露短板。GPQA Extended 在五大学科基础上进一步扩充题量，让每个学科下的样本都足够做统计推断。五路菜都要尝，学徒才算真正见过满汉全席的世面。

难度评估

考卷做出来后，宗师们先请了一批“训练有素的食客”——具备一定科学素养、但并非题目领域专家的研究生来盲测。结果非常打击人：非专家的正确率只有 34%，而随机瞎猜的基线是 25%。一个经过多年科学训练的人，在这张考卷上几乎只能靠蒙。这说明 GPQA 的题目不是“知识量”能覆盖的，而是需要真正的专家级推理。

34% 与 25% 的差距虽然存在，但远不够显著；而宗师们的表现是 74% 到 90%。一个极高的区分度由此形成：外行与内行之间的鸿沟，恰好为测试 AI 学徒提供了理想的标尺。为了理解这个差距是否可靠，我们可以用标准误来衡量“样本波动”：

食客蒙对三成、宗师答对九成，这道超过十个标准误的鸿沟，让任何想“碰运气过关”的学徒都无处遁形。难度评估证明了一件事：GPQA 不是筛常识的漏斗，而是量真功夫的秤。

SE=p(1−p)n\displaystyle \text{SE} = \sqrt{\frac{p(1-p)}{n}}
标准误衡量正确率估计值的波动幅度。当人数足够多时，34% 与 74% 之间的差距远超波动范围，说明区分度是真实存在的。
  1. 方差项 \(p(1-p)\)当正确率越接近 50% 时，波动越大；正确率接近两端时波动变小。
    p(1−p)p(1-p)
  2. 除以样本量 \(n\)考察的人越多，平均值越稳定，波动被压缩。
    p(1−p)n\frac{p(1-p)}{n}
  3. 开平方得到标准误标准误表示“实测正确率偏离真实正确率的典型幅度”。
    p(1−p)n\sqrt{\frac{p(1-p)}{n}}

GPQA Extended

考试委员会斟酌后认为：主考卷虽然精，但题量偏少——198 道题像只有八道菜的酒席，吃得快的人几口就没了。于是端出了加长版考卷：GPQA Extended，题目总数扩到 546 道，覆盖同样的五大学科但在各科上更加饱满。考卷变长，结果就更经得起推敲。

从统计上看，题量增加直接压缩了置信区间的宽度。以 546 道题计算，即便正确率 80%，波动也不过几个百分点，足以区分“85 分的学徒”和“80 分的学徒”。同时 Extended 保留了 Main 的全部题目，因此研究者既可以用 Main 做快速验证，也可以用 Extended 做精细测量。

题目扩增遵循与 Main 相同的筛选流程：候选题目一批批提交，只有通过专家一致性验证的才能留下。这个过程的保留率是：

加长版考卷不是简单地把旧题复印一遍，而是让更多宗师参与出题、更多学科深入覆盖。对 AI 学徒来说，这意味着一场更漫长、更全面的出师考核。

保留率=N通过验证N候选题目\displaystyle \text{保留率} = \frac{N_{\text{通过验证}}}{N_{\text{候选题目}}}
保留率衡量“宗师们手下留情”的程度。GPQA 的保留率不到一半，说明大部分题目在专家互审中被淘汰。
  1. 分子是通过验证的题数只有所有验证专家一致认可答案的题目才计入。
    N通过验证N_{\text{通过验证}}
  2. 分母是候选题目总数最初提交的所有题目，包括被淘汰的“争议题”。
    N候选题目N_{\text{候选题目}}
  3. 比值即筛选强度保留率越低，说明筛选越严格，留下的题目质量越高。
    N通过验证N候选题目\frac{N_{\text{通过验证}}}{N_{\text{候选题目}}}

评测方法论

考卷出好了，怎么考也有讲究。御膳房的规矩是：有的学徒喜欢“边做菜边报步骤”——把选料、火候、调味一步步讲出来；有的则闷头做完直接端盘。考核委员会发现，允许“边做边说”的学徒，答对率往往更高。这正是思维链（Chain-of-Thought，CoT）提示在 GPQA 评测中的效果。

GPQA 的评测方法论包含几个关键技术点。第一是提示词设计：Zero-shot 直接提问，Few-shot 则先给若干带答案的示例，帮助模型理解题目格式。第二是思维链：让模型在作答前输出推理过程，多数模型在 GPQA 上因此获得显著提升。第三是多次采样投票：让模型独立作答多次，取多数答案，进一步消除随机波动。

在对比两个模型时，不能只看点估计的分数高低，还要看置信区间是否重叠。95% 置信区间的计算方式是：

考核方式直接影响分数含义。允许学徒“边做边讲”并多次复测，得到的结果才更接近真实功力。评测方法论，就是保证考卷成绩不是“一锤子买卖的运气”。

p^±z0.975p^(1−p^)n\displaystyle \hat{p} \pm z_{0.975} \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}
如果两个模型的置信区间不相交，才能说“分数差异显著”；否则可能是运气波动。
  1. 点估计 \(\hat{p}\) 为中心实测正确率作为估计的核心值。
    p^\hat{p}
  2. \(z_{0.975}\) 是分布临界值约等于 1.96，对应 95% 的置信水平。
    z0.975≈1.96z_{0.975} \approx 1.96
  3. 标准差项\(\sqrt{\hat{p}(1-\hat{p})/n}\) 是上一节的标准误，表示估计的波动幅度。
    p^(1−p^)n\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}
  4. 加减构造区间点估计左右各放约 1.96 倍标准误，得到置信区间的上下界。
    p^±1.96×SE\hat{p} \pm 1.96 \times \text{SE}

性能表现

第一批学徒登场了。早期学徒 GPT-4 使尽浑身解数，只答对了 39%——虽然比食客的 34% 好一些，但离宗师的 74% 门槛差了十万八千里。这让委员会一度以为，AI 要追上宗师水平还很遥远。然而仅仅一年后，新一代学徒 Claude 3.7 交出了 85% 的答卷，稳稳站在了宗师平均线之上。

这个演进过程非常说明问题：GPQA 发布时，最强模型的分数只有专家的一半；到 2025 年，顶尖模型已经在 GPQA 上与人类专家并驾齐驱甚至反超。基准测试的意义，正是记录这条“从学徒到出师”的曲线。衡量一个模型是否“出师”，可以看它与专家基线的比值：

当然，超越专家基线不等于“成了真正的宗师”——考卷考的是手艺的一部分，不是全部。但成绩单上的数字明确宣告：AI 学徒已经不是当年只会背菜名的新人了。

超越率=模型正确率专家正确率\displaystyle \text{超越率} = \frac{\text{模型正确率}}{\text{专家正确率}}
超越率大于 1，说明模型得分已超过专家基线；小于 1 则仍有差距。
  1. 分子是模型实测正确率模型在 GPQA 上的得分，比如 Claude 3.7 的 85%。
    模型正确率\text{模型正确率}
  2. 分母是专家基线正确率由验证专家群体在同样题目上测得的正确率。
    专家正确率\text{专家正确率}
  3. 比值大于 1 即超越当模型正确率超过专家正确率，超越率就大于 1。
    模型正确率专家正确率\frac{\text{模型正确率}}{\text{专家正确率}}

工程实战

御膳房的考核经验最终沉淀为一套工程流程，供各家 AI 实验室与公司参考。第一件事是评测选型：日常快速迭代用 GPQA Main，因为题量少、跑得快；正式发版或写技术报告时用 GPQA Extended，因为统计更稳、更有说服力。两个版本共用同一套出题与验证原则，选哪个取决于“你要的是快照还是体检报告”。

第二件是调优策略：在 GPQA 上做消融实验时，建议固定提示词模板，分别对比 Base 模型与加提示词策略的差异。实测中，思维链与多采样投票常常带来 5 到 15 个百分点的提升，但如果发现某类模型分数反常地下跌，要优先检查是否是输出格式解析出了问题。第三件是报告解读：一份合格的 GPQA 报告应包含学科拆分、置信区间、专家基线与随机基线四要素。

实践中还要注意数据污染问题：虽然 GPQA 采用 Google-Proof 设计与时间线隔离，但模型训练语料可能已包含部分题目或相似题目。因此解读分数时要留有余地，最好配合“自制新题复测”来交叉验证。工程实战的终极目标，是让基准分数真正指导模型迭代，而不是沦为表演用的花拳绣腿。

AI 应用场景

模型发布前的“出师考核”

阶段：模型评估与发布

解决的问题：传统方式只看常识问答（如 MMLU）的分数，模型很容易靠死记硬背刷高分，无法反映专业推理能力。GPQA Extended 用专家验证过的高难度题目检验模型，倒逼团队在训练时关注推理质量而非记忆量。

具体案例：某大模型团队在发布新一代模型前，跑完 GPQA Extended 全卷 546 题，并拆分五个学科逐一对照。结果显示模型在物理上超过专家基线 8%，但在哲学上差 6%，于是团队针对推理短板补充了辩证分析类训练数据，两周后短板差距缩小到 2%。

推理增强系统的消融实验

阶段：算法调优与消融验证

解决的问题：在搭建 RAG 或推理增强系统时，难以判断“检索增强”和“提示词技巧”各自贡献了多少效果。GPQA 题目不可简单检索，恰好适合测试纯推理能力——RAG 帮不上忙的题目，正好检验模型的底层推理是否被真正增强。

具体案例：一个团队对比了三种方案：原生模型、加思维链、加多轮自洽投票。在 GPQA Extended 上，思维链带来 +12%，自洽投票再迭加 +5%；但换成另一个基础模型后增益降到 +3%。团队由此判断“推理增强策略对模型基座有强依赖”，最终选择了更稳的基础模型。

大模型选型的决策依据

阶段：技术选型与采购评估

解决的问题：产品团队在挑选底座模型时，面对各家宣传的“满分”很难判断真实差距。GPQA Extended 提供专家基线与信心区间，让“85 分和 82 分”的差异有统计判断依据，避免被营销话术带偏。

具体案例：一家医疗 AI 公司要选一个用于临床问答的底座模型，对比了三个候选模型在 GPQA Extended 生物子集上的得分与置信区间，发现 A 模型虽总分最高，但在生物子集上落后 B 模型 6 分且区间不重叠，因此选择了 B 模型。

Python 演示

python38 行
import mathimport random  def simulate_candidate(true_acc: float, n: int, seed: int = 42) -> float:    """模拟某考生在 GPQA 的 n 道题上的实测正确率"""    rng = random.Random(seed)    correct = sum(1 for _ in range(n) if rng.random() < true_acc)    return correct / n  def ci_95(correct: int, n: int) -> tuple:    """用正态近似计算 95% 置信区间"""    p_hat = correct / n    se = math.sqrt(p_hat * (1 - p_hat) / n)    return p_hat - 1.96 * se, p_hat + 1.96 * se  def main():    n_questions = 100    candidates = {        "random_guess": 0.25,        "layperson": 0.34,        "gpt4_2023": 0.39,        "claude_2025": 0.85,        "expert": 0.90,    }    print(f"模拟 GPQA 百题盲测（每类考生独立作答 {n_questions} 题）")    print("-" * 60)    for name, p in candidates.items():        acc = simulate_candidate(p, n_questions)        k = round(acc * n_questions)        lo, hi = ci_95(k, n_questions)        print(f"{name:14s} 真实能力 {p:.2f} -> 实测 {acc:.2f}，95%CI [{lo:.2f}, {hi:.2f}]")  if __name__ == "__main__":    main()
目的：用蒙特卡洛模拟还原 GPQA 的“区别度实验”——展示瞎猜、非专家、旧模型、新模型与专家在百题盲测中的分数分布与置信区间，帮助理解为什么 34% 与 90% 的差距不是偶然。
  1. def simulate_candidate(true_acc: float, n: int, seed: int = 42) -> float:定义一位考生的作答模拟器，true_acc 是它的真实能力，n 是题目数。
  2. correct = sum(1 for _ in range(n) if rng.random() < true_acc)对每题抛一个随机数，小于真实能力就算做对，最终累加正确题数。
  3. def ci_95(correct: int, n: int) -> tuple:用正态近似计算 95% 置信区间，对应正文中的置信区间公式。
  4. se = math.sqrt(p_hat * (1 - p_hat) / n)计算标准误，衡量实测正确率的波动幅度。
  5. candidates = {"random_guess": 0.25, ...}定义五类“考生”的真实能力，模拟从瞎猜 25% 到专家 90% 的能力梯度。
  6. print(f"{name:14s} 真实能力 {p:.2f} -> 实测 {acc:.2f}...")输出对比结果，直观看到“真实能力”与“实测值”以及区间的关系。

常见误区

误区我以为是考背诵的题，模型只要训练语料够大、记住的百科知识够多，就能拿高分。所以我只要拼命堆数据就行了。

正解GPQA 的题由博士级专家设计并经过同行验证，需要复杂的多步推理。普通非专家正确率只有 34%，连背了海量知识的“早期学徒” GPT-4 也只有 39%。它考的不是“你知道什么”，而是“你能不能像专家一样推理”。堆数据不等于堆推理能力。

为何常见：许多早期基准（如 MMLU）确实偏重知识记忆，人们习惯了“语料多 = 分数高”的惯性思维，忽略了 GPQA 设计时刻意强调的推理门槛。

误区模型 A 在 GPQA 上 80 分，模型 B 78 分，A 一定比 B 强，直接选 A。

正解GPQA Extended 的题量虽然比 Main 大，但 546 题下两个模型相差 2 分可能仍在置信区间内（约 ±3% 波动）。正确做法是看区间是否重叠、看学科拆分、对照专家基线。没有统计意识，2 分的差距会被误读成“碾压”。

为何常见：产品汇报追求简单数字对比，人们习惯用单一分数排名，忽略统计置信度与学科结构信息。

误区GPQA 号称 Google-Proof，题目在网上搜不到，所以模型绝对不可能见过这些题，分数完全可信。

正解Google-Proof 设计只是让题目不易被公开检索到，但不等于模型训练语料里必然没有相似题或变形题。许多模型采用分布式记忆，见过“类似题目”也可能产生记忆泄漏。严谨的做法是配合自创新题复测，或对比模型的“解释合理性”来排除背题嫌疑。

为何常见：“防检索”听起来像“完全隔离”，人们容易把它误解为绝对安全，忽略了训练语料来源的不可控性。

误区Extended 就是 Main 多加了点题，分数直接用 Extended 替代 Main 就行，两个版本没有本质区别。

正解Extended 不仅题目更多，还在学科覆盖上做了更宽的采样，某些学科子集只在 Extended 里出现。Main 适合快速迭代，Extended 适合正式评估；同一个模型在两个版本上的学科表现分布可能不同。如果只用 Main，可能漏掉特定学科的短板。

为何常见：人们习惯用“一个数字”概括所有评测，忽略了“题量影响统计功效、学科覆盖影响结论外推”这两层关系。

面试题

Q1. GPQA 中的 "G" 代表什么含义？

单选题 · easy

  • A.通用（General）
  • B.研究生（Graduate）← 正确答案
  • C.全球（Global）
  • D.博弈（Game）

答案：B。GPQA 的全称是 Graduate-Level Google-Proof Q&A Benchmark，即“研究生级防搜索问答基准”。"G" 代表 Graduate（研究生），强调题目难度定位在研究生及以上的专业水平，而不是通用常识问答。其余选项都是对字母 G 的无根据猜测。

Q2. 论文报告的非专家（训练有素的非领域专家）在 GPQA 上的正确率约为多少？

单选题 · easy

  • A.25%
  • B.34%← 正确答案
  • C.50%
  • D.74%

答案：B。非专家正确率约 34%，而随机瞎猜基线是 25%。只有领域专家才能达到 74% 到 90%。34% 与 25% 非常接近，说明 GPQA 的题目对非专家而言几乎只能靠猜测，体现了极高的推理门槛。

Q3. 下列哪个学科不属于 GPQA 的主要考查范围？

单选题 · mid

  • A.生物学
  • B.化学
  • C.数学← 正确答案
  • D.历史学

答案：C。GPQA 五大学科包括生物、化学、物理、历史与哲学，数学不在其主要覆盖列表中。题目设计强调的是跨学科的专业推理，每道题只归属单一学科，数学类题目占比很有限，不作为独立学科门类出现。

Q4. GPQA 中“专家验证”流程的核心目的是什么？

单选题 · mid

  • A.增加题目数量
  • B.确保题目既难且专家可答← 正确答案
  • C.降低出题成本
  • D.提高模型推理速度

答案：B。专家验证流程要求多位领域专家独立作答，只有答案一致的题目才保留。这样既排除了表述不清的劣质题，又保证了题目确实达到“非专家答不出、专家能答对”的高难度定位。这与堆题目数量、省成本或加速推理都无关。

Q5. "Google-Proof"设计的主要目的是什么？

单选题 · mid

  • A.阻止搜索引擎收录网页
  • B.防止训练数据污染与简单检索← 正确答案
  • C.要求模型联网作答
  • D.让题目全部来自谷歌搜索

答案：B。Google-Proof 意味着题目无法通过直接搜索找到现成答案，目的是防止模型从训练语料中记忆答案，也防止评测时被检索作弊。它不是要求联网搜索，也不是技术性地屏蔽搜索引擎，而是从题目来源和发布方式上做隔离。

Q6. 下列哪些因素能够提升模型在 GPQA 上的表现？

多选题 · mid

  • A.使用思维链提示← 正确答案
  • B.提供少量示例← 正确答案
  • C.多次采样投票← 正确答案
  • D.缩短回答长度

答案：ABC。思维链让模型逐步推理、少样本示例帮助模型理解答题格式、多次采样取多数答案可降低随机波动，这三者都在实测中能带来提升。而“缩短回答长度”通常意味着跳过推理过程，反而容易降低专业题的准确性。

Q7. 为什么“非专家 34%、瞎猜 25%”这个对比值得关注？

单选题 · hard

  • A.说明题目主要靠知识记忆
  • B.说明推理门槛高到接近瞎猜← 正确答案
  • C.说明专家水平其实很低
  • D.说明模型早已超越人类

答案：B。34% 只比随机基线 25% 高出 9 个百分点，说明即使受过科学训练的非专家，面对 GPQA 也几乎无法靠常识作答。这个对比证明了基准题目的难度和区分度——真正能拉开差距的只有专业推理能力，而不是普通知识与运气。

Q8. 与传统基准（如 MMLU）相比，GPQA 有哪些突出特点？

多选题 · hard

  • A.题目更难，需要专业推理← 正确答案
  • B.专家一致性验证← 正确答案
  • C.防止简单检索← 正确答案
  • D.题目全部来自公开教材

答案：ABC。GPQA 由博士级专家出题并互相验证，采用 Google-Proof 设计防检索，这些都与“从公开教材抽题”的传统基准形成鲜明对比。其难度定在“研究生级”，远高于一般知识问答。选项 D 正好说反了。

Q9. GPQA Extended 相比 GPQA Main 最主要的改进是什么？

单选题 · extreme

  • A.完全更换了学科范围
  • B.扩大题量与学科覆盖以提升统计稳定性← 正确答案
  • C.降低难度以便更多模型参与
  • D.改为人工阅卷评分

答案：B。Extended 将题目从约 198 道扩展到 546 道，并在原有学科基础上拓宽覆盖。题量增加直接压缩置信区间，让模型之间的分数差异更有统计说服力。它并没有换学科、降难度或改评分方式，难度门槛与 Main 完全一致。

Q10. 解读一份 GPQA 测试报告时，应该关注哪些维度？

多选题 · mid

  • A.专家基线与随机基线← 正确答案
  • B.置信区间是否重叠← 正确答案
  • C.学科拆分表现← 正确答案
  • D.模型参数量大小

答案：ABC。一份合格的 GPQA 报告必须给出专家基线（约 74%~90%）和随机基线（25%）作为参照，同时提供置信区间判断差异显著性，并按学科拆分看短板。参数量与分数没有必然因果关系，不是解读评分的关键维度。