GPQA Diamond：博士级AI能力考试

可视化演示

展示GPQA Diamond子集的难度筛选过程（从全量题到Diamond），以及各模型与领域专家的准确率对比。

魔鬼考卷的诞生：什么是 GPQA Diamond

想象那个清晨：科学国家队的主教练想挑出真正懂科学的队员，却发现所有考卷都被「刷题班」攻陷了。直到出题委员会送来一张封面画着钻石的考卷：「试试这套？别联网，也别搜题。」主教练不服，请来一位理论物理学博士裸考——34% 正确率，几乎等于扔硬币。

这张「魔鬼考卷」就是 GPQA Diamond。GPQA 全称是 Graduate-level Google-Proof Q&A Benchmark，即「研究生级、谷歌搜不到答案的问答基准」，由纽约大学 Rein 等人在 2023 年发布。Diamond 是其中经过「钻石级」筛选的最难子集：从全部 448 道题里按严格标准筛出 198 道，专门用来考验大模型的科学推理极限。

每道题都是四选一的选择题，但答案绝不白给。题目内容取材于科研前沿，且经过「Google-proof」验证——发布前确认过，答案无法通过搜索引擎直接搜到。这意味着模型没有检索捷径，只能靠真正的理解、推导和判断，这也是「博士级」与「百科问答」最本质的区别。

所以「魔鬼考卷」的名号不是营销噱头，而是一道数学筛选流程的自然结果：题要难到外行博士只能靠蒙，又要保证领域专家能答对。有了这张考卷，主教练终于可以看清，谁是真正懂科学的选手，谁只是背题家。

院士手工出题：题目从哪里来

魔鬼考卷的每道题，不是流水线上的标准件，而是院士们的「手工精酿」。就像米其林三星主厨亲自挑选食材、反复调味，GPQA 的出题委员会也有一条铁律：每道题必须由该领域真正的博士级专家编写，并以最新科研论文为「食材」。

在 GPQA 的构建流程中，出题者都是物理、化学、生物、人文社科等领域的博士或教授。他们从自己研究领域的前沿文献中取材——可能是一篇量子信息论文里的关键推导，也可能是一项基因编辑实验的设计逻辑。题目考的不是「考点背诵」，而是「这篇论文你到底读懂了没有」。

出题之后还有一道「互审」关卡：每道题至少由两位其他专家独立检查，确认答案唯一、选项严谨、没有歧义。如果专家之间意见不一致，题目会被直接淘汰或打回重写。此外，题目还会交给「非本领域但具备博士水平」的外部专家试做——如果他们也轻松答对，说明题目难度不够，会被降级或者放弃。

这就好比米其林主厨的「试菜委员会」：先让同行品鉴确认配方无误，再让外行食客试吃，如果外行都能轻松复刻，这道菜就不配进「钻石菜单」。正是这种层层把关的「手工精酿」流程，保证了 Diamond 里每一道题的质量与难度都经得起推敲。

四大学科考场：覆盖哪些科目

全能比赛要测短跑、跳高、游泳、射击；这张魔鬼考卷同样设计了四个项目：物理、化学、生物、人文社科。主教练很快意识到，要称霸科学界，光有一块单项金牌不够，必须是「科学全能王」。

GPQA 的题目覆盖四大板块：物理与天文、化学与材料、生物与医学、人文与社会科学。这种跨学科覆盖决定了 GPQA Diamond 不是某个领域的「偏科考试」，而是一场科学素养的综合测验——任何「偏科」的模型都会在某个板块露出马脚。

物理板块的题目可能要求判断某个量子力学过程的正确表述；化学板块可能考察催化反应的内在机理；生物板块可能涉及基因编辑或分子生物学的前沿问题；人文社科板块则包含政治哲学、经济学中的逻辑推理。由于每个板块都由对应领域的专家命题，模型必须「门门都懂」才能拿到高分，单靠一个领域的知识无法通关。

就像全能比赛的计分板会记录每个项目的单项成绩，GPQA 的评测报告也会按学科分别统计准确率。主教练扫一眼学科分科，就能看出这个 AI 选手是「物理天才、人文文盲」，还是真正的六边形战士——这份「偏科雷达图」在工程选型时尤其珍贵。

博士及格线设计：难度怎么定

出题委员会开会的场景很有意思：他们不讨论「题目难不难」，而是讨论「博士能不能蒙对」。委员会定下一条铁律——一道题合格的标准，是让非本领域的博士专家「只能靠蒙」。

这条铁律背后是三条硬性的分数基线：随机猜测的基线 25%（四选一盲猜）、跨学科博士裸考的正确率约 34%、领域专家开卷作答的正确率约 74%。Diamond 子集的筛选条件正是围绕这三个数字设计的，它们像三把卡尺，把「死难」和「简单」的题目统统挡在门外。

用主教练的话说：「如果隔壁项目的教练都能看懂我的战术板，那这战术就不算战术。」Diamond 正是用「外行博士看不懂、内行专家能讲清」这组对照线，筛掉了所有不合格的题目——难度设计从来不是玄学，而是可量化的验收标准。

密封考卷防作弊：三道保险锁

魔鬼考卷再难，如果考生提前拿到真题，一切白搭。所以出题委员会把考卷锁进了三重保险柜：第一重，考卷不公开，只存放在评测机构的保险库里；第二重，考卷内容通过「谷歌验证」，确保网上搜不到任何一道题的原题或答案；第三重，考后还要验指纹——检测考生有没有「见过题」的痕迹。

现实中，这三重保险对应 GPQA 的三道防作弊关卡：训练集隔离、Google-proof 设计、后验污染检测，再加上近年来流行的预注册评测。「训练集隔离」指测试题不公开，模型公司无法把题目塞进训练数据；「后验污染」则是在模型发布后，用测试题去比对训练语料，计算「污染率」。

污染率的计算方式如下：统计训练语料中与测试题「命中」的题目数量，除以测试题总数。如果污染率明显偏高，该模型的成绩就要打上问号。预注册评测则要求在模型发布前把评测方案与题目冻结存档，防止「先看答案再考试」的作弊操作。

主教练满意地笑了：三重保险柜意味着，任何「刷题班」都拿不到真题，AI 选手们在考场上只能真正凭实力答题。这正是 GPQA Diamond 公信力的根基——它的分数，值得被认真对待，也正因为如此，它才成为大模型评测领域被引用最多的基准之一。

AI 考生的成绩单：模型表现几何

考试当天，各国 AI「代表队」陆续走进考场。交卷后，主教练翻开成绩单，表情复杂：一部分选手的成绩，比隔壁物理博士裸考的 34% 还低；但也有几名选手一路攀升，甚至逼近了领域专家的水平线。

让我们看看真实的成绩单。GPT-4（2023 年 6 月版）在 GPQA Diamond 上取得了约 39.4% 的准确率——勉强超过跨科博士裸考的 34%，但距离领域专家的 74% 还有很大差距。随后 Gemini Ultra 达到 47.3%，GPT-4o 提升到 53.6%，而 Claude 3.5 Sonnet 冲到 65%，成为第一个逼近「领域专家水平线」的模型。

这些分数全部是准确率，即答对题数占总题数的比例，计算公式如下。但读懂成绩单需要两个参照系：一是随机猜测的 25% 基线，二是博士专家的 74% 水平线。夹在 34% 和 74% 之间的模型，意味着「超过了外行专家，但远未达到内行专家」。

主教练盯着成绩单感叹：两年前最好的 AI 连蒙带猜勉强及格，现在最强的选手已经摸到专家的门槛。这条从 34% 到 65% 的上升曲线，正是大模型高阶推理能力进步最直观的注脚。

成绩单的含金量：评测价值与方法

成绩单到手，关键是「怎么用」。主教练不会因为某个选手跳远第一就直接选他当队长——他会看全能总分、看各项目均衡性、看比赛心态。GPQA Diamond 的分数也是这样：它是一个维度上的「晴雨表」，但绝不是体检报告的全部。

从评测方法上看，解读 GPQA 分数有几个进阶工具：归一化得分能剔除随机猜测的运气成分，把不同选项数的试卷拉到同一标尺；校准度反映模型「说 90% 确信时真的对吗」；鲁棒性则考察题目换个问法成绩是否崩塌。工程选型时，还要结合成本、延迟、领域适配度综合判断。

归一化得分的公式是：模型准确率减去随机基线，再除以 1 减去随机基线。这个指标把「运气分」彻底剔除：随机瞎猜得分为 0，满分仍是 1。例如四选一试卷中 50% 的准确率，归一化后是 (0.5-0.25)/(1-0.25)≈0.33，含义是「只走过了从瞎猜到满分三分之一的路」。

主教练最终把 GPQA Diamond 的成绩单贴在了训练室白板上，旁边写着十六个字：能力晴雨、选型参考、防泄公信、理性解读。一张魔鬼考卷的真正价值，不在于把考生难倒，而在于让真正有实力的人被看见——这也是博士级 AI 能力考试的终极意义。

AI 应用场景

Python 演示

"""GPQA style eval: estimate a model's real ability on PhD-level questions"""import random QUESTIONS = [    {"q": "费米子与玻色子的关键区别是什么",     "options": ["自旋为半整数", "自旋为整数", "自带有电荷", "没有静质量"],     "answer": 0, "subject": "物理"},    {"q": "DNA复制过程中引物的化学本质是什么",     "options": ["DNA片段", "RNA片段", "蛋白质分子", "脂质分子"],     "answer": 1, "subject": "生物"},    {"q": "光催化水分解对半导体能带位置的要求是什么",     "options": ["导带低于产氢势", "价带高于产氧势", "导带高于产氢势", "带隙必须为零"],     "answer": 2, "subject": "化学"},    {"q": "贝叶斯推断中后验概率主要由什么决定",     "options": ["先验选择", "似然函数", "归一化常数", "样本标签"],     "answer": 1, "subject": "人文社科"},]  class DummyPredictor:    """A mock model that answers correctly with fixed probability"""     def __init__(self, skill=0.5, seed=42):        self.skill = skill        self.rng = random.Random(seed)     def predict(self, question):        if self.rng.random() < self.skill:            return question["answer"]        return self.rng.randrange(4)  def evaluate(predictor, questions):    """Calculate accuracy: fraction of questions answered correctly"""    correct = sum(1 for q in questions if predictor.predict(q) == q["answer"])    return correct / len(questions)  def chance_corrected(accuracy, n_choices=4):    """Remove random-guessing luck: (acc - 1/C) / (1 - 1/C)"""    return (accuracy - 1.0 / n_choices) / (1.0 - 1.0 / n_choices)  def contamination_rate(questions, corpus):    """Check how many test questions leaked into the training corpus"""    leak = 0    for q in questions:        if q["q"][:6] in corpus:            leak += 1    return leak / len(questions)  def main():    corpus = "公开语料: 费米子与玻色子的关键区别是什么? DNA复制过程中引物的化学本质是什么?"    model = DummyPredictor(skill=0.65)    acc = evaluate(model, QUESTIONS)    print("准确率 Acc: %.1f%%" % (acc * 100))    print("归一化得分 S_norm: %.2f" % chance_corrected(acc))    print("污染率: %.1f%%" % (contamination_rate(QUESTIONS, corpus) * 100))    print("解读: 污染率大于0时, 说明测试题已混入训练语料, 分数需谨慎看待")  if __name__ == "__main__":    main()

1. class DummyPredictor:定义一个模拟考生，用 skill 参数控制它的真实水平，方便演示评测流程
2. def predict(self, question):对单题作答：以 skill 的概率选择正确答案，否则从四个选项中随机选
3. sum(1 for q in questions if ...)逐题比对预测值与标准答案，统计答对的题目总数
4. def chance_corrected(accuracy, n_choices=4):实现正文的归一化得分公式，剔除随机猜测的运气成分
5. if q["q"][:6] in corpus:拿题目的前 6 个字符做污染粗筛，判断测试题是否混进了训练语料
6. if __name__ == "__main__":脚本入口，直接运行 python 文件时执行评测并打印报告

常见误区

面试题