GPQA Diamond子集：最难推理题

可视化演示

展示GPQA Diamond子集特征：三子集区分度对比、学科难度梯度分布、三类错误模式分析。切换模式查看不同评测维度。

Diamond子集定义

想象游戏策划要设计一个“最终Boss关”。他们不会随便挑一个难题，而是先把数千个候选关卡拿给顶级玩家试玩，记录每关的通过率，再从中挑出通过率介于“随便过”和“完全过不了”之间的那批——既有挑战性又有区分度。Diamond子集的诞生逻辑与此惊人相似：研究者先收集大量研究生级科学题目，请博士级专家作答，再筛出专家准确率约六成五的题目。这些题从物理、化学到生物，共198道，构成了AI评测界最著名的“Boss关”。

这套筛选方案解决了GPT评测的一个经典矛盾：普通题对模型太简单，就像让小怪去考验满级玩家，测不出实力差异；完全超纲的题则让所有模型都交白卷，同样没有信息量。Diamond刻意选择了“专家略高于及格线”的难度带，让发挥空间恰好落在最强模型的推理能力边界上。四选一的格式又设下一条天然的底线：闭眼乱选的人有25%命中率，任何低于这个水平的得分都说明模型在“瞎猜”。

$$\displaystyle E_{\text{rand}} = \frac{1}{4} = 25\%$$

1. 随机基线：四个选项中没有任何信息时，随机选一个的命中概率是四分之一

$$\displaystyle E_{\text{rand}} = \frac{1}{4}$$

2. 专家参照：Diamond筛选时要求专家准确率显著高于随机线，但又没有高到接近满分

$$\displaystyle P_{\text{expert}} \approx 65\%$$

3. 筛选阈值：最终收录的题目集合，就是专家表现落在“难而可解”区间的子集

$$\displaystyle E_{\text{rand}} \ll P_{\text{expert}} < 100\%$$

Diamond子集的名字因此名副其实：不是所有难题都叫Diamond，只有那些经过专家试玩验证、难度恰到好处的“钻石关卡”才有资格进这扇门。理解了这个筛选逻辑，你就握住了理解后面所有概念的钥匙。

问题分布特征

走进Boss关，你会看到怪物房里的敌人组成千奇百怪。Diamond里的198道题也像精心配比的怪物群：物理怪兽占大头，化学机关遍布走廊，生物谜题则像会伪装的变色龙。更重要的是，每一只“怪”都有共同的技能——它们都需要你打出一套3到5步的连招才能击败。没有一头怪是摸一下就会死的。

这个“多步连招”要求，正是Diamond问题的灵魂。普通评测题常常一问一答，比如“水的化学式是什么”——模型靠记忆就能答对。Diamond题目则像物理竞赛题：题干给出一个情境，模型需要先识别背后的理论框架，再建立数学模型，接着代入条件推导，最后和选项一一比对。中间任何一步出错，哪怕只是符号写反，都会导致满盘皆输。

$$\displaystyle P_{\text{chain}} = \prod_{i=1}^{n} \left(1 - \varepsilon_i\right)$$

1. 单步成功率：设每一步推理的出错概率为 ε，那么这一步做对的概率是 1 - ε

$$\displaystyle p_i = 1 - \varepsilon_i$$

2. 链式乘性：多步推理要求每一步都正确，总成功率是各步概率的乘积

$$\displaystyle P_{\text{chain}} = p_1 \times p_2 \times \cdots \times p_n$$

3. 步数放大：n 越大，乘积衰减越剧烈，所以5步题的难度远高于2步题

$$\displaystyle n \uparrow \ \Rightarrow\ P_{\text{chain}} \downarrow$$

所以你会看到：即使模型每步推理都有90%的正确率，完成一道4步的Diamond题，总成功率也只有0.9的四次方——约65%，恰好跌到专家的水平线附近。Diamond通过多步链式设计，把模型的推理过程拉长到了它最容易犯错的地方，让“看起来会推理”和“真能推理”彻底分开。

学科难度梯度

游戏地图有不同天气：物理地图是滚烫的熔岩，化学地图布满需要精确操作的机关，生物地图则是弯弯绕绕的迷宫。Diamond里的三个学科，难度梯度就像这三张地图的差异一样鲜明。统计专家在Diamond各学科上的表现会发现，物理题的正确率最低，化学居中，生物相对友好。这不是偶然，而是学科本身的推理特性决定的。

物理题极度依赖符号化的多步推导：列出方程、消元、代入边界条件，每一步都是严密的逻辑链，模型一旦在中间“脑补”一个不存在的物理假设，立刻偏航。化学题介于两者之间，既需要记忆反应机理，又需要推导分子结构，是记忆和推理的混合体。生物题则更接近知识密集型任务，许多答案依赖对专业术语的准确辨认，对推理链长度的要求相对宽松。正是这种学科差异，让Diamond不仅是一把总标尺，还能把模型的学科能力拆给研究者看。

$$\displaystyle \rho = \frac{A_{\text{physics}}}{A_{\text{biology}}}$$

1. 学科得分：分别统计专家在物理和生物上的Diamond准确率

$$\displaystyle A_{\text{physics}},\ \ A_{\text{biology}}$$

2. 难度比值：物理准确率除以生物准确率，得相对难度比

$$\displaystyle \rho = \frac{A_{\text{physics}}}{A_{\text{biology}}}$$

3. 梯度定位：ρ 小于1说明物理更难，且化学介于两者之间

$$\displaystyle \rho_{\text{physics}} < \rho_{\text{chemistry}} < 1 = \rho_{\text{biology}}$$

用回游戏的话说，如果你的模型能在熔岩地图（物理）里存活，那它在迷宫地图（生物）里基本不会迷路。反过来，只在迷宫地图里通关的模型，进了熔岩地图很可能会被瞬间融化。学科梯度帮你一眼看出模型是“全地形战士”还是“偏科玩家”。

错误模式分析

每次玩家在Boss关团灭，系统都会记录死亡原因：有人没带装备被一招秒杀，有人连招按错键中断，有人没看清场景陷阱。Diamond的错误日志里，模型的翻车方式也能归成人类可读的三类：知识缺口、推理断裂、答案偏差。这三类错误就像三面镜子，照出模型的不同病灶。

知识缺口型错误，是模型真的“没学过”——题目涉及某个专业名词或定律，而模型的参数里压根没有这个知识，只能靠猜。推理断裂型错误最典型：模型正确完成了前三步推导，却在第四步突然跳步、把因果颠倒，或者偷偷引入题中没有的假设，最终导出错误答案。答案偏差型错误则更隐蔽，模型一步步都推对了，但在最后和选项比对时，因为对题目措辞的误解，选了“看起来像但不严谨”的干扰项。

$$\displaystyle E_{\text{total}} = E_{\text{knowledge}} + E_{\text{reasoning}} + E_{\text{context}}$$

1. 知识型错误：模型因训练数据中缺乏对应概念而答错

$$\displaystyle E_{\text{knowledge}}$$

2. 推理型错误：模型在多步链式推导中逻辑断裂或跳步

$$\displaystyle E_{\text{reasoning}}$$

3. 上下文型错误：模型遗忘题干细节或误解选项边界条件

$$\displaystyle E_{\text{context}}$$

4. 错误叠加：三类错误共同构成最终的错误率

$$\displaystyle E_{\text{total}} = E_{\text{knowledge}} + E_{\text{reasoning}} + E_{\text{context}}$$

研究者在Diamond上的错误归因发现，推理型错误的占比最高——因为Diamond的筛选机制本来就在压缩纯记忆题的份额。换句话说，Boss关的团灭记录里，“连招中断”是头号死因。这个洞察直接指导了后来思维链、推理验证等增强技术的方向。

模型能力短板

如果把大语言模型看成一个玩家，它的属性面板会非常畸形：单挑小怪（单步记忆题）时，它几乎满血，准确率甚至可以逼近专家；可一进Boss关，它的血条就飞速流逝。这种“属性偏科”在Diamond评测中暴露得淋漓尽致。模型最显著的能力短板，就是多步链式推理的脆弱性。

为什么单步强、多步弱？因为大模型本质上是“逐字生成”的机器。每一步生成时，它只依据当前已生成的文本做预测，并没有一个全局的“草稿纸”来整理和检查所有中间结论。就像玩家打连招时每次按键都是重新判断，一旦中间某个字生成偏离，后续所有步骤都会被带偏。更糟的是，随着推理步数增加，模型还要同时维护题干信息和已推结论，这相当于让一个只有短时记忆的玩家处理越来越长的战斗信息——上下文一长，它就开始“忘记”自己最初在算什么。

$$\displaystyle S_{\text{gap}} = A_{\text{easy}} - A_{\text{diamond}}$$

1. 简单题水平：模型在短链、低难度题上的准确率作为能力锚点

$$\displaystyle A_{\text{easy}}$$

2. 难题水平：模型在Diamond子集上的准确率代表深层推理能力

$$\displaystyle A_{\text{diamond}}$$

3. 短板差距：两者相减，得到模型在复杂推理上的能力塌陷幅度

$$\displaystyle S_{\text{gap}} = A_{\text{easy}} - A_{\text{diamond}}$$

在Diamond评测中，一个记忆强但推理弱的模型，短板指数可能高达50个百分点。这意味着它虽然不是“一无所知”，却是一个“不会连招的满级号”——面对真正的Boss时，和裸装玩家毫无区别。补足这块短板，也成了推理增强研究的核心目标。

评估区分度

一个好的关卡设计者知道，Boss关的意义不在“难倒所有人”，而在“把不同水平的玩家清晰分开”。如果一关大佬和小白都过不去，那这关设计就是失败的。Diamond子集的高明之处，就在于它的区分度——它能把分数咬得很近的模型们拉出肉眼可见的差距。

在非Diamond的普通题上，不同模型的准确率可能都在85%左右徘徊，差距只有几个百分点，就像赛道上所有选手都用同样的速度巡航，裁判根本分不出谁强谁弱。但换到Diamond子集上，同一批模型的表现立刻拉开：强推理模型能拿到50%以上，弱推理模型可能跌到接近随机水平。差距从“微弱的5%”被放大到“刺眼的30%”。这正是评测设计师想要的“照妖镜”效果。

$$\displaystyle \Delta = A_{\text{diamond}} - A_{\text{other}}$$

1. Diamond得分：模型在钻石子集上的准确率，捕捉深层推理差异

$$\displaystyle A_{\text{diamond}}$$

2. 普通题得分：同一模型在非Diamond题目上的准确率

$$\displaystyle A_{\text{other}}$$

3. 区分度定义：两个得分的差，衡量子集的筛选效率

$$\displaystyle \Delta = A_{\text{diamond}} - A_{\text{other}}$$

为什么Diamond能实现高区分度？关键在难度定位：它既不过难（不会让所有模型都交白卷，否则区分度归零），也不过易（不会让所有模型都满分，否则同样没信息）。专家65%的准确率意味着题目天然落在“人类能力边界”附近——而模型之间的真实能力差异，也恰好在这个边界上被放大成清晰的距离。

推理上限评估

Boss关的血条不仅告诉我们Boss有多强，还给了我们一把测量玩家战力的尺子。Diamond评测中最有价值的应用之一，就是把专家的65%当作一面“参照旗帜”，用它来锚定模型的推理上限。你不需要知道一个绝对分数，只需看模型的表现离专家还有多远，就能立刻判断它的真实段位。

如果你是一家AI公司的评测工程师，你关心的不是模型在某道题上的对错，而是“它离人类的专家水平还差几个身位”。计算方法是把模型在Diamond上的准确率直接与专家准确率做比较。当模型达到专家准确率的一半，说明它已经能解决大约六成五难度中的一半；当比值接近1，就说明模型几乎触及了人类专家在这套题上的表现极限。当然，单看点估计还不够——Diamond只有198道题，样本有限，必须给出置信区间，才能避免用一道题的多寡波动吓唬自己。

$$\displaystyle \hat{U} = \frac{A_{\text{model}}}{A_{\text{expert}}}$$

1. 模型实测：在198道Diamond题上统计模型答对的百分比

$$\displaystyle A_{\text{model}}$$

2. 专家锚点：以博士级专家在同一子集上的准确率作为人类上限参照

$$\displaystyle A_{\text{expert}} \approx 65\%$$

3. 上限估计：两者相除，得到模型的推理完成度

$$\displaystyle \hat{U} = \frac{A_{\text{model}}}{A_{\text{expert}}}$$

用游戏的话说，专家的65%就是“通关标准血量”，模型打出的任何伤害都换算成这个血量的百分比。早期最强模型在Diamond上的上限比一度不足0.5，也就是说，它们连Boss一半的血都打不掉。而随着模型迭代，这个比值缓慢爬升，成为衡量大模型推理进步最直观的刻度尺。

能力差距发现

打游戏最怕的不是输，而是不知道自己为什么输。Diamond评测的终极价值，在于它把“模型为什么答错”这件事变成了可定位、可分析的系统日志。每一次错误都被记录：是哪个学科、链长多少步、在哪一步断链、属于哪类错误模式。这些日志汇聚起来，就成了一幅精细的“模型能力画像”。

人机对比让差距无处遁形。研究者把模型的表现按学科、按推理步数拆开，与人类专家的表现叠加对比：物理题上专家能稳定完成五步推导，模型却常在第三步就崩盘；化学题上模型的知识缺口集中在哪些反应机理，全部一目了然。跨模型对比同样有价值——用一个强模型和一个弱模型同时跑Diamond，逐题分析谁在哪一步拉开差距，就能提炼出“强模型做对了什么、弱模型做漏了什么”的训练信号，直接指导下一轮的模型迭代方向。

$$\displaystyle G = \frac{A_{\text{expert}} - A_{\text{model}}}{A_{\text{expert}}}$$

1. 绝对差距：专家准确率减去模型准确率，得到能力缺口

$$\displaystyle A_{\text{expert}} - A_{\text{model}}$$

2. 归一化处理：除以专家准确率，得到可跨模型比较的相对差距率

$$\displaystyle G = \frac{A_{\text{expert}} - A_{\text{model}}}{A_{\text{expert}}}$$

3. 差距解读：G 接近1表示模型几乎没有推理能力，接近0表示接近人类专家

$$\displaystyle G \approx 0 \ \Rightarrow\ \text{模型接近人类专家}$$

画完这幅差距图，你会看到一个立体的大模型：有知识、能记词、会聊天，但在多步物理推导、跨步骤验证这些“高难度连招”上依然是个初学者。Diamond子集不负责给模型打分，它负责把模型的每一块推理肌肉都拉出来单独照X光——这正是它被称为“最难推理题”之外，更让人着迷的价值所在。通关记录已经摆在桌上，下一步就是在哪卡关，就练哪。

AI 应用场景

Python 演示

import random  class DiamondBench:    """模拟GPQA Diamond子集评测环境"""     def __init__(self, seed=42):        random.seed(seed)        self.questions = self._build_questions()     def _build_questions(self):        qs = []        fields = ["physics", "chemistry", "biology"]        for i in range(120):            field = random.choice(fields)            steps = random.choices([1, 2, 3, 4, 5], weights=[5, 15, 30, 30, 20])[0]            is_diamond = field == "physics" and steps >= 4            qs.append({                "id": i,                "field": field,                "steps": steps,                "diamond": is_diamond,            })        return qs     def evaluate(self, model):        diamond_hit, diamond_total = 0, 0        other_hit, other_total = 0, 0        for q in self.questions:            correct = model.answer(q)            if q["diamond"]:                diamond_total += 1                diamond_hit += correct            else:                other_total += 1                other_hit += correct        return {            "diamond_acc": diamond_hit / diamond_total,            "other_acc": other_hit / other_total,        }  class StepModel:    """推理步数受限的模拟模型"""     def __init__(self, max_steps, noise=0.0):        self.max_steps = max_steps        self.noise = noise     def answer(self, q):        ok = q["steps"] <= self.max_steps        if self.noise > 0 and random.random() < self.noise:            ok = not ok        return ok  def main():    bench = DiamondBench(seed=42)    models = {        "base_1step": StepModel(max_steps=1, noise=0.05),        "chain_3step": StepModel(max_steps=3, noise=0.10),        "strong_5step": StepModel(max_steps=5, noise=0.02),    }    print("模型               Diamond准确率 普通题准确率 区分度")    for name, model in models.items():        r = bench.evaluate(model)        delta = r["diamond_acc"] - r["other_acc"]        print("{} {:>12.1%} {:>12.1%} {:>+10.1%}".format(            name, r["diamond_acc"], r["other_acc"], delta))  if __name__ == "__main__":    main()

1. random.choices([1, 2, 3, 4, 5], weights=[5, 15, 30, 30, 20])[0]按权重随机生成题目所需推理步数，步数越长的题占比越高，模拟Diamond难题的多步特性
2. is_diamond = field == "physics" and steps >= 4简化版的Diamond筛选规则：物理且需4步以上推理的题归入Diamond子集
3. correct = model.answer(q)让每个模拟模型对题目作答，返回布尔值表示是否答对
4. ok = q["steps"] <= self.max_steps判断模型的最大推理步数是否足够完成该题，模拟“推理链长度”这个核心能力
5. delta = r["diamond_acc"] - r["other_acc"]计算区分度系数，即模型在Diamond和普通题上的准确率之差
6. if self.noise > 0 and random.random() < self.noise:加入随机噪声，模拟模型在长链推理中偶发失误的真实情况

常见误区

面试题