想象你走进一家攀岩馆，墙上贴着花花绿绿的标签：V0 轻松上手、V5 老手挑战、V10 职业大神专用。你指着一条 V10 问教练：“它真的够格叫 V10 吗？”教练不慌不忙翻出记录：过去一个月，这条路线被 60 位顶尖攀岩者挑战，只有 9 人完成，完成率 15%——与另外两条公认的 V10 完全一致。这种“用真实成绩反推难度标签是否靠谱”的过程，就是难度校准。 在 AI 评测世界，我们也需要这样一面精心校准过的“岩壁”，GPQA 就是其中最著名的一堵。它由生物、物理、化学领域的博士生和教授出题，专为测验大模型的科研推理上限而设计。但光有难题远远不够——题目难度标注是否真实？模型高分是真本事还是背答案？正如攀岩馆需要长期记录数据来维护 V 等级，AI 评测同样需要一套严谨的难度校准机制。本文就用“攀岩馆定级”这个生活场景，带你完整理解 GPQA 背后的难度校准原理、算法与工程实践。

岗位关联

对 AI 从业者来说，读懂难度校准，等于握住了判断大模型真实能力的度量衡。无论是选基准、汇报模型水平，还是排查“高分低能”风险，你都能给出有数据支撑的可靠结论。

目录
  1. 可视化演示
  2. 校准基础概念
  3. GPQA题目体系
  4. 人类基线锚定
  5. 校准核心算法
  6. 模型表现解读
  7. 校准优化策略
  8. 工程实践落地
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

系统可视化 处理流程：输入→处理→模型→输出 性能监控：实时指标 P=L×T

校准基础概念

攀岩馆的教练们私下有个共识：墙上的 V 等级从来不是拍脑袋写上去的。一条新路线开放前，会先让一小群可信的老手试爬；开放后，每个月都会统计完成人数，一旦发现标注 V8 的路线人人能爬，立刻改成 V5。这套“让标签贴近真实难度”的动作，正是难度校准的日常形态。

评测 AI 的题目也是如此。如果一道题标注“难”却人人答对，它就失去了区分强者和弱者的价值；如果标注“易”却无人能答，评测结果又像坏掉的体重秤一样没有意义。难度校准（Difficulty Calibration）的核心，就是通过作答数据让每道题的难度标签如实反映它在目标群体中的真实表现，从而保证整场评测的区分度和可信度。

在技术层面，校准由三个基本概念支撑：难度（difficulty）由通过率刻画，通过率越低难度越高；区分度（discrimination）衡量题目能否把高能力者与低能力者清晰分开；稳定性（stability）则要求同一道题在不同批次评测中难度保持一致。三者共同定义了校准的最终目标：让每道题都成为可靠的“能力探针”。通过率是最直观的难度度量，其计算公式如下：

回到攀岩馆，教练定级的公式本质上就是“完成人数 ÷ 尝试人数”。数据积累得越多，墙上的标签就越可靠。难度校准的第一步，永远是先收集足够多的“攀爬记录”，而不是急着下结论。

pi=CiNi\displaystyle p_i = \frac{C_i}{N_i}
  1. $p_i$ 为第 i 题的通过率反映这道题对目标人群的整体难度，通过率越低，题目越难。
    pip_i
  2. $C_i$ 为答对人数在评测中把第 i 题做对的被试总数，是分子的核心组成部分。
    CiC_i
  3. $N_i$ 为作答总人数参与第 i 题作答的所有被试数量，确保通过率的分母口径一致。
    NiN_i

GPQA题目体系

攀岩馆里总有一面墙，挂着的全是 V9 以上的专业路线，普通顾客只能远观。GPQA 就是大模型世界里这样一面“专业墙”。它的全称是 Graduate-Level Google-Proof Q&A Benchmark，即“研究生级、谷歌防伪问答基准”，专门用来检验模型在科研级知识上的推理能力。

这套题集共 448 道四选一选择题，覆盖生物、物理、化学三大自然科学领域。命题者均为相关领域的博士生甚至教授，每道题都要经过多轮交叉审校，确保答案唯一且表述严谨。最特别的是“Google-Proof”设计：命题团队会刻意检索，保证标准答案无法通过搜索引擎直接搜到，迫使模型必须真正理解知识，而非复制语料。

GPQA 之所以被广泛采用，正是因为它从源头控制了题目质量。一个完美的评测基准，必须让“题目本身”先经得起推敲，否则后续一切校准工作都是空中楼阁。四选一的题型设计决定了随机猜测存在一个天然的基准线，它构成了难度校准的“地板”：

这面“专业岩壁”的含金量，靠出题者资历、多轮审校和防搜题机制共同撑起。难度校准的前提是题配得上“专业”二字——就像攀岩馆不会把一块简单的抱石墙吹成 V10 一样。

Rguess=1K=14=0.25\displaystyle R_{\text{guess}} = \frac{1}{K} = \frac{1}{4} = 0.25
  1. $K$ 为选项数量GPQA 每题提供四个候选项，因此 K 的取值为 4。
    K=4K=4
  2. $1/K$ 为随机命中概率完全盲选时，每次恰好猜中正确答案的概率。
    1K\frac{1}{K}
  3. $0.25$ 为猜测基线值任何低于 25% 正确率的作答，都说明模型连随机水平都不如，评测结果将失去解释力。
    0.250.25

人类基线锚定

要给一条新路线定级，攀岩教练会请一批公认的高手来试爬，记录他们的完成率。如果高手们纷纷卡壳，路线就该往高处定；如果人人都轻松登顶，就得降级。这种“用真人成绩锚定难度”的思路，被 GPQA 的研究者发挥到了极致。

研究者招募了两组人类被试：一组是相关领域的博士、博士后和教授，代表“专家”；另一组是非相关领域但受过高等教育的成年人，代表“非专家”。两组人在限定时间内独立作答全部题目，各自统计通过率，形成一把客观的“人类难度标尺”。

数据揭示了一个漂亮的阶梯：专家通过率约 65%，非专家约 34%，随机猜测基线是 25%。这三个数字构成了 GPQA 难度校准的核心锚点——理想的题目应当落在“专家能答、非专家抓瞎”的区间，从而确保它测的是深厚领域推理能力，而非普遍常识或应试技巧。专家与非专家的表现差距，是判断题目区分度的直观依据：

就像 V10 岩壁要靠顶尖攀岩者试爬后认定一样，GPQA 的“研究生级”称号，是用真博士的成绩单一笔一划写出来的。没有人类基线，任何难度标注都只是自说自话。

Δexpert=Pexpert−Pnon-expert=0.65−0.34=0.31\displaystyle \Delta_{\text{expert}} = P_{\text{expert}} - P_{\text{non-expert}} = 0.65 - 0.34 = 0.31
  1. $P_{\text{expert}}$ 为专家通过率领域博士在限时作答中的平均正确率，代表着“真正懂”的水平。
    Pexpert=0.65P_{\text{expert}} = 0.65
  2. $P_{\text{non-expert}}$ 为非专家通过率缺乏深层领域知识的成年人正确率，代表着“不太懂”的水平。
    Pnon-expert=0.34P_{\text{non-expert}} = 0.34
  3. $\Delta_{\text{expert}}$ 为专家与非专家的差距两者相差 31 个百分点，差值越大说明题目越能分辨“懂与不懂”。
    Δexpert=0.31\Delta_{\text{expert}} = 0.31

校准核心算法

攀岩教练渐渐发现，一条路线的难度不是静止的数字：同样一条 V5，高手觉得轻松热身，新手却吓得腿软。同一路线在不同能力的人眼中，难度体验完全不同。要建立一个统一的难度体系，需要一种能把“人的能力”和“题目难度”放在同一把尺子上度量的数学工具。

项目反应理论（Item Response Theory，IRT）正是为此而生。它把被试的潜在能力记为 θ，把题目特征抽象为若干参数，用一个简洁的数学模型描述“不同能力的人答对某题的概率”。在 GPQA 的难度校准中，IRT 被用来反推每道题的难度参数、区分度参数和猜测参数，从而得到一条条 S 形校准曲线。

三参数逻辑模型是 IRT 家族中最常用的形式。其中难度参数 b 控制曲线的左右位置，b 越大题目越难；区分度参数 a 控制曲线的陡峭程度，a 越大题目越能敏锐分辨能力差异；猜测参数 c 则给出纯蒙情况下的概率下界。其数学形式如下：

IRT 给了攀岩馆一张“动态难度对照表”：同一条路线对不同水平的人呈现不同的完成概率，教练不再只盯着总完成率，而是能推算每个能力档位对应的成功可能性。这就是用算法为岩壁做精细化定级。

Pi(θ)=ci+1−ci1+e−ai(θ−bi)\displaystyle P_i(\theta) = c_i + \frac{1 - c_i}{1 + e^{-a_i(\theta - b_i)}}
  1. $\theta$ 为被试能力值横轴上的潜在变量，能力越强，θ 取值越大。
    θ\theta
  2. $b_i$ 为第 i 题的难度参数当 θ 恰好等于 b 时，答对概率落在 c 与 1 的中点，b 越大曲线越靠右、题目越难。
    bib_i
  3. $a_i$ 为第 i 题的区分度参数控制曲线在中点附近的斜率，a 越大，能力稍有变化正确率就剧烈变化。
    aia_i
  4. $c_i$ 为猜测参数能力极低时的答对概率下界，对四选一题通常固定为 0.25。
    cic_i
  5. 指数与 S 形曲线分母中的 $e^{-a_i(\theta - b_i)}$ 使整体呈 S 形增长，生动刻画“能力一过门槛，正确率快速拉升”的规律。
    e−ai(θ−bi)e^{-a_i(\theta - b_i)}

模型表现解读

岩壁修好了，基线锚定了，终于轮到 AI 这位新选手登场。就像攀岩馆里聚集了不同水平的挑战者，大模型们也在 GPQA 上各显神通。但热闹的成绩单背后，一个关键问题是：这些分数到底意味着什么？

研究者把主流大模型放在同一套校准流程下评测后发现，模型的整体正确率通常介于非专家与专家之间。例如 GPT-4 在 GPQA 上的得分约 39%，明显高于非专家的 34%，但与专家的 65% 还有显著距离。这说明当时的模型已经具备超越“受过高等教育的门外汉”的推理能力，却尚未达到领域专家的深度。

解读分数时最忌讳“看到数字就夸聪明”。四选一设计自带 25% 的随机正确率，高分可能来自真正的推理链条，也可能来自训练语料中的题目记忆或统计偏好。因此，必须把模型分数嵌入人类基线框架中做差值比较，才能识别真实能力位置。模型与专家之间的差距，是判断“还差多远”的直接指标：

这就像看到一位攀岩者出色地完成了 V8，但对照记录发现他与 V10 大神仍有本质差距。难度校准提供了一个客观的“段位差”，而不是一句模糊的“这人挺强”。

Δhuman-AI=Pmodel−Pexpert=0.39−0.65=−0.26\displaystyle \Delta_{\text{human-AI}} = P_{\text{model}} - P_{\text{expert}} = 0.39 - 0.65 = -0.26
  1. $P_{\text{model}}$ 为模型整体正确率待测大模型在 448 道 GPQA 题上的总准确率。
    Pmodel=0.39P_{\text{model}} = 0.39
  2. $P_{\text{expert}}$ 为专家通过率人类领域专家基线，即 0.65。
    Pexpert=0.65P_{\text{expert}} = 0.65
  3. $\Delta_{\text{human-AI}}$ 为模型与专家的差距差值为负数说明模型尚未达到人类专家水平，绝对值越大差距越大。
    Δhuman-AI=−0.26\Delta_{\text{human-AI}} = -0.26

校准优化策略

岩壁不是一劳永逸的工程。随着挑战者越来越多，教练手里的数据越来越丰富，可能会发现某些路线的实际难度和墙上的标签已经对不上，必须重新刷漆。评测集同样需要这种“持续维护”的机制，即校准优化策略。

优化策略通常沿着三条主线展开。第一是样本筛选：对通过率接近随机基线、区分度过低的“坏题”进行剔除或重写，保证评测集质量；第二是动态调参：随着人类作答数据不断积累，定期用新数据重新估计 IRT 参数，让难度曲线跟随真实世界更新；第三是置信度校准：确保模型在给出答案时，其“自信程度”与“实际正确率”一致，防止虚高自信误导决策。

衡量置信度校准质量最常用的指标是期望校准误差（Expected Calibration Error，ECE）。它把所有预测按置信度分成若干桶，逐一比较每桶内的平均自信度与实际准确率，偏差越小说明模型的“自我认知”越可靠，其定义如下：

教练反复比对“标注难度”和“实际完成率”，ECE 就是这张比对表上浓缩成的一个数字。数字越小，墙上的标签越可信，模型的自我认知也越诚实。

ECE=∑m=1M∣Bm∣N∣acc⁡(Bm)−conf⁡(Bm)∣\displaystyle ECE = \sum_{m=1}^{M} \frac{|B_m|}{N} \bigl| \operatorname{acc}(B_m) - \operatorname{conf}(B_m) \bigr|
  1. $M$ 为分桶数量把从 0 到 1 的置信度区间均匀切成 M 个相邻小桶。
    MM
  2. $\frac{|B_m|}{N}$ 为第 m 桶的样本权重该桶内样本数占总样本数的比例，避免小桶被忽略。
    ∣Bm∣N\frac{|B_m|}{N}
  3. $\operatorname{acc}(B_m)$ 为该桶实际正确率桶内所有预测中真正预测对的占比。
    acc⁡(Bm)\operatorname{acc}(B_m)
  4. $\operatorname{conf}(B_m)$ 为该桶平均置信度模型在该桶内给出的平均自信分数。
    conf⁡(Bm)\operatorname{conf}(B_m)
  5. 绝对值与加权求和每桶的偏差取绝对值后按权重相加，得到整体校准误差，数值越小越好。
    ∣acc⁡(Bm)−conf⁡(Bm)∣\bigl| \operatorname{acc}(B_m) - \operatorname{conf}(B_m) \bigr|

工程实践落地

攀岩馆最终会把难度分级表挂在门口，顾客进门先看表，再决定挑战哪面墙。对 AI 工程师来说，GPQA 以及它背后的难度校准方法，就是挂在大模型评测大厅里的专业岩壁难度表，指导着三类常见工程决策。

第一是基准选型：当目标是评估模型的科研推理上限时，GPQA 比常识问答类基准更有说服力；第二是评测报告研判：看到“准确率 60%”这类成果时，先追问它对照的人类基线是什么、题目难度分布如何，再决定是否采信；第三是安全评估：难度校准后的专业题集可以充当风险探测窗口，防止模型在医疗、法律等领域“一本正经地胡说八道”。

为了让难度信息真正服务于模型迭代，研究者提出了难度加权准确率：利用 IRT 给出的难度参数为每道题分配权重，难题权重更高，从而放大模型在硬骨头上的真实表现。这样，一个在简单题上刷分、在难题上崩盘的模型，就会在加权分数下原形毕露：

就像攀岩馆用分级表帮助顾客精准选择路线一样，工程师借助难度加权分数在模型迭代中做出精准取舍。把力气花在被校准过的“难题岩壁”上，而不是被简单题刷出来的虚高分数迷惑，才是成熟团队的评测之道。

Aweighted=∑iwi1[y^i=yi]∑iwi,wi=eαbi\displaystyle A_{\text{weighted}} = \frac{\sum_{i} w_i \mathbb{1}[\hat{y}_i = y_i]}{\sum_{i} w_i}, \qquad w_i = e^{\alpha b_i}
  1. $y_i$ 为第 i 题的真实答案题目官方标注的正确选项，是判断对错的依据。
    yiy_i
  2. $\hat{y}_i$ 为模型的预测答案被测模型给出的选项，与真实答案比对决定对错。
    y^i\hat{y}_i
  3. $\mathbb{1}[\hat{y}_i = y_i]$ 为指示函数括号内条件成立时取 1，否则取 0，用于统计答对次数。
    1[y^i=yi]\mathbb{1}[\hat{y}_i = y_i]
  4. $w_i$ 为第 i 题的难度权重由难度参数 b 经指数映射得到，b 越大权重越高。
    wi=eαbiw_i = e^{\alpha b_i}
  5. $\alpha$ 为加权强度系数控制难度对权重的放大程度，α 越大难题在总分中的话语权越强。
    α\alpha

AI 应用场景

大模型能力边界评测

阶段：模型评估与基准测试

解决的问题：传统评测多用简单常识题，模型分数普遍虚高，无法回答“这个模型到底懂不懂专业推理”。借助 GPQA 的难度校准体系，以专家 65%、非专家 34% 作为人类基线锚点，可以精确刻画模型的科研推理上限与真实段位。

具体案例：某 AI 实验室在发布医疗问答大模型前，使用 GPQA 的生物与化学子集进行预评测。结果显示模型正确率 42%，明显超过非专家的 34%，但距专家 65% 仍有 23 个百分点差距。团队据此调整了对外宣传口径，并针对短板领域补充了专项训练数据。

模型迭代回归防退化

阶段：模型训练与迭代优化

解决的问题：微调新版本后整体准确率上升，但推理能力可能悄然退化。使用难度加权准确率追踪不同难度档位的表现，可以精确定位性能变化究竟来自简单题还是难题。

具体案例：某 NLP 团队在一次指令微调后，平均准确率提升 3%，但难度加权准确率反而下降 5%。进一步分析发现提升集中在低难度题目，高难度题的正确率明显回落，判定为数据分布偏移导致的“简单题膨胀”，随即回滚了该版训练策略。

安全风险评估防线

阶段：可信 AI 评估与风险控制

解决的问题：大模型在专业领域看似博学，实则可能产生严重幻觉。将 GPQA 这类难度校准过的专业题集作为探测信号，可以评估模型在“高难、高专业、高误导性”场景下的可靠性，为上线决策提供依据。

具体案例：某金融科技公司在部署投资问答助手前，要求模型通过 GPQA 化学与物理子集的难度加权评测，并设定 ECE 阈值。若模型在高难度题上正确率不足或置信度严重虚高，则不批准该场景上线。

Python 演示

python51 行
import numpy as np  def irt_prob(theta, a, b, c=0.25):    """IRT 三参数逻辑模型: 给定能力 theta 和题目参数, 返回答对概率"""    return c + (1.0 - c) / (1.0 + np.exp(-a * (theta - b)))  def simulate_gpqa_scores(n_items=10, n_persons=200, seed=42):    """模拟一批人在 GPQA 题目上的作答结果"""    rng = np.random.default_rng(seed)    a = rng.uniform(0.5, 1.5, size=n_items)    b = rng.uniform(-2.0, 2.0, size=n_items)    abilities = rng.normal(0.0, 1.0, size=n_persons)    probs = np.array(        [[irt_prob(th, ai, bi) for ai, bi in zip(a, b)] for th in abilities]    )    responses = (rng.random((n_persons, n_items)) < probs).astype(int)    return responses, a, b  def estimate_difficulty(responses):    """用通过率反推难度参数 b, 通过率越低难度越高"""    p = responses.mean(axis=0)    return -np.log((1.0 - p + 1e-9) / (p + 1e-9))  def expected_calibration_error(confidences, labels, n_bins=10):    """计算期望校准误差 ECE: 按置信度分桶, 比较自信度与实际准确率"""    bins = np.linspace(0.0, 1.0, n_bins + 1)    total = len(confidences)    ece = 0.0    for i in range(n_bins):        lo, hi = bins[i], bins[i + 1]        mask = (confidences >= lo) & (confidences <= hi)        if not np.any(mask):            continue        bucket_conf = confidences[mask].mean()        bucket_acc = labels[mask].mean()        ece += (mask.sum() / total) * abs(bucket_acc - bucket_conf)    return ece  if __name__ == "__main__":    responses, a_true, b_true = simulate_gpqa_scores()    b_est = estimate_difficulty(responses)    print("估计难度参数 b:", np.round(b_est, 3))    rng = np.random.default_rng(1)    confidences = rng.uniform(0.3, 0.95, size=500)    labels = (rng.random(500) < confidences).astype(int)    print("ECE:", round(expected_calibration_error(confidences, labels), 4))
目的：模拟一批人在 GPQA 风格题目上的作答数据，用通过率反推难度参数，并计算置信度校准误差 ECE，演示难度校准的核心流程。
  1. irt_prob(theta, a, b, c=0.25)实现 IRT 三参数逻辑模型，是难度校准的核心数学引擎。
  2. simulate_gpqa_scores(n_items=10, n_persons=200, seed=42)模拟不同能力的人在不同难度题目上的作答结果。
  3. responses = (rng.random((n_persons, n_items)) < probs).astype(int)按概率生成离散答对/答错记录。
  4. p = responses.mean(axis=0)计算每道题的通过率，难度校准的第一步。
  5. return -np.log((1.0 - p + 1e-9) / (p + 1e-9))将通过率映射为 IRT 难度参数，通过率越低参数越大。
  6. expected_calibration_error(confidences, labels, n_bins=10)实现 ECE 指标，检验模型自信度与真实正确率是否对齐。
  7. ece += (mask.sum() / total) * abs(bucket_acc - bucket_conf)累加每个置信度桶的加权偏差，得到整体校准误差。

常见误区

误区看到模型在 GPQA 上拿到 50% 正确率，立刻宣布“模型已经达到博士生水平”，完全忽略随机基线 25% 和专家基线 65% 的存在。

正解难度校准要求任何分数都必须放进人类基线框架中解读。50% 确实超过非专家的 34%，但距专家 65% 仍有 15 个百分点的差距。四选一自带 25% 的蒙对概率，高分中可能混有运气和记忆成分，不能简单等同于推理能力。正确做法是计算 Δ 差值并结合 IRT 难度分布综合判断。

为何常见：人脑天然把“答对题数”和“智力水平”挂钩，忽略了评测设计中基线对照和随机猜测地板这些关键参照系。

误区认为直接统计每道题的通过率就是完整的难度校准，IRT 只是学术圈的花架子。

正解通过率是一个“人群依赖”的指标。如果评测人群整体变强，所有题的通过率都会上升，难度排名随之失真。IRT 的价值在于把题目难度参数和被试能力参数放在同一尺度上联合估计，使得同一条“难度曲线”在不同人群中保持稳定，从而支持跨数据集的公平比较。

为何常见：通过率计算简单直观，适合快速上手，但人们容易忽略它随样本变化而波动这一天然缺陷，误以为简单统计就是校准的全部。

误区在建设评测集时，优先保留那些专家也能高正确率作答的题，觉得“答对率高说明题出得公道”。

正解难度校准真正追求的是区分度。如果一道题专家正确率 90%、非专家 85%，它根本测不出“懂与不懂”，没有任何筛选价值。理想的 GPQA 题应当落在“专家能答、非专家抓瞎”的中间带，专家通过率可能只有 60%-70%，但正是这 30 多个百分点的差距让题目成为金子般的探针。

为何常见：人们容易混淆“题目质量高”与“题目难度适中”，忘记了高质量的客观题首先要能有效区分不同能力水平的被试。

误区模型对某道题输出 0.95 的置信度，工程师便直接当作 95% 的正确概率采信。

正解置信度是模型内部的概率输出，与实际正确率是两回事。未经校准的模型可能给出 0.95 的高自信，实际正确率却只有 0.7。ECE 指标正是用来量化这种偏差的：把预测按置信度分桶，逐一比较平均自信度和真实准确率，偏差越小模型的“自我认知”越可信。

为何常见：模型输出的概率分布具有数学上的“概率”形式，人们就下意识地把它当成真实概率，忽略了训练目标与概率语义之间可能存在的鸿沟。

面试题

Q1. GPQA 每道题均为四选一，随机猜测的正确率基线是多少？

单选题 · easy

  • A.25%← 正确答案
  • B.50%
  • C.20%
  • D.33%

答案：A。GPQA 每道题有 4 个选项，随机盲选命中正确答案的概率为 1/4，即 25%。这个基线是所有难度校准讨论的“地板”，任何低于 25% 的模型成绩都说明其表现连瞎猜都不如。

Q2. GPQA 全称中的 GP 主要指什么？

单选题 · easy

  • A.Google-Proof 防搜索作弊← 正确答案
  • B.General Purpose 通用目标
  • C.Graduate Program 研究生项目
  • D.Graph-based 图模型方法

答案：A。GPQA 全称是 Graduate-Level Google-Proof Q&A Benchmark。Google-Proof 意味着命题团队已验证题目无法通过搜索引擎直接找到答案，这是确保难度真实性的关键设计，防止模型靠复制语料得分。

Q3. 在 GPQA 的人类基线中，专家通过率约为多少？

单选题 · mid

  • A.65%← 正确答案
  • B.34%
  • C.25%
  • D.85%

答案：A。GPQA 论文中，相关领域博士及教授级专家在限时作答中的通过率约为 65%，非专家约 34%，随机基线 25%。这三层阶梯共同构成了解读模型分数的难度标尺。

Q4. IRT 三参数模型中，参数 b 代表什么？

单选题 · mid

  • A.题目难度← 正确答案
  • B.区分度系数
  • C.猜测参数
  • D.被试能力值

答案：A。三参数逻辑模型中，b 是难度参数，控制 S 形曲线在能力轴上的左右位置；a 是区分度参数，控制曲线陡峭程度；c 是猜测参数，代表纯蒙概率下界。三者合起来刻画一道题的完整难度特征。

Q5. 在三参数逻辑模型中，当被试能力 θ 恰好等于难度参数 b 时，答对概率处于什么位置？

单选题 · mid

  • A.c 与 1 的中点← 正确答案
  • B.恒等于 0.5
  • C.恒等于猜测参数 c
  • D.恒等于 1

答案：A。将 θ = b 代入公式可得 P = c + (1-c)/(1+1) = (1+c)/2，恰好是猜测参数 c 与 1 的中点。这也是 b 被称为“难度中点参数”的原因。

Q6. 某模型 GPQA 正确率 39%，专家 65%，非专家 34%，下列说法最准确的是？

单选题 · hard

  • A.超非专家但低于专家← 正确答案
  • B.已达人类专家水平
  • C.低于随机猜测基线
  • D.与专家差距约 34%

答案：A。39% 高于非专家的 34%，说明模型强于领域外的人类；但低于专家的 65%，差距为 26 个百分点而非 34%。因此“超过非专家但低于专家”是对模型段位最准确的描述。

Q7. ECE 指标中，每个置信度桶内的 acc(Bm) 与 conf(Bm) 差值越接近 0，说明什么？

单选题 · hard

  • A.模型置信度校准越好← 正确答案
  • B.题目难度越高
  • C.模型总体准确率越高
  • D.数据集规模越大

答案：A。ECE 衡量的是“模型自信程度”与“实际正确率”之间的一致性。差值越接近 0，说明模型说 80% 把握时就真有 80% 正确率，即置信度校准越可靠，它与题目难度和总体准确率并无直接关系。

Q8. 下列哪些属于难度校准的优化策略？

多选题 · mid

  • A.剔除通过率接近随机基线的坏题← 正确答案
  • B.定期用新数据重估 IRT 参数← 正确答案
  • C.直接用准确率代替置信度
  • D.用 ECE 监控置信度校准质量← 正确答案

答案：ABD。难度校准优化策略包括样本筛选（剔除区分度差的题）、动态调参（更新 IRT 参数）和置信度校准（用 ECE 监控偏差）。直接用准确率代替置信度是错误做法，两者概念不同，不能互相替代。

Q9. 关于 GPQA 的人类基线，下列表述正确的有哪些？

多选题 · hard

  • A.非专家通过率约 34%← 正确答案
  • B.随机猜测基线为 25%← 正确答案
  • C.专家通过率为 100%
  • D.专家通过率约 65%← 正确答案

答案：ABD。GPQA 的三层基线是专家 65%、非专家 34%、随机猜测 25%。专家通过率远非 100%，因为题目本身设计为“专家可答但非专家抓瞎”的中间难度，100% 的通过率反而说明题目区分度不足。

Q10. GPQA 题目体系的特点包括哪些？

多选题 · mid

  • A.覆盖生物物理化学学科← 正确答案
  • B.由领域博士教授命题← 正确答案
  • C.全部为开放问答题型
  • D.经防作弊机制验证← 正确答案

答案：ABD。GPQA 共 448 道四选一选择题，覆盖生物、物理、化学，由领域博士和教授命题并多轮审校，还经过 Google-Proof 防搜索作弊验证。C 选项“开放问答”错误，GPQA 全部为客观选择题。