想象一场跳水决赛：最顶尖的几位运动员，动作完成得几乎一样漂亮。普通动作，大家全是 9.8、9.9 分，裁判根本无法把金牌发给正确的人。于是，“难度系数”出现了——只有 3.9 的“反身翻腾四周半”才让巅峰与巅峰之间拉开肉眼可见的差距。这枚“高难度动作”，就是我们要讲的 GPQA 专家级题目。 GPQA 是一项专为测试 AI 极限能力的基准测试，全称 Google-Proof Q&A，意思是“防谷歌搜索的问答”。它专挑那些博士级专家才能答对、网上搜不到答案的深层难题。而它最核心的设计，就是“专家级难度”：题目太难，普通人和一般 AI 只能靠猜；即便领域专家，也要认真思考才能答对八成。正因为这样，当最顶级的 AI 模型面对它时，微弱的能力差距才无法被掩盖。

岗位关联

理解“专家级难度”，你才能看懂评测中“为什么刷榜没有意义、差几个百分点背后是能力鸿沟”，也才知道该用什么基准去判断一个 AI 是否真的变强。

目录
  1. 可视化演示
  2. 专家级标准：给顶尖选手设的“难度系数”
  3. 区分细微差距：难度系数让巅峰分出高下
  4. 防天花板效应：满分泛滥会让评测“失明”
  5. 专家出题机制：难度系数不是自封的
  6. 评测信号方向：为前沿模型标出坐标
  7. 业界应用落点：给大模型做“极限体检”
  8. 理性看待边界：难度系数高不等于全能冠军
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示CAP定理中一致性、可用性、分区容错性三者间的权衡关系，动态演示分布式系统在不同分区场景下的行为选择。

本节配有交互动效（进入视口后自动加载，约 3KB）。

CAP定理三元权衡 一致性(C)：所有节点同一时刻看到相同数据 可用性(A)：每个请求都能收到非错误响应 分区容错(P)：网络分区时系统仍能运作 CAP：分区时只能选C或A，三者不可兼得

专家级标准：给顶尖选手设的“难度系数”

跳水馆里，初学者练“直体入水”，省队练“向前翻腾两周半”，世界冠军则要挑战“反身翻腾四周半”。难度每高一级，对姿态、角度、入水的要求就苛刻一分。GPQA 的专家级难度，正是评测界给 AI 设下的一道极限动作。

这道极限动作长什么样？它可不是“唐朝的首都在哪里”这类常识题，而是“某种蛋白质在特定条件下如何折叠”“某个数学定理的边界条件能否放宽”这类需要研究生以上知识体系的深层问题。作答者得真正“懂”这个领域，而不是会检索、会背常识就行。

为了让“专家级”名副其实，GPQA 在选题上设置了明确的门槛：一名训练有素的领域专家，用充裕时间作答，正确率也只能到 80% 左右；而普通人哪怕努力推理，正确率也只有 34% 上下——接近多选题随机乱猜的水平。这 46 个百分点的落差，就是题目“专业纯度”的证明。

这道高难度系数动作，成了裁判们手里最锋利的一把尺——它只会奖励真正站上过那个高度的人。

pexpert≥0.8,pnovice≈0.34\displaystyle p_{expert} \geq 0.8,\quad p_{novice} \approx 0.34
这两个数字是 GPQA 的设计基线：专家答得出八成，非专家只能蒙对三成，题目难度天然“碾压”外行。
  1. 专家水平基准p_expert 表示本领域受过系统训练的专家答对该题的概率，GPQA 要求这个值不低于 0.8，即题目需要真才实学。
    pexpert\displaystyle p_{expert}
  2. 非专家对照p_novice 大约在 0.34，这与多选题随机猜测的期望相符，说明没有专业积累的人基本答不出。
    ≈0.34\displaystyle \approx 0.34
  3. 专业落差用 0.8 减去 0.34 得到约 0.46 的门槛，这道题把“懂行”和“不懂行”清晰地切开了。
    0.8−0.34≈0.46\displaystyle 0.8 - 0.34 \approx 0.46

区分细微差距：难度系数让巅峰分出高下

顶尖运动员的完成度几乎一样好，比赛的关键往往在于“你敢不敢上难度”。最优秀的 AI 模型用普通测试都是 95% 以上，你根本看不出谁更好；GPQA 把难度拉满，就是为了把巅峰与巅峰之间 0.1 分的差别，变成肉眼可见的差距。

普通评测为什么分不开这些模型？因为它们太简单，被顶级模型集体“满分饱和”，大家全部卡在上限附近。而 GPQA 的专家级题目，把顶级模型的正确率压到 40% 到 75% 的区间：第一梯队和第二梯队的模型，从“99% 对 98%”这种数字上几乎相同的成绩，变成“72% 对 61%”这种清清楚楚的落差。

衡量这种落差，统计上常用“效应量” d 值。它把两组均值的差，除以它们成绩的波动幅度，得到一个标准化的“区分力度”。当 d 值达到 0.8 以上，我们就说评测具有大效应——你真的能把强者和稍弱者分开。

难度系数越大的动作，完成瞬间的差距就越清楚——GPQA 要的正是这个“看得清”。

d=μ1−μ2σpooled\displaystyle d = \frac{\mu_1 - \mu_2}{\sigma_{pooled}}
效应量 d 回答的问题是：两个模型的差距，到底是“成绩波动造成的偶然”，还是“真实能力的鸿沟”。
  1. 均值差μ1 − μ2 是两个顶尖模型在一批题目上的平均正确率之差。普通基准上两者差值接近 0，专家级题目上差值才显现出来。
    μ1−μ2\displaystyle \mu_1 - \mu_2
  2. 合并波动σ_pooled 是把两组成绩的方差合起来取的标准差，代表成绩围绕平均值的波动程度。
    σpooled\displaystyle \sigma_{pooled}
  3. 标准化比例d 是均值差与波动的比值。比值越大，说明差距越真实；d ≥ 0.8 视为高强度区分。
    d=μ1−μ2σpooled\displaystyle d = \frac{\mu_1 - \mu_2}{\sigma_{pooled}}

防天花板效应：满分泛滥会让评测“失明”

如果跳水评分封顶 10 分且人人都是 10 分，金牌就只能靠抓阄决定。评测领域把这个现象叫“天花板效应”：当一个基准太简单，所有顶尖模型都撞到满分上限时，测量工具就彻底失灵了。

从信息的角度看，满分泛滥意味着“零信息量”：你看到每个模型都是 98%、99%，分数都好看，但你什么都没学到。信息论给了我们一把尺子——信息熵。当所有模型都答对时，某类结果出现的概率趋近于 1，熵值迅速坍缩到 0，评测失去了区分能力。

GPQA 刻意把难度提到“最优者也只拿七成正确率”的位置，让成绩分布充分散开，熵值保持在高位。熵越高，代表评测结果携带的信息越多，越能支撑我们做判断。

裁判不怕选手挑战高难度动作时失误，怕的是所有人动作太简单、全场都是满分——那比赛就失去了意义。

H=−∑ipilog⁡2pi\displaystyle H = -\sum_{i} p_{i} \log_2 p_{i}
信息熵衡量评测结果的“信息量”：全部满分时熵趋近 0，评测失效；成绩散开时熵升高，评测才有价值。
  1. 结果概率p_i 是第 i 类结果出现的概率。若所有模型都答对，某一类结果概率趋近 1，分布坍缩。
    pi\displaystyle p_i
  2. 信息量log₂ p_i 给单条结果赋值信息量——概率越高，单条结果携带的信息越少；概率低的结果出现，信息量反而大。
    log⁡2pi\displaystyle \log_2 p_i
  3. 熵合成对 p_i · log₂ p_i 求和并取负号，得到平均信息熵 H。H 越接近 0，评测越像“人人满分”的抓阄现场。
    −∑ipilog⁡2pi\displaystyle -\sum_{i} p_{i} \log_2 p_{i}

专家出题机制：难度系数不是自封的

一个跳水动作的难度系数，从来不是运动员自己喊出来的，而是由技术专家委员会认定、多位权威复核后才生效。GPQA 的专家级题目也一样，必须由“裁判委员会”出题和把关。

谁有资格当这个裁判？答案是具备博士级资质的领域专家。他们负责撰写题目，然后由另一位同等资质的专家进行交叉验证，确认两件事：第一，这题确实能答、答案有科学共识；第二，这题在网上搜不到现成答案——也就是 GPQA 名字里"Google-Proof"的含义。只有通过了两人背靠背审核的题目，才算合格。

这种“两个专家说了都算”的可靠性，在统计学上可以用 Cohen's kappa 系数衡量。κ 值表示两位专家的判断一致程度，扣除掉纯粹的随机巧合后还剩下多少。κ 越接近 1，说明“这题确实是专家级真问题”这件事越可信。

高难度动作有了权威认定，赛场上的成绩才作数；专家级题目有了双重审核，评测出的分数才可信。

κ=po−pe1−pe\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}
Cohen's kappa 是评价“专家一致性”的标准工具，GPQA 用它筛选出经得起双重检验的高质量题目。
  1. 观察一致率p_o 是两位专家对同一批题目“是否合格”给出相同判断的比例，代表实际的一致程度。
    po\displaystyle p_o
  2. 随机一致率p_e 是即使两位专家纯靠瞎猜，也会因巧合而一致的比例，是必须扣除的背景噪声。
    pe\displaystyle p_e
  3. 一致性净分κ 等于“实际一致性减去随机一致性”再除以“1 减去随机一致性”。κ 越接近 1，专家审核越可靠，题目质量越有保障。
    po−pe1−pe\displaystyle \frac{p_o - p_e}{1 - p_e}

评测信号方向：为前沿模型标出坐标

运动员和教练回看比赛录像，不只为看“谁拿了金牌”，更是为了决定“下一阶段的体能和动作往哪里练”。GPQA 专家级题目给出的，正是这样一张“研发路线图”。

当最先进的模型反复在某类专家级题目上失分，就等于把一块“技术短板”摆到了台面上。比如一个模型在 GPQA 的物理子集上系统性答错，研发团队就知道要在训练数据里补充物理领域的推理语料，或者调整推理链的强化策略。这种能力归因，是普通基准做不到的——因为普通任务大家都在及格线以上，短板会被淹没。

把正确率对模型代际求一个“进步速率 s”，可以量化地追踪研发进展：每个新版本在 GPQA 上都稳定提升几个点，说明技术路线在真突破；如果在普通基准上刷得飞快、在专家级上原地踏步，就要警惕“假进步”。

难度最高的动作一旦练成，赛场上的得分曲线自然会给出答案——分数不会说谎，方向也不会跑偏。

s=acct−acct−1Δt\displaystyle s = \frac{acc_t - acc_{t-1}}{\Delta t}
进步速率 s 把 GPQA 分数变成了一台“标尺”，让研发团队看得见每个版本是不是真的变强。
  1. 当前成绩acc_t 是第 t 代模型在 GPQA 专家级题目上的正确率，代表当前版本的极限表现。
    acct\displaystyle acc_t
  2. 版本间隔Δt 是两个模型版本之间的时间差或参数量提升的量级，用来把进步“归一化”。
    Δt\displaystyle \Delta t
  3. 进步斜率s 是正确率增量与间隔的比值。斜率大于 0 且稳定，说明专家级能力在持续提升。
    acct−acct−1Δt\displaystyle \frac{acc_t - acc_{t-1}}{\Delta t}

业界应用落点：给大模型做“极限体检”

国家队选材，不会只让你跑一百米，还会安排极限测试——看你在疲惫、高压、高难度动作面前会不会变形。企业的 AI 选型，也把这套“极限体检”搬了进来。

业界的模型评测体系正在分层：日常任务看普通基准，关键决策看专家级基准。当两个候选模型的常规跑分极其接近、都在 97%、98% 徘徊时，普通基准已经给不了决策信息；这时候，GPQA 专家级题目上的差距，就成了选择的天平上最有分量的砝码。

具体操作也很直白：定一个最小可检出差异 δ，只有当新模型 B 在 GPQA 专家级题目上的正确率比旧模型 A 高出至少 δ 时，才认定 B 确实更强。这个规则把“感觉 B 好像强一点”变成了“数据证明 B 在极限题目上超过 A”。

在最高难度的赛场上领先的人，才值得被选进国家队；在专家级题目上拉开差距的模型，才配得上企业的信任。

Δ=accB−accA≥δ\displaystyle \Delta = acc_B - acc_A \geq \delta
选型决策规则：候选模型 B 与现行模型 A 的 GPQA 专家级成绩差，必须跨越阈值 δ 才判定升级。
  1. 旧模型基线acc_A 是当前服役模型在 GPQA 专家级题目上的正确率，这是比较的出发点。
    accA\displaystyle acc_A
  2. 新模型成绩acc_B 是候选模型在同样一批专家级题目上的正确率，候选者必须在这个指标上挑战旧王。
    accB\displaystyle acc_B
  3. 显著性阈值δ 是决策用的最小有意义差值。只有 acc_B − acc_A ≥ δ，才认定新模型值得替换，避免“看着高一点就升级”的拍脑袋决策。
    Δ=accB−accA≥δ\displaystyle \Delta = acc_B - acc_A \geq \delta

理性看待边界：难度系数高不等于全能冠军

一位选手在超高难度动作上拿高分，不代表他每一项都能赢——跳水金牌得主未必跑得赢田径运动员。同样，GPQA 专家级分数高，也不等于模型在所有场景都优秀。

专家级题目数量天然有限，这就带来统计上的现实约束：样本量 n 小，实测正确率的波动就大。假设一个模型在 150 道题上答对了 60%，它的真实能力水平并不精确地等于 60%，而大概率落在 52% 到 68% 之间的一个区间里。所以，两三个百分点的分数差异，其实根本没有统计意义。

置信区间的公式帮我们把这层“滤镜”看得清清楚楚。n 越大的评测，区间越窄、越可信；n 越小的评测，分数越要谨慎解读。因此 GPQA 的正确用法是看趋势、看方向，而不是拿一次成绩去精确排座次。

难度动作只是能力的冰山一角，评委打分时有温度，我们看待 GPQA 分数也该有分寸——既敬畏它的专业门槛，也清楚它的测量边界。

CI=p^±z⋅p^(1−p^)n\displaystyle CI = \hat{p} \pm z \cdot \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}
置信区间告诉我们：题目数量有限时，实测分数是一个“区间”而非精确点。GPQA 分数高说明有实力，但别把 1% 的差距当神话。
  1. 样本正确率\hat{p} 是模型在一批 GPQA 题目上实测得到的正确率，比如 60%。
    p^\displaystyle \hat{p}
  2. 标准误√(\hat{p}(1−\hat{p})/n) 是标准误，n 越大它越小，说明成绩越稳定；n 越小它越大，成绩越靠运气。
    p^(1−p^)n\displaystyle \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}
  3. 区间放缩z 是置信水平对应的系数（95% 置信时 z≈1.96），把标准误放大成置信区间的半宽。例如 60%±8%，真实水平大概率落在这个范围内。
    p^±z⋅p^(1−p^)n\displaystyle \hat{p} \pm z \cdot \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}

AI 应用场景

大模型研发团队的版本回归评测

阶段：模型评测与迭代

解决的问题：团队每发一个版本都宣称“全面提升”，但普通基准的全在 95% 以上，根本看不出是真进步还是调参幻觉。GPQA 专家级题目能像高水平评委一样，把“看起来都很好”的版本分出真实的强弱。

具体案例：某大模型团队把 GPQA 专家级子集加入了长期回归套件，每两周跑一次。当 V8 比 V7 在普通任务上仅提升 0.3%、在 GPQA 上却提升 5.2% 时，团队确认推理能力出现了实质性突破，果断将该版本推向灰度发布。

企业 AI 选型的极限对比

阶段：模型选型与采购决策

解决的问题：医疗咨询、法律文书等高价值领域，候选模型日常跑分接近，采购方无法决策。GPQA 相当于一场高难度“奥运选拔赛”，用极限题目暴露普通跑分掩盖的能力差距。

具体案例：某医疗 AI 公司用 GPQA 的生物、化学专家级题目做准入测试，在罕见病问答子集上选出了明显占优的底座模型，上线后专业场景的错误响应率下降了 30% 以上。

前沿研究方向的短板定位

阶段：能力分析与数据规划

解决的问题：研发团队往往只知道模型“不够强”，却不知道短板具体在哪。GPQA 专家级题目按学科、按推理类型拆解成绩，相当于给模型做了一场全科体检。

具体案例：某团队通过 GPQA 逐学科错误归因，发现模型在物理推导题上系统性失败，于是针对性补充该领域高质量语料与推理链数据，两个季度后该子项正确率提升 9 个百分点。

Python 演示

python48 行
"""模拟 GPQA 专家级评测: 普通题库与专家级题库的区分度对比。"""import mathimport random  def accuracy(model_level, difficulty):    """给定模型能力水平与题目难度, 返回一次作答正确率。"""    logit = model_level - difficulty * 0.45    prob = 1.0 / (1.0 + math.exp(-logit * 6))    return max(0.0, min(1.0, prob + random.uniform(-0.02, 0.02)))  def cohens_d(group1, group2):    """两组得分的效应量 d: 衡量评测区分的力度。"""    m1 = sum(group1) / len(group1)    m2 = sum(group2) / len(group2)    v1 = sum((x - m1) ** 2 for x in group1) / len(group1)    v2 = sum((x - m2) ** 2 for x in group2) / len(group2)    sp = math.sqrt((v1 + v2) / 2)    return (m1 - m2) / sp if sp > 1e-9 else 0.0  def entropy(scores):    """评测结果的信息熵: 越接近0越说明评测失效。"""    total = sum(scores)    probs = [s / total for s in scores if s > 0]    return -sum(p * math.log2(p) for p in probs)  def main():    random.seed(42)    models = [0.98, 0.95, 0.92]          # 三个顶尖模型的潜在能力    print("模型能力(理论值):", models)    for difficulty, label in [(0.1, "普通题库"), (0.9, "GPQA专家级")]:        groups = []        for m in models:            groups.append([accuracy(m, difficulty) for _ in range(50)])        means = [sum(g) / len(g) for g in groups]        d = cohens_d(groups[0], groups[2])        ent = entropy(means)        print(f"\n[{label}] 难度={difficulty}")        print("  平均正确率:", [f"{x:.2f}" for x in means])        print(f"  效应量 d(最强 vs 最弱) = {d:.2f}")        print(f"  信息熵                 = {ent:.2f} 比特")  if __name__ == "__main__":    main()
目的：用数值模拟展示“普通题库几乎拉不开差距、GPQA 专家级题库让顶尖模型区分度剧增”的核心现象。
  1. prob = 1.0 / (1.0 + math.exp(-logit * 6))用 Sigmoid 函数把能力差异映射成 0~1 的答对概率，难度高时差距被放大。
  2. groups.append([accuracy(m, difficulty) for _ in range(50)])每个模型重复作答 50 次，模拟有限样本下的成绩波动。
  3. d = cohens_d(groups[0], groups[2])计算最强与最弱模型的效应量 d，数值越大说明评测区分度越高。
  4. ent = entropy(means)用信息熵量化评测结果的信息量，普通题熵低、专家级题熵高。
  5. if sp > 1e-9 else 0.0防止两组样本完全无波动时除以零，保证数值稳定性。

常见误区

误区很多人第一次看到 GPQA 高分率低，就以为它靠出偏题怪题难为人。觉得这就是“脑筋急转弯合集”，谁能想到谁赢。

正解GPQA 的难度来自专业深度的门槛，而不是题面怪异。像跳水高难度动作不是动作难看，而是技术精度极高——考察的是博士级知识体系内的深层推理，背后有明确的科学共识，方向是“难而正”，不是“难而偏”。

为何常见：我们平时接触的“难题”常等于“刁钻题”，于是拿经验去套专业评测，低估了知识纵深本身的分量。

误区看到模型在 GPQA 上拿到 80%，不少人会兴奋地宣布“AI 已经超过人类专家了”。觉得分数等于综合能力。

正解80% 只是人类专家的平均线，专项顶尖专家还能更高；而模型可能只在特定子集上表现好，换个学科方向立刻露馅。就像一位选手在某个高难度动作上拿满分，不代表他每一跳都是世界冠军。

为何常见：人们习惯把“考试成绩”等同于“整体水平”，忽略了统计上的多样性、子集差异和样本量波动。

误区拿到一个高 GPQA 分数，就认为这个模型在对话、代码、工具调用、多模态等所有维度都更强。

正解GPQA 是一条极窄但极深的赛道，偏向科学知识推理，不覆盖工程能力、安全对齐、创造性等维度。跳水冠军不一定是百米飞人，专家级高分只是综合实力的一块拼图。

为何常见：榜单文化让人习惯用单一数字给模型排座次，忽略了评测基准的适用范围。

误区既然 GPQA 这么厉害，日常评测干脆全换掉，只跑专家级题。

正解评测体系要分层。普通基准负责日常回归、抓低级退化和做快速迭代；GPQA 负责在顶峰时刻做终极裁决。没有哪个教练让运动员天天只练最高难度动作——基础动作崩了，高难度也跳不稳。

为何常见：人容易追捧“最高端”而忽略“最匹配”，其实评测工具的价值取决于你想回答什么问题。

误区拿某次 GPQA 分数给模型排精确名次，差 2% 就断定 A 比 B 强。

正解专家级题目的样本量 n 天然有限，置信区间可能宽达 ±8%。一次成绩只能反映“趋势区间”，站不住精确排名。就像一场比赛的成绩，不能代表运动员整个赛季的水平。

为何常见：人们渴望确定性的答案，而忘记统计规律——样本越小，单次观测越不可靠。

面试题

Q1. GPQA“专家级难度”的主要设计目的是什么？

单选题 · easy

  • A.提高题目文字阅读难度
  • B.区分顶级模型的细微差距← 正确答案
  • C.让普通用户也能轻松刷题
  • D.取代所有现有语言测评

答案：B。GPQA 的专家级难度就像跳水比赛的高难度系数动作，不是为了难倒人，而是为了在普通题全部满分时，仍然能把能力无限接近的顶级模型清晰分开。A 是表象误读，C 与设计目标相反，D 过于绝对。

Q2. 在 GPQA 基准中，受过训练的领域专家作答正确率大约是多少？

单选题 · easy

  • A.大约 34%
  • B.大约 50%
  • C.大约 80%← 正确答案
  • D.接近 100%

答案：C。GPQA 的设计基数是专家约 80%、非专家约 34%。专家也不能轻松满分，题目才有测上限的价值。34% 是非专家对照组的水平，50% 是常见混淆项，100% 则违背了专家级难度的初衷。

Q3. 天花板效应给模型评测带来的本质危害是什么？

单选题 · mid

  • A.模型遗忘已有知识
  • B.评测结果信息量趋零← 正确答案
  • C.训练数据出现冗余
  • D.干扰模型收敛速度

答案：B。当所有顶尖模型都在简单基准上满分饱和时，结果分布坍缩，信息熵趋近于 0，评测无法提供任何决策信息。这就像跳水比赛人人 10 分，裁判失去判断依据。A、C、D 描述的是训练与推理问题，与评测失效无关。

Q4. Cohen's kappa 系数在 GPQA 出题机制中的作用是什么？

单选题 · mid

  • A.衡量专家作答一致性← 正确答案
  • B.计算模型训练步数
  • C.评估题目的文字长度
  • D.预测模型推理耗时

答案：A。κ 用来衡量两位博士级审核专家对题目“是否合格、是否有共识答案”判断的一致性，是对出题质量的统计背书。它不参与模型训练、不评估文字、不预测耗时，B、C、D 都偏离了它在评测流程中的角色。

Q5. 效应量 d 达到 0.8 时，最合理的解读是什么？

单选题 · mid

  • A.两模型差距很小
  • B.评测区分度很大← 正确答案
  • C.题目难度太低
  • D.专家水平一致

答案：B。效应量 d 是均值差与合并标准差的比值，d=0.8 属于“大效应”，说明两个模型的成绩差距远超随机波动，评测能有效区分它们。A 是反向理解，C 与区分度无直接关系，D 混淆了被试与题目的概念。

Q6. 某模型在 150 道 GPQA 题上实测正确率 60%，其 95% 置信区间约为多少？

单选题 · hard

  • A.58% ～ 62%
  • B.52% ～ 68%← 正确答案
  • C.45% ～ 75%
  • D.30% ～ 90%

答案：B。标准误 SE=√(0.6×0.4/150)≈0.04，95% 置信度对应 z≈1.96，半宽约 0.078，即 ±7.8%。所以置信区间约 52%～68%。A 低估了样本波动，C、D 又过度放宽，都不是 150 道题应有的统计口径。

Q7. 将 GPQA 题量从 150 道增加到 600 道，标准误会变为原来的多少？

单选题 · hard

  • A.四分之一
  • B.二分之一← 正确答案
  • C.四倍
  • D.两倍

答案：B。标准误与样本量的平方根成反比：√(150/600)=√(1/4)=1/2。所以题量变成 4 倍后，标准误减半，评测更稳定。这解释了为什么专家级题目样本越充足，分数越有说服力。

Q8. GPQA 靠哪些机制保证“专家级难度”名副其实？

多选题 · mid

  • A.博士级专家编写题目← 正确答案
  • B.题目可由搜索引擎查到
  • C.同等专家交叉审核确认← 正确答案
  • D.题目来源于大众百科词条

答案：AC。GPQA 由博士级专家撰写、并由其他同等专家交叉验证，题目还有“防搜索”属性（Google-Proof），确保答案无法靠检索获得。B 与防搜索原则相反，D 的大众百科来源违背了专业深度门槛。

Q9. GPQA 专家级题目为前沿模型研发提供了哪些有价值的信号？

多选题 · hard

  • A.揭示模型知识短板← 正确答案
  • B.指引研发资源投入方向← 正确答案
  • C.消除模型训练开销
  • D.量化版本间的真实进步← 正确答案

答案：ABD。专家级题的高失分子集能暴露能力短板，研发团队据此调整数据配比与研究重点，同时用进步速率 s 量化版本间的真实提升。C 说“消除训练开销”不是评测的功能，评测只会暴露问题、不会直接削减成本。

Q10. 关于 GPQA 专家级难度的正确理解有哪些？

多选题 · mid

  • A.作答正确率显著低于普通人水平
  • B.能避免简单基准的满分饱和← 正确答案
  • C.题目数量少时置信区间更宽← 正确答案
  • D.分数高低等同于模型综合实力

答案：BC。GPQA 专家级题目把最优模型压到 40%～75% 区间，避开满分饱和；同时因题量有限，样本少时置信区间宽，分数要谨慎解读。A 说反了——专家级题目上专家正确率仍显著高于普通人；D 犯了“单指标定全能”的错误。