想象一座顶尖研究院，门口贴着一张叫“博识卷”的超级考卷：试卷上的题目连谷歌都搜不到现成答案，由生物、化学、物理等领域的博士生导师轮流命题。每年研究院都会让资深的“老研究员”和刚入门的“AI学徒”同时参加这场测试，看看谁更博学。这张试卷，就是AI圈里大名鼎鼎的GPQA；这场比拼，就是“专家vs AI”的基准评测。它像一面高清镜子，照出大模型在专业领域到底有几斤几两；又像一把刻度尺，量出人类专家和AI之间的真实距离。这篇文章会用通俗的故事，为你拆解GPQA的来龙去脉：它考什么、专家怎么答、AI怎么追，以及工程师如何用它守住模型上线的门槛。

岗位关联

对AI从业者：掌握GPQA评测思路，能让你在模型选型、迭代验证和上线安全评估中拥有一把“专家级”标尺，用可量化的方式回答“这个AI到底行不行”。

目录
  1. 可视化演示
  2. 什么是GPQA
  3. 试卷设计
  4. 专家基线
  5. AI表现
  6. 评估方法
  7. 数据挑战
  8. 工程应用
  9. 未来展望
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示GPQA评测中题目构造与同行验证专家评测AI评测三环节流程、生物学物理学化学三学科专家与AI准确率对比、以及CoT提示策略缩小AI与专家能力差距的边界演进。

本节配有交互动效（进入视口后自动加载，约 3KB）。

GPQA三环节评测 题目由专家撰写并同行验证 专家与AI按相同条件评测 2/3专家一致才入题 Google-proof确保测深度知识

什么是GPQA

博识卷是研究院的看门卷。它不是什么常识测验，而是收录了连研究生都要抓耳挠腮的专业题。GPQA的全称是Graduate-Level Google-Proof Q&A，直译为“研究生级别、谷歌防破解的问答基准”。它由纽约大学等机构的研究者提出，专门用来考察AI在深层专业推理上的能力。每一道题都是四选一的选择题，但答案往往需要跨步骤推理，光靠搜索引擎可翻不出来。正因为这层"Google-Proof"设计，它比普通常识题更能暴露模型的真实学识。

从比喻回到技术：GPQA中的“Graduate-Level“意味着题目面向研究生及以上水平，而不是小学生百科问答；”Google-Proof“意味着题目经过筛选，无法通过简单搜索锁定答案；”Q&A“则表明评测形式是问答。每道题都配有专家标注的正确答案，整份试卷的目标，就是成为衡量大模型”专家级知识”的稳定标尺。

在实际评测中，最核心的指标是准确率：模型答对的题数占总题数的比例。

理解了博识卷的出身，我们才能理解它为何能成为AI界的“硬核考场”。

Accuracy=NcorrectN×100%\displaystyle \text{Accuracy} = \frac{N_{\text{correct}}}{N} \times 100\%
这个公式就是“得分率”：在100道题里答对74道，准确率就是74%。
  1. 分子 N_correct模型答对的题目数量，统计时把预测答案与标准答案逐题比对。
    Ncorrect=∑i=1N1[y^i=yi]\displaystyle N_{\text{correct}} = \sum_{i=1}^{N} \mathbf{1}[\hat{y}_i = y_i]
  2. 分母 N试卷的总题数，也就是参与评分的全部题目。
    N=Ncorrect+Nwrong\displaystyle N = N_{\text{correct}} + N_{\text{wrong}}
  3. 换算百分比把答对比例乘以100%，得到直观的百分制得分。
    Accuracy=NcorrectN×100%\displaystyle \text{Accuracy} = \frac{N_{\text{correct}}}{N} \times 100\%

试卷设计

博识卷不止一门，而是“分考场”：生物、化学、物理各自成卷，再汇总成总成绩。研究院之所以这样设计，是为了避免AI靠偏科蒙混过关。GPQA的题目构造非常讲究：题目由领域博士编写，每题不仅要有确定答案，还要保证“不能通过词频匹配或简单常识直接蒙对”。

从比喻到细节：GPQA的各学科题目数量大致均衡，形成可比较的“学科权重”。比如化学板块的题量占比高，模型在化学上的表现就会更显著地影响总成绩。这样设计的好处是，如果某个模型只擅长文科推理，在物理板块就会明显露馅。同时题目难度也做了分层：既有基础题，也有大量需要组合多个知识点的难题，让“半吊子”模型无所遁形。

学科权重的计算方式是“该学科题数 ÷ 总题数”。

像研究院分科命题一样，GPQA用学科权重确保AI必须“门门都懂”，而不是靠一科拉满总分。

wi=niN\displaystyle w_i = \frac{n_i}{N}
权重越大，说明这门学科在总分中越有话语权。
  1. n_i第 i 个学科的题目数量，例如化学板块的题数。
    ni=学科i 的题目数\displaystyle n_i = \text{学科}_{i} \text{ 的题目数}
  2. N所有学科题目总数，即各学科题数之和。
    N=∑i=1Kni\displaystyle N = \sum_{i=1}^{K} n_i
  3. 权重比用该学科题数除以总数，得到它在总成绩中的占比。
    wi=niN\displaystyle w_i = \frac{n_i}{N}

专家基线

老研究员的平均分，是研究院的“录取分数线”。没有参照系，AI考80分还是考20分都没有意义；把人类专家请上场，分数就有了灵魂。GPQA的发布者招募了多个领域的专业博士及博士生参加测试，获得了一个人类专家基准：在开放检索等受限条件下，专家整体正确率约74%，部分设置下可达81%。

这个“专家基线”不是标准答案，而是一群专业人类在同样条件下取得的平均表现。它像一把尺子的零点：AI的分数高过它，就说明在“博识卷”上已经具备专家级表现；低于它，则说明还有差距。更重要的是，专家基线在不同学科上会浮动——化学专家整体得分可能高于历史学科，因此对比时要看同一学科的专家分。

计算专家基线的核心动作是“求平均”：把所有专家得分加起来，除以专家人数。

有了这条用真人研究员的汗水画出的分数线，AI的考分才终于“有了锚点”。

μ=1n∑j=1nxj\displaystyle \mu = \frac{1}{n}\sum_{j=1}^{n} x_j
专家基线的数学含义就是一组专家准确率的算术平均。
  1. n参与测试的专家人数，人数越多基线越稳定。
    n=#{专家}\displaystyle n = \#\{ \text{专家} \}
  2. x_j第 j 位专家的答对率，取值在0到1之间。
    xj=第 j 位专家答对数总题数\displaystyle x_j = \frac{\text{第 } j \text{ 位专家答对数}}{\text{总题数}}
  3. 算术平均所有专家得分相加后除以人数，得到群体的平均水平。
    μ=1n∑j=1nxj\displaystyle \mu = \frac{1}{n}\sum_{j=1}^{n} x_j

AI表现

AI学徒们一届比一届成绩好，试卷上的答对率曲线像竹子一样往上蹿。早期GPT-4在GPQA上表现约39%，连及格线都够不着；后来Claude 3.5 Sonnet冲到了约59%；再后来一些前沿模型达到78%以上，惊险跨过了专家基线。这说明AI在一张“谷歌都搜不到答案”的考卷上，已经逐步摸到了专家水平。

技术上的关键指标是“人机差距”：AI准确率减去专家基线。差值为正，意味着AI在该评测中超过参考专家群体；差值为负，说明还有距离。值得注意的是，AI的超线往往集中在特定学科，在需要抽象物理推理的题目上依然会掉链子，呈现明显的偏科特征。

人机差距的计算非常简单直接。

从“望尘莫及”到“惊险追平”，AI学徒的进步肉眼可见，但还没有到“稳坐头把交椅”的程度。

Δ=pAI−pexpert\displaystyle \Delta = p_{\text{AI}} - p_{\text{expert}}
差值就是AI与专家基线之间的“距离差”：正数代表反超，负数代表落后。
  1. p_AI待测AI模型在GPQA上的准确率，反映其整体水平。
    pAI=AI 答对数总题数\displaystyle p_{\text{AI}} = \frac{\text{AI 答对数}}{\text{总题数}}
  2. p_expert人类专家基线的准确率，作为参照分数线。
    pexpert=μ\displaystyle p_{\text{expert}} = \mu
  3. 差值两者相减，符号和大小共同说明AI所处的位置。
    Δ=pAI−pexpert\displaystyle \Delta = p_{\text{AI}} - p_{\text{expert}}

评估方法

阅卷人不会只看总分，还要检查AI是不是“蒙得离谱”——如果它对不确定的题也信心爆棚，就是“校准度”差。GPQA对比不光报告准确率，还会看模型对每个选项的置信度是否和真实正确率匹配。一个模型在80%置信度的题目上真的能答对80%，我们就说它校准良好。

技术实现上，常用指标是期望校准误差（ECE）。做法是把题目按模型给出的置信度分成若干个桶，比如0%-10%一桶、10%-20%一桶……然后计算每个桶内“真实正确率”与“平均置信度”的差距，再按桶的大小加权求和。ECE越小，说明模型的“自我感觉”越可靠；ECE越大，说明它要么过度自信，要么过于保守。

像监考老师既要看对错也要看答题神态，校准度防止AI在考场上“虚张声势”。

ECE=∑m=1M∣Bm∣N∣acc(Bm)−conf(Bm)∣\displaystyle \text{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{N} \left| \text{acc}(B_m) - \text{conf}(B_m) \right|
ECE衡量的是“说的准头”和“做的准头”之间的偏差，偏差越小越靠谱。
  1. B_m按置信度分桶后第 m 个桶内的题目集合。
    Bm={题∣conf∈[m−1M,mM)}\displaystyle B_m = \{ \text{题} \mid \text{conf} \in [\textstyle\frac{m-1}{M}, \textstyle\frac{m}{M}) \}
  2. 权重 |B_m|/N该桶题目数占总题数的比例，题目多的桶影响更大。
    ∣Bm∣N\displaystyle \frac{|B_m|}{N}
  3. 偏差项桶内真实正确率与平均置信度的绝对差，衡量“自评误差”。
    ∣acc(Bm)−conf(Bm)∣\displaystyle \left| \text{acc}(B_m) - \text{conf}(B_m) \right|
  4. 加权求和把所有桶的偏差加权累加，得到整体的校准误差。
    ECE=∑m=1M∣Bm∣N∣acc(Bm)−conf(Bm)∣\displaystyle \text{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{N} \left| \text{acc}(B_m) - \text{conf}(B_m) \right|

数据挑战

考场最怕“押题班”泄题——如果AI在训练时已经见过试卷，分数就成了美化过的谎言。GPQA强调“Google-Proof“，正是为了对抗数据污染。随着模型训练语料越滚越大，测试题可能被爬虫抓进语料库，导致模型”背答案“而非”会推理”。

数据污染的本质是“训练集与测试集重叠”。如果模型在预训练时见过某道题，它可能直接记住答案，而不是通过推理得出。因此，评测界用“污染率”来量化风险：有重叠的题数占总题数的比例。污染率越高，评测分数的可信度越低。GPQA社区会定期做查重、限制测试题公开传播，并要求模型厂商上报刷分情况。

研究院为了杜绝作弊，会不断翻新试卷、限制传播；GPQA社区也在用“动态出题 + 时间隔离”给押题班降温。

ρ=NleakedN\displaystyle \rho = \frac{N_{\text{leaked}}}{N}
污染率就像被押题班泄露的题目占比，占比越高，分数越“注水”。
  1. N_leaked与训练语料发生重叠的题数，即模型可能见过的题。
    Nleaked=#{题∣与训练语料重叠}\displaystyle N_{\text{leaked}} = \#\{ \text{题} \mid \text{与训练语料重叠} \}
  2. N测试集总题数，包含干净题与被污染题。
    N=Nleaked+Nclean\displaystyle N = N_{\text{leaked}} + N_{\text{clean}}
  3. 污染率被污染题占总题数的比例，用于评估分数可信度。
    ρ=NleakedN\displaystyle \rho = \frac{N_{\text{leaked}}}{N}

工程应用

研究院用录取线决定谁可以进门，工程团队用GPQA决定哪个模型可以上线。具体实践有三类：第一，模型选型时把候选模型的GPQA成绩与专家基线对比，达不到最低阈值就放弃；第二，迭代验证时每次训练完都跑一遍GPQA回归，看有没有“知识倒退”；第三，安全红线场景中，对于需要专业判断的任务，要求模型准确率显著高于专家基线才允许发布。

在工程上，这对应一个简单的阈值决策：模型准确率超过设定的门槛θ就部署，否则打回。门槛θ通常参考专家基线并加上一个业务裕量。医疗、金融等高风险场景会把θ定得更高，而普通聊天场景则可相对放宽。

就像研究院宁可多考几轮也不放水，工程团队用GPQA守住模型上线的“招生门槛”。

Decision={deploy,pAI≥θreject,pAI<θ\displaystyle \text{Decision} =\begin{cases}\text{deploy}, & p_{\text{AI}} \ge \theta \\\text{reject}, & p_{\text{AI}} < \theta\end{cases}
这个分段函数就是“上线开关”：分值达到门槛就放行，达不到就返工。
  1. p_AI模型在GPQA上的准确率，作为能力凭证。
    pAI=AI 答对数总题数\displaystyle p_{\text{AI}} = \frac{\text{AI 答对数}}{\text{总题数}}
  2. 阈值 θ业务方设定的上线门槛，通常以专家基线为参照。
    θ=pexpert+δ\displaystyle \theta = p_{\text{expert}} + \delta
  3. 决策规则用条件判断决定部署还是拒绝。
    Decision=deploy if pAI≥θ\displaystyle \text{Decision} = \text{deploy} \text{ if } p_{\text{AI}} \ge \theta

未来展望

博识卷不是一张死试卷，会随新学科和新考点持续翻新。GPQA的未来方向包括：动态题库——每次考试都换新题，让押题无从下手；人机协同评测——让专家参与出题与复核，保证题目质量；跨学科综合——不仅考单科，还考知识与知识的缝合能力；自适应测试——根据模型强弱动态调整题量，让测评更高效。

在方法层面，未来评测会更强调“加权综合分”：不同学科或能力维度按权重合成一个总成绩。这样可以避免单一排行榜带来的“偏科刷分”。

不断进化的试卷，才能让专家与AI的比试真正“赛出水平，赛出风格”。

S=∑i=1Kwisi\displaystyle S = \sum_{i=1}^{K} w_i s_i
加权总成绩 = 各维度得分 × 各维度权重的累加，让综合能力说话。
  1. w_i第 i 个学科的权重，来自该学科的题量占比。
    wi=niN\displaystyle w_i = \frac{n_i}{N}
  2. s_i模型在该维度上的得分率，例如某学科准确率。
    si=维度i 答对数维度i 题数\displaystyle s_i = \frac{\text{维度}_{i} \text{ 答对数}}{\text{维度}_{i} \text{ 题数}}
  3. 加权总成绩各维度得分乘权重后累加，得到综合分。
    S=∑i=1Kwisi\displaystyle S = \sum_{i=1}^{K} w_i s_i

AI 应用场景

模型版本迭代大考

阶段：模型评测与回归

解决的问题：团队无法靠人工答题跟踪每个版本是否变聪明。传统方式用有限人工案例，费时且不稳定；GPQA提供固定考卷 + 专家基线，自动跑分，几分钟就能看出知识是否倒退。

具体案例：某大模型团队在每个里程碑版本跑一遍GPQA题库，并对比专家基线74%。某候选版本在物理题目上准确率从60%降到52%，团队立即定位到该版本在物理数据上训练不足，于是回炉重训。

上线安全门槛

阶段：发布前风控评估

解决的问题：专业领域AI如果给出错误答案，可能误导用户。传统方式靠人工抽检，覆盖面太小；GPQA作为“守门卷”，模型必须达到业务定制的阈值才准上线。

具体案例：某医疗问答产品设定GPQA相关专业子集准确率≥70%的硬性指标。候选模型在该子集只拿到63%，产品经理决定延后发布，等待下一个迭代版本。

第三方评测报告

阶段：横向对比选型

解决的问题：企业选模型时，各家都说自己强，难以直接量化对比。传统方式用demo轮流演示，主观因素多；统一在GPQA上跑分，能形成可复制的对比报告。

具体案例：某金融机构用GPQA对三家大模型做盲测，A模型准确率68%，B模型72%，C模型60%。结合成本后，机构选择B作为文档问答底座，并把评测方法写入采购说明供监管审查。

Python 演示

python45 行
import randomfrom collections import Counter  class GPQAEvaluator:    def __init__(self, total=100):        self.total = total        self.questions = list(range(total))     def expert_answer(self, seed=42, acc=0.74):        rng = random.Random(seed)        return [1 if rng.random() < acc else 0 for _ in self.questions]     def ai_answer(self, seed=2024, acc=0.62):        rng = random.Random(seed)        return [1 if rng.random() < acc else 0 for _ in self.questions]     def evaluate(self, expert, ai):        total = self.total        expert_acc = sum(expert) / total        ai_acc = sum(ai) / total        agree = sum(1 for e, a in zip(expert, ai) if e == 1 and a == 1)        expert_only = sum(1 for e, a in zip(expert, ai) if e == 1 and a == 0)        ai_only = sum(1 for e, a in zip(expert, ai) if e == 0 and a == 1)        return {            "expert_acc": round(expert_acc, 3),            "ai_acc": round(ai_acc, 3),            "agree_correct": agree,            "expert_only": expert_only,            "ai_only": ai_only,            "delta": round(ai_acc - expert_acc, 3),        }  def main():    evaluator = GPQAEvaluator(total=100)    expert = evaluator.expert_answer()    ai = evaluator.ai_answer()    report = evaluator.evaluate(expert, ai)    print("GPQA expert vs AI report")    print(report)  if __name__ == "__main__":    main()
目的：模拟一个简化版GPQA评测实验——让人类专家和AI在100道题上分别作答，然后对比准确率、共同答对数、单方答对数以及人机差距。
  1. class GPQAEvaluator:定义评测器，相当于搭建考场。
  2. self.total = total保存题目总数，后续所有统计都围绕它展开。
  3. def expert_answer(self, seed=42, acc=0.74):模拟专家答题，默认准确率与真实专家基线相近。
  4. rng = random.Random(seed)用固定随机种子，保证实验结果可复现。
  5. return [1 if rng.random() < acc else 0 for _ in self.questions]按准确率逐题生成“对/错”序列。
  6. def evaluate(self, expert, ai):核心对比方法，专门计算双方的交集与差距。
  7. expert_acc = sum(expert) / total计算专家准确率，是基线分数。
  8. expert_only = sum(1 for e, a in zip(expert, ai) if e == 1 and a == 0)统计“只有专家答对”的题数，捕捉AI的盲区。
  9. "delta": round(ai_acc - expert_acc, 3)计算人机准确率差值，正数代表AI领先。
  10. if __name__ == "__main__":程序入口，让脚本能被直接运行。

常见误区

误区GPQA那么难，AI能考到78%甚至超过专家，是不是说明它马上能在所有领域当专家了？

正解GPQA只覆盖若干学科的四选一题，且题目经过专家筛选。它考的是“博识卷”上的分科知识，不等于真实研究能力、多步编程、复杂对话或动手实验。就像一位学生竞赛拿奖，能说明他解题强，但还不能说明他能做好科研项目。

为何常见：媒体宣传常把“AI超过专家”简化为“AI全面超越人类”，让人误以为一项高分就是全能证书。

误区专家基线74%就是绝对真理，AI分数超过74%，就等于比所有人类专家都强。

正解专家基线是特定批次专家在限定条件下的平均分，不同专业组、不同资料检索条件会浮动，而且专家也会答错，基线本身有方差。超过一条有噪声的分数线，只代表“在该设置下表现超过参考专家群体均值”，不代表“全面碾压人类”。

为何常见：基准报告习惯把专家基线画成一条简单直线，人们容易把平均值当成不可动摇的标准答案。

误区模型在评测时没有联网搜索，所以它的GPQA分数一定反映了真实推理能力。

正解数据污染发生在训练期——测试题若混入预训练语料，模型相当于提前背过答案，根本不需要推理。GPQA的"Google-Proof"设计只能降低污染风险，不能完全杜绝，因为训练语料通常不公开，查重很难彻底。

为何常见：工程师容易把“测试时不联网”和“训练时没见过题”混为一谈，忽略了污染藏得更深。

误区准确率高就万事大吉，模型对答案有没有信心不重要。

正解准确率相同的两个模型，一个可能对每道题都信心爆棚却错一半，另一个在拿不准时诚实给出低置信度。后者在实际产品中更安全，因为它不会把“不懂装懂”的错误传给用户。校准度（ECE）就是衡量这种“诚实度”的指标。

为何常见：排行榜默认按准确率排序，工程师很容易被单一数字牵着走，忘了看模型的自评可靠性。

误区GPQA分数是模型能力的最终定论，测完一次就能用很久。

正解模型迭代和训练语料扩张会让旧题逐渐被污染，需要动态更新题库；单次测试也有抽样误差，应多次采样并报告置信区间。把单次得分当成“身份证号”，会在后续版本判断上犯大错。

为何常见：排行榜文化让人习惯“一次打分定终身”，忽略了评测本身也是要持续维护的工程。

面试题

Q1. GPQA全称中"Google-Proof"的含义是什么？

单选题 · easy

  • A.谷歌搜索引擎专用
  • B.题目难以靠搜索直接找到← 正确答案
  • C.谷歌官方推出的认证
  • D.只允许使用谷歌检索

答案：B。“Google-Proof“的意思是题目被设计成无法通过简单搜索找到现成答案，这正是GPQA强调专业推理的体现。A、C、D都把谷歌理解成”工具或来源“，偏离了”防搜索”的本质。

Q2. GPQA采用哪种题目形式？

单选题 · easy

  • A.编程算法题
  • B.四选一选择题← 正确答案
  • C.开放写作题
  • D.填空题

答案：B。GPQA是标准的四选一选择题，这样设计便于大规模自动评分和统计准确率。开放写作和填空都需要人工阅卷，难以标准化，所以不选。

Q3. 在GPQA评测中，人类专家基线的准确率通常约为多少？

单选题 · easy

  • A.四成左右
  • B.七成以上← 正确答案
  • C.五成持平
  • D.接近满分

答案：B。GPQA原始研究中，人类专家在限定条件下的整体准确率约74%，部分设置下可达81%。“四成”更像早期AI的表现，“接近满分”则高估了人类，因此选B。

Q4. 以下哪种情况属于“数据污染”？

单选题 · mid

  • A.模型输出格式混乱
  • B.测试题混入训练语料← 正确答案
  • C.专家判卷出现分歧
  • D.题目答案标注错误

答案：B。数据污染特指测试题在训练阶段被模型见过，导致它“背答案”而不是“会推理”。输出格式、判卷分歧、标注错误都属于质量问题，不叫数据污染。

Q5. GPQA评测中，下列哪些是重点关注的评估指标或设计要素？

多选题 · mid

  • A.答题准确率← 正确答案
  • B.置信校准度← 正确答案
  • C.产品用户量
  • D.学科覆盖度← 正确答案

答案：ABD。GPQA用准确率做核心得分，用校准度看模型自评是否可靠，用学科覆盖保证不偏科。用户量是商业指标，与模型知识评测无关。

Q6. 期望校准误差（ECE）衡量的是什么？

单选题 · mid

  • A.模型推理的耗时
  • B.置信度与真实正确率匹配程度← 正确答案
  • C.题目难度的波动
  • D.模型参数量大小

答案：B。ECE把题目按置信度分桶，比较每个桶内真实正确率与平均置信度的偏差。它回答的是“模型说的把握准不准”，与速度、难度、参数量无关。

Q7. 应对GPQA数据污染的有效策略有哪些？

多选题 · mid

  • A.动态生成新题← 正确答案
  • B.训练与评测时间隔离← 正确答案
  • C.缩减测试题总量
  • D.对公开刷分进行标注← 正确答案

答案：ABD。动态出题让押题班失效，时间隔离保证新题不被提前爬入训练集，标注刷分情况可警示模型厂商。缩减题量反而会降低评测稳定性，不能解决问题。

Q8. 某模型在GPQA上准确率78%，专家基线74%，最合理的解读是什么？

单选题 · hard

  • A.模型已全面超越所有人类专家
  • B.该设置下AI超过参考专家群体均值← 正确答案
  • C.说明专家基线完全失效
  • D.证明测试题一定严重泄露

答案：B。78%只是在该评测设置下超过了参考专家群体的平均分74%，不能外推为“全面超越”。基线有抽样误差，也不能因为AI超过就判定失效；题面没有泄露证据，不能妄断D。

Q9. 关于GPQA专家基线，下列说法正确的有哪些？

多选题 · hard

  • A.存在抽样误差← 正确答案
  • B.不同学科表现会有差异← 正确答案
  • C.永远固定不变
  • D.由非专家人群测得

答案：AB。专家基线来自一批特定专家，样本量有限，所以有抽样误差；不同学科专业难度不同，表现也会不同。它并非永远固定，且只来自专家而非非专家群体，因此C、D错误。

Q10. 在加权总分公式 S = Σ w_i s_i 中，w_i 代表什么？

单选题 · extreme

  • A.第 i 题的难度系数
  • B.第 i 个学科的题量占比← 正确答案
  • C.模型的参数量
  • D.训练总步数

答案：B。w_i 是权重，通常取自该学科题量 n_i 占总题数 N 的比例，即 w_i = n_i/N。它决定该学科对总分的贡献，而不是单题难度、模型规模或训练步数。