想象你是一届国际跳水大赛的技术总监，手里拿着一张空白评分表，面前坐着两位风格迥异的裁判。一位是留着山羊胡、翻了几十年规则手册的老裁判陈Sir，他打分谨慎、眼里揉不得沙子；另一位是刚入职的AI评分终端，永远精神抖擞，一秒能看完全部参赛录像。今天的特殊任务是：不评运动员，先给这两位裁判做一次「上岗体检」。我们要考察三件事——他们背靠背给同一个动作打出的分数能不能对得上？对不上的时候到底谁更接近真相？请他们来执裁的成本差多少？这一套「裁判体检」流程，就是本篇文章的主角：LLM-as-Judge，即「让大语言模型充当评委」的评测方法论。它要回答一个灵魂拷问：让AI来评价AI生成的内容，靠谱吗？答案不仅藏在两位裁判的计分牌上，也藏在他们每次分歧和握手言和的瞬间里。

岗位关联

学会这套「人类 vs LLM 裁判对比评估」方法，你就能在一线做模型评测、红队测试和自动化评估流水线时，底气十足地回答「这个AI裁判的分数可信吗」，并设计出既高效又公平的评估方案。

目录
  1. 可视化演示
  2. 评判一致性
  3. 分歧案例分析
  4. 成本效率对比
  5. 协同评估方案
  6. 偏差矫正手段
  7. 评测框架设计
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

三步展示LLM-as-Judge核心机制：LLM裁判与人类专家一致性对比、pairwise/单答/参照三种裁判方式、以及换位/集成/链式偏差缓解技术。

本节配有交互动效（进入视口后自动加载，约 3KB）。

LLM vs 人类一致性 LLM: 自动裁判 人类：专家评判 一致：比率验证 Agreement 验证自动裁判有效性。

评判一致性

体检的第一项，是让两位裁判背靠背打分。所谓「背靠背」，就是陈Sir和AI评分终端各自关在小屋里，谁也不知道对方打了几分，对同一条运动员的录像给出1到10分的评价。体检报告上最重要的一项指标，叫作「一致性」，即在多少比例的样本上，两位裁判给出的分数完全相同。

如果AI裁判和陈Sir的一致率达到80%，我们能不能宣布AI裁判可以正式上岗、全面取代人类裁判？还不行。因为一致率里混着「运气成分」——如果双方都习惯于打7分或8分，即便对动作好坏毫无判断也能碰出高分一致率。为此，统计学给裁判体检准备了一把更精确的尺子：Cohen's Kappa 系数。它把「因碰巧预测而产生的一致」从观测一致率中扣除，得到「净一致程度」。

体检第一项结论：一致性是AI裁判信任度的地基。真实世界里，Facebook 的 Llama 系列评测、OpenAI 的 ChatGPT 评估测试等，都先把「人类与LLM打分的一致性检验」放在方法论的第一章，像给新裁判发执照前先考「同步打分资格」。

κ=Po−Pe1−Pe\kappa=\frac{P_o-P_e}{1-P_e}
Kappa 系数越大，说明两位裁判的默契越不依赖运气；通常超过0.6就算「显著一致」，超过0.8则接近「几乎完全一致」。
  1. 观测一致率 \(P_o\)两位裁判对同一批样本打出相同分数的比例，也就是最朴素的一致率。
    Po=打分一致的样本数NP_o=\frac{\text{打分一致的样本数}}{N}
  2. 期望一致率 \(P_e\)假设两人完全凭运气、各自按自己习惯的分数段随意打分时，「瞎猫碰上死耗子」式的一致比例，由两人打分分布的乘积加和得到。
    Pe=∑kpk(H)×pk(L)P_e=\sum_{k} p_k^{(H)}\times p_k^{(L)}
  3. Kappa 净一致率把运气造成的假一致从观测一致率中扣除，剩余的才是「真默契」。
    κ=Po−Pe1−Pe\kappa=\frac{P_o-P_e}{1-P_e}

分歧案例分析

体检第二项，是把两位裁判请到同一间会议室，让他们就那些「打分不一致」的样本逐条复盘，找出争吵的根源。体检表上，分歧可以粗略地记为平均绝对差：把每条样本上两位裁判打分之差的绝对值取平均。这个值越大，说明两人的「口味」越不对付。

那哪些样本最容易让陈Sir和AI裁判吵起来？第一类是边缘模糊样本——回答对不对模棱两可，好处坏处各占一半；第二类是上下文缺失场景——回答本身是对的，但缺少解释过程，陈Sir认为「做题要写步骤」，AI裁判觉得「答案对就行」；第三类是风格偏好，陈Sir偏爱简洁老练，AI裁判容易迷恋辞藻华丽的回答；第四类是逻辑陷阱，AI裁判可能被一段看似流畅实则偷换概念的推理带偏，而陈Sir能敏锐嗅出不对劲。

体检第二项结论：分歧清单是AI裁判使用手册里「注意事项」的来源。实践中，研究者会把分歧最大的样本挑出来做人类复盘，并沉淀成「评测集的困难子集」，用来持续敲打新一代模型的短板——就像老裁判会挑出运动员的失分动作做针对性训练。

MAD=1N∑i=1N∣Hi−Li∣\text{MAD}=\frac{1}{N}\sum_{i=1}^{N}|H_i-L_i|
MAD 度量两位裁判平均每条的「撕扯程度」：0 表示完全同上同下，数值越大，说明分歧越普遍。
  1. 单条分歧量\(|H_i-L_i|\) 是第 \(i\) 条样本上人类打分与LLM打分之差的绝对值，保证不会因为正负相消而掩盖分歧。
    ∣Hi−Li∣|H_i-L_i|
  2. 平均分歧度把 N 条样本的分歧量加总后除以 N，得到平均每条样本的分歧程度，即 MAD。
    1N∑i=1N∣Hi−Li∣\frac{1}{N}\sum_{i=1}^{N}|H_i-L_i|

成本效率对比

体检第三项，是场外财务部的核算。请动陈Sir这样一位资深人类裁判，一小时时薪不菲，而且他看十几条样本就需要休息，精神高度集中时一天最多审上百条。反观AI评分终端，租用费用按token计费，一条样本的成本经常是几厘钱，还能开一百个并发实例同时工作，一晚上就能评完十万条回答。

当然，成本效率要放在「同等质量」的前提下比较。人类裁判的时间成本高但质量天花板也高；AI裁判的优势在于边际成本极低、吞吐量极高。一个常用的对比指标是「单位样本成本比」：LLM打分成本除以人类打分成本。当规模化评测时，这个比值往往能低至几十分之一。

体检第三项结论：成本效率是AI裁判的杀手锏。这就是为什么工业界在机器翻译评测、客服对话质量巡检、大模型日常回归测试中都敢跑成千上万条样本，而过去找人类专家打一千条分可能就得花掉一周预算。

R=CLLMCHuman=p×tw×dR=\frac{C_{LLM}}{C_{Human}}=\frac{p\times t}{w\times d}
当 \(R<1\) 时，说明用 LLM 打一条分的成本低于人类专家；样本量越大，节省越可观。
  1. LLM 单条打分成本分子 \(p\times t\)，其中 \(p\) 是每千 token 的 API 单价，\(t\) 是裁决一条样本平均消耗的 token 数。
    CLLM=p×tC_{LLM}=p\times t
  2. 人类单条打分成本分母 \(w\times d\)，其中 \(w\) 是专家时薪，\(d\) 是打完一条样本平均耗时。
    CHuman=w×dC_{Human}=w\times d
  3. 成本比两者相除得到 \(R\)，它量化了「AI裁判比人类专家便宜多少倍」。
    R=CLLMCHumanR=\frac{C_{LLM}}{C_{Human}}

协同评估方案

既然两位裁判各有长短，体检的第四项就是设计「组队战术」：不是让AI裁判取代陈Sir，而是让他们配合上岗。最常用的方案是双裁判制：AI裁判负责海量初筛，把全部样本快速过一遍；人类专家只复核两类样本——AI裁判打出低分的，以及AI裁判与预期严重偏离的。这样既享受了AI的吞吐量，又守住了人类的判断力。

组队还需要「仲裁机制」：当两位裁判的意见水火不容时怎么办？可以引入第三位资深评委表决，或者用加权融合公式折中。加权融合的思路是给两位裁判各分配一个信任权重：如果校准结果显示AI裁判在某种任务上特别靠谱，就给它的权重调高；反之则压低。权重本身可以通过一个小型校准集来拟合，让融合分与已知答案的误差最小。

体检第四项结论：人机协同不是「二选一」，而是「分工+仲裁」。目前各大模型榜单（如 AlpacaEval、MT-Bench）的实践都走这条路子：先让LLM自动打分，再把关键分歧提交人类专家复核。就像跳水比赛的「技术裁判组」——AI是实时计分系统，而人类是最终签发成绩的裁判长。

Si=w×Li+(1−w)×HiS_i=w\times L_i+(1-w)\times H_i
融合分是 LLM 分与人类分的加权平均：\(w\) 越大越信任 AI 裁判，\(w=0.5\) 时两者各占一半话语权。
  1. 两位裁判各自打分\(L_i\) 是 LLM 裁判在第 \(i\) 条样本上的分数，\(H_i\) 是人类裁判的分数。
  2. 权重分配\(w\) 是 LLM 得分的权重，介于 0 到 1 之间，\((1-w)\) 自然就是人类得分的权重。
  3. 加权求和将双方分数按权重混合，得到这条样本的最终融合分 \(S_i\)。
    Si=w×Li+(1−w)×HiS_i=w\times L_i+(1-w)\times H_i

偏差矫正手段

体检的第五项，是给AI裁判做「心理CT」，找出它藏在评分习惯里的职业病。学界发现LLM裁判至少有三类系统性偏差。第一类是位置偏差：两个候选答案，谁排在前面，它就更容易给谁高分，像观众天然偏爱先出场的选手；第二类是冗长偏差：回答越长、看起来越「努力」，分数就越高，哪怕其中一半是废话；第三类是自我偏好：如果被评的内容出自它自己的同门师兄弟（同公司/同架构模型），它会不自觉地打高分之亲。

矫正手段的关键词是「校准」。既然偏差是系统性的，那就把它当作一个可测量的常数减掉：在标定集上统计LLM分与人类分的平均差作为偏差估计，再对LLM原始分做整体平移。更彻底的做法还包括顺序交换多次打分取平均、限制回答最大长度、盲化模型身份信息等。

体检第五项结论：没有任何裁判是「绝对客观」的，但科学的校准能把偏见关进笼子里。这也是为什么每次发布新的LLM裁判报告时，研究者都要附上「偏差检测记录」——就像运动员的兴奋剂检查一样，查得越勤，成绩越可信。

L^i=Li−b^,b^=1N∑i=1N(Li−Hi)\hat{L}_i=L_i-\hat{b},\quad \hat{b}=\frac{1}{N}\sum_{i=1}^{N}(L_i-H_i)
若 \(\hat{b}>0\)，说明LLM裁判总体上偏手松；校准后每条分数统一扣掉这一手松的量，让AI裁判的「评分基准确」对齐人类专家。
  1. 偏差估计在 N 条标定样本上，把 LLM 分与人类分之差取平均，得到系统偏差 \(\hat{b}\)。
    b^=1N∑i=1N(Li−Hi)\hat{b}=\frac{1}{N}\sum_{i=1}^{N}(L_i-H_i)
  2. 校准平移让每条 LLM 原始分都减去这个偏差，得到校准后的分数 \(\hat{L}_i\)。
    L^i=Li−b^\hat{L}_i=L_i-\hat{b}

评测框架设计

体检的最后一项，是给整个裁判制度写《操作规程手册》。陈Sir再资深，也得拿着明文规定的评分量表打分；AI裁判再高效，也得按固定格式的提示词模板执行裁决。一套合格的评测框架至少包含四部分：提示词模板（明确规定裁判任务、参考标准、输出格式）、评分量表（对每个分值给出锚定描述，避免「6分和7分有什么区别」），质量指标（一致率、Kappa、MAD等汇总统计），以及可复现性保障（固定随机种子、固定模型版本、公开打分记录）。

框架还要回答「这套评测方法本身质量如何」，于是把关键指标压缩成一个综合质量分：准确率代表评估有效性，Kappa代表裁判间一致性，分歧波动代表评估稳定性。综合分越高，说明这套评测框架越值得被业界信任。

体检第六项结论：一本好手册让所有参与者都服气。今天，LLM-as-Judge 的研究之所以能被学术会议和工业流水线广泛采用，正是因为它把「谁来评、怎么评、凭什么信」写成了一套可复制、可审计的公开流程——就像国际跳水联合会颁布的裁判手册一样，每个打分都经得起回放。

Q=α×A+β×κ−γ×σQ=\alpha\times A+\beta\times\kappa-\gamma\times\sigma
\(Q\) 是评测框架的综合质量分：\(A\) 是任务准确率，\(\kappa\) 是裁判一致性，\(\sigma\) 是分歧波动；\(\alpha,\beta,\gamma\) 是调节各项权重的系数。
  1. 核心指标收集\(A\)（准确率）、\(\kappa\)（Kappa一致性）、\(\sigma\)（人类与LLM打分之差的标准差）分别代表有效性、一致性与稳定性这三个维度。
    A, κ, σA,\ \kappa,\ \sigma
  2. 加权合成准确率和一致性作加分项乘上正系数，分歧波动作为减分项乘上负系数，三者相加得到综合质量分 \(Q\)。
    Q=α×A+β×κ−γ×σQ=\alpha\times A+\beta\times\kappa-\gamma\times\sigma

AI 应用场景

大模型版本迭代回归测试

阶段：模型的离线评估与发布门禁

解决的问题：每逢新版本模型发布，都需要验证回答质量全面不下降。传统靠人工抽样评测，一次回归跑下来要动员多位专家连续看几天，耗钱耗力，且人工评分容易受疲劳影响而漂移。用 LLM-as-Judge 方法后，将「人类 vs LLM 一致性检验」嵌入流水线，先由 LLM 裁判全量打分，再用人类复核分歧样本，即可在数小时完成原本一周的回归测试。

具体案例：一家开源模型团队在 v2 版本发布前跑了 5000 条测试集，LLM 裁判与人类专家总体一致率 82%（Kappa=0.71），自动标记出 147 条分歧样本。经人工复核，确认其中 43 条是 v2 在复杂推理上的明显退步，团队赶在发布前修复了该问题。

客服对话质量智能巡检

阶段：上线后的持续质量监控

解决的问题：客服团队每周产生数万条对话，传统质检只能随机抽检 1%，大量优秀或糟糕的回复被漏掉。引入 LLM 裁判后，对全部对话打分，并按分歧程度排序：得分高且人工一致率高的直接归档，得分低或存在分歧的提交人工质检员重点复核。

具体案例：某电商客服系统每月约 8 万条会话接入 LLM 裁判巡检，人类专家只需复核约 3000 条关键样本。运行两个季度后，质检团队发现 LLM 裁判对「带情绪安抚的回答」打分偏严（偏差 \(\hat{b}<0\)），通过偏差校准修正后，整体评分与人工评估的 Kappa 从 0.58 提升到 0.74。

学术 Benchmarks 可信度报告

阶段：评估基准的发布与审计

解决的问题：学术界发布新评测集时，过去只公布模型得分，但「分数是否客观」难以验证。研究人员现在会同步发布一套「人类 vs LLM 裁判对比报告」，包括背靠背打分数据、Kappa 系数、分歧案例分析，让读者自己判断该评测集的信任度。

具体案例：某高校团队发布中文大模型写作能力评测集时，随机抽取 200 条由 3 位人类专家和 4 种 LLM 裁判分别打分，报告显示表现最佳的 LLM 裁判与人类平均 Kappa 达 0.69，同时列出了风格偏好类分歧的典型案例。该评测集因此被多个开源社区引用为可靠基准。

Python 演示

python53 行
import random random.seed(42) def gen_pairs(n=20, noise=0.35):    """生成 n 条样本的 (人类分, LLM分)，范围 1-10。"""    pairs = []    for _ in range(n):        human = random.uniform(5, 9)        llm = max(1.0, min(10.0, human + random.gauss(0, noise)))        pairs.append((round(human, 1), round(llm, 1)))    return pairs def observed_agreement(pairs, tol=0.5):    """近似一致率：打分差绝对值不超过 tol 记为一致。"""    agree = sum(1 for h, l in pairs if abs(h - l) <= tol)    return agree / len(pairs) def cohens_kappa(pairs, tol=0.5):    """简化版 Cohen's Kappa：按 '一致/不一致' 二分类计算。"""    n = len(pairs)    agreed = sum(1 for h, l in pairs if abs(h - l) <= tol)    h_agree_rate = agreed / n    l_agree_rate = agreed / n    po = agreed / n    pe = h_agree_rate * l_agree_rate + (1 - h_agree_rate) * (1 - l_agree_rate)    if pe == 1.0:        return 1.0    return (po - pe) / (1 - pe) def mean_absolute_diff(pairs):    """平均绝对差 MAD。"""    return sum(abs(h - l) for h, l in pairs) / len(pairs) def top_disagreements(pairs, k=3):    """返回分歧最大的 k 条样本。"""    indexed = sorted(enumerate(pairs), key=lambda x: abs(x[1][0] - x[1][1]), reverse=True)    return [(i, h, l) for i, (h, l) in indexed[:k]] def main():    pairs = gen_pairs(20)    print("人类分 | LLM分 | 分差")    for h, l in pairs:        print(f"{h:5.1f} | {l:5.1f} | {abs(h-l):4.1f}")    print("\n一致率(<=0.5): {:.2f}".format(observed_agreement(pairs)))    print("Cohen's Kappa : {:.2f}".format(cohens_kappa(pairs)))    print("平均绝对差MAD : {:.2f}".format(mean_absolute_diff(pairs)))    print("\n分歧最大的样本:")    for i, h, l in top_disagreements(pairs):        print(f"  样本{i}: 人类{h} vs LLM{l}") if __name__ == "__main__":    main()
目的：用模拟数据演示如何量化「人类与LLM裁判」的分歧，跑完即可看到一致率、Kappa、MAD 三个核心指标，以及待人工复核的疑点样本。
  1. def gen_pairs(n=20, noise=0.35)生成模拟打分对，人类分作为基准，LLM分围绕其加高斯噪声，模拟真实分歧。
  2. agreed = sum(1 for h, l in pairs if abs(h - l) <= tol)统计模糊一致次数，允许 0.5 分以内的微小差异。
  3. po = agreed / n计算观测一致率，对应正文的 \(P_o\)。
  4. pe = h_agree_rate * l_agree_rate + (1 - h_agree_rate) * (1 - l_agree_rate)二分类简化下的期望一致率，对应 \(P_e\)。
  5. return (po - pe) / (1 - pe)套用 Kappa 公式，输出排除运气后的净一致率。
  6. top_disagreements(pairs, k=3)找出分歧最大的样本，对应正文「分歧案例复盘」的自动化版本。

常见误区

误区我刚跑完一批测试，LLM裁判给部分回答打了9分，那这批回答一定是优质内容，可以直接上线。

正解LLM裁判的高分只代表「它认为」回答好，未必等价于「真的好」。裁判的分数必须先通过一致性校验（如与人类专家达成较高Kappa）才能作为有效信号。否则就像请了一位标准异于常人的实习裁判，他给的分再高，选手在正式比赛中也不一定能拿奖牌。

为何常见：因为LLM裁判的输出看起来「智慧满满」，初学者容易把自己的判断权完全交给它，忽略了裁判本身也需要被校准的事实。

误区我们测试了500条，AI裁判和人类打分的Kappa达到了0.8，这说明以后完全可以只用AI裁判，人类评估专家可以解散了。

正解高一致性只说明AI裁判在「大多数常见样本」上能模仿人类偏好，恰恰是那些不一致的少数样本才藏着重大的信息——它们往往是模糊、依赖深层知识的关键案例。协同评估的正确姿势是AI初筛+人类复核，而不是二选一。

为何常见：因为「一致性高」在直觉上等同于「两人想得一样」，容易让人忽略两人的分歧点恰恰是最值得人类介入的地方。

误区LLM又不像人类会累会烦，它打分一定绝对客观，不需要考虑偏差问题。

正解LLM裁判已被反复证实存在位置偏差、冗长偏差和自我偏好等系统性偏见，会显著影响打分公平性。必须通过顺序调换、长度限制、匿名化以及偏差校准等手段主动矫正，就像再公正的裁判也不能在观众偏袒声浪中保证不受影响。

为何常见：因为模型表面「冷静理性」，人们容易把「中性语调」误认为「绝对客观」，忽略了训练数据里隐含的社会偏好与格式偏好。

误区我们已经算过一批样本的Kappa=0.72，看起来还行，以后每次评测直接复用这个结论就好，不需要再验证。

正解Kappa依赖于测试集分布、任务类型、提示词版本和模型版本。换一个更难的任务或换一批更边缘的样本，一致性可能从0.72掉到0.45。应养成「每次发版评测都重新抽样本做一致性抽检」的习惯，像定期给电子秤做校准一样。

为何常见：因为Kappa是一个「数字」，人们天然希望数字能长期复用，却忽略了评测环境随时在变化。

面试题

Q1. LLM-as-Judge 的核心思路是什么？

单选题 · easy

  • A.请人类专家给LLM回答打分
  • B.用另一个LLM扮演裁判评估LLM输出← 正确答案
  • C.用正则规则扫描LLM输出文本
  • D.用自动化测试跑通LLM的代码逻辑

答案：B。LLM-as-Judge 的核心是让 LLM 扮演「裁判」去评价其他 LLM 生成的回答，就像请一位新裁判去评别的教练带的徒弟。A 是传统人类评估，C 是规则匹配，D 是工程测试，都不属于 LLM 当裁判的范畴。

Q2. 两位裁判在背靠背打分中一致率达到80%，最稳妥的解读是？

单选题 · mid

  • A.LLM 裁判可以完全取代人类裁判
  • B.在多数样本上两者观点相近，但分歧样本仍需人工复核← 正确答案
  • C.人类裁判的打分有80%是错误的
  • D.LLM 裁判一定比人类裁判更准确

答案：B。高一致率说明两者的判断标准在常见样本上能对齐，但它不保证 LLM 在分歧样本上是对的，也不代表它能独立处理边界情况。就像两位裁判 80% 打分一致，也不能说明另一位可以退场。

Q3. Cohen's Kappa 相比「简单一致率」的最大优势是什么？

单选题 · easy

  • A.计算起来速度更快
  • B.排除了双方由于碰运气而产生的偶然一致← 正确答案
  • C.不需要人类打分作为参照基准
  • D.可以直接检测单条样本的质量高低

答案：B。Kappa 用期望一致率 \(P_e\) 把「瞎猜也能碰对」的运气成分扣掉，得到的是「净一致程度」。这就好比比赛名次要先扣掉风速影响，才算真实成绩。

Q4. 下面哪些属于 LLM 裁判常见的固有偏差？

多选题 · mid

  • A.位置偏差：偏爱排在更前面的候选答案← 正确答案
  • B.冗长偏差：偏爱篇幅更长的回答← 正确答案
  • C.自我偏好：偏爱自己同门模型生成的答案← 正确答案
  • D.时间偏差：白天打分比晚上打分更严厉

答案：ABC。位置偏差、冗长偏差、自我偏好都是 LLM 裁判被反复验证的系统性偏差。时间偏差并不存在，LLM 没有昼夜节律；不过「上下文偏差」等其他类型可能同样存在，但不在本题之列。

Q5. 协同评估方案中「双裁判制」的典型工作方式是？

单选题 · mid

  • A.只采纳 LLM 裁判的分数
  • B.AI 先初筛全部样本，人类只复核分歧大或低分样本← 正确答案
  • C.人类逐条打分，LLM 再模仿人类打分
  • D.让 LLM 生成训练数据训练独立打分器

答案：B。双裁判制是让 LLM 负责海量初筛，人类专家集中精力复核关键样本，既用上了 AI 的吞吐量，又保住了人类的判断力。这就像急诊科先由智能分诊台粗筛，再由医生作主治决策。

Q6. 若两裁判在 N 条样本上的平均绝对差（MAD）接近 0，说明什么？

单选题 · easy

  • A.两位裁判的打分几乎逐条一致← 正确答案
  • B.样本总数为 0
  • C.人类裁判拒绝打分
  • D.LLM 裁判没有评分能力

答案：A。MAD 是所有 \(|H_i-L_i|\) 的平均，它越接近 0，说明两人的打分差越小，几乎每条都打在同一个分数上。就像两位教练的评分表，每一项都勾在了同一格。

Q7. 关于评测框架的「可复现性」，下列做法正确的是？

单选题 · mid

  • A.固定随机种子并公开模型版本← 正确答案
  • B.只汇报模型表现最好的那几类样本
  • C.每次更换不同提示词模板以获得更高分
  • D.评分原始记录仅保留在团队内部不得公开

答案：A。可复现性要求数据、提示词、模型版本、随机种子和打分记录都可追溯。选择性汇报、临时改提示词、隐匿原始记录都会让评测结果无法被复现和审计，等于把裁判手册藏起来只给看成绩单。

Q8. 哪些场景容易造成 LLM 裁判与人类专家严重分歧？

多选题 · hard

  • A.答案语义等效但表达风格差异很大← 正确答案
  • B.回答对背景知识的解释存在细微错误← 正确答案
  • C.答案需要联网核实最新事实← 正确答案
  • D.回答内容只有一串纯数字

答案：ABC。风格差异考验主观品味，细微错误依赖精读能力，最新事实需要外部证据——这些都会放大 LLM 与人类的分歧。纯数字回答对错清晰，通常两人都能快速达成一致。

Q9. 用来消除「位置偏差」的经典做法是什么？

单选题 · hard

  • A.多次随机调换候选答案顺序后取平均分← 正确答案
  • B.把答案翻译成英文后再打分
  • C.强制 LLM 只输出 0 或 10 两个分数
  • D.删除所有超过 200 字的候选答案

答案：A。位置偏差指 LLM 偏爱排在靠前的候选，解法是通过轮换顺序打多次分再平均，让「顺序」这个无关变量失去影响力。就像盲审时打乱论文顺序，让评审无法靠位置形成偏见。

Q10. 在 LLM 裁判与人类的一致性评估中，Kappa 系数超过 0.8 通常意味着什么？

单选题 · mid

  • A.两位裁判之间几乎完全一致，且基本排除运气成分← 正确答案
  • B.两位裁判存在严重分歧
  • C.LLM 裁判彻底战胜了人类专家
  • D.评测数据一定存在标注错误

答案：A。Kappa 超过 0.8 表示「几乎完全一致」的净一致程度，说明双方打分高度同步且不是碰巧。但这不意味着 LLM 比人类强，也不能保证数据无误，只说明裁判之间达成高度共识。