校园歌手大赛的决赛夜，评委席上坐着一位特殊来客——AI 评委“小智”。它不用鼓掌、不会喊累，几秒钟就能对两名选手的演唱做出判决。可几场比赛下来怪事频出：谁先登场谁沾光，唱得越长的分越高，翻唱小智“心头爱”曲风的选手总能逆袭。老陈盯着记分牌陷入沉思：这台不收红包、不看人脸的 AI，怎么还是“偏心”？ 其实，让大语言模型当裁判（LLM-as-Judge）来比较候选答案，已经是 AI 评测的常用做法。而 LLM 从海量文本里“长大”，带着训练数据的惯性，于是有了位置偏差、长度偏差、自我偏好这三只“看不见的手”。好在偏差可以像排查选手唱功一样被对照实验检出，再用顺序交换、参考锚点、提示词约束等方式校准。这场比赛的完整故事，就是一篇读懂 AI 评委偏心与矫正的最佳教材。

岗位关联

掌握 LLM 裁判偏差的检测与校准，是 AI 评测工程师设计可信基准、支撑模型横向对比的核心技能，也是让评测结论真正被团队与行业采信的关键能力。

目录
  1. 可视化演示
  2. 偏差总览
  3. 位置偏差
  4. 长度偏差
  5. 自我偏好
  6. 偏差检测
  7. 偏差校准
  8. 评测体系
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示位置偏差导致评判结果翻转、三种偏差类型严重度对比及位置交换校准提升一致性的效果，直观呈现评判公平性校准机制。

本节配有交互动效（进入视口后自动加载，约 3KB）。

位置偏差导致评判翻转 答案A在前时获得更高分评判偏好位置 交换A/B顺序后评判结果翻转B获更高分 Bias = Score(A,B) ≠ Score(B,A) 同一对答案因位置不同得到相反评判

偏差总览

这学期学校少年宫搞“校园最美声音”，从市里请来一位 AI 评委“小智”。两位选手各唱一段，小智眨眼间就给出胜负。老师同学起初都夸它“不偏不倚、不看人脸色”。可十轮下来，大家隐隐觉得不对：判决结果时灵时不灵，有时明明唱得更稳的反而输了。于是，音乐组的老陈决定认真研究小智的“判决”到底靠不靠谱。

其实，让小智当评委，就是“大模型当裁判”（LLM-as-Judge）：用一个大语言模型去比较两个候选答案哪个更好。这本是省人力、提速的好办法，但任何模型都带着训练数据留下的“底色”，评委也不例外。它给出的分数与“真实质量”之间的系统性差距，就是偏差（bias）。

偏差专指“系统性、可预测”的误差：不是某次手抖，而是每次都在同一个方向倾斜。我们把它写成公式如下。常见的有三类：位置偏差、长度偏差、自我偏好。它们像三块磁铁，把判决往固定方向吸。

老陈意识到：小智不是坏，是“偏”。而偏差并不可怕，可怕的是没人看见它。接下来，我们要把三块磁铁逐一找出来。

Bias=E[s^(x)]−s∗(x)\displaystyle \mathrm{Bias} = \mathbb{E}\left[\hat{s}(x)\right] - s^*(x)
这个公式是说：AI 评委给某个答案的“平均打分”，减去这个答案的真实水平，剩下的就是系统性的偏差。正数表示手松，负数表示手紧。
  1. 评分对象 x被评委比较的单个候选答案，比如一场比赛中的一段演唱。
    x\displaystyle x
  2. 评分函数 \hat{s}(x)LLM 裁判针对 x 给出的量化分数。
    s^(x)\displaystyle \hat{s}(x)
  3. 期望运算符 E对同一对象重复评测取平均，用来滤掉随机波动。
    E[⋅]\displaystyle \mathbb{E}[\cdot]
  4. 真实水平 s^*(x)由人工专家或公认标准确定的答案真实质量。
    s∗(x)\displaystyle s^*(x)
  5. 整体含义期望分高于真值，说明裁判在该方向上系统性“手松”；低于真值则是“手紧”。
    Bias=E[s^(x)]−s∗(x)\displaystyle \mathrm{Bias} = \mathbb{E}\left[\hat{s}(x)\right] - s^*(x)

位置偏差

校际预赛上，A 队和 B 队实力相当，可每次谁先唱，小智就说谁赢。老陈不服，做了一次实验：同一对演唱，把小智面前的两份音频文件顺序对调再评一次——结果，小智的判决真的跟着“翻盘”了。

这就是位置偏差：当两个候选答案按 (A, B) 顺序摆给 LLM 时，它往往偏爱第一个；换成 (B, A) 顺序，偏爱就掉头。位置之所以重要，与上下文窗口的“前排优势”有关——第一个答案占据了注意力焦点，后面的内容容易被“压住”。

检测位置偏差很简单：把同一对答案正反各评 N 次，统计“首位答案获胜”的频率。若它显著高于一半，说明有偏差。量化指标定义如下。

老陈在评分单上记下一笔：“小智有严重的首因效应。”最简单的应对，是同一对选手交换顺序各评一次再综合——这埋下了“校准”的种子。

Dpos=∣P(首位答案胜)−12∣\displaystyle D_{\mathrm{pos}} = \left| P(\text{首位答案胜}) - \frac{1}{2} \right|
这个公式衡量“排在第一位就赢”的程度：完全没有位置影响时，首位胜率应是 50%，偏差度 D 为 0；D 越大，说明判决越被出场顺序左右。
  1. 首位胜率 P多次把两个答案摆成固定顺序后，“排在第一个的答案获胜”的次数占比。
    P(首位答案胜)\displaystyle P(\text{首位答案胜})
  2. 基准概率 1/2完全无偏时，首位与次位的胜率应当各占一半。
    12\displaystyle \frac{1}{2}
  3. 取绝对值只关心偏离大小，不关心偏袒方向。
    ∣⋅∣\displaystyle |\cdot|
  4. 整体含义D 越接近 0 越公平，越接近 0.5 说明判决几乎被位置“包办”。
    Dpos=∣P(首位答案胜)−12∣\displaystyle D_{\mathrm{pos}} = \left| P(\text{首位答案胜}) - \frac{1}{2} \right|

长度偏差

有位选手炫技，把 3 分钟的歌唱成 8 分钟的加长版，小智立刻给了全场最高分；可评委席公认唱功更稳的选手只唱了 1 分半的短版本，反而落败。大家七嘴八舌：小智是不是“越长越好”的信徒？

是的。长度偏差（又叫啰嗦偏好）指 LLM 打分时与答案长度“正相关”：更长的答案更容易拿高分。原因有两层：训练语料里长答案往往意味着更详实，模型学会了“长=好”的联想；同时长答案信息量更大，模型在阅读时更容易找到可夸的素材。

检测它不需要人工判质量，只需做相关性分析：收集一批“对同一问题的不同长度答案”，算答案长度 L 与得分 S 的相关系数。

老陈的改进招数是“限时演唱”：所有选手统一时长，再在提示词里写明“只评价内容质量，忽略篇幅长短”。长度偏差就像地心引力，设计上必须防一手。

r=Cov(L,S)σL×σS\displaystyle r = \frac{\mathrm{Cov}(L, S)}{\sigma_L \times \sigma_S}
这个相关系数描述“长度与分数”的同步涨落：为 0 说明长度与分数无关；明显大于 0，说明答案越长分越高，长度偏差正在偷分。
  1. 长度 L 与分数 S每个样本的答案长度与评委给出的分数。
    L, S\displaystyle L, \ S
  2. 协方差 Cov(L,S)衡量两者是否同向变化，大于 0 表示“越长分越高”。
    Cov(L,S)\displaystyle \mathrm{Cov}(L, S)
  3. 标准差 σ_L 与 σ_S分别度量长度与分数的波动幅度，用于归一化。
    σL, σS\displaystyle \sigma_L, \ \sigma_S
  4. 整体含义r 被约束在 -1 到 1 之间，越接近 1 说明长度对分数的影响越强。
    r=Cov(L,S)σL×σS\displaystyle r = \frac{\mathrm{Cov}(L, S)}{\sigma_L \times \sigma_S}

自我偏好

半决赛上，一个擅长“气声唱法”的选手翻唱小智最熟悉的那几首曲目，连拿三场第一；同台一个唱民谣的选手技术更全面，却总被压 0.2 分。老陈忍不住嘀咕：这评委是不是在给“和自己风格像”的选手开后门？

自我偏好偏差指：当裁判 LLM 与参赛模型“师出同门”或风格相近时，它会给自己风格的答案更高的分。根源在于模型的训练过程反复接触自身偏好模式，对“同类”文本形成先验上的亲近感。

检测手段是“注入自己人”：把裁判模型自己生成的答案混进对照集，看它的净胜率是不是高于其他模型。

破解自我偏好最直接的办法是“回避同族”——让第三方模型的裁判来打分；或者像跳水比赛那样，先亮出“标准范唱”作为评分锚。老陈在手册里记下一句：谁当评委，谁决定比赛的天平。

Dself=P(自我输出胜)−P(他者输出胜)\displaystyle D_{\mathrm{self}} = P(\text{自我输出胜}) - P(\text{他者输出胜})
这个差值就是“自己人”的净优势：差值为 0 说明一视同仁；差值越大，说明裁判越偏心自己的风格。
  1. 自我输出由裁判 LLM 自己或同族模型生成的答案。
    自我输出\displaystyle \text{自我输出}
  2. 他者输出其他家族模型生成的答案。
    他者输出\displaystyle \text{他者输出}
  3. 胜率之差把两个胜率相减，得到“自己人”的净优势。
    P(自我输出胜)−P(他者输出胜)\displaystyle P(\text{自我输出胜}) - P(\text{他者输出胜})
  4. 整体含义D 为 0 代表公正，D 越大代表自我偏袒越明显。
    Dself=P(自我输出胜)−P(他者输出胜)\displaystyle D_{\mathrm{self}} = P(\text{自我输出胜}) - P(\text{他者输出胜})

偏差检测

三块磁铁都找到了，可老陈知道，靠“感觉”说小智有偏见没有说服力。他把比赛变成“实验室”：同一对选手交换顺序各比一轮、把顶尖选手的演唱剪出长短两个版本、再把小智自己的录音混进比赛……用数据把它钉在墙上。

这个思路就是偏差检测的标准范式——伪对照与消融。针对每类偏差设计“只有该偏差在变”的对照实验：位置偏差做顺序交换，长度偏差做篇幅裁剪，自我偏好做系统混入。手工标注加交叉验证，确保样本可信。在这个环节，数据标注质量的直接影响评测结论的可靠性。

量化时常用一致性指标衡量裁判判决的稳定性：两轮对照中结论不翻车的比例。当涉及多个标注者时，用 Cohen's Kappa 排除“瞎蒙也能一致”的成分。

检测是校准的地基。老陈把每一轮实验数据归档成“病例档案”，小智每类偏差的“体温”都记录在册，为下一步治疗提供了依据。

κ=po−pe1−pe\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}
Kappa 是一个“去除运气成分”的一致性分数：1 表示完全一致，0 表示跟猜差不多。评测要可用，通常要求 0.8 以上。
  1. 观测一致率 p_o两轮对照评测中实际一致的样本占比。
    po\displaystyle p_o
  2. 随机一致率 p_e若双方靠猜，天然会一致的期望占比，由边缘概率算出。
    pe\displaystyle p_e
  3. 分母 1-p_e在随机之外，最多还能一致的空间。
    1−pe\displaystyle 1 - p_e
  4. 整体含义κ 越高说明判决越可靠、越可复现。
    κ=po−pe1−pe\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}

偏差校准

病历齐了，老陈给小智开药方：先治位置病——每一对选手正反顺序各评一次，取平均作为最终分；再治长度病——统一时长，并请来公认最稳的“范唱”当锚点；最后治自我病——提示词里反复强调“不得偏爱任何风格”，必要时让另一个家族的评委交叉复核。

这些手段统称“校准”：用方法设计抵消已知偏差的系统性影响。它不修改评委模型的参数，而是改变“怎么用”的方式。核心思想是让结论不依赖于呈现顺序、篇幅长短和裁判的出身。

其中最常用的是“双向平均法”：把一对答案按 (A,B) 和 (B,A) 各评一次，再把 A 的胜率换算后取平均。

半个月后再次开赛，同样的对阵，小智的判决不再随风倒。老陈在总结会上说：校准不是把评委变完美，而是让它的判决“可复现、可预测、可解释”。

Scal=12(SA→B+(1−SB→A))\displaystyle S_{\mathrm{cal}} = \frac{1}{2}\left( S_{A \to B} + (1 - S_{B \to A}) \right)
这个公式把正反两种顺序下的判决合二为一：如果 A 真的更强，那么无论 A 在前还是在后，校准后的分数都应稳定大于 0.5。
  1. S_{A→B}按 (A,B) 顺序展示时，评委判 A 胜的概率。
    SA→B\displaystyle S_{A \to B}
  2. S_{B→A}按 (B,A) 顺序展示时，评委判 B 胜的概率，本质是“换序后的 A 败率”。
    SB→A\displaystyle S_{B \to A}
  3. 等效换算 1-S_{B→A}把换序后的败率还原成“换序后 A 胜”的等效值。
    1−SB→A\displaystyle 1 - S_{B \to A}
  4. 取平均把两种顺序下的 A 胜率综合，位置影响互相抵消。
    12(⋅+⋅)\displaystyle \frac{1}{2}\left( \cdot + \cdot \right)
  5. 整体含义S_cal 越接近 0.5 表示双方越接近，否则 A 拥有真实优势。
    Scal=12(SA→B+(1−SB→A))\displaystyle S_{\mathrm{cal}} = \frac{1}{2}\left( S_{A \to B} + (1 - S_{B \to A}) \right)

评测体系

秋季学期，学校把比赛经验写成《AI 评委使用手册》：统一的提示词模板、固定的正反双评流程、标准范唱库、统一的统计口径。所有年级的比赛一律按手册执行，小智的判决从此有了“出厂标准”。

这映射的正是评测方法论向规范化、体系化的演进：把 LLM 裁判从“临时工”变成“持证上岗”。统一裁判配置、统一评测流程、统一指标口径，各团队跑出来的分才具备横向可比性，模型能力的 PK 才有公共语言。

体系化的效果要用数字说话——对比校准前后的偏差强度，算出“校准增益”。

如今，小智成了学校的“金牌评委”，它依然有偏好，但每次判决前，手册都会把它的偏心“提前锁死”。老陈说：评测的终极目标不是让裁判没有喜好，而是让喜好转不成误判。

G=Draw−DcalDraw\displaystyle G = \frac{D_{\mathrm{raw}} - D_{\mathrm{cal}}}{D_{\mathrm{raw}}}
这个增益表示校准流程“抹掉”了多少比例的偏差：80% 以上说明体系有效，越接近 1 说明裁判越接近绝对公正。
  1. 校准前偏差 D_raw校准前三类偏差强度的平均值。
    Draw\displaystyle D_{\mathrm{raw}}
  2. 校准后偏差 D_cal应用校准流程后再测到的平均偏差强度。
    Dcal\displaystyle D_{\mathrm{cal}}
  3. 分子差值被流程“抹掉”的偏差量。
    Draw−Dcal\displaystyle D_{\mathrm{raw}} - D_{\mathrm{cal}}
  4. 除以 D_raw转成相对改进比例，便于跨项目比较。
    ⋅Draw\displaystyle \frac{\cdot}{D_{\mathrm{raw}}}
  5. 整体含义G 接近 1 表示偏差几乎被清除，80% 以上即认定体系有效。
    G=Draw−DcalDraw\displaystyle G = \frac{D_{\mathrm{raw}} - D_{\mathrm{cal}}}{D_{\mathrm{raw}}}

AI 应用场景

RAG 问答系统的双模型 PK

阶段：模型评估与算法选型

解决的问题：传统做法是人工逐条打分，费时且标准漂移；用未校准的 LLM 裁判直接对比 RAG 方案 A/B，结论随答案顺序不稳定，可能选错方案。校准先把顺序打乱、做双向平均、引入标准参考答案，让 PK 结论稳定可复现。

具体案例：某知识库团队用 LLM-as-Judge 对比两个检索增强方案，未校准时 30 组评测有 12 组结论随顺序翻转；采用双向平均加参考锚点后，翻转率降到 2 组，最终确认方案 A 真实领先 6%，顺利通过技术评审。

开源模型横向对比榜单

阶段：基准测试与社区评测

解决的问题：各家跑分用不同裁判、不同提示词，分数不可比；统一裁判配置与校准流程，让跑分具备共同基准。

具体案例：某团队发布“中文模型能力榜”，统一使用第三方裁判、固定提示词模板、正反双评，并公开校准增益指标。榜单发布后，社区复现一致率从 61% 提升至 94%，被多家厂商引用为选型参考。

客服助手的内容质量门禁

阶段：线上质量监控与模型迭代

解决的问题：传统质量抽检靠人工，成本高且尺度不一；直接用 LLM 裁判又会奖励冗长、惩罚简洁的优质回复。校准后以“内容质量”为准绳，避免把模型“训偏”。

具体案例：某客服产品给每条回复打质量分，校准前高分回复平均多 40% 字数；加入长度对照与提示词约束后，短而准的回复也能拿高分，人工复核一致率达到 89%，客服升级率下降 12%。

Python 演示

python34 行
# 模拟 LLM 评委的位置偏差与长度偏差, 并演示双向平均校准def raw_judge(len_a, len_b, order):    # 带偏差的评委: 先出场加0.8, 每多1个token加0.02分, 返回A胜率    base_a = 5.0 + 0.02 * len_a    base_b = 5.0 + 0.02 * len_b    if order == "AB":        base_a += 0.8    else:        base_b += 0.8    diff = base_a - base_b    return 1.0 / (1.0 + pow(10, -diff / 2.0)) def ideal_judge(len_a, len_b):    # 理想评委: 只看长度代表的内容量, 没有位置与风格偏好    diff = 0.02 * (len_a - len_b)    return 1.0 / (1.0 + pow(10, -diff / 2.0)) def calibrate(len_a, len_b):    # 双向平均校准: 正反顺序各评一次, 折算成A的稳定胜率    p_ab = raw_judge(len_a, len_b, "AB")    p_ba = raw_judge(len_a, len_b, "BA")    return (p_ab + (1.0 - p_ba)) / 2.0 def main():    pairs = [(30, 40), (50, 120), (60, 60), (90, 140), (80, 45)]    print("对(A,B)  原始误差  校准误差")    for len_a, len_b in pairs:        truth = ideal_judge(len_a, len_b)        raw_err = abs(raw_judge(len_a, len_b, "AB") - truth)        cal_err = abs(calibrate(len_a, len_b) - truth)        print("(%3d,%3d)  %.3f    %.3f" % (len_a, len_b, raw_err, cal_err)) if __name__ == "__main__":    main()
目的：模拟一个带着位置偏差与长度偏差的 LLM 评委，对比它在校准前后与“理想判决”的误差，直观展示双向平均校准的价值。
  1. base_a = 5.0 + 0.02 * len_a给每条答案一个基础分，并用长度加权，模拟“越长越加分”的长度偏差。
  2. base_a += 0.8当 A 排在前面时额外加分，模拟“先展示者得利”的位置偏差。
  3. return 1.0 / (1.0 + pow(10, -diff / 2.0))把两边的分数差转换为 A 的胜率概率，差值越大胜率越接近 1。
  4. p_ab = raw_judge(len_a, len_b, "AB")按 AB 顺序评一次，记录“A 在前”时 A 的胜率。
  5. p_ba = raw_judge(len_a, len_b, "BA")调换顺序再评一次，用来暴露位置偏差。
  6. return (p_ab + (1.0 - p_ba)) / 2.0双向平均：把正反两次结论合成一个稳定的 A 胜率。
  7. raw_err = abs(raw_judge(len_a, len_b, "AB") - truth)量化校准前与理想判决的差距，差距越大偏差越严重。
  8. cal_err = abs(calibrate(len_a, len_b) - truth)量化校准后的差距，通常显著小于原始误差。

常见误区

误区大模型没有情绪、不会收红包，它评的分数肯定比人公平，不可能有偏见。

正解LLM 由训练数据塑造，数据里的惯性会转化为可预测的系统偏差：首位偏好、长度迷思、自我背书。公平不等于中立，未经检测与校准的 AI 评委，只是把数据里的偏见“自动化”了而已。

为何常见：人们把“没有主观恶意”误当成了“没有系统性偏差”，忽略了模型是从有偏样本里学出来的。

误区既然有位置偏差，那我把答案的顺序打乱再评一次，所有偏差就都解决了。

正解顺序交换只能暴露并抵消位置偏差，对长度偏差丝毫不动——答案还是那么长；自我偏好也依然在。校准是组合拳：双向平均、长度对照、参考锚点、提示词约束缺一不可。

为何常见：一种偏差最容易先被看见，就误以为它是唯一的偏差来源。

误区我算出位置偏差只有 0.05，说明评测很干净，可以放心使用了。

正解单看绝对值会骗人：样本少、对照设计粗糙都会让数值变小。更可靠的是看翻转率、Kappa 一致性以及与真值的距离，还要做校准前后的对比，而不是只看某一时刻的小数。

为何常见：人们习惯用单个数字打包下结论，忽略了统计显著性和对照设计对结果的放大作用。

误区我的裁判有自我偏好，那换一个更小的开源模型来评，偏差就没了。

正解换模型只可能缓解自我偏好，位置偏差和长度偏差在几乎所有 LLM 上都会复现，因为它们来自通用的注意力机制与训练分布。真正可靠的办法是流程级校准加指标监控，而非换一个“看起来更公平”的模型。

为何常见：把偏差归因于“某个坏模型”，而没看清它是 LLM 这一族模型的共性，属于归因偏差。

面试题

Q1. LLM-as-Judge 的核心思想是什么？

单选题 · easy

  • A.让大模型自动比较候选答案优劣← 正确答案
  • B.用人工专家逐条给答案打分
  • C.用规则脚本统计答案关键词
  • D.用搜索引擎统计答案被引量

答案：A。LLM-as-Judge 的核心是用大模型替代人工做候选答案的两两比较，从而降低成本、提升速度。B、C、D 分别是人工评测、规则匹配和统计型方法，都不属于 LLM 裁判的范畴。

Q2. 位置偏差最典型的表现是什么？

单选题 · easy

  • A.偏爱篇幅更长的候选答案
  • B.偏爱排在前面的候选答案← 正确答案
  • C.偏爱自身同族模型的输出
  • D.偏爱包含数字的候选答案

答案：B。位置偏差指的是 LLM 在比较两个答案时，偏向于呈现在前面的那一个，就像小智偏爱“先出场”的选手。A 是长度偏差，C 是自我偏好，D 是干扰项。

Q3. 检测位置偏差最直接的方法是？

单选题 · mid

  • A.同时截短两个答案再评
  • B.交换两答案顺序再评← 正确答案
  • C.换一种语言写提示词
  • D.调高解码温度再重评

答案：B。把同一对答案按 AB 与 BA 两种顺序各评一次，若结论随顺序翻转，就说明存在位置偏差。这就像让小智把同一对选手正反顺序各比一遍。截短答案测的是长度偏差，其他两项与位置无关。

Q4. 长度偏差的主要成因是？

单选题 · mid

  • A.训练数据常把长文当作高质量← 正确答案
  • B.模型上下文窗口容量有限制
  • C.注意力机制不擅长短文本
  • D.提示词要求输出详细解释

答案：A。LLM 在训练语料中反复看到“长文本=更详实=更优”的样本，从而学会了“长即好”的联想。上下文窗口、注意力机制和提示词要求都不是长度偏差的根源。

Q5. 自我偏好偏差指的是？

单选题 · mid

  • A.评委偏好位置居中的答案
  • B.评委偏好风格相似的答案← 正确答案
  • C.评委偏好字数最多的答案
  • D.评委偏好含特殊符号的答案

答案：B。自我偏好指裁判 LLM 给自己同族或风格相近模型的答案更高分，就像小智偏爱翻唱自己“心头爱”曲风的选手。A 是位置偏差，C 是长度偏差，D 是干扰项。

Q6. 下列哪些属于 LLM 裁判的常见偏差？

多选题 · mid

  • A.位置偏差← 正确答案
  • B.长度偏差← 正确答案
  • C.自我偏好← 正确答案
  • D.颜色偏差

答案：ABC。经典的三大偏差是位置偏差、长度偏差与自我偏好偏差，它们分别对应“顺序、篇幅、出身”三个维度的系统性倾斜。颜色偏差并非 LLM 裁判的常见问题，是干扰项。

Q7. 双向平均校准公式 S=(S_AB+(1-S_BA))/2 中，1-S_BA 表示？

单选题 · hard

  • A.换序之后 A 胜的等效概率← 正确答案
  • B.换序之后 B 胜的等效概率
  • C.初始顺序下 A 的胜率
  • D.正反两轮得分的总和

答案：A。S_BA 是换序后 B 胜的概率，而 B 胜等价于 A 败，所以 1-S_BA 就是换序后 A 胜的等效概率。把它与原来的 S_AB 平均，位置影响互相抵消，得到 A 的稳定胜率。

Q8. 下列属于有效校准手段的是？

多选题 · hard

  • A.正反顺序各评一次取平均← 正确答案
  • B.引入公认高质量参考锚点← 正确答案
  • C.提示词约束忽略长度与顺序← 正确答案
  • D.直接调大解码温度参数

答案：ABC。双向平均、参考锚点、提示词约束分别从位置、尺度、注意力三个层面抵消偏差。调大 temperature 只会让输出更随机，属于采样参数，不解决系统性偏差。

Q9. Cohen's Kappa 公式中 p_e 的含义是？

单选题 · hard

  • A.两轮评测实际一致的占比
  • B.随机情况下一致比例的期望← 正确答案
  • C.两轮评测意见相反的占比
  • D.标注者总人数取对数

答案：B。p_o 是实际一致率，p_e 是根据边缘概率推算的“纯靠猜也会一致”的期望一致率。Kappa 用 1-p_e 做分母，目的就是把运气成分剔除，得到真实的评测稳定性。

Q10. 构建规范化评测体系通常包括？

多选题 · hard

  • A.统一裁判模型的提示词模板← 正确答案
  • B.固定正反双评与参考锚点流程← 正确答案
  • C.统一统计口径与校准增益指标← 正确答案
  • D.随机更换裁判模型的参数

答案：ABC。规范化体系强调“统一”：统一提示词、统一流程、统一指标，这样不同团队、不同模型的跑分才可横向对比。随机更换裁判参数恰恰破坏可复现性，是反面做法。