反事实评估：人工评估协议

可视化演示

展示人工评估核心维度（可理解性/可执行性）、实验设计要素（假设/评估者/一致性）、偏置控制（随机化/双盲/预注册）三种模式，点击按钮切换。

一、协议概述：先立手册，再办评审会

想象你是一家影视公司的评审委员会主席。编剧们交来同一部电影的七份“平行宇宙”剧本——主角在关键抉择处做了不同选择，故事走向天差地别。这些反事实故事没有标准答案，七个评委各凭感觉打分，有人看重逻辑、有人看重情感、有人只盯商业卖点，评审会从下午两点吵到六点，结论却无法复现：换一批评委，结果完全反转。你意识到，缺的不是好评委，而是一本《评审手册》。

AI 系统的反事实推理输出，正是这样的“平行宇宙剧本”——模型会回答“如果贷款利率下调 1 个百分点，这笔贷款还会违约吗？”这类假设性问题。这类输出是开放式的，没有标准答案，自动化指标（如 BLEU，一种衡量生成文本与参考文本相似度的指标）只能测字面相似，测不出“因果逻辑是否成立”。于是人必须下场评估，而人一多，就回到评审会的混乱。人工评估协议（Human Evaluation Protocol）就是把“评什么、用什么刻度、谁来评、怎么确认靠谱、如何汇总”固化成一套标准化流程。

一套完整的协议包含六大支柱：评估维度设计（从哪些角度判断反事实质量）、评分量表设计（用离散分还是连续分）、标注员管理（招募、培训、防偏见）、一致性评估（用 Kappa 检验评审员是否靠谱）、实验部署（样本编排与盲评）、结果聚合与报告（如何给出带置信区间的结论）。协议的价值不在于发明“唯一正确的分数”，而在于让任何一支评审团队在同一规则下得到可比较、可复现的结论——这就像《评审手册》不保证选出的剧本一定大卖，但保证“换一批评委，结果依然稳定”。

二、评估维度设计：好剧本的四个角度

评审不能只说“好看”“难看”，要吵得有理有据。手册第一条：从四个角度拆解。第一，剧情逻辑能不能自洽？如果主角当时没有追出门，后面的悲剧是否按因果链条自然推出？第二，改变命运的那个抉择，真的是关键变量吗？第三，平行世界里有没有穿帮——设定与已知事实冲突吗？第四，老板看完能不能决策——这剧本拍得出来吗？

这四个问题正好映射反事实评估的四大维度：逻辑有效性（validity）——给定干预后，结论是否从因果前提逻辑推出；因果相关性（relevance）——干预变量是否真的驱动了结果变化，而非无关的表面改动；事实一致性（faithfulness）——反事实世界不与现有背景知识矛盾；操作可行性（actionability）——结论能否被决策者转化为具体行动。一个高质量的反事实解释必须同时满足四条，缺一条都像剧本里埋了逻辑炸弹。

四个维度打完分后，通常需要合成一个总分。假设第 $i$ 个维度的得分为 $x_i$，权重为 $w_i$（代表业务重要性权重），综合分 $S$ 为：

四个维度就像《评审手册》里的四条打分标准，让“好看”从一句口号变成一组可计算的参数。有了这一组参数，不同剧本之间的较量才算真正站上了同一张擂台。

三、评分量表设计：把“几分算好”写清楚

维度定好了，可还有个问题：用什么刻度打分？《评审手册》如果只写“请打分”，评委的 4 分和主席的 4 分可能根本不是一回事。手册必须写死：几分算好、几分算差、中间分代表什么。

业界主流的评分量表有三类。李克特量表（Likert scale）：1-5 或 1-7 的离散等级，每个等级配锚点文字（如 1=完全不符合，3=中立，5=完全符合）。优点是上手快、标注成本低，是自然语言处理评估的事实标准；缺点是粒度粗，且标注员有“趋向中间、少用极端”的倾向。连续评分：0-100 滑杆或数轴，粒度细、能捕捉细微差异，但对维度定义和标注员训练要求高，噪声也更大。成对比较（pairwise）：每次只比较两个样本的相对优劣，不评绝对分，结果最稳定，但 $n$ 个样本需要 $\binom{n}{2}$ 次比较，成本随样本量平方增长——评审会变成几百场单挑。

无论选哪种量表，正式放量前必须验证标注员之间的“表面一致”程度，即观察一致率：

刻度越粗越便宜但越钝，越细越贵但越准——量表选择本质上是一场“经费与颗粒度”的谈判。哪一版《评审手册》能让大家先在小样本上达成一致，哪一版才配被印成正式手册。

四、标注员管理：选对人、绑好尺、盯住场

定了尺子还不够，谁来握尺子？评审团成员不能是街上拉来的路人——得先确定他们懂电影工业，再统一培训《评审手册》，最后用小测验验收。更重要的是，评委也是人：先看完一部神作，再看普通剧本会忍不住打低分；或者老好人习惯“都给三星”，评分失去区分度。

标注员管理（Annotator Management）是人工评估协议里最耗时的一环，核心问题有三个。招募与培训：反事实因果判断需要领域知识（金融、医疗），完全的众包不可靠。培训用“金标准样本”（gold samples）校准——先让资深专家标注一小批样本作为标准答案，再让新标注员做同样的题，偏差收敛后才放行。锚定偏见（anchoring bias）：评估顺序会污染判断，先前看到的高分或低分成为后续打分的参照系，“神作在前，佳作变平庸”。默认偏向（acquiescence bias）：标注员倾向选中间分或“同意”选项，避免用极端分，导致评分集中在 3 分附近失去区分度。

质量监控则贯穿全程：在任务流中随机插入已知答案的“黄金题”，实时计算每个标注员与团队标准答案的偏差，把持续性离群的标注员移出团队——就像评审会中途发现某位评委总是和所有人唱反调，主席就要调出他的打分记录核查。好评审是“选出来 + 训出来 + 盯出来”的，这三步在《评审手册》里与维度、量表同等重要。

五、一致性评估：测出“英雄所见略同”的成色

评审会上最尴尬的时刻：两位资深评委都打了 4 分，看起来英雄所见略同，实际上一个打分理由是“逻辑严密”，另一个是“画面好看”。表面的 4 分掩盖了判断的错位。我们需要的不是“看起来一致”，而是“排除运气后仍然一致”。

一致性评估（Inter-Annotator Agreement）就是干这个的。最常用的双标注员指标是 Cohen's Kappa：

Landis & Koch 给出了经验阈值：$\kappa<0.2$ 轻微，$0.2$-$0.4$ 一般，$0.4$-$0.6$ 中等，$0.6$-$0.8$ 显著，$0.8$-$1.0$ 几乎完美。多标注员场景用 Fleiss' Kappa 扩展。通常要求 $\kappa \ge 0.6$ 才认为评审结果可用；低于阈值就进入分歧处理流程——逐条裁决（adjudication）、修改维度定义或重新培训。Kappa 就像评审会的“测谎仪”：它不告诉我们谁对谁错，但能告诉我们评委们到底有没有在打分这件事上真正达成共识。

六、实验部署：把评审会开得公平

规矩、维度、刻度、评委都齐了，评审会怎么开？先看哪本剧本？按什么顺序？要不要告诉评委每本剧本出自哪位编剧？这些“会务安排”看似琐碎，却直接决定评审结论能不能服众。

实验部署（Deployment）关注评估结论的外部效度，核心四件事。样本选择：反事实样本要覆盖不同干预类型、不同难度梯度、不同风险等级，不能只挑“最好评的剧本”——样本太偏，结论无法外推。顺序控制：把样本随机排序或用拉丁方设计（Latin square），抵消疲劳效应、顺序效应和锚定效应，避免“前一本影响了后一本”。盲评设计：遮盖模型身份（blind），甚至隐藏模型与基线的对应关系（double blind），避免“名厂滤镜”——看到是知名大厂的模型就自动加分。预实验：正式放量前先跑 20-50 条样本的试点，检查标注员是否理解量表锚点、单条耗时是否失控、评分分布是否过窄，发现问题就回头改手册。

部署得当，评审会才不会被顺序、身份和疲劳偷偷改写结论。就像电影公司会安排“盲测场”：观众不知道导演是谁、预算多少，只凭成片质量拍板——AI 评估的盲评设计，正是把这种“可耻但有效”的会务智慧搬进了实验流程。

七、结果聚合与报告：让结论经得起追问

评审结束，桌上摊开几十张评分表。主席要发布一份《评审报告》，但不能只写“平均 3.8 分，好评如潮”——投资方会追问：这个平均分稳不稳？不同评委之间差多少？哪个维度拉低了分数？报告必须经得起连环追问。

结果聚合与报告是协议的“输出端”，要做四步。聚合方法：先按维度取所有评审员分数的均值或中位数（用中位数抵抗极端值），再按权重合成每个样本的综合分，模型最终得分为全体样本综合分的均值。置信区间：只报点估计会误导人，要给出均值的 95% 置信区间：

报告规范要求：逐维度给出分布直方图、Kappa 值、置信区间、评审员人数与背景、培训细节；多模型对比时给出差异显著性检验（如配对 t 检验或 Wilcoxon 检验）。复现原则要求：把协议全文、标注指南、原始评分数据作为附录公开——别人可以用相同协议复评，这才叫“可复现的人工评估”。一份能服众的《评审报告》，等于把“好评如潮”换成“均分 3.8 ± 0.15，四维分数与 Kappa 全部公开，欢迎复评”。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""人工评估协议小工具：维度聚合打分 + 一致性检验""" def observed_agreement(a, b):    """两位标注员得分的观察一致率 P_o"""    n = len(a)    return sum(1 for x, y in zip(a, b) if x == y) / n  def cohen_kappa(a, b, k=5):    """Cohen's Kappa：排除随机碰撞后的一致性"""    n = len(a)    po = observed_agreement(a, b)    pa = [0.0] * k    pb = [0.0] * k    for x, y in zip(a, b):        pa[x - 1] += 1.0 / n        pb[y - 1] += 1.0 / n    pe = sum(pa[i] * pb[i] for i in range(k))    if pe == 1.0:        return 0.0    return (po - pe) / (1.0 - pe)  def aggregate(items, judge_scores, weights):    """多个评审员、多个维度的加权聚合"""    n_judges = len(judge_scores)    result = []    for i in range(len(items)):        total = 0.0        for d, w in enumerate(weights):            mean_dim = sum(j[i][d] for j in judge_scores) / n_judges            total += w * mean_dim        result.append(total)    return result  def main():    items = ["script-A", "script-B", "script-C", "script-D"]    weights = [0.3, 0.3, 0.2, 0.2]    judge_scores = [        [[4, 3, 5, 4], [3, 3, 4, 3], [5, 4, 5, 4], [2, 3, 3, 2]],        [[4, 4, 5, 4], [3, 2, 4, 3], [5, 5, 5, 5], [2, 2, 3, 2]],        [[5, 3, 5, 4], [3, 3, 3, 3], [4, 4, 5, 4], [2, 3, 4, 3]],    ]    print("指标聚合得分：")    for name, score in zip(items, aggregate(items, judge_scores, weights)):        print("  %s: %.2f 分" % (name, score))    kappa = cohen_kappa(judge_scores[0][0], judge_scores[1][0])    po = observed_agreement(judge_scores[0][0], judge_scores[1][0])    print("标注员1 vs 标注员2：P_o=%.2f, Kappa=%.2f" % (po, kappa))  if __name__ == "__main__":    main()

1. def observed_agreement(a, b):计算观察一致率 $P_o$，逐样本比较两位标注员分数是否严格相等。
2. sum(1 for x, y in zip(a, b) if x == y) / n一致样本数除以总样本数，即 $P_o = a/n$。
3. pa[x - 1] += 1.0 / n统计第一位标注员使用每个分数的边际概率，Kappa 公式里 $p_{1k}$ 的来源。
4. pe = sum(pa[i] * pb[i] for i in range(k))计算期望一致率 $P_e$：两位标注员随机打分时“碰巧一致”的概率。
5. return (po - pe) / (1.0 - pe)落地 $\kappa = (P_o - P_e)/(1 - P_e)$，把运气成分扣除。
6. mean_dim = sum(j[i][d] for j in judge_scores) / n_judges多个评审员在同一维度上取均值，再进入加权合成。
7. if __name__ == "__main__":可执行入口，直接运行即可输出聚合得分与一致性指标。

常见误区

面试题