反事实评估中的人工评估方法

可视化演示

展示反事实解释的人工评估流程，包括评估维度（合理性、紧凑性、多样性、可操作性）、标注协议设计、评分者一致性检验与质量汇总。

评估定义：先搞清楚“假如”是什么

评委落座前，必须先定义“什么样的问题值得评”。厨师说“假如我把牛肉换成豆腐”，这不是一道新菜，而是同一道菜的最小干预：只动“牛肉→豆腐”这一个变量，其余做法都不变。反事实评估的定义，就是把这种“假如”翻译成可以计算、可以判断的对象——把某特征 X 从当前值 x 改为新值 x\*，结局 Y 的变化有多大。这正是因果推理里“干预”（do 算子）的思想：我们不观察“本身就换了豆腐”的菜，而是主动规定“必须换成豆腐”后的世界会怎样。

机器能算出这个变化的数值，但“这个假如是否讲得通”就得靠人了。比如模型说“把年龄改大 10 岁，贷款就会获批”，从数据上这可能成立，可常识告诉我们：年龄不能随便改。所以反事实评估要解决两件事：一是量——改动带来多大结局差异；二是质——这个改动是否合理、可理解、能被用户接受。前者可以自动化，后者必须人工。

$$\displaystyle \Delta = \mathbb{E}[Y \mid do(X = x^*)] - \mathbb{E}[Y \mid do(X = x)]$$

1. 干预记号：do(X = x\) 表示“主动把 X 设为新值 x\”，这是反事实的因果引擎

$$do(X = x^*)$$

2. 反事实世界的期望：在“假如”世界里，结局 Y 的平均水平

$$\mathbb{E}[Y \mid do(X = x^*)]$$

3. 现实世界的期望：在当前 X = x 的世界里，结局 Y 的平均水平

$$\mathbb{E}[Y \mid do(X = x)]$$

4. 结局差距：两个世界之差，Δ 越接近 0，说明该改动越不改变结局

$$\Delta = \mathbb{E}[Y \mid do(X = x^*)] - \mathbb{E}[Y \mid do(X = x)]$$

从评委的视角看，Δ 相当于“换豆腐后把改刀过的味道拉回现实”的温差；而评委真正要打分的，是这道假如菜改得合不合常理——这就是人工判断不可替代的地方。明确了这一点，我们才有资格谈下一件事：用什么尺子去量。

标注体系设计：评委的量分卡

评委不能靠“好吃”两个字糊弄观众，比赛需要一张量分卡。标注体系的本质，就是把“这个反事实可不可信”拆成几个能落笔的评分维度。常见维度包括：合理性（改动在现实中是否讲得通）、因果性（改动是否真的指向了导致结局变化的原因）、简洁性（是否只动最少、最必要的特征）、可操作性（用户能否照着改动去行动）。维度不是越多越好，3 到 7 个为宜，每个维度都要配上具体案例锚点，就像“甜度 5 分是蜂蜜蛋糕，3 分是半糖奶茶”，这样评委才有统一的参照系。

有了维度，还要有标注流程：先小范围试标注、算一致性、讨论分歧，再大规模正式标注；每位评委拿到一本标注指南，写清每个分数的含义、常见边界案例、以及遇到歧义时的处理规则。指南写得越具体，评委之间的手就越稳。最后每个维度按重要性加权汇总成总分，就像一个“色香味”各有权重的品菜分。

$$\displaystyle S_i = \sum_{k=1}^{K} w_k s_{ik}$$

1. 维度遍历：从第 1 个维度数到第 K 个维度，K 通常取 3 到 7

$$k = 1, 2, \ldots, K$$

2. 单个维度得分：s_{ik} 是第 i 个反事实样本在第 k 个维度上的得分

$$s_{ik}$$

3. 权重设定：w_k 表示该维度在总分中的分量，例如“合理性”权重可设为 0.5

$$w_k$$

4. 加权求和：所有维度得分按权重累加，得到该样本的最终分

$$\displaystyle S_i = \sum_{k=1}^{K} w_k s_{ik}$$

回到厨房比喻：量分卡让“好吃”变成“合理性 4 分、因果性 3 分、简洁性 5 分”，评委不再凭感觉拍脑袋。但量分卡再精美，也要有菜可评——下一节聊反事实样本从哪来。

样本生成策略：设计“假如”菜单

厨师不能空口说“假如”，他得递上一份具体的改造方案。反事实样本生成就是在特征空间里搜索“改动后的样本”，让模型结论反转。最经典的方法是最小扰动搜索：在保持改动尽可能小的前提下，找到能让预测结果翻转的样本。比如贷款模型拒绝了你，最小扰动可能是“月收入 +800 元”，而不是“把年龄改成 88 岁”——后者改动虽也在数学上可行，却违背常识。

生成方法大致分三类：基于梯度的方法（沿着模型决策边界方向找最近的翻转点）、基于启发式搜索的方法（逐步替换或扰动特征子集）、基于生成模型的方法（用 VAE/GAN 生成符合数据分布的候选）。无论哪种方法，生成后都必须经过合理性筛选：特征改动是否可解释、是否符合业务约束、是否落在合法取值范围内。这一步相当于餐厅主厨试菜——先筛掉半生不熟的，才会上评审台。

$$\displaystyle \delta^* = \arg\min_{\delta} d(\mathbf{x}, \mathbf{x} + \delta) \quad \text{s.t.} \quad f(\mathbf{x} + \delta) \neq f(\mathbf{x})$$

1. 扰动向量：对原始样本 x 施加的微小改动，比如“月收入增加 800 元”

$$\delta$$

2. 改动后样本：原始特征向量加上扰动后得到的新样本

$$\mathbf{x} + \delta$$

3. 目标函数：在所有候选扰动中，让距离 d 最小的那个

$$\arg\min_{\delta} d(\mathbf{x}, \mathbf{x} + \delta)$$

4. 约束条件：改动必须让模型 f 的结论发生反转，否则不算反事实

$$f(\mathbf{x} + \delta) \neq f(\mathbf{x})$$

这份“假如菜单”由算法生成，但上不上桌、摆盘好不好看，最终要评委说了算。菜单端上去了，接下来就要解决最头疼的问题：几位评委的口味能不能对齐？

一致性保证：评委之间对齐

同一道假如菜，评委 A 给 5 分，评委 B 给 2 分，观众就该质疑评审的公平性。评估者一致性衡量的是不同评委对同一批样本打分的一致程度，它直接决定评估结果可不可信。最常用的指标是 Cohen's kappa：它不只计算“两位评委打相同的比例”（观测一致率 p_o），还要扣除“纯靠猜也能碰上的比例”（随机一致率 p_e）。kappa 取值通常落在 0 到 1 之间：0.8 以上说明高度一致，0.4 到 0.8 说明中等一致，低于 0.4 就得回去重新打磨标注指南了。

一致性不会自己出现，它需要主动经营：评估者培训（用标准案例集体试标、逐条对齐认知）、重复标注（将 10%-20% 的样本让两位评委各标一遍用来计算一致性）、争议仲裁（评委分歧大的样本交给资深专家或投票决定）。这就像选秀节目开拍前，先让导师们集中看 50 个标准片段，反复讨论“什么叫 5 分”。

$$\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}$$

1. 观测一致率：两位评委实际打分相同的样本占比

$$p_o$$

2. 随机一致率：按每位评委各自的打分分布推算，纯靠随机碰巧一致的概率

$$p_e$$

3. 随机校正系数：分母 1 - p_e 表示“扣除运气后最多还能达成的一致量”

$$1 - p_e$$

4. kappa 值：真实一致占“最大可能真实一致”的比例，越接近 1 越稳定

$$\kappa = \frac{p_o - p_e}{1 - p_e}$$

注意：两位评委一致度高，不代表他们评得对——可能他们都被同一个偏见带偏了。所以评委对齐之后，还得回头检查：评审过程有没有混入偏见。

偏差控制：别让偏见混进评分

评委也是人，人就有心理偏差。最常见的有两种：顺序效应——先尝的菜会影响后尝的菜的感觉，先打了低分的评委，对下一道菜会不自觉地松一点或严一点；晕轮效应——评委觉得某个样本“整体印象好”，于是给它的每个维度都打高分，哪怕其中“简洁性”其实很糟。这两种偏差一混进来，量分卡就失灵了，所以偏差控制是人工评估质量的生命线。

控制手段有：随机化样本呈现顺序（每个评委看到的顺序都不同，抵消顺序效应）、盲评（隐藏样本来源和生成算法，避免“算法名气”影响打分）、对照样本（混入已知质量的反事实作为金标准，检验评委是否在认真区分）、以及分维度独立评分（先一次性评完所有样本的“合理性”，再评“因果性”，打断晕轮效应的传导）。

$$\displaystyle \kappa_F = \frac{\bar{P} - \bar{P}_e}{1 - \bar{P}_e}$$

1. 多评委平均一致率：所有评委两两之间一致率的平均值

$$\bar{P}$$

2. 总体随机一致率：按全体评委的打分分布，估算各分类概率的平方和

$$\bar{P}_e = \sum_{c=1}^{C} p_c^2$$

3. 整体一致性系数：与 Cohen's kappa 同构，但适用于多名评委的总体一致性

$$\kappa_F = \frac{\bar{P} - \bar{P}_e}{1 - \bar{P}_e}$$

用厨房的话说，偏差控制就是“上菜顺序洗牌、评委背对后厨、每道菜换餐具”，让口味评的是菜本身，而不是出场顺序和摆盘光环。等评审顺利完成，最后一步是把结果变成能交付的报告。

结果应用：评审报告与菜单迭代

比赛结束，评委要交正式评审报告。反事实评估的结果应用，首先要区分两个概念：信度与效度。信度是测量工具的稳定性——kappa 高说明评委之间“口径统一”；效度是测量结果的正确性——比如把人工评估结果与领域专家意见对照，一致率高才说明“评得对”。一个评估方案信度高但效度高不了，通常是标注维度设计偏了；效度高但信度低，则是评委培训不到位。

综合评价时，可以用组内相关系数（ICC）衡量评分的可重复性：它把总波动拆成“样本间真实差异”和“样本内评分波动”两部分，前者占比越高，评分越可靠。最终报告应包含：样本生成方式、评委人数与背景、各维度得分分布、一致性指标 kappa/ICC 及其置信区间、以及典型争议样本的仲裁记录。这份报告不仅回答“这个反事实解释可不可信”，还能反哺迭代优化——哪一维评委总吵架，说明定义不清，回去修订指南再评一轮。

$$\displaystyle \text{ICC} = \frac{\sigma_b^2}{\sigma_b^2 + \sigma_w^2}$$

1. 样本间方差：不同反事实样本之间的真实质量差异

$$\sigma_b^2$$

2. 样本内方差：同一反事实样本被不同评委重复评分时的随机波动

$$\sigma_w^2$$

3. 可靠性比率：真实差异占总波动的比例，越接近 1 说明评分越可复现

$$\text{ICC} = \frac{\sigma_b^2}{\sigma_b^2 + \sigma_w^2}$$

评审报告交出去，不是终点而是下一轮比赛的起点：上一季观众的反馈写成新规则，下一季的评分卡更锋利，评委的手更稳。这正是人工评估在可解释 AI 研究里的价值——它让“模型说出来的假如”不只是漂亮的数据游戏，而是经得起人、理、常识三重检验的可信结论。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""反事实样本生成 + 评估者一致性计算演示"""import numpy as npfrom sklearn.linear_model import LogisticRegression  def generate_counterfactual(model, x, y, step=0.05, max_steps=200):    """为样本 x 生成最小扰动反事实: 沿梯度方向微调直到结论反转"""    x_cur = x.copy()    for _ in range(max_steps):        if model.predict(np.array([x_cur]))[0] != y:            break        grad = np.zeros_like(x_cur)        eps = 1e-4        for i in range(len(x_cur)):            x_plus = x_cur.copy()            x_plus[i] += eps            x_minus = x_cur.copy()            x_minus[i] -= eps            grad[i] = (model.predict_proba(np.array([x_plus]))[0][1] -                       model.predict_proba(np.array([x_minus]))[0][1]) / (2 * eps)        norm = np.linalg.norm(grad) + 1e-8        x_cur = x_cur + step * grad / norm    return x_cur  def fleiss_kappa(ratings):    """计算多评估者的 Fleiss kappa: ratings 为 n样本 x m评估者 的矩阵"""    n, m = ratings.shape    n_cat = int(ratings.max()) + 1    counts = np.zeros((n, n_cat))    for i in range(n):        for c in range(n_cat):            counts[i, c] = np.sum(ratings[i] == c)    p_i = (np.sum(counts ** 2, axis=1) - m) / (m * (m - 1))    p_bar = np.mean(p_i)    p_c = np.sum(counts, axis=0) / (n * m)    p_e = np.sum(p_c ** 2)    return (p_bar - p_e) / (1 - p_e), p_bar  def main():    rng = np.random.RandomState(42)    X = np.vstack([rng.randn(40, 2) + [2, 2], rng.randn(40, 2) - [2, 2]])    y = np.array([1] * 40 + [0] * 40)    clf = LogisticRegression()    clf.fit(X, y)     sample = np.array([1.2, 1.5])    cf = generate_counterfactual(clf, sample, 1)    print("原始样本:", sample, "预测:", clf.predict([sample])[0])    print("反事实样本:", np.round(cf, 3), "预测:", clf.predict([cf])[0])    print("扰动距离:", round(np.linalg.norm(cf - sample), 3))     rng = np.random.RandomState(7)    base = rng.normal(loc=3.5, scale=0.8, size=(20, 1))    ratings = np.clip(np.round(base + rng.normal(0, 0.6, size=(20, 6))),                      1, 5).astype(int)    kappa, p_bar = fleiss_kappa(ratings)    print("观测一致率(平均): %.3f" % p_bar)    print("Fleiss kappa: %.3f" % kappa)    if kappa >= 0.75:        print("评估结果: 一致性优秀, 可信")    elif kappa >= 0.4:        print("评估结果: 一致性中等, 需培训后重评")    else:        print("评估结果: 一致性差, 需修订标注指南")  if __name__ == "__main__":    main()

1. clf = LogisticRegression(); clf.fit(X, y)训练一个简单分类器当作“世界模型”，用来判断反事实是否让结论反转
2. cf = generate_counterfactual(clf, sample, 1)沿模型梯度方向逐步扰动样本，直到预测类别翻转，得到反事实候选
3. if model.predict(np.array([x_cur]))[0] != y:核心终止条件：模型结论一旦反转，就不再继续扰动
4. grad[i] = (model.predict_proba(np.array([x_plus]))[0][1] - ...用有限差分近似梯度，找到让“正类概率”变化最快的方向
5. counts[i, c] = np.sum(ratings[i] == c)统计每个样本被评到各个分数的评委人数，这是计算一致性的基础
6. p_e = np.sum(p_c ** 2)按所有评委的总体打分分布，估算“纯靠随机碰巧一致”的概率
7. kappa, p_bar = fleiss_kappa(ratings)用 Fleiss' kappa 汇总 6 位评委的整体一致性
8. if kappa >= 0.75:一致性分级：0.75 以上视为可信，0.4 以下必须修订标注指南

常见误区

面试题