老周是一所中学的教导主任，这学期要组织一场特殊的考试：反事实推理。考题是“如果小张昨晚没熬夜，今天的数学成绩会是多少？”老周很为难：现实里小张熬夜了，成绩是 82 分；那个“没熬夜的小张”并不存在，没有平行世界给他发标准答案。没有标准答案，怎么批改模型答的题？ 老周最终想出一个办法：他不再去现实里找答案，而是把真实的学生档案（真实观测）和命题组制定的评分规则（已知因果机制）结合起来，自己造一张“带标准答案的试卷”。这就是反事实评估基准数据集的工作方式——用半合成方法，既保留真实世界的纹理，又能精确算出“如果当初不同，结果会怎样”。

岗位关联

对 AI 从业者来说，掌握反事实基准数据集，等于拥有了一把可复现的“标准答案尺子”，能公平地比较不同因果模型，并向监管方提供可信的安全与合规证据。

目录
  1. 可视化演示
  2. 评估难点
  3. 半合成思路
  4. 因果机制
  5. 标准答案生成
  6. 公平比较框架
  7. 规范复现价值
  8. 安全合规应用
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示半合成基准数据集构造流程（真实观测+已知SCM生成反事实标签）、多方法评估对比（IPW/DR/CF/DM在多数据集上表现）、以及经典基准数据集全景图谱。

本节配有交互动效（进入视口后自动加载，约 3KB）。

半合成基准数据集构造 真实观测数据 已知结构因果模型 obs+SCM=cf-label 将真实数据与已知SCM结合，生成可计算的反事实标签。

评估难点

老周越琢磨越头疼：他手边的学生档案只能证明“熬夜那天发生了”，却无法证明“如果没熬夜会发生什么”。现实世界像一条只播放一次的录像带，按下播放键就再也无法倒带。反事实问题要评估的，恰恰是那条从未真实播放过的片段，所以老周的批改单上没有参考答案。

这个困境在 AI 领域被称为“反事实盲区”。一家医院训练模型预测“如果抗生素晚给一小时，病人会不会发生脓毒症”；模型给出答案，但医院并没有真实的“晚给一小时”结局来验证。我们能看到的只有一个事实分支，另一个分支永远无法被观测到。

为了把这种困境描述清楚，研究者使用潜在结果记号：把观测到的结果记作事实结果，把想验证的结果记作反事实结果。

老周明白，要给学生打分，不能靠等待平行世界现身，而要自己制造标准答案。于是，他决定改变命题思路：不再收集“真实发生的答案”，而是设计一套能精确算出答案的评分规则。

Yifact=yi,Yicf  =  ?\displaystyle Y_i^{fact} = y_i,\quad Y_i^{cf}\;=\;?
  1. 事实结果$Y_i^{fact}$ 表示第 $i$ 个样本在现实中真正发生的结果。
    YifactY_i^{fact}
  2. 反事实结果$Y_i^{cf}$ 表示同一个样本在另一个干预动作下可能发生的结果。
    YicfY_i^{cf}
  3. 问号代表缺失$?$ 表示这个标签没有被现实世界记录，因此无法直接用来评分。
    ??

半合成思路

老周的解决方案听起来像“半合成试卷”：学生档案是真实的，但分数不是真实考试考出来的，而是批改前由一套评分公式算出来的。他把真实世界的“素材”和命题组的“规则”混合在一起，从而确保每一道题都有标准答案。

这种思路对应反事实评估中的半合成方法。它不追求全部数据来自真实记录，而是保留真实协变量作为“背景”，再用一个已知的因果机制生成结果。这样，数据集的每个样本都有真实世界的纹理，又有一个完全可控的生成过程，研究者能随时反推出正确答案。

半合成的核心可以写成一个计算式：给定第 $i$ 个现实样本的特征 $x_i$，把动作改成 $a'_i$，同时保持噪声项 $\varepsilon_i$ 不变，代入已知机制 $f_\theta$，就得到反事实标签。

半合成的妙处在于“一半真实、一半可控”。老周用真实学生档案当题目背景，用评分公式当标准答案，既没有脱离现实，又保证每道题都能判分。

Yicf  =  fθ( xi,  ai′,  εi )\displaystyle Y_i^{cf} \;=\; f_\theta(\,x_i,\; a'_i,\; \varepsilon_i\,)
  1. 真实特征$x_i$ 是从真实观测中取出的样本特征，比如年龄、病史、学历。
    xix_i
  2. 假设动作$a'_i$ 是我们要问的“如果当初怎么做”中的动作，比如“没有熬夜”“再多给一剂药”。
    ai′a'_i
  3. 固定噪声$\varepsilon_i$ 是事实世界中该样本特有的随机扰动，生成反事实时保持不变。
    εi\varepsilon_i
  4. 已知机制$f_\theta$ 是研究者事先指定的因果生成函数，$\theta$ 是它的参数。
    fθf_\theta

因果机制

要让评分公式可信，老周不能随便拍脑袋，他需要明确的“命题规则”。在因果推断里，这套规则叫因果机制，通常用结构方程模型表达：结果变量的生成方式是原因变量的一个确定函数，再加上一些噪声。

结构方程模型把数据想象成由几个方程驱动：动作 $A$、背景特征 $X$ 和噪声 $U_Y$ 一起决定结果 $Y$。如果我们要问“假如把动作换成 $a'$ 会怎样”，就相当于用干预算子 $do(A=a')$ 把方程里的 $A$ 替换成常数 $a'$，其他部分保持不变。

老周的“命题规则”越透明，标准答案就越可信。只要所有学生都用同一套规则算分，改卷时就不会出现“这个老师给高分、那个老师给低分”的混乱。

Y  =  fY(X,  A,  UY),Ya′  =  fY(X,  a′,  UY)\displaystyle Y \;=\; f_Y(X,\; A,\; U_Y),\qquad Y_{a'} \;=\; f_Y(X,\; a',\; U_Y)
  1. 结果变量$Y$ 是我们关心的结局，比如成绩、治愈率或用户点击。
    YY
  2. 结构方程$f_Y$ 描述 $Y$ 如何由 $X$、$A$、$U_Y$ 共同生成。
    fY(X,  A,  UY)f_Y(X,\; A,\; U_Y)
  3. 干预动作$A$ 是要被干预的变量，换成固定值 $a'$ 就代表“如果当初这么做”。
    A=a′A=a'
  4. 干预后结果$Y_{a'}$ 表示干预后的潜在结果，也就是反事实标签的来源。
    Ya′Y_{a'}

标准答案生成

有了清晰的因果机制，老周终于能为每一个学生生成“如果当初那样”的分数了。他不再等待真实世界的第二次播放，而是把样本特征、事实动作、噪声和反事实动作一起代入结构方程，算出标准答案。

生成基准数据集时，研究者会把每个样本整理成一条记录：特征、真实动作、噪声，以及对应的反事实标签。这样的标签在基准数据集中不是“猜”出来的，而是由已知机制精确算出来的，因此可以当作评测模型的标尺。

老周把这些标准答案装进密封袋，考试时才拆封。模型在训练时只能看到真实动作和结果，看不到反事实答案；只有在阅卷阶段，才会被拿来和标准答案比对。

Dbench  =  { (xi,  ai,  εi,  yicf) }i=1N\displaystyle \mathcal{D}_{bench} \;=\; \{\,(x_i,\; a_i,\; \varepsilon_i,\; y_i^{cf})\,\}_{i=1}^{N}
  1. 基准数据集$\mathcal{D}_{bench}$ 是专门用于评测反事实模型的基准数据集合。
    Dbench\mathcal{D}_{bench}
  2. 第 i 个样本$(x_i,\; a_i,\; \varepsilon_i)$ 记录第 $i$ 个样本的特征、事实动作和噪声。
    (xi,  ai,  εi)(x_i,\; a_i,\; \varepsilon_i)
  3. 反事实标签$y_i^{cf}$ 是对应的标准答案，用来核对模型输出。
    yicfy_i^{cf}
  4. 样本数量$N$ 是基准集中样本总数，通常分成训练集、验证集和测试集。
    i=1,…,Ni=1,\dots,N

公平比较框架

试卷有了标准答案，下一步就是统一阅卷。老周把所有考生叫到同一个考场，给同一批题目、同一份评分标准，最后把得分排成排行榜。这样，谁的方法好、谁的方法差，一目了然。

反事实评估基准也遵循同样的逻辑。所有候选模型都在同一份数据划分上训练，面对同一组反事实查询，输出预测值；评测程序把预测值和标准答案送入损失函数，算出综合得分。得分越低，说明这个模型的预测越接近真实反事实机制。

有了统一的评分协议，老周再也不用听考生“我这个题更难所以分低”的辩解。任何新方法只要在同一个基准上跑同一套评测代码，就能和其他方法公平比试。

Score(M)  =  1Ntest∑i=1Ntestℓ(y^icf,  yicf)\displaystyle \text{Score}(M)\;=\;\frac{1}{N_{test}}\sum_{i=1}^{N_{test}} \ell\bigl(\hat{y}_i^{cf},\; y_i^{cf}\bigr)
  1. 待评估模型$M$ 表示某个反事实推断方法，是排行榜上的一个参赛者。
    MM
  2. 测试样本数$N_{test}$ 是测试集中反事实查询的数量，所有模型用同一批查询。
    NtestN_{test}
  3. 预测值与标准答案$\hat{y}_i^{cf}$ 是模型输出，$y_i^{cf}$ 是基准集给出的标准答案。
    y^icf,  yicf\hat{y}_i^{cf},\; y_i^{cf}
  4. 损失函数$\ell(\cdot,\cdot)$ 用来衡量两个值的差距，可以是均方误差、准确率或交叉熵。
    ℓ(⋅,⋅)\ell(\cdot,\cdot)

规范复现价值

老周意识到，仅有卷子还不够，还得有规范的“试卷库”：每份卷子要标好版本、写好说明，任何老师在任何年份都能用同一份卷子重新阅卷。否则，今年用 A 卷、明年用 B 卷，考分根本没有可比性。

评估基准数据集要成为领域基础设施，同样需要版本管理和评测协议。数据集发布时会固定训练集、验证集和测试集的划分，不允许模型开发者“先看测试答案再训练”。所有评测脚本、指标计算、基线和随机种子都必须公开，才能保证别人复现出同样的结果。

规范化的“试卷库”让反事实推理从“各说各话”走向“统一考试”。也正因如此，反事实基准数据集被视为推动领域方法学规范化、可复现化发展的关键设施。

Dbench  =  Dtrain∪Dvalid∪Dtest,Dtrain∩Dtest=∅\displaystyle \mathcal{D}_{bench} \;=\; \mathcal{D}_{train} \cup \mathcal{D}_{valid} \cup \mathcal{D}_{test},\quad \mathcal{D}_{train}\cap\mathcal{D}_{test}=\varnothing
  1. 训练集$\mathcal{D}_{train}$ 是模型学习历史模式的部分。
    Dtrain\mathcal{D}_{train}
  2. 验证集$\mathcal{D}_{valid}$ 用于调参和选择模型。
    Dvalid\mathcal{D}_{valid}
  3. 测试集$\mathcal{D}_{test}$ 用于最终评判，必须和训练集互不相交。
    Dtest\mathcal{D}_{test}
  4. 交集为空$\mathcal{D}_{train}\cap\mathcal{D}_{test}=\varnothing$ 保证测试集信息不会提前泄漏到训练阶段。
    ∅\varnothing

安全合规应用

老周后来发现，这套“带标准答案的试卷”不仅能考学生，还能做“考场安检”：在模型上线前，问一问“如果改变了某个关键条件，模型结果会不会出现严重偏差”。比如，如果把用户的性别、年龄或提示词换一种写法，模型是否仍能给出安全合理的输出？

这正是反事实评估在 AI 安全与伦理合规中的价值。审计人员可以用基准数据集去模拟那些没有真实发生过的敏感场景，计算结果差异，判断模型是否存在歧视、失控或误导风险。这种差异可以用因果效应来量化。

老周把安检报告交给学校，上面写着每个敏感场景下的量化证据。没有标准答案时，这类审计只能靠事后解释；有了反事实基准，AI 合规审查第一次有了“可计算、可复现、可追踪”的考卷。

Δaudit  =  E [ Ya′(X,U) ]  −  E [ Ya(X,U) ]\displaystyle \Delta_{audit} \;=\; \mathbb{E}\,[\,Y_{a'}(X,U)\,]\;-\;\mathbb{E}\,[\,Y_a(X,U)\,]
  1. 干预后期望结果$\mathbb{E}[Y_{a'}(X,U)]$ 是所有样本在动作 $a'$ 下的平均结果。
    E[Ya′(X,U)]\mathbb{E}[Y_{a'}(X,U)]
  2. 事实期望结果$\mathbb{E}[Y_a(X,U)]$ 是所有样本在真实动作 $a$ 下的平均结果。
    E[Ya(X,U)]\mathbb{E}[Y_a(X,U)]
  3. 审计差距$\Delta_{audit}$ 是两者之差，用来衡量“改变条件”带来的影响有多大。
    Δaudit\Delta_{audit}

AI 应用场景

模型上线前的反事实公平审计

阶段：评估与验证

解决的问题：传统公平性检测只能看真实数据中的相关性，无法回答“如果把申请人的性别换掉，模型还会不会拒绝贷款”。借助半合成反事实基准，可以在已知机制上生成敏感属性改变后的标签，量化模型对不同群体的因果影响，提前发现歧视风险。

具体案例：某金融机构在信贷模型上线前，使用半合成基准生成 10 万条“性别换一换、其他条件不变”的反事实样本，发现模型在特定收入区间存在 4% 的批准率差异，于是修复特征工程后才通过合规评审。

大模型安全对齐的提示词压力测试

阶段：安全测试与对齐

解决的问题：大模型对同一问题的不同表述可能给出危险答案，但真实世界中很难收集到足够多的“改写后有害输出”。反事实基准通过可控改写机制生成“如果提示词换成这个说法，模型会怎样回答”的标准标签，让安全团队能够在离线环境中评估模型鲁棒性。

具体案例：某大模型团队构造“诱导性提示词”反事实基准，用 5000 条改写句测试开源模型，发现 2.3% 的改写会让模型输出违规信息，据此在发布前增加了安全对齐训练。

因果推荐系统的离线评估

阶段：离线评估与模型选型

解决的问题：推荐系统想知道“如果给用户推荐了另一种商品，他会不会购买”，但这在真实日志中无法观测。使用半合成基准后，团队可以在已知用户行为机制上生成反事实购买标签，离线就能比较不同推荐策略的增量收益，避免频繁上线 A/B 测试。

具体案例：某电商平台用半合成反事实基准离线评估“意图模型”和“协同过滤模型”，发现前者在增量购买预测上高出 8%，于是决定优先上线意图模型。

Python 演示

python53 行
import random def generate_benchmark(n=200, seed=42):    random.seed(seed)    rows = []    for _ in range(n):        age = random.uniform(25, 55)        skill = random.uniform(1, 10)        noise = random.gauss(0, 0.5)        y0 = 0.2 * age + 0.4 * skill + noise        y1 = y0 + 1.2 - 0.15 * skill        a = random.choice([0, 1])        y_obs = y1 if a == 1 else y0        rows.append((age, skill, a, y_obs, y0, y1))    return rows def split_observed(rows):    return [r[2] for r in rows], [r[3] for r in rows] def mean(values):    return sum(values) / len(values) def evaluate_cf(rows, predictor):    A, Y_obs = split_observed(rows)    errors = []    for i, row in enumerate(rows):        age, skill, a, y_obs, y0, y1 = row        target_arm = 1 - a        y_cf_true = y1 if target_arm == 1 else y0        y_cf_pred = predictor(age, skill, a, y_obs, A, Y_obs, target_arm)        errors.append(abs(y_cf_pred - y_cf_true))    return mean(errors) def baseline_ignore(age, skill, a, y_obs, A, Y_obs, target_arm):    return y_obs def diff_in_means(age, skill, a, y_obs, A, Y_obs, target_arm):    treated = [y for ai, y in zip(A, Y_obs) if ai == 1]    control = [y for ai, y in zip(A, Y_obs) if ai == 0]    ate = mean(treated) - mean(control)    if target_arm == a:        return y_obs    return y_obs - ate if a == 1 else y_obs + ate def main():    rows = generate_benchmark(300, seed=42)    base_mae = evaluate_cf(rows, baseline_ignore)    ate_mae = evaluate_cf(rows, diff_in_means)    print("Baseline MAE:", round(base_mae, 4))    print("ATE method MAE:", round(ate_mae, 4)) if __name__ == "__main__":    main()
目的：生成一个半合成反事实基准，并比较“忽略反事实”与“差分法”两种方法在标准答案上的平均绝对误差。
  1. y0 = 0.2 * age + 0.4 * skill + noise生成“不干预”时的潜在结果。
  2. y1 = y0 + 1.2 - 0.15 * skill生成“干预”后的潜在结果，治疗效果随技能变化。
  3. rows.append((age, skill, a, y_obs, y0, y1))把六个字段打包成一条基准记录。
  4. target_arm = 1 - a构造“如果当初相反动作”的反事实查询。
  5. y_cf_true = y1 if target_arm == 1 else y0从已知机制中取出标准答案。
  6. ate = mean(treated) - mean(control)用观测数据估计平均干预效应。
  7. return y_obs - ate if a == 1 else y_obs + ate用差分法预测反事实结果。

常见误区

误区我一直以为反事实基准数据集里的标签，是从历史数据中翻出来的真实结果，就像查档案一样，只要数据够多就能找到“如果当初没熬夜”的真实分数。

正解真实世界只有一个分支，任何真实档案里都找不到“未发生的标准答案”。半合成基准的标准答案是研究者用已知因果机制算出来的，它只在“机制假设成立”这个前提下正确。它之所以可靠，不是因为来自现实，而是因为生成过程可控。

为何常见：我们把“数据”等同于“真实记录”，自然误以为更全的数据就能提供反事实答案，忽略了反事实问题的本质是不可观测性。

误区听起来“半合成”就有一半是假的，那评测结果肯定不如全真实数据可信，论文里用这些数据是不是在作弊？

正解反事实评估的难点恰恰在于真实的标签不存在。半合成方法用真实协变量作为底料，用已知机制计算标准答案，反而能把“答案正确”这件事变得可计算、可复现。完全真实的数据在这里既不可得，也无法验证答案。

为何常见：人们习惯用“真实性”衡量数据质量，但在反事实任务中，更重要的是“是否有已知的标准答案”。

误区模型在一个公开反事实基准上拿了第一名，是不是说明它在任何业务场景里都能准确地回答“如果当初”？

正解基准分数只在基准的机制假设范围内有效。如果真实场景的因果机制与数据集生成时使用的机制不同，再高的分数也可能失效。基准的作用是公平比较方法，而不是承诺模型在所有场景的泛化能力。

为何常见：排行榜文化让人容易把“基准成绩”等同于“真实表现”，忽略了因果机制的可迁移性是有边界的。

误区反事实基准数据集只要把 CSV 文件传上去，大家下载后就能用，为什么还要公开结构方程和噪声分布？

正解不公开机制，研究者就无法确认标签是怎么算出来的，也无法复现结果；一旦发布新版本，更不知道差异来自数据还是方法。只有公开数据版本、生成机制和评测脚本，基准才能成为领域共同认可的尺子。

为何常见：普通数据集公开数据就能用，但反事实基准的本质是“标准答案”，标准答案的可信度必须建立在透明机制之上。

面试题

Q1. 反事实评估基准数据集最核心的价值是什么？

单选题 · easy

  • A.提供世界未发生的标准答案
  • B.让方法在同一标准下比较← 正确答案
  • C.替代所有因果推断理论
  • D.自动生成无标注真实数据

答案：B。基准数据集真正的作用不是“找到真实历史”，而是用已知机制生成统一可用的标准答案，让不同反事实方法在同一套考题下公平比较。

Q2. “半合成”中的“半”主要指什么？

单选题 · easy

  • A.一半数据随机丢弃
  • B.一半标签人工猜测
  • C.真实观测加已知机制← 正确答案
  • D.一半模型线性回归

答案：C。半合成指真实协变量作为背景，结果由已知因果机制计算得到，相当于老周用真实学生档案和命题评分规则合成标准答案。

Q3. 在结构方程 $Y=f_Y(X,A,U_Y)$ 中，$U_Y$ 的主要作用是什么？

单选题 · easy

  • A.存放未观测到噪声项← 正确答案
  • B.代表干预的目标动作
  • C.记录真实世界标签
  • D.标记训练集样本数

答案：A。$U_Y$ 是结果方程中解释不了的那部分噪声，生成反事实标签时需要把它固定住，才能保证只有动作在变。

Q4. 生成反事实标签时，噪声项通常应该如何处理？

单选题 · mid

  • A.先做随机重采样
  • B.固定为事实世界噪声← 正确答案
  • C.全部设为常数零
  • D.随干预动作一起变

答案：B。反事实要回答“同一批扰动下，如果动作不同会怎样”，因此噪声必须保持事实世界里的状态，否则会混淆个体异质性和干预效果。

Q5. 一个反事实评估基准数据集通常包含哪些要素？

多选题 · mid

  • A.已知的因果生成机制← 正确答案
  • B.真实世界的协变量样本← 正确答案
  • C.用户点击日志的全量
  • D.可计算的反事实标签← 正确答案

答案：ABD。基准需要真实协变量作为背景、因果机制作为规则、可计算标签作为标准答案。用户点击日志是特定应用数据，不是反事实基准的必备要素。

Q6. 为什么完全采集真实的反事实标签不可行？

单选题 · mid

  • A.现实不允许重写历史← 正确答案
  • B.数据采集成本太高
  • C.标签会泄露模型参数
  • D.用户隐私不自动保护

答案：A。现实世界只播放一次，没有被选择的动作没有真实结果。成本、隐私都不是根本原因，不可观测才是反事实问题的本质。

Q7. 要公平比较不同反事实推断方法，正确的做法包括？

多选题 · hard

  • A.使用同一基准与协议← 正确答案
  • B.各自挑数据集证明优势
  • C.公开指标与基线设置← 正确答案
  • D.只展示对己有利结果

答案：AC。同一数据集、同一协议、公开基线和指标是公平比较的前提。各自挑选数据集或选择性展示结果，都会让比较失去意义。

Q8. 在半合成反事实基准中，真实观测主要提供什么？

单选题 · mid

  • A.提供协变量与噪声结构← 正确答案
  • B.提供全部真实结果标签
  • C.提供模型全部参数
  • D.提供结构方程的函数

答案：A。真实观测提供现实世界的协变量分布和噪声模式，而结构方程和标准答案来自研究者设定的因果机制，并非全部来自真实数据。

Q9. 下列哪一项不是反事实评估基准在 AI 合规中的典型用途？

单选题 · hard

  • A.审计敏感属性变更的差异
  • B.测试提示词改写后的输出
  • C.完全替代真实世界 A/B 测试← 正确答案
  • D.为合规报告提供量化证据

答案：C。反事实基准适合离线评估和审计，但无法完全取代真实世界 A/B 测试，因为真实场景中的未知机制不在基准假设范围内。

Q10. 为了保证反事实基准可复现，评测协议需要固定哪些内容？

多选题 · extreme

  • A.数据版本与划分方式← 正确答案
  • B.评估指标与评价脚本← 正确答案
  • C.随机种子与基线结果← 正确答案
  • D.参数量上限和显存大小

答案：ABC。数据划分、评估指标、随机种子和基线结果直接决定实验结果能否复现；参数量上限和显存属于具体实现细节，不属于评测协议必须固定的内容。