因果推理评估：推理能力维度分析方案

可视化演示

展示因果图构建、反事实推理与干预效应预测的评估过程，可视化因果推理能力的多维度评测指标。

因果推理概述

老周的第一课，是给 AI 探员看一组“诡异现场”：夏天到了，街角冰淇淋店销量暴涨，同时游泳池溺水人数也涨了。他问：“冰淇淋导致溺水吗？”小模型立刻回答“是，因为两者同步上升”。老周叹气——这是典型的“相关幻觉”：两个变量一起涨，背后可能只是有一个共同推手（烈日）在同时驱动它们。

模型在训练数据里学到的绝大多数规律，是“X 出现时 Y 容易同时出现”，这叫条件概率 P(Y|X)。但因果要求的是“把 X 拧成某个值，Y 才跟着变”，这叫干预概率 P(Y|do(X))。中间那个搅局者，就是同时驱动原因和结果的混淆因子。因果推理评测的第一使命，就是把这两种能力拆开量一量：哪些模型只会“看相关性”，哪些模型真正理解“拧开关”。

从 AI 能力谱系看，因果推理属于高阶推理能力，与分类、生成、检索不在一个层级。评测目标因此非常明确：把“背下来的知识”和“面对新因果结构的推理”分开计分。老周在考核表上写下结论：会背“夏天冰淇淋涨”不算探员，能说出“烈日才是元凶、冰淇淋只是路人”才算摸到因果的门槛。

因果图构建

老周破案的第一步永远是画嫌疑关系网：谁认识谁、谁有作案时间、谁和死者有恩怨，箭头指向谁。这张“带方向的网”，在因果推理里叫因果图。它规定只画“导致关系”，不画“伴随关系”，所以必须是没有环路的闭合结构——专业说法是有向无环图（DAG），可以理解为一张不允许自己指回自己的组织架构图。

因果图里，节点是变量（人、事件、属性），边是从原因指向结果的箭头。烈日→冰淇淋、烈日→溺水这两条边成立，但冰淇淋→溺水这条边不该画。有了这张图，模型才能判断：要切断哪条路，才能看清真正的效应；哪条路径只是“路过”，不构成因果。这就是“节点与边”的语义：边 = 直接因果，缺边 = 没有直接因果。

评测的第一类任务由此诞生：结构学习。给模型一堆观测数据，让它还原背后的因果图，再与标准图比对箭头方向和边的有无。谁能把方向画对，谁才算理解机制，而不是只会输出相关系数矩阵。因果图构建题，考的就是模型“从数据废墟里重建现场”的能力。

老周把 AI 画的图拿给两位老探长盲评：箭头方向全对的是优等生，画成“人人相连”的关系网的一律打回重画。没有方向的网只是关系图，不是因果图——这就是评测因果图构建任务时最朴素的判分逻辑。

干预效应预测

老周的现场重现实验是这样的：把嫌疑人按不同脚本重新调度，这回让 A 提前到场、B 按兵不动，观察结果是否改变。这种“人为拧动原因”的操作就是干预，记作 do(X)。干预的本质是斩断其他变量对 X 的“指挥链”，让 X 只被实验者控制，就像老周亲自给嫌疑人下指令，而不是等他自己行动。

观察与干预的区别，在医疗场景里最扎眼。病人群里观察到“吃药的人康复率高”，但吃药的人本身病情更轻——病情轻重同时决定了吃药和康复，它就是混淆因子。只看条件概率 P（康复|吃药） 会严重高估药效。这就是“干预 vs 观察”的全部张力：观察世界里有太多假装因果的路径，干预世界才干净。

评测的干预效应预测题，考的就是模型能否算出“扣除混淆后的净效应”。标准解法是后门调整：把混淆因子 Z 分层，每层内部比较，再按 Z 的分布加权平均。相当于老周把病人按病情分成五个组，每组内部再比吃药和不吃药，最后按各组人数比例汇总。能对未知数据也给出接近真值的效应预测，模型才算通过了这一关。

老周给 AI 发了一个“双盲实验模拟器”，必须能按 Z 分层重算效应才给分。他说：探员不能只报告现场看到什么，要能回答重演一遍会发生什么——干预效应预测，就是给 AI 装上一台时间机器。

反事实推理

老周最爱的问题是：“假如那晚你改走小路，命案还会发生吗？”现实里 X 取 x、Y 取 y 已经板上钉钉，反事实问的是：把 X 改成 x′，Y 会变成什么？这是平行世界里的推演——事实世界和假设世界同时存在，模型要一只脚踩在现实中，另一只脚踏进平行宇宙。

反事实比干预更进一步。干预是对“还没发生的事”做实验，反事实是对“已经发生的事”做假设。打个比方：干预是“明天我换条路走，会不会迟到”，反事实是“昨天我换了条路走，会不会逃过那场车祸”。后者需要模型牢牢记住既成事实作为约束，再去改写其中一个变量、重新推演全局。

评测的反事实题型包括：假如式问答（If only I had…）、后悔分析、故事结局改写。模型要在保持背景设定不变的前提下，只改动一个变量，重新给出新世界的结果。答对这类题，意味着模型能解耦“每个原因各自贡献了多少”，而不是把整条事件链囫囵吞下。

老周说，能回答“假如”的探员才让人放心——办案最怕的就是“当时如果……”。反事实评估，就是提前检验 AI 在真实世界里会不会有“后悔能力”，这也是人类因果智能最独特的部分。

评测设计原则

老周设计考卷有个铁律：一份好考卷不能只考一个点。因果推理评测的任务类型分三类：因果图构建、干预效应预测、反事实问答，分别对应“看清结构、算准效应、推演平行世界”。三类任务互为犄角：只会画图不会算效应，是纸上谈兵；只会算效应不会画图，是盲人摸象。

难度分层是第二原则。考卷从“概念识别”（判断哪条是因果边）到“机制理解”（解释为什么是因果）再到“反事实推演”（假如场景下的新结果），逐级爬坡。每个难度层只测一个能力维度，避免“答对了但不知道靠的是哪步推理”的模糊判分。可控性则是第三原则：用模板化生成器动态出题，同一套因果结构换上不同的背景人物，模型就无法靠背题过关。

评测总分采用加权设计：低难度层权重低，用来筛掉完全不会的；高难度层权重高，用来拉开顶尖模型的差距。加权评分让考卷的重心落在“真推理”上，而不是“刷基础题”上。老周的考卷分 A/B 卷动态生成，他说：探员要防的是死记硬背，考卷要防的是泄题——可控生成就是我的防泄密保险柜。

基准数据集

老周的题库来自两个保险柜。第一个柜子存真实历史卷宗：吸烟与肺癌的队列数据、药物与疗效的临床试验数据，这些是“真实因果数据”，外部有效性高，但因为伦理和成本无法无限扩充。第二个柜子存新编的虚构剧本：按已知因果图用程序生成的结构化数据，这就是“合成因果数据”，结构完全可控、想要多少有多少。两柜并用，才能既真实又全面。

数据选择策略的核心是覆盖：结构上要覆盖链式（A→B→C）、分叉（A→B、A→C）、对撞（B→C、A→C）等不同图形态；领域上要覆盖医学、电商、社会科学等多个场景。规模要求则体现在题量上——太少则统计噪声大，太多则成本失控。多样性保障让模型无法用“一招鲜”应付所有因果结构。

基准评测还要严防数据污染：大模型的训练语料很可能已经吞下了公开基准题。对策是“保持集”制度——把一部分新生成的题目锁在保险柜里，只在评测时取出，用完即弃，定期轮换。最终在保持集上报告准确率，同时附带标准误，让分数经得起复现检验。

老周把两个保险柜的钥匙分给不同的人保管：真实卷宗锁三年不换，虚构剧本天天更新。他说：“卷宗会泄密，剧本天天换，AI 探员想作弊没门。”基准数据集的攻防，本身就是评估科学的一部分。

评估指标校验

卷子改完了，老周还要做最后一件事：检查改卷标准本身靠不靠谱。如果两位判卷老师一个手松一个手紧，分数就完全失去意义。评估指标的可信度问题由此而来——你用来衡量模型的尺子，自己先得被量一量。

可信度检验包含三个层次：第一，同一模型多次运行，分数波动大不大？如果波动超过几个百分点，说明评估受随机性支配。第二，随机猜测模型的基线分数是多少？优秀指标的基线应该接近“瞎蒙”，而不是接近满分。第三，人工抽样复核的标注与自动评分一致吗？这就要用科恩卡帕系数（Cohen's Kappa）来度量两位“裁判”扣除运气后的一致性。

标准化的评估流程应当固定：提示模板、随机种子、采样参数全部写入评测配置，多次运行取均值加减方差，并报告相对随机基线的提升量。这样任何实验室拿到同一套配置，都能复现同一份分数。老周让两位资深探长背靠背独立阅卷，Kappa 达到 0.86 才盖章发布：“分数先得自己经得起检验，才能拿去检验 AI。”

AI 应用场景

Python 演示

import numpy as npimport pandas as pd  def simulate_data(n=2000, seed=42):    """按因果图 Z->X, Z->Y, X->Y 生成观测数据"""    rng = np.random.default_rng(seed)    z = rng.normal(size=n)    x = (1.0 / (1.0 + np.exp(-(0.8 * z + 0.3))) > 0.5).astype(int)    y = 0.8 * x + 0.7 * z + rng.normal(size=n)    return pd.DataFrame({"z": z, "x": x, "y": y})  def naive_effect(df):    """朴素法: 直接比较 X=1 与 X=0 的 Y 均值之差"""    return df.loc[df.x == 1, "y"].mean() - df.loc[df.x == 0, "y"].mean()  def adjusted_effect(df):    """后门调整法: 按 Z 分层求加权平均"""    z_bins = pd.qcut(df.z, 5)    total = 0.0    for _, sub in df.groupby(z_bins, observed=True):        w = len(sub) / len(df)        total += w * (sub.loc[sub.x == 1, "y"].mean()                      - sub.loc[sub.x == 0, "y"].mean())    return total  if __name__ == "__main__":    df = simulate_data()    naive = naive_effect(df)    adj = adjusted_effect(df)    print("observation naive effect:", round(naive, 3))    print("backdoor adjusted effect:", round(adj, 3))    print("true causal effect: 0.8")

1. x = (1.0 / (1.0 + np.exp(-(0.8 * z + 0.3))) > 0.5).astype(int)混淆因子 Z 通过 sigmoid 映射影响 X 的取值，让 Z 成为“同时推动 X 和 Y”的幕后黑手。
2. y = 0.8 * x + 0.7 * z + rng.normal(size=n)X 对 Y 的真实因果效应只有 0.8，Z 还额外贡献 0.7，为混淆埋下伏笔。
3. def naive_effect(df):朴素法函数：不控制任何变量，直接把两组均值相减。
4. return df.loc[df.x == 1, "y"].mean() - df.loc[df.x == 0, "y"].mean()只取 X=1 组的 Y 均值去减 X=0 组，Z 的干扰混在里面。
5. z_bins = pd.qcut(df.z, 5)把 Z 切成 5 个分箱，近似实现“按层控制混淆因子”。
6. for _, sub in df.groupby(z_bins, observed=True):在每个 Z 分层内，分别比较 X=1 与 X=0 的 Y 均值差。
7. w = len(sub) / len(df)每层样本占比作为权重，等价于公式里的 P(Z=z)。
8. total += w * (sub.loc[sub.x == 1, "y"].mean()层层加权求和，这就是后门调整的完整计算。
9. print("observation naive effect:", round(naive, 3))输出对比：naive 虚高，adjusted 逼近真实因果效应 0.8。

常见误区

面试题