深度因果发现：因果发现评估指标

可视化演示

展示骨架F1分数（TP/FP/FN分类）、结构汉明距离SHD（缺边/多边/方向错误）、结构干预距离SID（干预分布差异）三种评估指标，点击按钮切换。

骨架F1分数：道路网络的存在性检验

想象你刚到那座陌生的城市，第一件事是确认“哪些地方之间有路”。你不用管单行道还是双行道，只需画一张“哪两个路口有连接”的草图。骨架F1分数做的正是这件事：它只看算法找出的边（连接）在多大程度上与真实边集吻合，完全忽略边的方向。

在技术层面，因果图被简化为无向图，只保留变量之间的连接关系。设真图的边集为 $E$，算法输出的边集为 $\hat{E}$，则真阳性（TP）是两条边集中都存在的边，假阳性（FP）是算法多画的边，假阴性（FN）是算法漏画的边。基于这三个数字，精确率与召回率被定义为：

精确率回答“你画的边有多少是真实存在的”，召回率回答“真实的边你找回了多少”。但单独看任何一个都有偏颇，于是用调和平均把它们合成一个数：

回到城市的比喻：骨架F1就像道路巡检员复核你的路网草图——它不关心单行道方向，只关心“你标注的这条路真实存在吗？遗漏了哪条小路？”如果F1接近1，说明你对城市路网的拓扑结构已经心中有数，但这还远不够，因为真正开车上路时，方向同样致命。

方向准确率：单行道的方向校验

地图上的路都画对了，但如果你把单行道的箭头方向标反，司机会在一条不存在的反向路上逆行，酿成事故。方向准确率评价的正是这个环节：在已经确认存在的边中，算法判断出的因果方向与真实方向一致的比例。

方向准确率的定义依赖一个有向边集合。设 $E$ 为真图中的有向边集合，$\hat{E}$ 为估计图中的有向边集合，两者骨架相同的那部分公共边集为 $S = skeleton(E) \cap skeleton(\hat{E})$。方向准确率则是在这组公共骨架上计算方向完全一致的边的比例：

其中 $\mathbb{1}[\cdot]$ 是指示函数，条件成立取1，否则取0。直觉上，方向准确率衡量的是“在所有找对连接的道路中，有多少条箭头方向也没标错”。

在真实场景中，方向的判定往往依赖 V结构（碰撞结构），即 $X \rightarrow Y \leftarrow Z$ 这种形态。它就像城市里的“丁字路口”，是唯一能纯靠数据敲定某些箭头方向的路标。如果你的算法能在图中准确识别V结构，方向准确率通常就有了坚实的地基。

结构汉明距离：地图修正的编辑次数

现在我们有了两把尺子：一把看连接，一把看方向。但有人会问：“我的地图和真实地图到底差几笔？”结构汉明距离（SHD）回答的就是这个问题——它计算从一张有向图变成另一张有向图，至少需要增加或删除多少条边。

SHD的定义非常直观：真实图 $G$ 与估计图 $\hat{G}$ 的边集分别为 $E$ 与 $\hat{E}$，那么两者之间的差异就是“真实图里有但估计图里没有的边”加上“估计图里有但真实图里没有的边”：

注意，这里的“边”是有向边，方向不同也算一条不同的边。SHD为0意味着两张图的所有有向边完全一致，这是最理想的情况；SHD越大，说明需要改动的笔画越多，地图质量越差。

SHD与骨架F1是一对互补的搭档。骨架F1把“该有边却漏了”和“不该有边却多画了”都揉进一个0到1的分数里，而SHD则告诉你具体的编辑次数。打个比方：F1像考试得分，告诉你“大概好不好”；SHD像批改痕迹，告诉你“具体错了几笔”。在论文报告中同时给出两者，读者才能既看总体水平，又知道改进空间。

结构干预距离：政策干预的效应偏差

如果说前三把尺子都在“看图改图”，那么结构干预距离（SID）则代表更高维度的审核：它不关心图的笔墨，只关心“如果我在某个路口实行交通管制，对另一个区域的通行分布影响，你的地图算得准吗？”在因果推断中，这种“假如强制改变某个变量的取值”就是干预（do操作）。

SID的核心思想是：统计所有“干预一对节点”的场景，计算依据真实图得到的干预后分布与依据估计图得到的干预后分布有多少不一致。形式化地说，对任意两个不同节点 $i$ 和 $j$，在真实图 $G$ 下施加干预 $do(X_i = x)$ 得到的 $X_j$ 分布为 $P_G(X_j \mid do(X_i))$，在估计图 $\hat{G}$ 下同样计算一个干预分布，两个分布一致则无误差，否则记一次误差。SID定义为：

SID越大，说明你的地图在“预测干预效果”这件事上偏差越大，哪怕骨架和方向都对，模型给出的因果效应也可能错得离谱。

回到城市的比喻，SHD只关心地图的线画得对不对，SID则关心用地图做政策推演时会不会翻车。如果你根据错误的方向推演“在A路口禁行会让B区拥堵缓解30%”，结果实际上拥堵加重了，这就是SID揭示的残酷真相——结构看起来差不多，效应却天差地别。

评估维度体系：三方会审的质量报告

城市地图质量评估不能只靠一把尺子。骨架F1覆盖拓扑正确性，方向准确率覆盖方向正确性，SHD与SID分别从编辑距离和效应误差两个角度补充信息。这就构成了一个“三维评估”框架：拓扑维度（边是否存在）、方向维度（箭头是否正确）、效应维度（干预后分布是否一致）。

三维评估体系的核心在于：每个指标回答不同问题，无法互相替代。骨架F1高但方向准确率低，意味着你找到了所有道路但箭头全画反了；SHD很小但SID很大，意味着图和真图只差一两笔，但恰好那关键的一笔改变了干预方向，导致效应估算崩溃。因此，实验报告中常见做法是把四类指标并列给出，再结合具体任务决定侧重——如果目标是发现变量关系，重点看骨架F1；如果目标是指导干预决策，重点看SID。

在实验设计上，研究者通常会先在合成数据上验证算法（因为合成数据的真图已知，可以精准计算全部指标），再到真实数据集上用启发式规则或专家知识近似评估。这种“先模拟后实测”的策略，类似于飞行员先在飞行模拟器里被考官全方位打分，再上真机试飞。

可信AI应用：从尺寸到安全驾驶

当AI进入医疗、金融、自动驾驶等高风险领域，“评估指标”就不再只是论文里的表格，而是可信AI的地基。一个只做相关性预测的模型，无法回答“如果我停用这种药会怎样”；但一个经过严格因果评估的模型，可以给出“停用该药后病情恶化概率上升15%”的可靠估计。这背后依赖的，正是骨架F1、方向准确率、SHD与SID层层把关。

具体来说，可信AI系统需要三样东西：决策可靠性——因果发现算法输出的结构必须经得起SID的检验，确保基于它的干预建议不会南辕北辙；模型可解释性——通过方向准确率验证因果路径，让“模型为什么这样决策”拥有透明的因果链解释；因果与预测结合——在推荐系统、风控模型中加入反事实推理，回答“如果当时采取了不同行动，结果会怎样”。

在这座由数据构建的城市中，评估指标就是交通管理局的定期巡检：只有通过全部检查的地图，才能被贴在自动驾驶汽车的中控屏上。这也是为什么因果发现评估指标被视为构建可信AI基础设施的核心环节——没有统一量尺，就没有安全上路。

AI 应用场景

Python 演示

from itertools import permutations  def skeleton(edges):    # 将每条有向边 (a, b) 转成无序对，构成骨架边集    return {tuple(sorted(e)) for e in edges}  def ancestors(node, edges):    # 返回能够通过有向路径到达 node 的祖先集合    result = set()    changed = True    while changed:        changed = False        for a, b in edges:            if b == node and a not in result:                result.add(a)                changed = True            if a in result and b not in result:                result.add(b)                changed = True    return result  def do_effect_signature(edges, nodes):    # 近似干预效应签名：若 i 是 j 的祖先，则认为 do(i) 会影响 j    sig = set()    for i, j in permutations(nodes, 2):        if i in ancestors(j, edges):            sig.add((i, j))    return sig  def evaluate_causal_graph(true_edges, est_edges, nodes):    true_edges = set(true_edges)    est_edges = set(est_edges)    true_sk = skeleton(true_edges)    est_sk = skeleton(est_edges)     tp = len(est_sk & true_sk)    fp = len(est_sk - true_sk)    fn = len(true_sk - est_sk)     precision = tp / (tp + fp) if tp + fp > 0 else 0.0    recall = tp / (tp + fn) if tp + fn > 0 else 0.0    f1 = (2 * precision * recall / (precision + recall)          if precision + recall > 0 else 0.0)     common_sk = est_sk & true_sk    correct_dir = 0    for a, b in common_sk:        if (a, b) in est_edges and (a, b) in true_edges:            correct_dir += 1        if (b, a) in est_edges and (b, a) in true_edges:            correct_dir += 1    dir_acc = correct_dir / len(common_sk) if common_sk else 0.0     shd = len(est_sk - true_sk) + len(true_sk - est_sk)     true_sig = do_effect_signature(true_edges, nodes)    est_sig = do_effect_signature(est_edges, nodes)    sid = len(true_sig ^ est_sig)     return {"precision": precision, "recall": recall, "f1": f1,            "dir_acc": dir_acc, "shd": shd, "sid": sid}  if __name__ == "__main__":    nodes = ["A", "B", "C"]    true_edges = {("A", "B"), ("A", "C")}    est_edges = {("A", "B"), ("C", "A")}    metrics = evaluate_causal_graph(true_edges, est_edges, nodes)    for k, v in metrics.items():        print(f"{k}: {v:.3f}")

1. skeleton(edges)将有向边去方向，生成无向骨架边集，用于后续拓扑指标计算。
2. tp / (tp + fp)计算精确率：算法标出的道路中真实存在的占比。
3. tp / (tp + fn)计算召回率：真实道路中被找回的占比。
4. 2 * precision * recall / (precision + recall)精确率与召回率的调和平均，公式即骨架F1。
5. correct_dir / len(common_sk)在公共骨架上计算方向一致的比例，即方向准确率。
6. len(est_sk - true_sk) + len(true_sk - est_sk)真实图与估计图独有边数之和，即SHD。
7. do_effect_signature(edges, nodes)用祖先关系生成干预效应签名，等价于“干预i是否影响j”的二元判断。
8. len(true_sig ^ est_sig)真图与估计图干预效应签名的对称差大小，即近似SID数值。

常见误区

面试题