因果森林：局部平均处理效应

可视化演示

因果效应基础

老王一开始只想知道整片果园的平均增产效果。他把所有施肥的果树和没施肥的果树放在一起比，得到的是一个“有偏”的答案：因为施肥的果树本来就更强壮、光照更好，这些差异混进了肥料效应里。果园里真正的问题不是“施肥的树比不施肥的树多收多少”，而是“同一棵果树，在施肥和不施肥两种状态下会差多少”。这就是因果推断里的潜在结果框架：每棵果树都有一个“如果施肥”的产量 \(Y(1)\) 和一个“如果不施肥”的产量 \(Y(0)\)，可惜我们永远只能观察其中一个。所以因果推断要做的，就是用巧妙的策略把另一个“看不见的结果”补回来。

在这个框架里，最常见的因果量是平均处理效应（ATE）：把每棵果树的个体效应 \(Y_i(1)-Y_i(0)\) 在所有果树上取平均。ATE 回答的是“整片果园平均能增产多少”。但因果森林真正关心的是更细致的问题：不同地块、不同树龄、不同土壤条件下，增产效果并不相同。这种因人而异、因条件而异的效应，叫做条件平均处理效应（CATE），记作 \(\tau(x)=\mathbb{E}[Y(1)-Y(0)\mid X=x]\)。因果森林的使命，就是把整片果园切成小块，在每一块上估计这种局部效应。

不过，老王很快发现：整园平均会掩盖“局部”的差异。真正重要的是画出果园的“受益地图”，这正是后面因果森林要做的事。理解了平均效应只是出发点，异质性才是因果森林的宝藏。

工具变量识别

要让老王估计出局部的因果效应，他需要一架特殊道具——“人工降雨无人机”。无人机是否出动是近似随机的，它通过改变施肥意愿来影响收成，但本身不直接改变果树产量。这样的变量叫工具变量（IV）。工具变量要成立，必须满足三个识别条件：第一是相关性，无人机来了，果树确实更容易施肥；第二是排他性，无人机只能通过“施肥”这一条路影响收成，不能直接给果树洒营养液；第三是随机性，无人机是否出动与其他看不见的因素无关。有了这三个条件，老王就能从观测数据中剔除“好果树天生更高产”的混杂偏差。

具体做法是使用 Wald 比值：分子看“无人机来与不来时，平均收成差多少”，分母看“无人机来与不来时，施肥率差多少”。分子除以分母，就得到施肥对收成的因果效应。可以这样理解：无人机本身不影响产量，所以分子中所有收成变化都来自施肥率的变化；而分母正好告诉老王，无人机让施肥率提高了多少。两者一比，就把“每一单位施肥率变化带来的收成变化”干净地剥离出来了。

回到果园：如果无人机除了促使施肥，还会顺手喷水，那它就违反了排他性，Wald 比值会高估肥料效果。所以工具变量方法并不是万能的，它像一把精准的手术刀，前提是必须放在正确的位置上。

局部平均处理效应

Wald 比值虽然给出了一个因果答案，但它到底在回答谁的问题？果园里的果树并非都听无人机的话：有的果树无论无人机来不来都施肥，称为“总是施肥者”；有的无论无人机来不来都不施肥，称为“从不施肥者”；还有的专门和无人机对着干，无人机来了反而不施肥，称为“反抗者”。真正听无人机指挥、无人机来才施肥、不来就不施肥的，叫做“依从者”。Wald 比值识别的因果效应，只属于这部分依从者，因此称为局部平均处理效应（LATE）。

为什么“局部”这么重要？因为总是施肥者和从不施肥者的行为根本不受无人机影响，他们的数据无法告诉我们“被工具变量改变处理状态”的后果。只有依从者的处理状态会随无人机变化，他们的产量差异才能干净地归因于肥料。局部平均处理效应正是对依从者群体定义的 ATE：

这里还有一个重要前提叫单调性假设：无人机只会增加果树施肥的意愿，不会让任何果树“反向操作”，也就是排除反抗者的存在。如果果园里大量存在反抗者，LATE 的“局部”就会变得模糊。可见，LATE 不是万能灵药，而是一把有明确适用对象的尺子。

因果森林算法

老王的果园实在太大了，不可能只算一个全局 LATE。他发现不同地块的土壤、阳光、树龄差异巨大，于是决定把果园按特征切成一棵“因果树”：根节点代表整片果园，每次根据某个特征（比如土壤酸碱性）把样本划分成两个子节点，不断细分，最后落到叶子节点。每一片叶子里都是特征相似的果树，老王就在叶子内部计算局部平均处理效应。这就是“把一个总体问题拆成许多局部问题”的思想。

单棵树容易“钻牛角尖”，老王于是种下很多树，每棵树用不同的随机子样本、不同的特征子集来生长，组成一片“因果森林”。但随机森林的基础做法在因果估计中有风险：如果同一批数据既被用来找分割点，又被用来估计叶子效应，很容易把噪声当成真实异质性。因此因果森林采用了“诚实估计树”：用一半样本决定树的结构，用另一半样本估计叶子内的 LATE。这样，叶子内的估计就像“考试前先分好卷子”，不会因为偷看过答案而虚高。对于某一叶子 \(\ell\)，其内部估计值是所有样本局部效应的平均：

因果森林的价值就在这些叶子里：每片叶子不仅是一组相似样本的容器，更是一个可解释的、可检验的因果结论。老王看着森林输出的“受益地图”，能直接说出哪块地效果好、哪块地效果差，而不是给出一句笼统的“肥料平均增产20%”。

性能优化策略

因果森林虽然强大，但果园数据动辄上万，直接生长一棵又深又密的树会非常慢，也很容易过拟合。老王想了一组办法来“轻装上阵”。第一个办法是降采样子抽样：每棵树只随机抽取一部分果树样本，既减少计算量，又让各棵树之间的差异变大，森林更稳健。第二个办法是残差化处理：先用简单的回归模型把“收成”和“施肥”中能被特征解释的部分剥离掉，只留下“不能被协变量解释”的残差，再用残差去做因果估计，这样可以有效控制混淆因子。

还有一个被很多初学者忽略的点：不能只看叶子里的点估计，还要给每个叶子配上“不确定度”。如果一片叶子里的样本很少，估计出的 LATE 可能忽高忽低。因果森林通过叶内伪效应的样本方差来近似构建置信区间：

在实际工程中，还会进一步使用交叉验证选择树的深度、使用非参数自助法估计标准误。老王的经验是：优化不是让模型无限复杂，而是让每一个叶子都“小而可信”。一份好的因果森林报告，绝不能只给一张漂亮的受益地图，还要在地图上标出哪些区域的数据还不足够支持决策。

应用与评估

因果森林学成之后，老王终于可以回答最核心的问题：肥料到底该重点投给哪些地块？他把所有果树按照特征落入不同的叶子，每个叶子都得到一个 LATE 估计值。有些叶子显示增产明显，有些叶子显示几乎无效，甚至还有负效应。这张“受益地图”就是异质性发现的过程。对于 AI 系统而言，它也是可解释性的体现：模型不是给出一个神秘分数，而是告诉业务方“什么样的用户、什么条件下有效”。

在落地决策时，还需要把因果效应与成本对齐。假设每棵果树施用肥料的成本是 \(c\)，只有当叶子的 \(\hat{\tau}_{\ell}\) 大于 \(c\) 时，这笔投入才划算。更一般地，我们可以按某个特征分组 \(g\)，计算该组的平均处理效应（GATE）：

最后，任何因果结论都必须经过敏感性分析：如果工具变量假设稍微被违反，结论会翻转吗？如果换一种随机种子或换一批样本，受益地图还稳定吗？只有经得起这些检验的局部效应，才能真正进入生产决策。老王的果园从此不再盲目施肥，而是把每一袋肥料都送到最需要它的果树旁。

AI 应用场景

Python 演示

import numpy as np def simulate(n=1200, seed=7):    rng = np.random.default_rng(seed)    X = rng.uniform(0, 1, size=(n, 1))    complier = X[:, 0] > 0.4    Z = rng.binomial(1, 0.5, n)    d0 = (X[:, 0] < 0.7).astype(int)    d1 = np.where(complier, 1, d0)    D = np.where(Z == 1, d1, d0)    tau = 0.5 + 1.5 * (X[:, 0] > 0.6)    Y = 1.0 + tau * D + 0.4 * X[:, 0] + rng.normal(0, 0.3, n)    return X, Y, D, Z, tau, complier def wald_rate(Y, D, Z):    num = Y[Z == 1].mean() - Y[Z == 0].mean()    den = D[Z == 1].mean() - D[Z == 0].mean()    return num / den def leaf_lates(X, Y, D, Z, threshold=0.6):    left = X[:, 0] <= threshold    right = ~left    return (wald_rate(Y[left], D[left], Z[left]),            wald_rate(Y[right], D[right], Z[right])) if __name__ == "__main__":    X, Y, D, Z, tau, complier = simulate()    print("全园 LATE 估计:", round(wald_rate(Y, D, Z), 3))    print("真实平均 LATE:", round(tau[complier].mean(), 3))    low, high = leaf_lates(X, Y, D, Z)    print("低肥力地块 LATE:", round(low, 3))    print("高肥力地块 LATE:", round(high, 3))

1. complier = X[:, 0] > 0.4只有土壤条件较好的果树才是“依从者”，会听从无人机指令施肥。
2. Z = rng.binomial(1, 0.5, n)无人机是否来是近似随机的，这是工具变量随机性假设的模拟。
3. d1 = np.where(complier, 1, d0)无人机来了，依从者必然施肥，而不依从者保持原有行为。
4. tau = 0.5 + 1.5 * (X[:, 0] > 0.6)真实个体效应随土壤特征变化，制造异质性。
5. Y = 1.0 + tau * D + 0.4 * X[:, 0] + rng.normal(0, 0.3, n)收成由处理效应、协变量和噪声共同决定。
6. den = D[Z == 1].mean() - D[Z == 0].mean()分母衡量无人机引起施肥率的变化量。
7. left = X[:, 0] <= threshold按土壤特征把果园切成两片叶子，对应因果树的局部划分。
8. print("低肥力地块 LATE:", round(low, 3))输出局部估计，展示不同叶子效应差异。

常见误区

面试题