因果推断评估方法实战

可视化演示

因果基础

果园里的故事远不止老王一家。老李发现，老王的苹果卖得好，同时也请了最好的除虫师、用了滴灌设备。那么产量高到底是肥料、除虫还是滴灌的功劳？这就引出了因果推断的第一课：相关不等于因果。我们看到两件事同时发生，不代表一件导致另一件。就像公鸡打鸣与太阳升起总是“相关”，但公鸡绝不是太阳升起的原因。

想要证明肥料的因果效应，最理想的办法是随机实验：把果园划成许多小方块，掷硬币决定谁施肥、谁不施。只要样本足够多，两组在土壤、光照、病虫害上会“平均地”相似。这样，两组产量的差异就只能归因于肥料。这就是随机对照试验被称为“金标准”的原因——它从设计上切断了所有混杂因素的干扰。

但现实世界往往不允许我们掷硬币。用户补贴给谁、新功能给谁开放，都是产品策略精心选择的结果。于是我们只能在观察数据中寻找因果线索。观察数据的麻烦在于：处理组和对照组从一开始就不一样，任何直接比较都可能被“混杂偏差”带偏。正因如此，我们需要一套严谨的框架来逼近随机实验的效果，这就是后文的反事实框架、双重差分与倾向得分匹配。

比喻回扣：老王必须承认，施肥园产量高可能只是因为它“底子好”。观察数据就像果园的旧账本，账本不会主动告诉你因果，需要用科学方法从里面“挖”出来。

反事实框架

因果推断的一切，都围绕一个无法直接观测的概念展开：反事实。对老王的每一棵苹果树，我们只能看到一种结果——要么施了肥，要么没施。但因果问题的本质是问：“同一棵树，在另一个世界里如果不施肥，会结多少苹果？”那个世界的产量就是反事实结果。

为了把这个问题数学化，统计学家引入了潜在结果框架。对第 $i$ 棵树，定义 $Y_i(1)$ 表示它接受处理（施肥）时的产量，$Y_i(0)$ 表示它未接受处理时的产量。因果效应就是两者之差。但由于同一棵树不可能同时处于两个世界，我们永远只能观测到其中一个，这就是“潜在结果缺失”问题。

比喻回扣：每个果园老板都想让同一棵树“分身”成两棵，一棵施肥、一棵不施。反事实框架做不了魔法，但它告诉我们：只要找到一群和施肥树足够像的“替身”，就能拼凑出那个看不见的平行世界。

双重差分原理

既然不能回到过去，老王换了一个思路：他找到一片从未施过肥的邻居果园作对照，记录两组果园在施肥前后的产量变化。如果两组在施肥前有着相似的增长势头，那么施肥后处理组多出来的那部分变化，就可以归功于肥料。这种方法就是双重差分（Difference-in-Differences，DID）。

DID 的聪明之处在于做了两次差分：第一次差分，看处理组“施肥前后”的产量变化；第二次差分，看对照组“同一时间段前后”的产量变化。把两者相减，就能剔除掉“时间本身带来的自然增长”，剩下的才是处理带来的净效应。它依赖一个关键前提——共同趋势假设：如果没有施肥，处理组会和对照组沿着相同的轨迹变化。

比喻回扣：DID 就像用邻居果园当“镜子”，照出如果自己不施肥会怎样。两片园子不需要起点相同，只要“成长节奏”一致，施肥后那一下“跳升”就无处遁形。

双重差分实战

DID 在实际工程中，第一步是准备面板数据：同一批果园在多个时间点上都要有产量记录。只有“前后两期+处理对照两组”的经典结构还远远不够，真正落地时还要回答三个问题：分组是否稳定？时间趋势是否平行？政策干预的时点是否清晰？

首先要做平行趋势检验。常见做法是观察处理前多个时间点的产量走势，若处理组和对照组在干预前保持同步，就说明共同趋势假设有一定可信度。其次，干预时点必须明确，比如“新功能在 3 月 1 日对所有实验组用户全量上线”，这个日期就是政策的锚点。若时点模糊，DID 的因果解释就会大打折扣。

在多期面板或分组政策逐步推广的场景中，还可以扩展为多期 DID，用固定效应模型控制不可观测的组间差异和时间冲击。最终的结论报告不能只写一个效应值，还要给出置信区间、样本量、平行趋势检验结果和稳健性检验，例如更换对照组、剔除部分样本后结论是否依然成立。这也是数据团队向业务方交付因果结论时的基本工程素养。

比喻回扣：老王如果要向采购商证明肥料有效，光有一张对比表不够，还得拿出“施肥前三年两组产量曲线几乎重合”的图。数据可信，结论才有人信。

倾向得分匹配原理

故事到了另一片果园。老王没有历史面板数据，只有今年秋季的一批截面数据：有些树施了肥，有些没施。直接比产量，施肥树平均高 20%，但这批树又高又壮、日照充足。怎么才能公平对比？老王想到了“找替身”：对每一棵施肥树，在未施肥的树里找一棵在土壤、光照、品种上都最像的树配成一对。

但果园的维度那么多，“像”该怎么定义？统计学家给出了一个简洁的思路：倾向得分。它把多维特征压缩成一个概率——这棵树被施肥的概率。如果两棵树被施肥的概率几乎相同，那么它们就可以被看作“可互换”的，因为施肥与否在这个概率水平上近似随机。倾向得分通常用逻辑回归估计。

比喻回扣：倾向得分就像给每棵树打了一个“施肥倾向指数”。老王不用逐条比土壤和光照，只看指数相近的树，就能组成一对对“双胞胎”，从而公平地比较产量。

倾向得分匹配实战

PSM 的工程实现并不复杂，但细节决定成败。首先，协变量选择要克制：应当选择同时影响“是否施肥”和“产量”的变量，例如树龄、土壤、光照；不能把施肥后的结果变量也塞进模型，否则会产生“坏的控制”。

第二步是估计倾向得分并实施匹配。最常用的是最近邻匹配，为每个处理样本找倾向得分最接近的对照样本；也可以用卡尺匹配限制得分差距，避免强行匹配“不像”的样本。匹配完成后，需要检查共同支撑：如果处理组的得分范围远超对照组，那么超出区域没有可匹配的替身，这些样本应当被舍弃或谨慎处理。

第三步是平衡性检验。检验匹配后的两组在协变量均值上是否不再有明显差异，就像确认配对后的果树在树龄和土壤上确实“门当户对”。只有通过平衡性检验，ATT（处理组平均处理效应）计算才可信。最后还要做敏感性分析，考察是否存在未观测到的混杂变量足以推翻结论。在 MLOps 实践中，这些步骤应当被固化为可重复执行的评估管道，进入数据可信层的 CI 流程。

比喻回扣：匹配完成后，老王手里就多了一本“双胞胎对照册”：每棵施肥树都有一个不施肥的替身。两边的产量差，才是肥料真正带来的增量，而不是土壤和阳光的功劳。

评估方法综合

面对具体业务问题，选择 DID 还是 PSM，关键在于数据形态与假设强度。DID 适合有时间面板、有明确政策时点的场景，比如新功能上线前后对比；PSM 适合单期截面数据、有丰富协变量的场景，比如从历史用户中筛出相似对照组。如果两者都满足，更推荐双重稳健（Doubly Robust）策略：先做 PSM 再在匹配样本上做 DID，或者同时用两种方法交叉验证。只要其中一种模型设定正确，结论就是稳健的。

工程落地上，因果推断不是一次性的分析脚本，而应嵌入 MLOps 的评估体系：实验平台记录分组、干预时点和指标；数据管道沉淀面板数据；算法模型提供倾向得分；监控系统定期检验平行趋势与平衡性是否被破坏。这样，当业务方问“这个策略真的有效吗”时，数据团队能够快速、可信地回答。

比喻回扣：老王最终明白，果园里没有一劳永逸的魔法。DID 是看时间线上的“跳变”，PSM 是找空间里的“替身”，把两者结合起来的果园科学，才能让每一份肥料都花得明明白白。

AI 应用场景

Python 演示

import numpy as np def sigmoid(z):    return 1.0 / (1.0 + np.exp(-z)) def gen_obs(n=2000, seed=42):    rng = np.random.default_rng(seed)    soil = rng.normal(0, 1, n)    sun = rng.normal(0, 1, n)    ps = sigmoid(0.8 * soil + 0.6 * sun)    treat = (rng.uniform(0, 1, n) < ps).astype(int)    y0 = 10 + 2 * soil + 1 * sun + rng.normal(0, 1, n)    tau_true = 3.0    y1 = y0 + tau_true    y = np.where(treat == 1, y1, y0)    return soil, sun, treat, y, ps, tau_true def logistic_ps(X, t, iters=300, lr=0.05):    w = np.zeros(X.shape[1])    for _ in range(iters):        z = X @ w        grad = X.T @ (sigmoid(z) - t) / len(t)        w = w - lr * grad    return w def psm_att(X, treat, y):    w = logistic_ps(X, treat)    ps = sigmoid(X @ w)    treat_idx = np.where(treat == 1)[0]    ctrl_idx = np.where(treat == 0)[0]    diff = []    for i in treat_idx:        j = ctrl_idx[np.argmin(np.abs(ps[ctrl_idx] - ps[i]))]        diff.append(y[i] - y[j])    return np.mean(diff), ps def did_att(y_bt, y_at, y_bc, y_ac):    d_treat = y_at.mean() - y_bt.mean()    d_ctrl = y_ac.mean() - y_bc.mean()    return d_treat - d_ctrl if __name__ == "__main__":    soil, sun, treat, y, ps, tau = gen_obs()    X = np.column_stack([np.ones(len(soil)), soil, sun])    naive = y[treat == 1].mean() - y[treat == 0].mean()    att, _ = psm_att(X, treat, y)    rng2 = np.random.default_rng(1)    y_bt = 10 + 2 * soil + sun + rng2.normal(0, 1, len(soil))    y_bc = y_bt - 1.5    y_at = y_bt + 4 + treat * tau    y_ac = y_bc + 4    att_did = did_att(y_bt[treat == 1], y_at[treat == 1],                      y_bt[treat == 0], y_ac[treat == 0])    print("naive ATT:", round(naive, 3))    print("PSM ATT:", round(att, 3))    print("DID ATT:", round(att_did, 3))    print("true ATT:", tau)

1. ps = sigmoid(0.8 * soil + 0.6 * sun)用土壤和光照生成施肥概率，让处理分配带有选择性偏差。
2. y1 = y0 + tau_true定义真实的因果效应为恒定常量 3，作为评估基准。
3. naive = y[treat == 1].mean() - y[treat == 0].mean()直接比较两组均值，包含混杂偏差，通常会高估真实效应。
4. grad = X.T @ (sigmoid(z) - t) / len(t)手写逻辑回归的梯度，用于估计倾向得分。
5. j = ctrl_idx[np.argmin(np.abs(ps[ctrl_idx] - ps[i]))]最近邻匹配：为每个处理样本找倾向得分最接近的对照样本。
6. d_treat - d_ctrl双重差分：处理组前后变化减去对照组前后变化，剥离时间趋势。
7. y_at = y_bt + 4 + treat * tau构造 DID 数据：两组都有共同的时间趋势 4，处理组额外增加真实效应 tau。

常见误区

面试题