Double ML：交叉拟合Cross-fitting

可视化演示

三步展示Double ML交叉拟合：K折轮流训练nuisance并预测消除过拟合偏差、与交叉验证的本质区别、正交矩协同实现根号n一致收敛。

因果推理基础

回到餐厅。我们真正想知道的，不是“加辣酱的顾客平均满意度更高”，而是“同一群顾客在加辣酱和不加辣酱两种状态下的满意度差”。可惜现实只能端出其中一盘菜：要么加辣，要么不加。统计学家把这个无法同时观测的一对结果叫潜在结果，处理变量 \(D=1\) 表示加辣酱，\(Y(1)\) 表示加辣后的满意度，\(Y(0)\) 表示不加辣时的满意度。不同顾客之间差值的期望就是平均处理效应。

什么让加辣酱与满意度显得有关？等位时间、座位灯光、服务员热情程度都会同时影响点辣酱的意愿和满意度。这些变量叫混淆变量。在观测数据里，如果不控制它们，辣酱效应会被“等位时间”这类影子变量污染。因果推理的“可忽略性”假设相当于说：只要把桌子、灯光、等位时间等协变量 \(X\) 全部看在眼里，加不加辣酱就像是随机决定的，和潜在结果不再纠缠。

因此因果推断的第一课不是堆模型，而是先定义清楚你要比较的两个平行世界。后面所有机器学习技巧，都是在为这个“平行世界对比”服务。

双重机器学习

现在你决定用机器学习做评委。但评委不能只预测满意度：如果有一桌客人等位久、满意度低，同时更爱点辣酱，直接比较仍是错的。Double ML 的做法是请两个评委：一个用协变量 \(X\) 预测满意度，记为 \(\hat{g}(X)\)；另一个用协变量 \(X\) 预测要不要辣酱，记为 \(\hat{m}(X)\)。两个预测都失败也没关系——关键是它们能吸收混淆变量留下的那部分规律，然后用残差做“干净比较”。

这个矩条件满足 Neyman 正交性：在真值附近，评分函数对辅助模型的一阶偏导为 0，因此辅助模型的预测误差不会按一阶量传染给因果估计。这就是“双重”的含义：对结果和处理各去一次偏，两边都干净了。

交叉拟合机制

如果第二个评委在训练时见过某桌顾客，再用他给这桌打分，残差会被“记住答案”污染。测试误差被低估，因果估计就会向过拟合方向偏。交叉拟合的解法像经营葡萄酒品鉴会：同一批评委不能喝自己参与酿造的酒。先把样本随机分成 \(K\) 折，对第 \(k\) 折，用其余 \(K-1\) 折训练辅助模型，再把训练好的模型用来预测第 \(k\) 折；每一折分数都来自“没看过这折数据”的模型。

最后把 K 个折的估计简单平均：

这样每位客人都被陌生的评委评价了一次，交叉拟合从机制上切断了“自我品尝”带来的过拟合偏误。

算法执行流程

整个流程像排一张后厨值班表。第 1 步：把 \(n\) 位顾客随机分到 \(K\) 张桌子（折）；第 2 步：对每张桌子 \(k\)，让厨师在其余 \(K-1\) 张桌子上练习，学习 \(\hat{g}\) 和 \(\hat{m}\)；第 3 步：回到桌子 \(k\) 做正交评分；第 4 步：把 \(K\) 张桌子的分子分母分别加起来，得到最终的 \(\hat{\theta}_{\text{cf}}\)。

其中 \(\tilde{U}_i=Y_i-\hat{g}_{-k(i)}(X_i)\)，\(\tilde{V}_i=D_i-\hat{m}_{-k(i)}(X_i)\)。

当每折样本量大致相等时，这个加权汇总与简单平均的结果非常接近，但数值稳定性更好，因此工程实现中更推荐。

性能特性优化

交叉拟合不是免费的午餐，而是用少量计算换取可靠推断。折数 \(K\) 越小，每折训练集越小，辅助模型越容易不稳定；\(K\) 越大，每折训练集越接近全量，但训练次数越多。常用 5 折或 10 折。更重要的是，交叉拟合允许辅助模型使用高灵活 ML 而不过拟合，使最终估计在有限样本下也可信。

只要辅助模型以足够快的速度收敛，交叉拟合就能把第一阶段的规则化偏误压到二阶，从而让置信区间可信。这就是为什么“复杂 ML + 规范因果推断”可以同时成立。

实践问题对策

实践中的事故多半发生在“偷看”。例如先全量标准化、填缺失值，再做折划分，信息就已经泄漏。正确姿势是：每一次折叠内部重新做预处理与超参搜索。另一个常见问题是协变量维度很高，辅助模型方差大；此时可在每折内部适度正则化，并监控各折估计是否稳定。为了进一步降低随机划分带来的噪声，还可以做重复交叉拟合：

若每次划分的估计值差异很大，说明样本量不足或模型太灵活，需要回头检查。最终诊断表上还要写清楚：每折残差是否平稳、处理残差均值和方差是否合理、正交评分是否接近零均值。做完这些检查，交叉拟合这道菜才算真正端得出手。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.base import clonefrom sklearn.model_selection import KFoldfrom sklearn.linear_model import LinearRegression def make_data(n=500, p=10, seed=42):    rng = np.random.default_rng(seed)    X = rng.normal(size=(n, p))    U = rng.normal(size=n)  # hidden confounder    D = 0.5 * U + 0.2 * X[:, 0] + 0.5 * rng.normal(size=n)    Y = 1.5 * D + 0.8 * U + 0.3 * X[:, 1] + rng.normal(size=n)    return X, D, Y def cross_fitting_dml(X, D, Y, base_model, K=5, seed=7):    n = len(Y)    kf = KFold(n_splits=K, shuffle=True, random_state=seed)    u_hat = np.zeros(n)    v_hat = np.zeros(n)    for train_idx, test_idx in kf.split(X):        model_d = clone(base_model)        model_y = clone(base_model)        model_d.fit(X[train_idx], D[train_idx])        model_y.fit(X[train_idx], Y[train_idx])        d_hat = model_d.predict(X[test_idx])        y_hat = model_y.predict(X[test_idx])        u_hat[test_idx] = Y[test_idx] - y_hat        v_hat[test_idx] = D[test_idx] - d_hat    theta = (u_hat * v_hat).sum() / (v_hat * v_hat).sum()    return theta if __name__ == "__main__":    X, D, Y = make_data()    theta = cross_fitting_dml(X, D, Y, LinearRegression(), K=5)    ols = np.polyfit(D, Y, 1)[0]    print("DML estimate:", round(float(theta), 3))    print("Naive OLS  :", round(float(ols), 3))

1. kf = KFold(n_splits=K, shuffle=True, random_state=seed)把顾客随机分成 K 折，并固定随机种子保证可复现。
2. for train_idx, test_idx in kf.split(X):每轮循环的训练折与预测折完全互斥，对应“评委没见过这桌客人”。
3. model_d.fit(X[train_idx], D[train_idx])在训练折上学习处理预测模型 \(\hat{m}\)。
4. u_hat[test_idx] = Y[test_idx] - y_hat用样本外预测生成结果残差 \(\tilde{U}\)。
5. theta = (u_hat * v_hat).sum() / (v_hat * v_hat).sum()把所有折的分子分母分别聚合，得到交叉拟合因果估计。

常见误区

面试题