Double ML：部分线性模型

可视化演示

部分线性模型设定

你是那家开在转角处精品咖啡店的店长。最近上架了一款“海盐焦糖糖浆”，有顾客说是“灵魂味道”，也有顾客说“太甜了”。你想用一个数字回答：它到底给满意度评分加了多少分？但满意度的形成太复杂了——咖啡师当日手感、天气冷暖、顾客是否空腹、饮品本身的温度……这些因素像一群叽叽喳喳的客人，抢着占据评分表。

把这个问题写成数学表达式，一个漂亮的简化方式出现了：把评分 $Y$ 拆成三块——糖浆带来的线性贡献 $\theta D$、背景因素 $X$ 的复杂影响 $g(X)$、纯随机波动 $\varepsilon$。这就是部分线性模型的骨架。之所以叫“部分线性”，是因为只有处理变量 $D$ 这一部分享受了“直线待遇”，其余 $X$ 的贡献由机器学习的任意非线性函数来扛。$D$ 可以是“是否加糖浆”的二值变量，也可以是“加了几泵糖浆”的连续变量。

在正式记号中，令 $Y$ 表示结局，$D$ 表示处理，$X$ 表示高维协变量。模型写为 $Y = \theta D + g(X) + \varepsilon$。核心假设是噪声 $\varepsilon$ 与 $D$、$X$ 均无关，且条件期望 $\mathbb{E}[Y \mid D, X] = \theta D + g(X)$。我们最关心的参数是 $\theta$——在控制所有背景因素后，处理每变化一个单位，结局平均变化多少。$g(X)$ 可以是平滑曲线、交互项甚至高维稀疏结构，不需要人为指定。

回到咖啡店，这个模型相当于把菜单分成两层：糖浆的贡献是“明码标价”的线性价目，而咖啡师手艺、天气、时段这些背景因素被写进一张谁也看不懂的复杂配方 $g(X)$。我们的任务不是背下整个配方，而是把糖浆这条“直的线”从配方中干净地抽出来。

混淆偏差根源

不假思索的做法是直接对比：加了糖浆的顾客平均 8.2 分，没加的只有 6.8 分——糖浆净赚 1.4 分！你差点把这句话写进宣传海报。但老员工提醒你：咖啡师总是先给熟客、常客推荐新品，而熟客本来就对店有感情、评分天然偏高。这些“天生偏爱”与“被推荐糖浆”之间的纠缠，就是因果推断里最经典的混淆偏差。

用统计语言说，存在同时影响处理 $D$ 和结局 $Y$ 的共同原因 $X$。背景因素通过 $g(X)$ 抬高评分，又通过影响顾客是否被推荐糖浆来改变 $D$。于是观测数据中 $D$ 与 $Y$ 的相关性，混入了 $X$ 的成分。学过随机对照实验的人会立刻明白：实验通过随机分配切断了 $X \rightarrow D$ 这条路径，而观察性数据没有这个特权。

如果忽略 $X$，直接把 $Y$ 对 $D$ 做回归，朴素估计量 $\hat{\theta}^{\text{naive}}$ 收敛到的不是真实因果效应 $\theta$，而是 $\theta$ 加上一个偏差项。偏差的大小恰好正比于 $\operatorname{Cov}(D, g(X))$——处理与背景函数越纠缠，偏差越猖狂。只有当 $D$ 完全独立于 $X$（比如随机实验）时，协方差为零，偏差才消失。

这就像测体温时把水银柱放在阳光直射的窗边——你读到的不只是体温，还有被阳光加热的成分。直接对比顾客评分，你测到的是“糖浆 + 熟客滤镜”的混合效应，而不是糖浆的真实贡献。要看清真实贡献，必须先把背景温度从水银柱上分离出去。

Neyman正交条件

聪明的品鉴师不会直接比平均分。她先观察咖啡师的出杯习惯：什么情况下会加糖浆，什么情况下不会。然后她只留意“意外”——本来按习惯不该加糖浆的杯子里出现了糖浆，或者本来该加的却没加。这些“意外”与背景因素脱钩，是纯净的处理变化。这个直觉，正是 Neyman 提出“正交条件”时的灵感来源。

在数学上，这种“意外”被写成处理残差 $\eta = D - m(X)$，其中 $m(X) = \mathbb{E}[D \mid X]$ 是机器学习对处理变量的预测。同理，结局残差定义为 $Y - \theta D - g(X)$，即排除处理和背景后剩下的噪声。DML 的核心洞察是围绕这些残差构造一个得分函数，要求它在真实参数处期望为零，且对干扰参数（$m$ 和 $g$）的一阶变化不敏感。

所谓Neyman 正交性，就是这个得分函数对干扰参数的偏导数在真实值处期望为零。直观地说，哪怕机器学习把 $g(X)$ 或 $m(X)$ 估计得略有偏差，只要误差是一阶小量，它们就不会传导到 $\theta$ 的估计上。这等于给因果参数估计装了一道滤波器——背景规律怎么变，都不能污染处理效应的测量。

回到咖啡店，正交条件就像品鉴时戴上的隔音耳罩：咖啡师手抖、天气转凉这些“背景噪音”都被挡在外面，你能听见的只有糖浆落入杯中那一声清脆的滴答。有了这层保护，$\theta$ 的估计才敢说“我对干扰参数不感冒”。

交叉拟合机制

机器学习有个坏毛病：会“背答案”。如果让模型先在全部 1000 位顾客身上学完规律，又用它给同一批顾客做预测，就像老师考前把答案念了一遍，再让同一批学生考试——分数漂亮，但毫无意义。过拟合会让样本内残差被人为压低，后续的因果估计会被系统性偏差污染。

交叉拟合（cross-fitting）就是专门治理这个毛病的考试制度。把样本随机分成 $K$ 份，轮流用其中 $K-1$ 份训练 $m(\cdot)$ 和 $g(\cdot)$，再用剩下那一份生成残差。关键在于：每位顾客的残差都来自一个“从未见过他”的模型。常用 $K=2$ 或 $K=5$，论文中的标准算法是 DML1 用辅助样本估计干扰参数，DML2 把 $K$ 折残差汇总后一次性估计 $\theta$。

形式化地，把第 $k$ 折记作 $I_k$，在折外数据上计算处理残差 $\hat{\eta}_i^{(k)}$ 和结局残差 $\hat{\varepsilon}_i^{(k)}$，最后将所有折的残差合并成分子分母，得到 $\hat{\theta}$。交叉拟合保证了过拟合偏差以 $O_p(n^{-1})$ 的速度消失，而不是停留在常数级——这是 DML 能获得根号 $n$ 一致性的关键前提之一。

交叉拟合让品鉴师拥有“盲评”的公平：评委不认识选手，选手也不认识评委。糖浆的分数不是靠模型“记住”谁加过糖浆得来的，而是来自真正陌生的预测。这份距离感，恰恰是统计推断最需要的诚实。

两阶段残差估计

一切准备就绪，现在我们写下完整的测量流程。第一步，收集每位顾客的背景信息——咖啡师代号、时段、天气、饮品温度；第二步，用机器学习分别预测“是否加糖浆”和“满意度评分”；第三步，取两组预测值与实际值之差得到残差；第四步，对这两个残差做一次直线拟合。这就是 DML 的两阶段残差估计，简洁得令人惊讶。

第一阶段是“去除混淆”：$\hat{m}(X)$ 学的是背景如何驱动处理，$\hat{g}(X)$ 学的是背景如何驱动结局。两者都不看 $D$ 对 $Y$ 的直接效应，只捕捉 $X$ 的间接影响。第二阶段是“干净对比”：把处理残差 $\hat{\eta}$ 和结局残差 $\hat{\varepsilon}$ 放在同一张散点图上，斜率就是 $\theta$。数学上可以用一个等式概括：

这个式子从右往左读：$\eta$ 是抛掉背景预测后的处理变动，$Y - g_0(X)$ 是抛掉背景预测后的结局变动。分子是二者的协方差——两个“意外”是否同步出现；分母把单位归一化到每单位处理变化。正交性保证 $g_0$ 和 $m_0$ 的估计误差不会渗进分子，交叉拟合保证残差不会因过拟合而失真。

整套流程就像品鉴师的盲测实验室：先测咖啡师的惯性（第一阶段），再把“惯性预测”和“实际发生”之差拿出来对比（第二阶段）。糖浆的效果不再被任何背景故事裹挟，它就安安静静地躺在残差回归的斜率里——一个经过两次净化的、值得写进菜单的因果数字。

渐近统计性质

调查完 200 位顾客，你估计糖浆贡献 0.48 分。如果继续调查到 2000 位，估计会稳定在哪个数字？波动会缩到多小？这正是统计理论要回答的问题。毕竟，一杯咖啡的结论不值得写进财报，一个稳定的因果结论才值得。

DML 之所以在业界广受欢迎，是因为它给出了“教科书级别”的理论保证。第一根支柱是根号 n 一致性：随着样本量 $n$ 增大，估计误差 $|\hat{\theta} - \theta_0|$ 以 $n^{-1/2}$ 的速度收缩到零——这是参数估计里最快的收敛速率之一。第二根支柱是渐近正态性：当 $n$ 足够大时，$\hat{\theta}$ 的抽样分布逼近正态分布，于是我们可以放心地构造置信区间和 $p$ 值。

形式化地，$\sqrt{n}(\hat{\theta} - \theta_0)$ 依分布收敛到一个均值为零、方差为 $V$ 的正态分布。方差 $V$ 可以被残差的样本矩一致性估计，从而给出标准误。DML 的巧妙之处在于：第一阶段机器学习估计函数不必完全正确，只要收敛速度优于某个温和速率即可——正交性吃掉一阶误差，交叉拟合吃掉过拟合偏差，第二阶段 OLS 恢复经典推断的全部效率。

这就像咖啡店的顾客调查：一次抽查会有波动，但样本越来越大时，糖浆的真实贡献会稳定地浮出水面。更重要的是，我们知道它“收敛的加速度”有严格的理论保证——正如牛顿知道苹果必然落地，统计学家知道 $\hat{\theta}$ 必然以根号 $n$ 的节奏逼近真相。

AI 应用场景

Python 演示

"""Double ML：部分线性模型的极简实现（两阶段 + K 折交叉拟合）"""import numpy as npfrom sklearn.ensemble import RandomForestRegressorfrom sklearn.model_selection import KFold  def dml_partial_linear(Y, D, X, n_splits=2):    n = len(Y)    eta_hat = np.zeros(n)    eps_hat = np.zeros(n)    kf = KFold(n_splits=n_splits, shuffle=True, random_state=42)    for train_idx, test_idx in kf.split(X):        model_d = RandomForestRegressor(n_estimators=200, random_state=0)        model_y = RandomForestRegressor(n_estimators=200, random_state=0)        model_d.fit(X[train_idx], D[train_idx])        model_y.fit(X[train_idx], Y[train_idx])        eta_hat[test_idx] = D[test_idx] - model_d.predict(X[test_idx])        eps_hat[test_idx] = Y[test_idx] - model_y.predict(X[test_idx])    theta_hat = np.sum(eta_hat * eps_hat) / np.sum(eta_hat ** 2)    score = eta_hat * (eps_hat - theta_hat * eta_hat)    sigma2 = np.mean(score ** 2) / (np.mean(eta_hat ** 2) ** 2)    return theta_hat, np.sqrt(sigma2 / n)  if __name__ == "__main__":    np.random.seed(42)    n = 2000    X = np.random.randn(n, 5)    D = X[:, 0] + 0.5 * X[:, 1] + np.random.randn(n) * 0.4    gX = np.sin(X[:, 0]) + X[:, 1] ** 2 + np.abs(X[:, 2])    Y = 0.7 * D + gX + np.random.randn(n)    theta_hat, se = dml_partial_linear(Y, D, X)    print(f"估计 theta = {theta_hat:.3f}，标准误 = {se:.3f}")

1. kf = KFold(n_splits=n_splits, shuffle=True, random_state=42)创建 K 折交叉拟合器，保证每位顾客的残差来自“没见过他”的模型。
2. model_d.fit(X[train_idx], D[train_idx])在第 k 折之外训练“预测糖浆用量”的模型，对应第一阶段的处理模型。
3. model_y.fit(X[train_idx], Y[train_idx])训练“预测满意度”的模型，对应第一阶段的结局模型。
4. eta_hat[test_idx] = D[test_idx] - model_d.predict(X[test_idx])计算折外处理残差，即“意外的处理”。
5. eps_hat[test_idx] = Y[test_idx] - model_y.predict(X[test_idx])计算折外结局残差，即“意外的结局”。
6. theta_hat = np.sum(eta_hat * eps_hat) / np.sum(eta_hat ** 2)残差回归的斜率公式，即 DML 的最终因果估计。
7. sigma2 = np.mean(score ** 2) / (np.mean(eta_hat ** 2) ** 2)渐近方差的矩估计，为核心标准误提供依据。

常见误区

面试题