do-演算：工具变量法IV

可视化演示

展示工具变量法的因果图结构、两阶段最小二乘法(2SLS)估计流程、以及工具变量有效性的相关性与外生性条件，交互切换三种模式探索因果识别原理。

内生性困境

连续好几个周末，李老板都把LED灯牌调到最亮，那几天营业额果然冲高。他把数据画成图，发现灯光亮度和营业额之间似乎有正相关。可他忽略了一个事实：周末步行街本来人流量就大，人一多，他也会下意识把灯开得更亮。这个“喜欢在周末捣乱”的变量，就是让所有直接比较失效的元凶。

在计量经济学里，这种“同时影响原因和结果、却没有被观测到”的变量叫作混杂因素，记作U。当U钻进解释变量X（灯光）和结果Y（营业额）的通路时，直接用最小二乘（OLS）得到的斜率就不再等于真实因果效应。更准确地说，X与误差项ε之间产生了关联，这种现象被称为内生性。

假设真实模型是 \(Y=\beta X+\gamma U+e\)，但我们做回归时只放X。样本OLS斜率可以写成：

$$\displaystyle \hat{\beta}_{OLS}=\frac{{\rm Cov}(X,Y)}{{\rm Var}(X)}=\beta+\frac{\gamma\,{\rm Cov}(X,U)}{{\rm Var}(X)}$$

1. OLS斜率来源：\(\hat{\beta}_{OLS}\) 是X与Y的协方差除以X的方差，这是最小二乘估计的几何含义。

$$\displaystyle \hat{\beta}_{OLS}=\frac{{\rm Cov}(X,Y)}{{\rm Var}(X)}$$

2. 代入真实模型展开：把 \(Y=\beta X+\gamma U+e\) 代入分子后，协方差拆成真实信号与混杂信号两部分。

$$\displaystyle {\rm Cov}(X,Y)=\beta{\rm Var}(X)+\gamma{\rm Cov}(X,U)$$

3. 偏误项诞生：第二项除以 \( {\rm Var}(X) \) 就是偏误；若U与X正相关，β̂会被系统性高估。

$$\displaystyle {\rm Bias}=\frac{\gamma\,{\rm Cov}(X,U)}{{\rm Var}(X)}$$

李老板直接算出来的“灯亮10%、生意涨5%”，其实把周末人流的功劳全算在了灯牌头上，就像三明治里夹了别人的酱，你却把美味归功于面包。要找到真实公式，必须先承认这个“看不见的第三者”存在。

工具变量定义

小艾给舅舅支招：“既然周末人潮干扰你，就找一个只管灯光、不掺和人流的东西。你手里的遥控器，档位是不是只控制灯牌亮度？”李老板挠挠头：“对啊，它连空调都管不着。”小艾拍手：“那就用遥控器的档位来当裁判！”

这个“只与X相关、与U无关”的裁判，就是工具变量（Instrumental Variable），记作Z。它必须满足两条铁律：相关性——Z确实能改变X，否则无法借力；外生性——Z与一切混杂无关，只能通过X影响Y，绝不直接碰触结果。

把Z代入估计公式，可以得到IV估计量：

$$\displaystyle \hat{\beta}_{IV}=\frac{{\rm Cov}(Z,Y)}{{\rm Cov}(Z,X)}$$

因为 \( {\rm Cov}(Z,Y)=\beta{\rm Cov}(Z,X)+{\rm Cov}(Z,\varepsilon) \)，而外生性保证 \( {\rm Cov}(Z,\varepsilon)=0 \)，所以这个比值恰好等于真实因果效应β。

1. 分子是Z与Y的联动：\({\rm Cov}(Z,Y)\) 捕捉结果Y中随Z同步变动的部分。

$$\displaystyle {\rm Cov}(Z,Y)=\beta{\rm Cov}(Z,X)+{\rm Cov}(Z,\varepsilon)$$

2. 外生性清零杂音：因为 \( {\rm Cov}(Z,\varepsilon)=0 \)，分子中只剩下与X有关的那条干净通路。

$$\displaystyle {\rm Cov}(Z,Y)=\beta{\rm Cov}(Z,X)$$

3. 比值消去公因子：分子分母同时除以 \( {\rm Cov}(Z,X) \)，Z的刻度被消掉，β自然浮现。

$$\displaystyle \frac{{\rm Cov}(Z,Y)}{{\rm Cov}(Z,X)}=\beta$$

遥控器就像提词器：观众只看到演员（X）在说话、故事（Y）在推进，永远不会注意到提词器（Z）的存在——可正是它，确保了台词没有被台下的噪音（U）篡改。

识别策略逻辑

小李想测试KTV麦克风的效果。直接录音，人声和伴奏混在一起根本听不清。聪明的做法是只保留主唱麦克风通道，把伴奏全部静音——隔音耳机的原理不是把声音变大，而是把干扰通道彻底堵住。

工具变量识别的关键，是给Z画出一条唯一通路：Z→X→Y。这意味着Z不能直接影响Y，只能经由X到达Y，这个假设叫作排除性约束。再加上外生性与相关性，就构成完整的识别条件：

$$\displaystyle {\rm Cov}(Z,\varepsilon)=0,\qquad {\rm Cov}(Z,X)\neq 0$$

1. 外生性条件：Z与误差项ε的协方差为零，确保Z不是“内鬼”，不带任何混杂私货。

$$\displaystyle {\rm Cov}(Z,\varepsilon)=0$$

2. 相关性条件：Z与X的协方差必须非零，否则分母为零，估计量没有任何意义。

$$\displaystyle {\rm Cov}(Z,X)\neq 0$$

这就像修水管：你可以从水表（Z）注入干净水，一路观察它推动X处的叶轮，再看到Y处的出水口读数。只要开关附近没有别的进水管（U）掺水，读出的数据就是真实流量。

两阶段最小二乘

找到了遥控器，怎么把它“变成”灯光数据呢？小艾说：“我们做两步。”第一步，让遥控器档位去解释灯光亮度，得出灯光中由遥控器决定的部分；第二步，用这部分干净灯光去预测营业额——这就是两阶段最小二乘（2SLS）。

第一阶段用Z回归X，取拟合值X̂；第二阶段用X̂替换X回归Y。X̂剔除了混杂U对X的污染，只保留Z驱动的干净变异。第一阶段：

$$\displaystyle X=\pi_0+\pi_1 Z+v,\qquad \hat{X}=\hat{\pi}_0+\hat{\pi}_1 Z$$

第二阶段：

$$\displaystyle Y=\beta_0+\beta_1\hat{X}+\eta$$

这里得到的 \( \hat{\beta}_1 \) 就是工具变量估计量，理论上等于前面说的 \( {\rm Cov}(Z,Y)/{\rm Cov}(Z,X) \)。

1. 第一阶段模型：把X对Z做回归，斜率 \( \pi_1 \) 刻画遥控器对灯光的推力。

$$\displaystyle X=\pi_0+\pi_1 Z+v$$

2. 拟合值X̂：只取回归预测值，即X中由Z解释的部分，这是排除了U后的“干净灯光”。

$$\displaystyle \hat{X}=\hat{\pi}_0+\hat{\pi}_1 Z$$

3. 第二阶段估计：用干净灯光X̂对Y回归，得到的 \( \hat{\beta}_1 \) 就是因果效应。

$$\displaystyle Y=\beta_0+\beta_1\hat{X}+\eta$$

这就像洗照片：第一步在暗房里让底片曝光，只留下由光线（Z）决定的影像；第二步把这张干净底片放大，看它与最终成片（Y）的关系。洗出来的，才是没有杂质的真实故事。

稳健性检验

李老板有两个担心：遥控器电池是不是快没电了？遥控器上有没有隐藏按键会偷偷控制风扇？前者叫弱工具变量，后者叫外生性被破坏。

弱工具变量会让IV估计的方差骤增，结果极不稳定。检验方法是看第一阶段回归中Z系数的F统计量，经验法则是F必须大于10。如果工具数量多于内生变量数量，还可以用过度识别检验（如Sargan或Hansen的J统计量），比较不同工具给出的估计是否指向同一真值。再加上敏感性分析，就构成IV的完整“体检报告”。

$$\displaystyle F=t^2=\left(\frac{\hat{\pi}_1}{se(\hat{\pi}_1)}\right)^2>10$$

1. t统计量：第一阶段斜率 \( \hat{\pi}_1 \) 除以它的标准误，衡量Z对X的作用是否显著。

$$\displaystyle t=\frac{\hat{\pi}_1}{se(\hat{\pi}_1)}$$

2. F为t的平方：平方后服从F分布，数值越大越安全，经验警戒线是10。

$$\displaystyle F=t^2=\left(\frac{\hat{\pi}_1}{se(\hat{\pi}_1)}\right)^2>10$$

体检报告合格，李老板才能放心把结论推广到其他门店。若遥控器按了灯没反应，或暗地里还吹着风扇，再好的统计软件也算不出靠谱数。

应用场景价值

一年后，李老板用遥控器实验确信：灯牌亮度每提高一档，营业额平均增加约一个“小烤串”的钱。他把这套方法教给整条街的店主：想弄清外卖折扣是否拉动销量，就用平台随机发放优惠券的批次当工具变量。

工具变量法的价值远不止小吃街。政策评估中，用摇号抽签当工具研究教育对收入的影响；医学研究中，用医生开药偏好当工具评估药品真实疗效；商业决策中，用广告投放时段的随机排期测量广告对销量的真实拉动。IV估计可以直观分解为两个“拨动读数”之比：

$$\displaystyle \hat{\beta}_{IV}=\frac{\Delta Y/\Delta Z}{\Delta X/\Delta Z}$$

1. 结果端响应：\( \Delta Y/\Delta Z \) 记录同一根“拨杆”Z推动下，结果Y被带动的幅度。

$$\displaystyle \Delta Y/\Delta Z$$

2. 原因端响应：\( \Delta X/\Delta Z \) 记录这根拨杆让原因X真正挪动了多少。

$$\displaystyle \Delta X/\Delta Z$$

3. 比值即因果：两个读数相除，拨杆的刻度被抵消，剩下X每变化一单位对Y的因果贡献。

$$\displaystyle \hat{\beta}_{IV}=\frac{\Delta Y/\Delta Z}{\Delta X/\Delta Z}$$

从街边伙计到国家智库，只要面对“看不见的烟雾弹”，工具变量法就是同一双透视镜：借助一段只与原因握手、不与烟雾共舞的干净桥梁，把因果从相关性的迷雾中打捞上来。

---

AI 应用场景

Python 演示

import numpy as np np.random.seed(42)n = 5000 # 不可观测混杂: 顾客购物旺盛度U = np.random.normal(0, 1, n) # 工具变量: 遥控器档位批次Z = np.random.normal(0, 1, n) # 内生解释变量: 灯光亮度, 受 Z 与 U 共同影响X = 1.5 * Z + 0.8 * U + np.random.normal(0, 0.6, n) # 结果变量: 顾客购买量, 真实因果效应为 2.0Y = 2.0 * X + 1.2 * U + np.random.normal(0, 0.9, n)  def slope(y, x):    """返回 y 对 x 回归的斜率"""    return np.cov(x, y, ddof=1)[0, 1] / np.var(x, ddof=1)  beta_ols = slope(Y, X) # 第一阶段: X 对 Z 回归, 提取干净变异pi1 = slope(X, Z)X_hat = pi1 * Z # 第二阶段: Y 对 X_hat 回归beta_2sls = slope(Y, X_hat) # 直接 IV 估计: Cov(Z, Y) / Cov(Z, X)beta_iv = np.cov(Z, Y, ddof=1)[0, 1] / np.cov(Z, X, ddof=1)[0, 1] print("真实因果效应 : 2.000")print("朴素 OLS 估计 : %.3f" % beta_ols)print("直接 IV 估计 : %.3f" % beta_iv)print("两阶段最小二乘: %.3f" % beta_2sls)

1. X = 1.5 * Z + 0.8 * U + np.random.normal(0, 0.6, n)让工具Z和混杂U共同决定X，保证Z有解释力且X内生。
2. Y = 2.0 * X + 1.2 * U + np.random.normal(0, 0.9, n)真实因果效应为2.0，U同时污染Y，制造混杂。
3. def slope(y, x):用协方差除以方差定义一元回归斜率，方便复用。
4. beta_ols = slope(Y, X)朴素最小二乘，会把混杂贡献也算进X。
5. pi1 = slope(X, Z)第一阶段估计遥控器对灯光的推力。
6. X_hat = pi1 * Z提取X中由Z驱动的干净部分，略去混杂部分。
7. beta_2sls = slope(Y, X_hat)第二阶段用干净部分估计因果效应。

常见误区

面试题