潜在结果框架：选择偏差来源

可视化演示

展示自选择程序化选择流失选择三种偏差机制的样本过滤路径与可见性偏移、可观测与不可观测因素的IPW匹配分层校正方法对比、以及选择偏差沿AI管道采集处理训练评估四阶段逐层累积放大的效应。

概念基石

回到老张的农场。每一块田在同一个季节只能种一种稻子。如果想知道“这块田种新稻到底比种老稻多打多少粮”，我们就得同时看到两个世界：一个世界里它种了新稻，另一个世界里它种了老稻。可现实只能给我们一个世界。这种“看不见的另一半结果”，在因果推断里有个响亮的名字——反事实（Counterfactual）。潜在结果框架（Rubin 因果模型）正是建立在“每个个体都存在两种潜在结果”这一思想实验之上的。

把话说得更技术一点：对第 \(i\) 块田，我们用 \(Y_i(1)\) 表示它种新稻时的产量，用 \(Y_i(0)\) 表示它种老稻时的产量。这两个量在观测前都是“潜在”的，就像考试前你既可能得高分也可能得低分。一旦分组确定（\(Z_i=1\) 表示种新稻，\(Z_i=0\) 表示种老稻），我们只能观测到与之对应的那个结果，另一个从此沉入反事实的世界。

$$\displaystyle \tau_i = Y_i(1) - Y_i(0)$$

1. 定义两个世界的产量：\(Y_i(1)\) 是第 \(i\) 块田在“种新稻”这个世界的亩产，\(Y_i(0)\) 是它在“种老稻”那个世界的亩产。

$$\displaystyle Y_i(1),\; Y_i(0)$$

2. 作差得个体因果效应：把两个世界的产量相减，得到的差值就是新稻对这第 \(i\) 块田的净影响。

$$\displaystyle \tau_i = Y_i(1) - Y_i(0)$$

有了个体效应，我们自然会想求所有田的平均效应 \(\text{ATE}=\mathbb{E}[Y_i(1)-Y_i(0)]\)。可惜我们看到的不是完整世界：种了新稻的田看不到它种老稻的样子，种了老稻的田也回不去种新稻的平行时空。观测到的等式只是 \(Y_i = Z_i Y_i(1) + (1-Z_i) Y_i(0)\)——我们拿到的永远是“被选择过的现实”。这正是选择偏差问题的起点：你想比较两个世界，手上却只有一组残缺的快照。

偏差根源

老张的秋收报告一出，旁边有经验的农技员就笑了：“你让肥田种新稻、瘦田种老稻，这哪是在比稻种？分明是在让'尖子生'和'后进生'比赛，然后宣布尖子生所在的补习班更优秀。”这句话点破了选择偏差（Selection Bias）的本质：处理组和对照组的潜在结果基线不齐。所谓“基线不齐”，就是假设两组人互换种子，对照组拿到新稻也未必能达到处理组的老稻产量——因为他们的地力条件打从一开始就不同。

形式化地看，我们真正能算的是观测差异：

$$\displaystyle \mathbb{E}[Y\mid Z=1] - \mathbb{E}[Y\mid Z=0] = \text{ATE} + \underbrace{\left(\mathbb{E}[Y(0)\mid Z=1] - \mathbb{E}[Y(0)\mid Z=0]\right)}_{\text{选择偏差}}$$

1. 观测到的东西：\(\mathbb{E}[Y\mid Z=1]\) 是新稻组实际观测的平均产量，\(\mathbb{E}[Y\mid Z=0]\) 是老稻组的平均产量。

$$\displaystyle \mathbb{E}[Y\mid Z=1] - \mathbb{E}[Y\mid Z=0]$$

2. 拆出真实效应：\(\text{ATE}\) 是全体地块种新稻相对种老稻的平均因果效应，这是我们要找的真相。

$$\displaystyle \text{ATE} = \mathbb{E}[Y(1)-Y(0)]$$

3. 揪出偏差项：\(\mathbb{E}[Y(0)\mid Z=1]\) 表示“新稻组如果当初种老稻会是什么产量”，\(\mathbb{E}[Y(0)\mid Z=0]\) 是老稻组实际的老稻产量。两者相减就是两组的地力底子差。

$$\displaystyle \mathbb{E}[Y(0)\mid Z=1] - \mathbb{E}[Y(0)\mid Z=0]$$

选择偏差的来源可以归结为三类：自选择（农户自己挑种子，肥田者选新稻）、他选择（政策规定高产田优先试种新品）、机制性缺失（某种产量关联因素导致结果记录不全）。在观测数据里，我们永远不知道那个偏差项有多大，只知道它像幽灵一样附着在数据上。随机化实验之所以珍贵，就是因为它用“掷硬币”斩断了这个幽灵——让两组的地力分布趋于一致，偏差项归零。

识别假设

那么问题来了：既然观测数据里有偏差，我们凭什么还能做因果推断？答案是：必须依赖一组识别假设（Identification Assumptions）。沿用农场的比喻，要让“新稻组 vs 老稻组”成为一场公平的比赛，必须满足四个条件。

第一个叫 SUTVA（Stable Unit Treatment Value Assumption，稳定单元处理值假设），包含两层意思：一是 无干扰——你家田用新稻种，不能影响到隔壁田的产量（不能有溢出效应）；二是 一致性——种新稻就是种新稻，不分“张三种的新稻”和“李四种的新稻”，只要 \(Z_i=1\)，观测到的就是 \(Y_i(1)\)。如果农户偷偷把新稻种分给邻居，SUTVA 就崩了。

第二个也是最核心的，叫可忽略性（Ignorability），也叫无混淆性。数学上写作：

$$\displaystyle (Y(1),\,Y(0)) \perp Z \mid X$$

1. 两个潜在的产量：\((Y(1),\,Y(0))\) 是每块田在新稻世界和老稻世界的潜在产量组合。

$$\displaystyle (Y(1),\,Y(0))$$

2. 处理分配：\(Z\) 表示这块田实际种的是新稻还是老稻。

$$\displaystyle Z \in \{0,1\}$$

3. 条件独立：\(\perp\) 表示独立；给定 \(X\) 之后，\(Z\) 与潜在结果不再相关。

$$\displaystyle \perp Z \mid X$$

第三个条件是重叠假设（Overlap），也叫正性：对任意 \(X\) 值，都有 \(0<P(Z=1\mid X)<1\)。即地力相同的田块里，既要有种新稻的，也要有种老稻的——否则我们拿什么对比？最后还有一个正性条件（Positivity）的细化：倾向得分不能恰好等于 0 或 1，否则会出现“这块田永远只有一种命运”的极端情况。这四个假设是因果推断的四根柱子，缺一根，整座楼都会歪。老张的实验之所以翻车，正是因为可忽略性和重叠性同时被打破——肥田全去种了新稻，根本没有“肥田种老稻”的对照组。

结构图示

如果把选择偏差画成一张“关系地图”，就是有向无环图（DAG，Directed Acyclic Graph）。节点是变量，箭头代表因果关系。在老张的例子里有三个角色：地力 \(C\)（协变量）、种子选择 \(Z\)（处理）、产量 \(Y\)（结果）。地力同时指向 \(Z\) 和 \(Y\)——地力好的人更爱选新稻，地力好也直接让产量高。于是形成了一条“岔路”：\(C \rightarrow Z\) 再 \(C \rightarrow Y\)。这条从 \(Z\) 到 \(Y\) 但箭头指向 Z 的路径，就是我们说的后门路径（Backdoor Path）。它像一条工地后门，把地力的影响悄悄运进了 Z 与 Y 的比较里。

后门不堵，因果难求。堵住它靠的是阻断策略：把地力 \(C\) 在分析中“按住”——比如只看地力相同的田块，或者把地力作为协变量放进回归模型，相当于在这条后门上设一道关卡，让地力无法再同时影响分组和结果。这就是“条件于协变量”（conditioning）的几何直觉。

$$\displaystyle P(Y(1)=y \mid X=x) = P(Y=y \mid Z=1, X=x)$$

1. 左边是反事实：\(P(Y(1)=y \mid X=x)\)，地力为 \(x\) 的地块如果种新稻，产量为 \(y\) 的概率。

$$\displaystyle P(Y(1)=y \mid X=x)$$

2. 右边是可观测：\(P(Y=y \mid Z=1, X=x)\)，地力 \(x\) 且实际种了新稻的地块产量为 \(y\) 的条件概率。

$$\displaystyle P(Y=y \mid Z=1, X=x)$$

3. 等号即识别：在可忽略性假设下，两者相等，反事实被“翻译”成可估计量。

$$\displaystyle Y(1) \perp Z \mid X \Rightarrow \text{等式成立}$$

DAG 的价值在于把模糊的“混杂”变成清晰的路径结构。每当你看到一个声称的因果结论，就画出它的 DAG，问自己：还有哪条后门没堵死？工具变量（IV）、前门调整、后门调整，本质上都是在这张地图上找一条“干净的路”。老张要是早画出这张图，就不会让地力成为后门里狂奔的小偷了。

现实诊断

现在，假设你接手了一份“观察性数据”——不是你设计的实验，而是老老实实扫来的历史记录。怎么判断里面有没有选择偏差？这就好比医疗体检，先做几项“化验”看指标是否异常。

第一项化验是协变量失衡检查：比较处理组和对照组在关键协变量（地力、年龄、收入等）上的分布。如果新稻组的平均地力比老稻组高出一截，那就是红牌警告——基线不齐了。第二项化验是重叠检查：估计每个个体的倾向得分 \(e(x)\)，也就是给定协变量后他被分到处理组的概率：

$$\displaystyle e(x) = P(Z=1 \mid X=x)$$

1. 条件概率定义：\(P(Z=1 \mid X=x)\) 表示协变量取值 \(x\) 的个体被分到处理组的概率。

$$\displaystyle P(Z=1 \mid X=x)$$

2. 建模方式：通常用逻辑回归等分类模型估计这个条件概率。

$$\displaystyle e(x) = \frac{1}{1+e^{-\beta^\top x}}$$

第三项化验是敏感度分析：假设存在一个我们没观测到的混杂因素 \(U\)，它要多强才能彻底推翻现有的结论？这就像问“地力之外还得藏多深的暗渠，才能把新稻组的产量优势全冲走”。如果答案是需要一个极强的未观测混杂，那结论还算稳；如果随便一个弱混杂就能翻转结果，那结论就是沙上建塔。实践中还要做数据审查：检查缺失值的产生机制、重复测量、分组规则记录等，因为“谁的数据被记下来了”本身就可能受结果影响。诊断的意义在于：先知道自己输在哪里，才知道该用哪张牌去补救。

校正策略

确诊之后，就要开药方。既然选择偏差来自于两组基线不齐，校正的核心思路就是“把两组重新拉回同一起跑线”。方法有很多，最常用的是倾向得分加权（IPW，Inverse Probability Weighting），也就是“逆概率加权”。

理解 IPW 可以回到农场：地力高的田更容易被选进新稻组，所以新稻组里“肥田”扎堆。怎么办呢？我们给这些肥田一个较小的权重——因为它们在新稻组里太多了，代表了过多的肥田声音；给那些“地力高但居然种了老稻”的稀有样本一个较大的权重——它们是纠正偏见的宝贵证据。权重的公式就是倾向得分的倒数：

$$\displaystyle \hat{\tau}_{\text{IPW}} = \frac{1}{n}\sum_{i=1}^{n}\left(\frac{Z_i Y_i}{e(X_i)} - \frac{(1-Z_i)Y_i}{1-e(X_i)}\right)$$

1. 处理组贡献：\(Z_i=1\) 的个体，其产量 \(Y_i\) 除以他进入处理组的概率 \(e(X_i)\)。

$$\displaystyle \frac{Z_i Y_i}{e(X_i)}$$

2. 对照组贡献：\(Z_i=0\) 的个体，其产量除以他进入对照组的概率 \(1-e(X_i)\)。

$$\displaystyle \frac{(1-Z_i)Y_i}{1-e(X_i)}$$

3. 取平均：把每个个体的加权贡献加起来除以样本量 \(n\)，得到全样本的平均处理效应估计。

$$\displaystyle \frac{1}{n}\sum_{i=1}^{n}(\cdots)$$

除了 IPW，还有匹配法（为每个处理组个体找协变量相似的对照组邻居，像相亲一样配对）、分层分析（把样本按倾向得分切成几层，在层内做比较再汇总）、协变量回归调整（直接把地力放进回归方程）。实操中常把这几种结合起来用，就像高明的医生会开多种药联合治疗。但请记住：所有校正方法都依赖前面提到的假设——如果你的数据连“可忽略性”都不满足，再漂亮的加权也无济于事。老张的故事最后有了新版本：他改用抽签决定哪块田种新稻，从此肥田、瘦田均匀分布在两组，秋收的对比才终于站得住脚。科学不是消灭不确定性，而是用设计让偏差无处遁形。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.linear_model import LogisticRegression np.random.seed(42)n = 4000 # 协变量 X: 地块地力, 影响潜在产量与选种倾向X = np.random.normal(0, 1, n) # 潜在结果: Y0 老稻产量, Y1 新稻产量 = Y0 + 真实因果效应 2.0Y0 = 10.0 + 2.0 * X + np.random.normal(0, 0.8, n)Y1 = Y0 + 2.0 + np.random.normal(0, 0.5, n) # 自选择: 地力越高越倾向种新稻(处理组)logit = -0.8 + 1.6 * Xp_assign = 1.0 / (1.0 + np.exp(-logit))Z = np.random.binomial(1, p_assign) # 观测结果Y = np.where(Z == 1, Y1, Y0) ate_true = np.mean(Y1 - Y0)naive = np.mean(Y[Z == 1]) - np.mean(Y[Z == 0])print("真实ATE: %.3f" % ate_true)print("观测差异: %.3f" % naive)print("选择偏差: %.3f" % (naive - ate_true)) # 用逻辑回归估计倾向得分, 做IPW校正lr = LogisticRegression()lr.fit(X.reshape(-1, 1), Z)e = lr.predict_proba(X.reshape(-1, 1))[:, 1]e = np.clip(e, 0.05, 0.95)  # 防止权重无穷大 weight_treat = Z / eweight_ctrl = (1 - Z) / (1 - e)mu1 = np.sum(Y * weight_treat) / np.sum(weight_treat)mu0 = np.sum(Y * weight_ctrl) / np.sum(weight_ctrl)ipw_ate = mu1 - mu0print("IPW估计: %.3f" % ipw_ate)

1. p_assign = 1.0 / (1.0 + np.exp(-logit))用 sigmoid 把地力转换成选种概率，地力越高越可能种新稻，这是自选择偏差的源头。
2. Y = np.where(Z == 1, Y1, Y0)构造观测结果：现实只能看到分组对应的那个潜在结果，另一个反事实被藏了起来。
3. naive = np.mean(Y[Z == 1]) - np.mean(Y[Z == 0])直接比较两组观测均值，典型的“老张式”错误算法。
4. lr.fit(X.reshape(-1, 1), Z)用逻辑回归估计倾向得分 \(e(x)=P(Z=1\mid X=x)\)，把多维协变量压缩成概率。
5. weight_treat = Z / e处理组个体除以倾向得分：地力高且大概率进处理组的人权重变小，稀有对照权重变大。
6. mu1 = np.sum(Y * weight_treat) / np.sum(weight_treat)加权平均构造“全体样本都种新稻”世界的平均产量。
7. ipw_ate = mu1 - mu0两个加权均值的差，就是校正选择偏差后的因果效应估计。

常见误区

面试题