因果表示学习：Causal Rep Learning

可视化演示

因果表示之问：深层模型为何脆弱

想象你是一家购物中心的保安主管。新来的 AI 摄像头学了一周，报告说：“穿红衣服的 VIP 顾客会在一分钟内到达金店。”你一开始觉得神了，后来发现不对——是红衣服的顾客常去金店没错，但如果明天商场促销全员穿红衣服，这个规律立刻失效。深度神经网络就像这个摄像头：它擅长学习关联，却不擅长分辨“这个规律是因果本质还是环境巧合”。

深度模型为什么脆弱？因为它从高维低层观测中学习表征时，把所有变化因素统统揉在了一起。照片里的光影、颜色、纹理，物体本身的形状、材质、类别，统统编码进同一个向量。当测试时环境变了——灯光变了、相机角度变了、人群密度变了——这些混杂在一起的特征分布整体偏移，模型的预测自然崩盘。这就是分布偏移的本质：训练时见过的“统计规律”在测试时被打破了。

因果表示学习（Causal Representation Learning，简称 CRL）正是在这个背景下登场。它的核心主张是：观测数据 $X$ 是由一组潜在因果变量 $Z$ 与环境干扰变量 $V$ 共同生成的。如果我们能从 $X$ 中分离出 $Z$，让下游模型只依赖 $Z$ 做决策，那么环境再怎么变，$Z$ 的分布也不会漂移，模型自然就鲁棒了。

所以，因果表示学习的本质，是一场“变量分离手术”：把观测空间 $X$ 分解为因果因子 $Z$ 和干扰因子 $V$，让 $Z$ 承担决策责任。只要分离足够干净，模型在任何分布偏移下都能站稳脚跟——这就是购物中心保安主管真正想要的：不是“红衣服的人”，而是“不管穿什么都认识的人”。

购物中心比喻：从相关性到因果性

让我们把购物中心比喻彻底展开。有一天你站在中央大厅，观察所有过往顾客。你发现一个规律：背包的顾客几乎都会去书店。但如果这天是雨天，所有人都背了包，这个规律就失效了。于是你明白：背包不是去书店的原因，顾客喜欢阅读才是。因果表示学习的立场就是：从一堆表面特征里，找出哪个特征是“原因”，哪个只是“伴随现象”。

在这个比喻里，顾客的真实身份（ID 卡上的编号）是因果变量 $Z$，他的背包、穿着、天气是干扰变量 $V$。生成过程 $X = g(Z, V)$ 意味着：你看到的“背着包走向书店”的画面，是由“他本来就是读者”这一原因和“今天下雨所以背包”这一环境因素共同生成的。传统表征学习把 $Z$ 和 $V$ 全部编码进一个表示向量，于是下雨天模型就认错人。

因果表示学习希望学到的表征满足：不同环境（天气、时段、商场分店）下，$Z$ 的分布保持不变，而 $V$ 的分布可以任意变化。用数学语言说，当环境 $e$ 变化时，有：

这个比喻给我们的核心洞察是：相关性会漂移，因果性才稳定。深度模型之所以在分布外泛化上频频翻车，是因为它把大量权重花在了“背包”这类干扰变量上。一旦天气变了、商场重新装修了，模型立刻慌神。而因果表示学习通过找到 $Z$，让模型学到“看穿表象、抓住本质”——这不正是购物中心保安主管梦寐以求的能力吗？

学习框架解构：自动分离因果与干扰

现在我们进入工程实现层面。要训练一个因果表示学习模型，你可以把它想象成给购物中心装一套“会员识别训练系统”。系统的输入是摄像头拍到的画面 $X$，输出是两个抽屉：一号抽屉放“顾客身份因子” $Z$，二号抽屉放“环境干扰因子” $V$。如何训练？靠一套巧妙的自监督规则。

具体来说，现代因果表示学习框架通常包含三个关键模块。第一，观测空间嵌入：用编码器把高维像素压缩为一个低维潜在表示；第二，因果因子提取：通过对比学习和不变性约束，让表示的一部分只保留跨环境稳定的因果信息；第三，干扰因子剥离：让表示的另一部分吸收环境噪声，并通过显式的独立约束使其与因果因子互不干扰。

整个学习过程可以写成这样一个目标：在多个环境 $e_1, e_2, \cdots, e_m$ 上，找到一个编码器 $\Phi$，使得编码后的因果表示 $Z = \Phi^{c}(X)$ 在所有环境上预测目标 $Y$ 的最优分类器相同。形式化地，不变风险最小化（IRM）目标为：

这个框架揭示了一个优雅的工程套路：我们不需要知道因果图的全貌，只需要利用“多个环境下的不变性”来反推因果表示。就像保安主管不需要知道 VIP 为什么喜欢金店，只需要确认“不管什么天气什么分店，这组特征都能识别 VIP”，就能锁定因果特征。训练完成后，干扰因子被彻底隔离在二号抽屉，即便下雨天背包人数翻倍，也不影响 VIP 识别精度。

分布外之挑战：相关不是因果，稳定才可泛化

为什么传统表征学习在分布外（Out-of-Distribution，OOD）任务上表现惨淡？我们回到购物中心。假设你的 AI 摄像头发现“戴金色领带的人 90% 是 VIP”，于是把“金色领带”当成关键特征。可一旦商场举办领带促销日，全员戴金领带，这个规律瞬间崩溃。AI 学的不是“身份”，而是“身份与领带的偶发关联”。

统计学上，这叫虚假相关（spurious correlation）：$X$ 与 $Y$ 在训练集上相关，但这种相关性由未观测的混杂因素驱动。在购物中心比喻里，混杂因素是“身份”：VIP 收入高所以常买金领带，但领带本身不导致 VIP。深度学习基于经验风险最小化训练，天然青睐那些区分度高、代价低的特征，于是金领带被选中——直到分布一变，满盘皆输。

因果表示学习的应对之道，是以“不变性”为锚点。真正的因果机制是跨环境稳定的，因此我们可以要求模型找到这样一组特征：它在多个环境上都能以相同的方式预测 $Y$。形式化地，我们寻找的因果变量满足：

分布外泛化的困难，本质上是“虚假相关”在作祟。而因果表示学习把问题从“拟合训练集上的相关性”转化为“找到跨环境不变的因果机制”。训练时它像侦探一样追问：这个特征在换场景后还管用吗？不管用的——扔掉。管用的——留下。最终得到的模型，就像那个只看 ID 卡而不是看领带的保安，走到哪家分店都不慌。

因果识别条件：如何确保分离是真实而非幻觉

你可能要问：模型会不会只是“假装”把 $Z$ 和 $V$ 分开了？就像超市的新人保安，声称自己认识 VIP，其实是记住了当天值班表。要让因果表示真正可识别（identifiable），必须满足一组数学条件。这些条件相当于购物中心的“会员认证规范”：身份证、人脸、签名三样对上，才算真 VIP。

第一个条件是可分性假设：因果变量 $Z$ 的每一个维度都必须在观测数据中留下可探测的痕迹，并且这些维度之间不能完全共线。假如两个因果维度永远同时出现、永不分家，模型就无法区分它们——就像两个顾客永远同进同出，保安就会误以为他们是一个人。第二个条件是独立性原则：因果变量 $Z$ 的各维度应当相互独立，干扰变量 $V$ 与 $Z$ 之间也是如此。这保证了分离后的因子各自承载独立的信息通道。第三个条件是干预多样性：训练数据必须包含足够多样的环境或干预。光看晴天数据，模型会把“阳光”当成因果因子；加上雨天、阴天、雾天，它才能意识到阳光只是干扰。

形式化地，假设因果变量之间相互独立且非高斯，那么通过非线性 ICA 框架，观测 $X$ 中的因果因子在满足以下条件下是可识别的：

值得强调的是，可识别性不是免费的——它需要假设、需要多样化的数据环境。如果训练数据只有一个环境，别说因果表示，连“哪个方向是因果轴”都无从谈起。就像一个只上过白班的新保安，你问他夜班 VIP 长什么样，他只能瞎猜。所以，因果表示学习的实践者必须仔细设计数据采集方案，让环境多样性成为常态。

实践应用落地：从购物中心走向真实世界

购物中心的故事讲完了，但因果表示学习远不止停留在商场。它已经悄悄进入多个真实场景，解决深度模型最头疼的分布外泛化问题。

医学影像诊断是因果表示学习的典型战场。医院里，不同院区的 CT 设备品牌不同、扫描参数不同，导致影像的亮度、噪声分布天差地别。传统模型在一个院区训练，换个院区准确率暴跌，因为模型学到了“亮度较高→病灶”这种伪相关。因果表示学习把“病灶本身的形状纹理”（因果变量）与“扫描设备的成像风格”（干扰变量）分开，模型在任何设备上都能稳定识别病灶。这相当于无论顾客穿什么牌子的衣服，保安都能认出他。

自动驾驶场景泛化是另一个高价值应用。训练数据里晴天占 80%，模型容易把“路面干燥反光”当成“前方有障碍物”的线索。一旦下雨，路面特征彻底改变，模型失灵。因果表示学习从视觉观测中分离出“物体本质”（障碍物的存在、位置）与“天气渲染”（光照、雨雾），让感知模型在不同天气下都保持稳定。这正是购物中心比喻的驾驶版：雨天顾客换上了雨衣，但你依然认得他的脸。

推荐系统冷启动也受益于因果表示学习。新用户没有行为数据时，传统推荐系统只能靠人口统计学特征猜，准确率很低。因果表示学习帮助模型区分“用户固有偏好”（因果变量）与“环境引导行为”（如某时段首页强推带来的点击，属于干扰变量），从而在新场景下更精准地预测真实偏好。就像保安通过 ID 卡而不是今天的穿搭来判断 VIP 身份。

这些应用的共同逻辑是：找到那个跨环境不变的“身份”，而不是追逐会漂移的“表象”。 因果表示学习正在把 AI 从一个“背题大师”变成真正的“解题大师”——它不再死记训练集的表面规律，而是理解世界背后的因果结构。这不仅是技术上的进步，更是 AI 迈向人类式推理的关键一步。

AI 应用场景

Python 演示

import numpy as npimport torchimport torch.nn as nnimport torch.optim as optim torch.manual_seed(42)np.random.seed(42) def gen_env(n=2000, env_scale=1.0):    z = torch.randn(n, 2)  # 因果变量    v = torch.randn(n, 2) * env_scale  # 干扰变量    x = torch.cat([z, v], dim=1) @ torch.tensor([[1.0, 0.5], [0.3, 1.0], [0.2, 0.1], [0.1, 0.2]])    y = (z[:, 0] > 0).long()  # 标签只由因果变量决定    return x, y envs = [gen_env(env_scale=s) for s in [0.5, 1.0, 2.0]] class Encoder(nn.Module):    def __init__(self):        super().__init__()        self.net = nn.Sequential(            nn.Linear(2, 16), nn.ReLU(),            nn.Linear(16, 4)  # 前2维是因果表示        )    def forward(self, x):        return self.net(x) class Classifier(nn.Module):    def __init__(self):        super().__init__()        self.net = nn.Linear(2, 2)    def forward(self, z):        return self.net(z[:, :2])  # 只使用因果部分 enc = Encoder()clf = Classifier()opt = optim.Adam(list(enc.parameters()) + list(clf.parameters()), lr=0.01)loss_fn = nn.CrossEntropyLoss() for epoch in range(30):    total_loss = 0.0    reg_loss = 0.0    for x, y in envs:        rep = enc(x)        z_hat = rep[:, :2]        v_hat = rep[:, 2:]        pred = clf(z_hat)        total_loss = total_loss + loss_fn(pred, y)        # 独立性约束：鼓励因果因子内部及与干扰因子去相关        reg_loss = reg_loss + torch.abs(torch.cov(z_hat.T)[0, 1]) + torch.abs(torch.cov(z_hat.T)[0, 2])    loss = total_loss + 0.1 * reg_loss    opt.zero_grad()    loss.backward()    opt.step()    if epoch % 10 == 0:        print(f"epoch {epoch:3d} loss {loss.item():.4f}") for i, (x, y) in enumerate(envs):    rep = enc(x)    acc = (clf(rep[:, :2]).argmax(dim=1) == y).float().mean().item()    print(f"env {i} scale={[0.5,1.0,2.0][i]} acc={acc*100:.1f}%")

1. z = torch.randn(n, 2)生成因果变量（顾客身份），标签只由它决定。
2. v = torch.randn(n, 2) * env_scale生成干扰变量（穿着/天气），幅度随环境变化。
3. x = ... @ torch.tensor(...)因果与干扰混合生成观测数据，模拟“画面由身份和环境共同构成”。
4. y = (z[:, 0] > 0).long()标签只依赖第一个因果变量，模拟“VIP 仅由身份决定”。
5. envs = [gen_env(env_scale=s) for s in [0.5, 1.0, 2.0]]构造 3 个干扰程度不同的环境。
6. rep = enc(x)编码器把观测压缩为 4 维表示，前 2 维用作因果因子。
7. pred = clf(z_hat)分类器仅用因果因子做预测，不允许看干扰因子。
8. reg_loss = ... + torch.abs(torch.cov(z_hat.T)[0, 1])独立约束：惩罚因果因子之间的相关性，促使因子解耦。
9. loss = total_loss + 0.1 * reg_loss总损失 = 预测损失 + 解耦正则项，平衡“准”与“分离”。
10. acc = (clf(rep[:, :2]).argmax(dim=1) == y).mean()评估每个环境的准确率，验证跨环境稳定性。

常见误区

面试题