因果表示学习入门

可视化演示

展示从观测数据X到潜在因果变量Z的编码-解码过程，以及Z空间中的结构因果模型与跨环境不变性。

概念与动机：从相册目录到底片分离

整理师小周打开鞋盒，里面是几十张因为光线、滤镜、人物重叠而乱成一团的老照片。客户不要按颜色或时间归档，而想知道：“如果那天没有下雨，照片会是什么样？”要回答这个问题，光看照片之间的相似性是不够的——你必须先认出照片背后的“底片因素”：人、地点、光线、季节。这堆照片就是观测数据，底片因素就是因果潜变量。

很多机器学习任务只学习“照片目录”：看到红色像素多就归为“喜庆”，看到建筑就归为“城市”。而因果表示学习要学的是“生成照片的机制”：哪些底片因素在互相影响，每个因素又怎样决定最终像素。在数学上，这个过程可以用一组结构因果方程来刻画：

对小周来说，只有把泛黄的相册还原成“人、地点、光线”这些独立因素，才能真正回答“如果换一张底片会怎样”。这就是因果表示学习的第一课：学习变量，而不是学习标签。

核心思想：独立因果机制

小周的客户希望把每张照片里的“人物层”和“背景层”分开保存，就像把一张照片拆成透明胶片。即使把人物层单独抽走，背景层也不会因此改变；反过来，把背景层的色调调暗，人物层的表情依然如故。这种“模块之间互不干扰”的性质，就是独立因果机制。

独立因果机制假设自然界的生成过程由多个独立模块组成：每个变量的条件分布只依赖它的直接原因，改变其中一个模块，不会影响其他模块。给定所有变量后，整个系统的联合分布可以写成一系列条件分布的乘积：

正因为机制独立，小周整理相册时能单独抽走“雨天图层”，而不必重拍整张照片。这也带来一个关键性质——干预不变性：当我们主动改变某个机制时，只要其他机制不变，我们仍能准确预测系统的反应。

技术基础：因果变量发现与深层生成模型

如果连底片是什么都不知道，小周只能通过反复冲洗照片来猜测。因果变量发现要回答的正是：从一堆像素构成的观测中，怎样把隐藏的底片因素“显影”出来？早期的独立成分分析假设混合过程是线性的，就像整理师只会按颜色深浅做简单分类；但真实照片是人物、光线、场景非线性叠加出来的，线性假设远远不够。

深度学习提供了更自然的框架：假设观测 x 由一个低维潜变量 z 经过一个非线性函数生成。于是，生成模型的训练目标变成了：

在实际落地时，变分自编码器（VAE）是常用框架：编码器负责“扫描照片得到底片”，解码器负责“用底片重新洗出照片”。为了让底片中的各分量真正独立，我们还会给潜变量空间加入结构约束，这就引出了下一节的关键方法。

关键方法：因果VAE与干预辅助训练

小周不满足于把照片分类，他想训练一台“底片显影机”：输入一张照片，输出一组可调节的因果旋钮。这就像因果VAE做的事。普通VAE只要求能重建照片，而因果VAE还会要求潜变量内部具有因果结构：有的旋钮控制人物，有的旋钮控制光线，旋钮之间松紧有序。

变分自编码器的训练目标通常包含重建项和正则项：

除了因果VAE，干预辅助训练也很关键：如果有一小批“换了底片之后拍出来的照片”，我们可以让模型在干预前后的表示保持一致；这种一致性就是学习因果表示的强信号。双表示分离则把信息拆成“因果部分”和“非因果部分”，专用于应对分布外场景。

评估与挑战：让整理效果可被验证

小周怎么知道自己的整理方法是有效的？一个直觉是让客户看“换了底片后的照片”是否自然。但这还不够，因为真实因果变量常常没有标签，我们很难直接说“你恢复对了”。因此，研究者通常使用多种间接评估方式。

一种常见方式是变量恢复评估：如果某个模拟数据集中存在真实因果变量，我们可以把模型学到的表示与真实变量做对齐，用调整兰德指数（ARI）衡量吻合程度：

除了指标，实践上更看重干预一致性和分布外表现：换掉一个底片因素后，其他表示是否保持不变？换一个数据分布后，模型是否还能稳定工作？因果表示学习目前仍有很多开放挑战，比如没有干预时不可辨识、高维视频因果建模困难、动态因果机制随时间变化等，这些都是深度因果发现方向最活跃的研究问题。

应用与展望：在数据可信层落地

整理好的相册不只美观，还能回答“如果”问题。因果表示学习在“数据可信层”同样重要：当数据仓库里的指标彼此混杂时，我们需要知道哪些是根因、哪些只是伴随现象。有了因果表示，算法工程师可以把原始特征拆成“用户真实意愿”和“平台展示偏差”，让指标口径更可信。

一个经典的反事实预测场景是：给定一个人的多个因果底片因素，假设把“价格因素”从 Z1 改为更低价，用户转化率会如何变化？公式可以写成：

在医疗、推荐、风控等场景中，因果表示学习已经开始改变“预测式 AI”的思维：从“这个用户会不会买”升级为“如果给他推送另一种商品，他会不会买”。未来，基础模型与因果世界模型结合后，AI 系统将更有能力在复杂环境中做可靠干预与决策。

AI 应用场景

Python 演示

import torchimport torch.nn as nn torch.manual_seed(0) def generate_data(n=600):    z1 = torch.distributions.Exponential(rate=1.0).sample((n, 1))    z2 = torch.randn(n, 1)    x1 = z1 + 0.3 * z2 + 0.2 * z1 * z2    x2 = torch.pow(z2, 2) + 0.1 * z1    return torch.cat([x1, x2], dim=1) class Encoder(nn.Module):    def __init__(self):        super().__init__()        self.shared = nn.Linear(2, 32)        self.mu = nn.Linear(32, 2)        self.logvar = nn.Linear(32, 2)     def forward(self, x):        h = torch.relu(self.shared(x))        return self.mu(h), self.logvar(h) class Decoder(nn.Module):    def __init__(self):        super().__init__()        self.net = nn.Sequential(nn.Linear(2, 32), nn.ReLU(), nn.Linear(32, 2))     def forward(self, z):        return self.net(z) def independence_hsic(z1, z2, sigma=1.0):    n = z1.shape[0]    d1 = z1[:, None] - z1[None, :]    d2 = z2[:, None] - z2[None, :]    k1 = torch.exp(-d1.pow(2).sum(-1) / (2 * sigma * sigma))    k2 = torch.exp(-d2.pow(2).sum(-1) / (2 * sigma * sigma))    eye = torch.eye(n)    h = eye - torch.ones((n, n)) / n    a = h @ k1 @ h    b = h @ k2 @ h    return (a * b).sum() / (a.norm() * b.norm() + 1e-8) def main():    x = generate_data()    enc = Encoder()    dec = Decoder()    opt = torch.optim.Adam(list(enc.parameters()) + list(dec.parameters()), lr=1e-3)    for epoch in range(300):        mu, logvar = enc(x)        std = torch.exp(0.5 * logvar)        z = mu + std * torch.randn_like(std)        x_hat = dec(z)        recon = nn.functional.mse_loss(x_hat, x)        kl = 0.5 * (logvar.exp() + mu ** 2 - 1 - logvar).sum(dim=1).mean()        loss = recon + kl        opt.zero_grad()        loss.backward()        opt.step()        if epoch % 50 == 0:            print(f"epoch {epoch:3d} loss {loss.item():.4f}")    with torch.no_grad():        mu, _ = enc(x)        raw = independence_hsic(x[:, :1], x[:, 1:]).item()        learned = independence_hsic(mu[:, :1], mu[:, 1:]).item()    print(f"raw HSIC: {raw:.4f}")    print(f"learned HSIC: {learned:.4f}")    print("HSIC 越接近 0，两个变量越独立。") if __name__ == "__main__":    main()

1. z1 = torch.distributions.Exponential(rate=1.0).sample((n, 1))模拟真实世界中独立的“底片因素”。
2. x1 = z1 + 0.3 * z2 + 0.2 * z1 * z2通过非线性混合生成观测数据，让两个变量纠缠在一起。
3. mu, logvar = enc(x)编码器把观测照片映射成潜变量的分布参数。
4. kl = 0.5 * (logvar.exp() + mu ** 2 - 1 - logvar).sum(dim=1).mean()用 KL 散度让潜变量接近独立标准正态先验。
5. independence_hsic(...)用 Hilbert-Schmidt 独立性准则衡量两个变量之间的独立性，数值越小越独立。

常见误区

面试题