因果表示学习：因果干预生成

可视化演示

展示Transformer中正弦位置编码矩阵的热力图与多维度波形，支持选择位置和维度查看编码值，理解不同维度的频率衰减特性。

1. 因果干预原理：从“观察配方”到“动手改配方”

你发现自己总是根据销售记录调整配方，但每次调整后销量变化却违背预期。原因在于，你只是“观察”了糖与销量的关系，却没有真正“干预”过糖。面包房里有个隐形角色：师傅手艺。手艺好的师傅既倾向多放糖，又做得好吃，于是糖和销量被手艺“绑”在了一起。

在因果推理中，观察得到的是条件分布 \(P(Y|X=x)\)，干预得到的是干预分布 \(P(Y|do(X=x))\)。do 像一只强制锁定的手：不是你“挑出”那些恰好糖量为 x 的蛋糕，而是让所有蛋糕的糖量都等于 x。这样，师傅手艺与糖量之间的关联就被剪断了。

如果存在可观测的混杂因子 Z（比如师傅手艺的评分），我们可以用后门调整从观测数据中恢复因果效应。

\[

\displaystyle P(Y=y \mid do(X=x)) = \sum_z P(Y=y \mid X=x, Z=z)\,P(Z=z)

\]

1. 干预后目标：左边是我们真正关心的量——把 X 强行设为 x 后，Y 的分布。

2. 后门调整求和：右边对所有可能的 Z 取值求和，把 Z 的干扰“平均掉”。

3. 混杂权重：每个 Z 区间按它在人群中出现的概率 P(Z=z) 加权，而不是按样本中 X 的分布加权。

回到面包房：如果你想估计“糖量=10 克”对销量的因果效应，不能只看数据里糖量接近 10 克的蛋糕，而要把不同手艺水平的师傅按比例混合，让糖量这一列全部变成 10 克。这一步，就是把“看数据”升级为“做实验”。

2. 结构因果模型：面包房的“配方说明书”

光有干预分布还不够，我们还需要一张清晰的“配方说明书”，说明每个变量由什么决定。结构因果模型（SCM）就是这张说明书，它由三部分组成：因果图、结构方程、外生变量。因果图画变量之间的箭头，结构方程写“怎么算”，外生变量代表“说不清的外部扰动”。

在面包房场景里，Z 是师傅手艺，X 是糖量，Y 是销量。结构方程可以写成：

\[

\displaystyle X=\alpha Z+U_X,\quad Y=\beta X+\gamma Z+U_Y

\]

这条公式表明：糖量 X 由手艺 Z 和随机扰动 U_X 决定；销量 Y 由糖量 X、手艺 Z 和随机扰动 U_Y 决定。因为 Z 同时出现在 X 和 Y 的方程里，所以它是混杂因子。

1. 外生扰动项：U_X、U_Y 是系统外部的随机因素，比如当天面粉批次不同、顾客心情波动。

2. 第一个结构方程：X 由父节点 Z 和外生变量 U_X 共同生成。

3. 第二个结构方程：Y 同时接收 X 的直接效应和 Z 的直接效应。

SCM 的美妙之处在于，它不只是统计拟合，而是把“数据生成过程”显式写出来。有了这张配方说明书，我们就能回答反事实问题：如果同一个师傅，糖量不是 10 克而是 5 克，销量会怎样？因为方程明确写出了每个变量如何被生成，所以我们可以“重跑”一遍配方。

3. 干预操作机制：把配方中的某一步锁死

在结构因果模型上做干预，相当于把配方里的某一步锁死。比如你命令所有蛋糕的糖量必须是 10 克，那么“师傅手艺决定糖量”这条路径就被切断了。X 不再听 Z 的安排，而是一个固定的常数。

用公式表达，干预 do(X=x) 会生成一个新的联合分布：

\[

\displaystyle P(Y=y, Z=z \mid do(X=x)) = P(Z=z)\,P(Y=y \mid X=x, Z=z)

\]

这个式子通常被称为“截断因子分解”：原来联合分布里包含 P(X|Z)，但干预后 X 是常数，这个因子被截断了。

1. 干预后联合分布：左边表示强制 X=x 后，Z 和 Y 一起出现的概率。

2. 保留 Z 的机制：Z 没有被干预，所以它仍然按原来的分布 P(Z=z) 生成。

3. 保留 Y 的条件机制：Y 的条件概率仍然存在，但条件中的 X 必须替换成介入值 x。

干预机制的本质是“外科手术”：剪断指向 X 的箭头，再把 X 钉在目标值上。生成模型做因果干预时，往往就是在隐空间里执行这个操作——把某个因果因子的值设为期望值，其余因子保持不变。

4. 反事实生成：如果当初没放糖会怎样

干预解决的是“如果现在把糖锁死，会怎样”；反事实则追问“如果当初那一炉没放那么多糖，会怎样”。前者面向未来，后者面向过去。面包房里最常问的问题是：昨天那批爆款蛋糕，如果糖量减半，还会卖得一样好吗？

Pearl 给出了经典三步：溯因、行动、预测。首先要根据观测结果反推出外生扰动 U；然后施加干预 do(X=x)；最后用更新后的结构方程预测 Y。写成公式就是：

\[

\displaystyle Y_{X=x}(u)=f_Y\bigl(x,\, Z(u),\, U_Y(u)\bigr)

\]

1. 反事实记号：下标 \(X=x\) 表示“假设 X 被设为 x”，而 \(u\) 表示同一个个体。

2. 结构方程：Y 的值由生成机制 f_Y 计算，这是配方中不变的部分。

3. 保留未干预状态：Z 和外生扰动 U_Y 保持原来该个体的状态，只改变 X。

反事实生成的实际做法是：先用编码器从真实样本中估计出隐变量 U，再把目标变量替换成反事实值，最后用解码器生成新样本。比如医疗影像中，“如果这个肺结节不存在，片子会长什么样”——这种样本无法从观测数据中直接得到，但反事实生成可以想象出来。

5. 因果表示解耦：把面粉、糖、烤箱分开编码

要让生成模型能精准干预，它必须先学会把不同因果因素分开表示。如果隐空间里一个维度同时混合了“糖量”和“黄油量”，那么你调整糖量时，口感也会跟着变，就像面团里糖和油脂纠缠在一起，很难单独控制。

因果表示学习的核心目标，是让隐变量的后验分布可分解，并且生成器能用这些独立因素还原数据：

\[

\displaystyle p(z\mid x)\approx\prod_{k=1}^{K} p(z_k\mid x), \quad x\approx g(z)

\]

1. 后验分解：给定样本 x，隐变量 z 的各分量尽量条件独立，每个 z_k 对应一个因果因素。

2. 生成映射：生成器 g 把这些因果因子重新组合成样本。

3. 局部干预：干预时只改变第 k 个因子，其他因子保持不变。

解耦后的隐空间就像一个调料架：糖归糖、盐归盐。生成蛋糕图片时，你只要拨动“糖量”旋钮，甜度变化而形状不变。这就是“可控生成”的基础。

6. 生成网络融合：把因果因子接入生成器

有了解耦的因果表示，下一步就是把它接入生成网络。常见做法包括因果 GAN、扩散模型条件干预、对比学习对齐干预前后表示等。无论哪种结构，底层目标都是让生成器忠实地把因果干预反映到输出上。

一个通用的训练目标可以写成：

\[

\displaystyle \min_{\theta,\phi}\mathbb E_{x,a}\Bigl[\mathcal L_{\mathrm{rec}}\bigl(x,\,g_\theta(E_\phi(x), a)\bigr)+\lambda\,\mathcal L_{\mathrm{causal}}\bigl(E_\phi(x), a\bigr)\Bigr]

\]

1. 编码器与生成器：E_phi 把样本压缩成因果表示，g_theta 根据表示和干预条件 a 生成样本。

2. 重构损失：生成结果要和原始样本尽量接近，保证基本内容不失真。

3. 干预一致性损失：干预后的表示要与干预条件 a 对齐，防止模型忽略因果操作。

在面包房里，这相当于把“调料架”直接接到“烘焙机器人”上：因果因子控制配方，生成器负责烤出成品。工业部署时，还会把训练好的因果生成器蒸馏成轻量模型，以便在实时推荐、图像编辑等场景中快速生成。

7. 评估与优化：试吃环节不能只看卖相

因果干预生成模型不能只凭“生成样本好看”来评判。就像面包房的新配方，不能只看颜色金黄，还要让试吃员盲测，更要确认“改动糖量确实只改变了甜度”。

最常用的评估指标之一是平均处理效应（ATE）。我们可以让模型分别生成干预前和干预后的结果，再计算均值差：

\[

\displaystyle \widehat{\mathrm{ATE}}=\frac{1}{n}\sum_{i=1}^{n}\bigl[\hat{y}_i(1)-\hat{y}_i(0)\bigr]

\]

1. 反事实预测：对第 i 个样本，模型生成“接受干预”和“未接受干预”两个结果。

2. 个体因果效应：两个结果的差就是该样本的个体效应。

3. 样本平均：对所有样本求平均，得到整体因果效应估计。

除了 ATE，还要检查干预一致性：把某个因果因子调大后，生成图像的对应属性是否单调变化。如果模型只是学会了表面风格，而没有真正理解因果机制，它在分布外场景中就会“翻车”。优化时通常结合重构损失、对比损失和因果正则项，并兼顾模型压缩与推理速度。

AI 应用场景

Python 演示

import numpy as np def generate_observational(n=20000, seed=42):    rng = np.random.default_rng(seed)    z = rng.normal(0.0, 1.0, n)    x = 0.8 * z + rng.normal(0.0, 0.6, n)    y = 1.2 * x + 1.5 * z + rng.normal(0.0, 0.5, n)    return z, x, y def intervene_x(x_value, n=20000, seed=7):    rng = np.random.default_rng(seed)    z = rng.normal(0.0, 1.0, n)    x = np.full(n, x_value)    y = 1.2 * x + 1.5 * z + rng.normal(0.0, 0.5, n)    return y def conditional_mean(z, x, y, x0, tol=0.1):    mask = np.abs(x - x0) < tol    return y[mask].mean() def backdoor_adjustment(z, x, y, x0, bins=20):    z_edges = np.linspace(z.min(), z.max(), bins)    total = 0.0    for i in range(bins - 1):        mask = (z >= z_edges[i]) & (z < z_edges[i + 1])        if mask.sum() < 5:            continue        pz = mask.mean()        tol = max(np.std(x[mask]) * 0.2, 0.05)        near = np.abs(x[mask] - x0) < tol        if near.sum() == 0:            continue        total += y[mask][near].mean() * pz    return total def main():    z, x, y = generate_observational()    naive = conditional_mean(z, x, y, 1.5) - conditional_mean(z, x, y, 0.5)    adjusted = backdoor_adjustment(z, x, y, 1.5) - backdoor_adjustment(z, x, y, 0.5)    true_effect = intervene_x(1.5).mean() - intervene_x(0.5).mean()    print("naive diff:", round(naive, 3))    print("backdoor diff:", round(adjusted, 3))    print("true interventional diff:", round(true_effect, 3)) if __name__ == "__main__":    main()

1. x = 0.8 * z + rng.normal(0.0, 0.6, n)糖量 X 受师傅手艺 Z 影响，产生混杂路径。
2. y = 1.2 * x + 1.5 * z + rng.normal(0.0, 0.5, n)销量 Y 同时由 X 与 Z 决定。
3. np.full(n, x_value)干预操作：把所有样本的 X 锁死为目标值。
4. mask = (z >= z_edges[i]) & (z < z_edges[i + 1])按 Z 分层，逐段消除混杂。
5. total += y[mask][near].mean() * pz将每层条件均值按 Z 的分布加权求和。
6. true_effect = intervene_x(1.5).mean() - intervene_x(0.5).mean()用结构方程直接执行干预，作为因果效应的“标准答案”。

常见误区

面试题