混合数据因果发现

可视化演示

展示MixedLiNGAM处理连续与离散混合数据的因果发现方法，为离散变量引入潜在连续变量通过阈值分割生成观测值，扩展LiNGAM到混合数据场景。

混合数据基础：一桌两套尺子的配方表

小咔的面包实验室，配料记录五花八门。有些字段是“刻度尺”：面粉用克计，发酵用分钟计，炉温用摄氏度计，可以任意取中间的小数；有些字段却是“档位开关”：面粉种类要么高筋、要么低筋，加不加坚果只有开和关，烘烤模式是上下火还是风炉。把这两类记录放进同一张表格，混合数据就诞生了。

这种混合在真实世界中极其常见。用户的年龄是数值，所在城市是类别；设备的电量是数值，联网类型是Wi-Fi还是5G是类别；传感器的压强是数值，工作模式是类别。若强行全部当数值，类别之间的差异会被虚假排序；若强行全部当类别，数值中的精细结构又会丢失。这种“两难”正是混合数据给因果发现出的第一道难题。

因果发现的目标，是从观测数据中复原变量之间的方向性依赖。比较棘手的是：相关关系总是双向对称的，而因果方向只有一个。混合数据让这个问题变得更复杂：分类变量没有天然的距离，连续变量又容易让人误以为大的一定在前。只有把两类信息统一对待，才有机会走向正确判断。

分布建模上，混合数据可以用一个组合分布描述：

小咔把这个组合分布贴在实验台上：“原来我的表格不是单一尺子，而是两把尺子叠在一起。”只有同时握住两把尺子，才能量出真实世界。

LiNGAM核心假设：工序之间的线性因果链

小咔在整理流程时发现，每个成品背后都有一条清晰的工序线：面粉和水先混合成面团，面团再发酵，发酵好再进烤箱。上一个环节的输出，按固定比例进入下一个环节，并掺入无法控制的随机扰动。这种结构，正对应LiNGAM的核心思想。

LiNGAM（线性非高斯无环模型）假设：每个变量都是由其因果父变量线性叠加，再加上一个独立的噪声项。面包的松软度可以写成面团质量的线性函数加噪声，口感可以写成松软度的线性函数加噪声。各变量间的关系构成一张有向无环图——工序只沿固定方向流动，不会倒流。

具体来说，模型需要四条假设同时成立：第一，变量之间的关系是线性的；第二，噪声项是非高斯分布的；第三，变量之间不存在反馈环，形成一个有向无环图；第四，每个噪声项与其他变量相互独立。这四条假设共同保证了因果方向可以从数据中被唯一识别。

LiNGAM的模型方程为：

小咔在笔记上画下箭头：面粉→面团→面包。每个环节都是一次线性变换加独立扰动，“只要从面包倒推回去，就能解开整条工序链。”

非高斯方向原理：钟形之外才有方向

小咔有一个困惑：为什么非要强调“非高斯”？高斯分布是最常见的分布，难道不是更通用吗？她做了个小实验：把发酵时间的分布画出来，发现它并不像钟形——大部分时候发酵正常，偶尔严重过度，拖出一条长长的右尾。正是这条不对称的尾巴，让“识别方向”变为了可能。

原因在于：如果噪声服从高斯分布，那么线性变换后的联合分布依然是高斯分布，正反两个方向都呈现对称性。此时无论从哪个方向分解，残差都是“看起来独立”的；方向信息在数学上被抹平了。而如果噪声是非高斯的，比如“长右尾、短左尾”，那么只有在正确方向上，残差才与回归变量独立，错误方向则会留下可检测的依赖痕迹。

用数学表达，若真实过程是：

那么当我们在 $Y$ 上回归 $X$（错误方向）时，残差与 $Y$ 之间存在关联；而在 $X$ 上回归 $Y$（正确方向）时，残差与 $X$ 独立。这就是方向识别的钥匙。

小咔恍然大悟：“钟形曲线像没有指纹的玻璃，正反两面都一样；而带偏的分布像有掌纹的手，只有手心才留下图案。”非高斯性正是那只留下方向线索的手。

混合类型处理：把档位开关接到旋钮上

小咔面对分类变量时犯了难：面粉种类的“高筋/低筋/全麦”怎么放进线性方程？直接赋1、2、3会造成虚假的数值距离：难道全麦（3）是低筋（2）和高筋（1）的中间态？显然不对。她需要一个更巧妙的办法。

方法之一是用“潜在连续量+阈值”来理解分类变量。比如“是否加糖”这个0/1档位，实际上背后可能存在一个“想加糖的冲动强度”，当强度超过某个阈值时才真的加糖。在建模时，我们用潜在变量 $x_i^*$ 表示隐藏的连续量，用指示函数把它投影成观测的0/1。

小咔在配方表上画了一个旋钮连着一个开关：“原来分类变量并不是独立的另一套系统，而是连续世界被阈值切过的投影。”把投影反过来，就能把分类变量拉回因果方程中。

因果排序算法：层层剥开工序洋葱

小咔现在有了模型，也有了处理分类变量的手段。她开始设计算法，自动还原配方中的工序顺序。就像剥洋葱：先找到最外层、完全不受其他工序影响的“原料”，再把原料的影响从剩下的中间品中扣除，继续找下一层。

DirectLiNGAM 正是这样一套迭代算法。它每次选择“外生性最强”的变量——即被其他变量回归后残差独立性最好的变量——把它确定为因果序中的最前端；然后从其余变量中回归掉该变量的贡献；重复这一过程，直到变量全部排序完毕。

算法的核心优化目标是选择最外生的变量：

选出后，从其他变量中扣除其因果贡献：

小咔的洋葱剥完了：面粉是最外层的原料，面团在中间，面包在最内层。每剥一层，工序顺序就清晰一分。最终她得到一条完整的因果链：$x_{\text{面粉}} \succ x_{\text{面团}} \succ x_{\text{面包}}$。

验证与工程应用：让因果模型为数据可信背书

小咔拿新一批从未参与建模的配方做“盲测”。她惊讶地发现，有些配方中面团发酵时长和面包评分出现了因果链条的矛盾：模型预测残差里出现了明显的关联。排查后才发现，原来这批数据是由一台老旧的搅拌机产生的——机器参数根本不在数据采集表上。这就是因果模型在数据可信层中的价值：它像一个质检员，能识别出数据生产链路中的异常。

工程应用中，因果模型验证主要看三个方面。一是残差独立性：真实模型拟合后，残差应当与父变量相互独立。若出现依赖，说明模型结构有误或遗漏了关键变量。二是稳定性：把数据随机切分，多次估计的因果顺序应当一致，否则结果不可靠。三是泛化性：用新数据做预测，如果方向判断在数据漂移后仍保持稳定，说明模型抓住了本质结构。

残差独立性检验的形式化表达为：

小咔最终把因果模型写进了实验室的质量控制手册，就像为数据可信层装上了一道保险栓——数据再可疑，因果结构总会诚实地说出真相。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""简化 DirectLiNGAM 方向判定：混合数据场景用残差独立性（基于直方图互信息）判断两个变量的因果方向。"""import numpy as np def independence_score(a, b, bins=6):    """基于二维直方图的互信息估计，分数越低越独立"""    c, _, _ = np.histogram2d(a, b, bins=bins)    pxy = c / c.sum()    px = pxy.sum(axis=1, keepdims=True)    py = pxy.sum(axis=0, keepdims=True)    with np.errstate(divide="ignore", invalid="ignore"):        mi = np.nansum(pxy * np.log(pxy / (px * py)))    return mi def residual(y, x):    """线性回归 y ~ x，返回残差"""    b = np.cov(x, y)[0, 1] / (np.var(x) + 1e-12)    a = y.mean() - b * x.mean()    return y - (a + b * x) def decide_direction(x, y):    """比较两个方向的残差独立性，返回因果方向"""    score_xy = independence_score(x, residual(y, x))    score_yx = independence_score(y, residual(x, y))    return ("X -> Y" if score_xy <= score_yx else "Y -> X"), score_xy, score_yx def main():    np.random.seed(0)    n = 1000    # 构造混合数据：X 为非高斯连续量，Y 为连续结局，真实方向 X -> Y    u = np.random.rand(n)    x = np.log(1 + 5 * u)                 # 右偏非高斯连续变量    e = np.random.uniform(-0.5, 0.5, n)   # 均匀噪声，也是非高斯    y = 0.8 * x + e    direction, s_xy, s_yx = decide_direction(x, y)    print("独立性得分 X->Y(残差 vs X): %.4f" % s_xy)    print("独立性得分 Y->X(残差 vs Y): %.4f" % s_yx)    print("判定因果方向:", direction) if __name__ == "__main__":    main()

1. def independence_score(a, b, bins=6):用二维直方图近似互信息，分数越低说明两个量越独立，是方向判定的核心“裁判”。
2. c, _, _ = np.histogram2d(a, b, bins=bins)把两个变量联合映射到一张网格上，统计每个格子里有多少样本。
3. pxy = c / c.sum()将格子的计数转成联合概率，相当于把数据摊成一张“概率饼图”。
4. mi = np.nansum(pxy * np.log(pxy / (px * py)))用信息论公式计算出互信息，数值越大说明依赖越强。
5. def residual(y, x):对 y ~ x 做最小二乘回归，返回“扣掉 x 影响后剩下的尾巴”。
6. b = np.cov(x, y)[0, 1] / (np.var(x) + 1e-12)根据协方差和方差算出回归斜率，1e-12 防止除以零。
7. score_xy = independence_score(x, residual(y, x))假设 X→Y，检查残差与 X 的独立性。
8. score_yx = independence_score(y, residual(x, y))假设 Y→X，检查反向残差与 Y 的独立性。
9. x = np.log(1 + 5 * u)生成右偏非高斯的连续变量，这是“不对称波动”的来源。
10. if __name__ == "__main__":保证代码被导入时不自动执行，只在直接运行时跑 main。

常见误区

面试题