基于约束方法：条件独立性检验G-test

可视化演示

展示列联表G统计量计算、条件独立Z切断X-Y依赖、PC算法因果图边检验三阶段交互探索。

1. 条件独立性概念

奶茶侦探社刚接到大单：店长怀疑“大杯更容易让顾客打好评”。翻开三个月账本，大杯订单的好评率确实高出不少。可老侦探拦住你：“先别急着下结论，熟客更喜欢点大杯，也更习惯好评。把熟客身份放进来再看。”这就是条件独立性问题的起点：杯型 X、好评 Y、熟客身份 Z。我们要问的是，给定 Z 后，X 与 Y 是否还相互依赖。

若每个熟客层内，点大杯的概率不随好评与否变化，就称 X 在给定 Z 下与 Y 条件独立，记作 \(X \perp\!\!\!\perp Y \mid Z\)。概率上等价于联合概率能按 Z 条件分解：

把客人按熟客身份分成两桌重新统计后，侦探看到两桌内部的趋势线都趋于平缓，便知道杯型与好评只是“同框”，并非“同谋”。

2. G检验核心原理

侦探不能只靠眼睛看散点，需要一把“证据秤”量化。G-test 从“剧本比较”出发：剧本 A 说杯型和好评在给定熟客身份后独立，剧本 B 说二者仍有关联。哪份剧本更擅长解释账本上每一格的顾客人数？G-test 用列联表整理数据，然后看“观测频数 O”与“独立假设下的期望频数 E”差距有多大。

如果独立剧本成立，每个格子的期望频数可以由边缘频数推算。G 统计量把每个格子的偏差按对数放大再求和：

侦探把两本“剧本”摆在桌上，G 就是“剧本 B 比剧本 A 多解释多少证据”的加分值。加分越高，独立剧本越可疑。

3. 统计量与分布

G 值很高，但会不会只是巧合？统计学家发现，在样本量足够大、期望频数不太小时，G 统计量近似服从卡方分布。卡方分布由自由度决定，而自由度来自列联表的形状：每一层 Z 有 \(r_k\) 个行取值和 \(c_k\) 个列取值，每层贡献 \((r_k-1)(c_k-1)\) 个自由度，各层相加得到总自由度。

于是 p 值可以写成：

p 是侦探对“纯属巧合”的打分。p 越低，越有理由怀疑“有关联”不是偶然；p 很高，则证据尚不足以翻案。

4. 标准检验流程

一份标准的办案清单长什么样？首先设零假设 \(H_0: X \perp\!\!\!\perp Y \mid Z\)，即给定 Z 后 X 与 Y 独立。然后对 Z 的每一层构建列联表，按边缘频数计算期望频数。最后把所有层的 G 相加，用总自由度查卡方分布得到 p 值，并与显著性水平 \(\alpha\) 比较。

期望频数的计算是核心步骤：

有了清单，侦探不会漏掉关键步骤。尤其要注意样本量：当某些格子的期望频数太小，卡方近似会失真，证据秤的刻度就不准了。

5. 因果发现应用

单次检验只是一场对质；因果发现要做的是给所有嫌疑人画关系网。基于约束方法的核心思想是：如果 X 与 Y 在给定某些变量 S 后条件独立，那么因果图中就不该有连接 X 和 Y 的边。PC 算法从一张完全图出发，用条件独立性检验不断删除这样的边，先得到无向骨架，再通过 v 结构确定部分边的方向。

在骨架学习阶段，每一条边是否保留，取决于检验判定：

侦探一次一次地对质，每场都剪掉一条拿不出实据的关联线，最后剩下的嫌疑网络就是因果地图的起点。

6. 性能与优化

变量一多，检验次数会爆炸式增长。幸运的是真实因果网通常很稀疏：大多数变量之间根本没有边。利用稀疏图特性，我们只对图中相邻的节点组合做 G-test，而不是对所有变量对做全组合检验，能省下大量计算。

小样本问题也常见。G 统计量的卡方近似依赖“期望频数不太小”：

侦探面对上千个嫌疑人，只对可能有关系的邻居深入调查，避开人海战术。人证太少时，宁可换更精细的验算方法，也不用一把失灵的证据秤。

7. 实战案例与陷阱

实战里，最经典的案例是营销归因：平台想判断“推送优惠券”与“用户复购”是否相关，但“用户活跃度”同时影响两者。直接看数据，优惠券和复购正相关；按活跃度分层后做 G-test，可能会发现二者条件独立，之前的关联只是混杂因子制造的假象。

陷阱也藏在多重检验里。因果发现可能对上万条候选边做检验，哪怕每条检验只有 5% 假阳性率，累积起来也会出现大量冤案。Bonferroni 校正把单次阈值收紧：

校正就像侦探组开会：案子上千件时，单个小概率事件并不稀奇，必须统一提高证据标准。否则，那些“碰巧显著”的关联线会让整张因果网变成冤案现场。

AI 应用场景

Python 演示

import mathimport numpy as npimport pandas as pdfrom scipy.stats import chi2  def g_test_from_table(observed):    """输入二维观测频数表，返回 G 统计量、自由度、p 值与最小期望频数。"""    o = np.asarray(observed, dtype=float)    row_tot = o.sum(axis=1)    col_tot = o.sum(axis=0)    n = o.sum()    expected = np.outer(row_tot, col_tot) / n    g = 0.0    for i in range(o.shape[0]):        for j in range(o.shape[1]):            if o[i, j] > 0:                g += o[i, j] * math.log(o[i, j] / expected[i, j])    g *= 2.0    df = (o.shape[0] - 1) * (o.shape[1] - 1)    p = chi2.sf(g, df)    return g, df, p, expected.min()  def conditional_g_test(df, x, y, z):    """对 Z 的每一层分别做 G 检验，最后汇总 G 与自由度。"""    g_total = 0.0    df_total = 0    warnings = []    for z_val in sorted(df[z].unique()):        sub = df[df[z] == z_val]        ct = sub.groupby([x, y]).size().unstack(fill_value=0)        g_layer, df_layer, _, min_exp = g_test_from_table(ct.values)        g_total += g_layer        df_total += df_layer        if min_exp < 5:            warnings.append("z=%s 层期望频数偏小" % z_val)    p_total = chi2.sf(g_total, df_total)    return g_total, df_total, p_total, warnings  np.random.seed(7)n = 300z = np.repeat([0, 1], n // 2)x = np.where(z == 0, np.random.binomial(1, 0.2, n // 2),             np.random.binomial(1, 0.8, n // 2))y = np.where(z == 0, np.random.binomial(1, 0.3, n // 2),             np.random.binomial(1, 0.7, n // 2))df = pd.DataFrame({"x": x, "y": y, "z": z}) ct_all = df.groupby(["x", "y"]).size().unstack(fill_value=0)g_all, df_all, p_all, _ = g_test_from_table(ct_all.values)g_cond, df_cond, p_cond, warns = conditional_g_test(df, "x", "y", "z") print("无条件 G=%.1f df=%d p=%.4f" % (g_all, df_all, p_all))print("条件   G=%.1f df=%d p=%.4f" % (g_cond, df_cond, p_cond))if warns:    print("提示:", warns)

1. expected = np.outer(row_tot, col_tot) / n根据边缘频数算出独立假设下的期望人数。
2. if o[i, j] > 0:观测为零时该格不贡献，避免对 0 取对数。
3. df = (o.shape[0] - 1) * (o.shape[1] - 1)单个 2×2 表的自由度是 1。
4. for z_val in sorted(df[z].unique())逐层控制 Z，再汇总证据。
5. p_total = chi2.sf(g_total, df_total)用卡方分布右侧尾部得到 p 值。
6. np.where(z == 0, ..., ...)让 X 和 Y 都依赖 Z，但给定 Z 后彼此独立。

常见误区

面试题