LLM因果推理：LLM因果常识

可视化演示

展示LLM因果常识的类型区分、语料习得机制及因果链推理应用，支持模式切换交互。

因果基本概念：侦探的因果三件套

深夜的警局档案室，老侦探把两份卷宗并排摊开：冰淇淋店的销售曲线，和海边浴场的溺水记录。两条曲线几乎同步起伏，实习生兴奋地标注“因果关系”，老侦探却摇摇头——他抽出气象图，指着飙升的温度曲线：这才是两队曲线背后的共同指挥官。多年办案，他总结出“因果三件套”：区分相关与因果、懂得干预实验、善用反事实想象。

大语言模型就像这位见多识广的侦探学徒。它在海量文本中“见过”无数事件成对出现，却常常把“先后发生”误当“因此发生”。要让模型真正拥有因果常识，第一步就是把三件套装进它的工具箱，而第一条铁律就是：相关不等于因果。

因果科学用 do 算子表示“主动干预”。普通条件概率 \(P(Y \mid X)\) 描述“看到 X 时 Y 的分布”，而 \(P(Y \mid \mathrm{do}(X))\) 描述“强行把 X 设为某个值时 Y 的分布”。两者不同，是因为观察时会受混淆变量（同时影响 X 和 Y 的第三个因素）干扰，而干预切断了这些外部影响。

回到冰淇淋案，老侦探用三件套瞬间拆穿假象：观察到的相关是真的，但一旦“干预”冰淇淋销量（比如全市停售），溺水人数纹丝不动——因为二者没有直接因果，真正的元凶是气温。这条结论写进了结案报告，也写进了因果推理的第一课。

因果与可解释AI：侦探的结案报告

现代 AI 的黑箱常让人像面对一份没有推理过程的判决书：模型说“拒绝贷款”，用户却看不到理由。老侦探深知，一份合格的结案报告必须写清每条线索的贡献，让法官和当事人心服口服。可解释 AI 追求的，正是这种“可交代”的决策能力。

因果归因是结案报告的核心笔法：它不满足于回答“哪些特征与结果相关”，而是回答“哪个原因真正推动了结果”（归因，即把结果拆解到各个原因头上）。相关性归因可能被无关的“陪跑特征”干扰，因果归因则在因果图上做干预，找出真正的推手。

形式上，归因量通过比较某因子取实际值 \(x\) 与取基线值 \(x^*\) 时结果的差异来衡量其贡献——这正是 do 算子思想的延伸。

当每条线索的因果贡献被写进报告，AI 行为就不再是玄学。用户看到的是“因为逾期次数高、收入不足，所以拒绝贷款”——这份因果解释，远比“模型权重使然”更有说服力，也更容易被审计与修正。

LLM因果常识：藏在文本里的线索

侦探的直觉从哪来？一千次现场勘查，一千份旧案卷宗。LLM 的“直觉”同样来自海量语料：它把文本中反复出现的因果模式（“因为…所以”“导致”“引发”）压缩进参数，形成一种隐性因果常识。

这种常识是隐性的：模型没有显式的因果图，却在预测下一个词时表现出因果理解。问“小明没带伞，回家路上会被淋湿吗”，它能答“会”——因为它从无数类似叙事中学到了“下雨→淋湿”的因果链。

反事实（counterfactual）是因果常识的最高形态：给定一个已发生的事实，模型要回答“如果当初 X 没发生，Y 会怎样”。这要求模型不只记住关联，还要模拟一个平行世界，是检验因果深度的试金石。

侦探的直觉偶尔也会出错，但线索读得越多，判断越准。LLM 的因果常识同样来自语料的“卷宗积累”，它的强弱，决定了模型能在多少问题上像老侦探一样一眼看穿真相。

因果提示技巧：侦探的讯问术

老侦探讯问目击者时，从不问“你觉得呢”，而是问“如果那天你没去现场，凶手还能得手吗”。提问方式决定回答质量——对 LLM 同样如此。因果提示技巧，就是设计让模型展开因果推理的讯问术。

最有效的技巧之一是思维链（Chain-of-Thought）：让模型把推理过程一步步写出来，而不是直接蹦出答案。就像侦探引导目击者按时间线回忆，每一步都在为下一步提供线索。

另一个技巧是反事实提问：把问题包装成“假如没有 X，结果会怎样”，迫使模型调用因果常识构建平行世界，而非依赖表面共现。这类“干预式”提示，常能显著提升因果判断的准确率。

讯问术的效果立竿见影：同一个模型，用“直接回答”可能答错，换成“假如…会怎样”的引导，就能层层递进、直击要害。可见模型并非没有因果常识，而是需要正确的提问去唤醒它。

评估基准测试：侦探的晋级考试

警局每季度举办晋级考试：给侦探二十个案件描述，判断哪些是因果、哪些是巧合，还要回答各种反事实问题。评估 LLM 的因果常识，也需要这样标准化的“考试”。

研究者构建了专门的因果评测基准（benchmark），包括事件因果判断、反事实问答、干预后果预测等任务，把模型能力量化成分数。有了统一的考卷，不同模型才能公平比较，缺陷才无所遁形。

准确率是最常用的评分尺度：模型答对的题目数占总题数的比例。一份合格的考卷还要控制难度分布、避免题目被模型“背过”——这与侦探考试必须出全新案件是同一个道理。

考卷年年翻新，侦探在考试中淬炼直觉。对 LLM 来说，因果基准不仅是排行榜，更是发现短板的体检报告——分数背后，藏着模型对因果理解的真实水平。

局限与风险：侦探的思维陷阱

再老练的侦探也有失手：把巧合当线索、被伪造现场误导、凭想象编造案情。LLM 的因果推理同样布满陷阱，其中最危险的是因果幻觉与伪相关。

因果幻觉指模型自信地编造不存在的因果联系。问“为什么堵车”，它可能说“因为今天是周二”——听起来合理，细想却毫无依据。这类输出源于模型把文本共现当成了因果证据。

伪相关则是语料带来的系统性偏误：两个事件在文本中频繁共现，模型便习惯性给出因果结论，即使该结论在现实中站不住脚。数学上，相关系数不为零并不等于存在因果箭头，这是模型最常踩中的陷阱。

侦探的陷阱源于经验偏差，LLM 的陷阱源于语料偏差。工程落地时，识别这些陷阱是绕开雷区的第一步——我们无法让模型从不犯错，但至少要知道它会在哪里摔倒。

优化与应用：让侦探更可靠

警局没有放任侦探凭天赋办案：他们建档案库、办专项培训、把办案流程标准化。要让 LLM 的因果常识更可靠，同样需要系统化的优化手段。

一是知识增强：把因果知识图谱、领域规则等结构化知识注入模型，相当于给侦探配备随时可查的档案库。二是因果一致性微调：（微调指在预训练基础上用特定数据继续训练）在训练中惩罚自相矛盾的因果判断，让模型回答更稳定。

工程上，常把因果一致性作为辅助损失（loss，即训练中要最小化的误差指标）项，与标准语言建模损失联合优化。\(\lambda\) 是权衡系数：太小则约束失效，太大则损害生成流畅性，需要精心调参。

经过优化的侦探，在医疗辅助诊断、金融风控、智能客服等领域大放异彩：它不仅“答得快”，更“答得有据”。因果常识从纸面概念走向真实场景，这正是我们学习它的最终意义。

AI 应用场景

Python 演示

import numpy as np  def simulate(n=3000):    # 生成共同原因 T(气温), 以及两个受 T 影响的变量 X(冰淇淋) 和 Y(溺水)    rng = np.random.default_rng(42)    temp = rng.normal(25, 5, n)                    # 气温 T    ice = 10 + 1.5 * temp + rng.normal(0, 2, n)    # 冰淇淋销量 X    drown = 5 + 0.8 * temp + rng.normal(0, 2, n)   # 溺水人数 Y    return temp, ice, drown  def stratified_corr(temp, ice, drown, strata=5):    # 按共同原因 T 分层, 近似模拟 do(X) 之后再看 X 与 Y 的关系    boundaries = np.percentile(temp, np.linspace(0, 100, strata + 1))    group = np.digitize(temp, boundaries[:-1])    partials = []    for g in range(strata):        mask = group == g        if mask.sum() > 10:            partials.append(np.corrcoef(ice[mask], drown[mask])[0, 1])    return float(np.mean(partials))  def main():    temp, ice, drown = simulate()    naive = np.corrcoef(ice, drown)[0, 1]    adjusted = stratified_corr(temp, ice, drown)    print(f"naive corr r = {naive:.3f}  (ice vs drown looks positive)")    print(f"stratified r = {adjusted:.3f}  (corr vanishes after controlling T)")    print("conclusion: correlation is not causation")  if __name__ == "__main__":    main()

1. rng = np.random.default_rng(42)固定随机种子，让实验可复现。
2. ice = 10 + 1.5 * temp + rng.normal(0, 2, n)冰淇淋销量由气温线性驱动，再加噪声。
3. drown = 5 + 0.8 * temp + rng.normal(0, 2, n)溺水人数也由气温驱动，与冰淇淋无直接因果。
4. naive = np.corrcoef(ice, drown)[0, 1]直接计算相关系数，得到显著的“伪相关”。
5. boundaries = np.percentile(temp, np.linspace(0, 100, strata + 1))按气温分位数切出若干温度层。
6. group = np.digitize(temp, boundaries[:-1])给每个样本打上温度层标签。
7. partials.append(np.corrcoef(ice[mask], drown[mask])[0, 1])在每一层内重新计算相关，抵消气温的混杂效应。
8. return float(np.mean(partials))各层相关系数取平均，近似 do 干预后的结果。

常见误区

面试题