LLM因果推理：局限性分析

可视化演示

展示LLM统计模式依赖与真实因果机制的鸿沟、长链多步推理的误差累积漂移、以及按因果严谨性划分的可靠使用边界，交互切换三种模式探索LLM因果推理局限。

统计模式依赖：记住“天象”，不懂“天理”

因果村的老李开了一家谚语铺，铺里养着会背谚语的鹦鹉悟悟。只要你说“蚂蚁搬家”，悟悟立刻接“大雨不久就来到”。它反应快、口气笃定，可你要是追问“为什么蚂蚁搬家会下雨”，它只会把谚语再背一遍。悟悟记住的是“一起出现的说法”，不是“背后运转的道理”。

大语言模型和悟悟极其相似。它的训练数据是海量文本，学到的是“词与词一起出现的统计模式”。当它回答“为什么吃糖多会蛀牙”时，它生成的是训练语料中常见的因果句式，而不是在脑内运行一条“细菌代谢→产酸→腐蚀牙釉质”的机制链条。换句话说，它擅长复述因果，而不是计算因果。

这种本质差异可以写成一个简洁的不等式。设 X 为某个原因（如吃糖），Y 为某个结果（如蛀牙）。模型从文本中学到的是条件概率 P(Y|X)——“看到 X 时 Y 出现的概率”；而真正的因果效应要求计算 P(Y|do(X))——“强制施加 X 时 Y 发生的概率”。二者在存在混杂因子的不完美数据里天差地别。

$$\displaystyle P(Y|X) \neq P(Y|\mathrm{do}(X))$$

1. 条件概率 $P(Y|X)$：它回答“看到 X 时，Y 有多常见”，属于观察层面的统计，只需数一数语料里的共现次数就能得到。

$$P(Y|X)$$

2. 干预概率 $P(Y|\mathrm{do}(X))$：它回答“我亲手把 X 设为某个值后，Y 会怎样”，属于行动层面的因果，需要实验或机制知识。

$$P(Y|\mathrm{do}(X))$$

3. 不等号 $\neq$：观察里藏着混杂因子，所以“看见的关联”不等于“施加的效应”。

$$\neq$$

就像悟悟分不清“朝霞和下雨先后出现”与“朝霞导致了雨”的区别，LLM 也把语料里的因果句式当成了因果机制。它像背熟棋谱的观棋者，能说出“此手之后常接彼手”，却不懂为什么这样下会赢。

长链推理漂移：谚语接龙，越接越离谱

老李为了显得专业，总把谚语一串串往外倒：“蚂蚁搬家要下雨，下雨之后河水涨，河水涨了要发洪，发洪就得快搬家……”头两句还靠谱，越往后越离谱。悟悟从不心虚，因为它只是把一条条谚语像串珠子一样串起来，每一步都用“下一个常见说法”来接话。

大模型的思维链（chain-of-thought，即让模型把推理过程一步步写出来的技术）也是如此。它把一个多跳推理拆成若干小步，每一步都从语料中挑一个“最顺理成章”的下一步。分步思考确实提升了表现，但每一步都携带统计误差——这就是“漂移”的来源。

假设模型每推一步的可靠率是 a（0<a<1），把 n 步全部推对的概率近似为：

$$\displaystyle A_n = a^n$$

1. 单步可靠率 $a$：模型每推一步“大概率对、但非全对”的基准概率，比如 0.9，说明单步看很可靠。

$$a$$

2. 连乘事件 $a \times a \times \cdots$：n 步全部正确是 n 个独立小事件同时发生，概率按乘法法则连乘。

$$a \times a \times \cdots \times a$$

3. 幂函数 $a^n$：连乘简写为指数形式，n 越大整体衰减越快——这就是漂移的数学来源。

$$a^n$$

当 n=1 时正确率接近 0.9，看似不错；当 n=10 时 0.9^10≈0.35，已经岌岌可危。悟悟的“谚语接龙”越长越离谱，模型的思维链越长越漂移——自信不减，准确率却悄悄滑坡。

反事实理解薄弱：答不了“假如”的题

村里有个调皮娃问悟悟：“如果公鸡改在半夜打鸣，太阳会半夜升起来吗？”悟悟被问住了，它背过的谚语里没有这一条，只好东拼西凑编一句顺口溜。村民哈哈大笑——学谚语的娃，答不了“假如”的题。

反事实推理（counterfactual reasoning）正是因果推理的试金石：“如果当初没有下雨，比赛还会取消吗？”“如果这个病人早一周吃药，结果会不同吗？”这类问题要求模型在脑中“重放世界”，把某个前提改掉后重新推演。LLM 没有这样的世界模拟器，它只能基于文本相似性，编一个语法正确、听上去合理的“假如故事”。

用因果语言说：真实的个体结果记作 Y_x(u)——在干预 X=x 之后，个体 u 会出现的结局；而条件概率 Y|X=x 只是“恰好观察到 X=x 的那群人”的平均表现。

$$\displaystyle Y_x(u) \neq Y \mid X = x$$

1. 反事实结果 $Y_x(u)$：世界被改写成“X 强制等于 x”之后，特定个体 u 的结局，这是“假如”的分支。

$$Y_x(u)$$

2. 观察条件 $Y \mid X=x$：不干预世界，只看那些“碰巧 X=x”的样本的结果，这是“看到”的分支。

$$Y \mid X = x$$

3. 不等号 $\neq$：一个是“假如”，一个是“看到”。LLM 擅长模仿后者的语言，却拿不出前者的机制。

$$\neq$$

悟悟答不上“半夜打鸣”，模型也答不真“假如没下雨”。它产出的反事实听起来流畅，实则是对语料中类似句式的拼贴。反事实问题就像一面照妖镜，让统计模式无所遁形。

因果方向混淆：鸡鸣不是天亮的原因

悟悟最得意的本领是“报晓解说”：“公鸡一唱天下白！”在它看来，鸡鸣是太阳升起的原因。村民知道真相：昼夜节律才是真正的推手——它既让公鸡打鸣，也让太阳升起。悟悟只看见两者形影不离，便断定一个导致另一个。

这是因果推理最经典的陷阱：把相关当因果，甚至把因果方向搞反。LLM 从文本中读到的同样是共现统计。语料里“鸡鸣”和“天亮”总是一起出现，模型便学会在“为什么天亮”后面接上“因为鸡鸣”。它读到“冰淇淋销量上升”和“溺水人数上升”同时发生，就可能在归因任务中给出荒谬的因果链，而真相是“炎热天气”这个混杂因子（confounder，一个同时影响原因和结果的隐藏变量）也在暗中捣乱。

用公式看混杂因子的污染。设 z 是混杂因子，观察到的条件概率其实是按 z 加权混合出来的“大杂烩”：

$$\displaystyle P(Y|X) = \sum_z P(Y|X, z) P(z)$$

1. 求和 $\sum_z$：把所有可能的混杂因子取值（如“炎热”“不热”）逐个遍历一遍。

$$\sum_z$$

2. 内层条件 $P(Y|X, z)$：在固定 X 与 z 的条件下，Y 出现的比例，相当于“分层后”来看关系。

$$P(Y|X, z)$$

3. 加权 $P(z)$：每种 z 在群体中占多少比例，作为权重参与混合。

$$P(z)$$

4. 整体含义：观察到的 P(Y|X) 是各混杂层混在一起的结果，不代表 X 对 Y 的因果作用。

$$P(Y|X) = \sum_z P(Y|X, z) P(z)$$

悟悟分不清“公鸡叫”和“天亮了”谁先谁后意义何在，模型也分不清“文本里的顺序”和“世界里的因果”。因果关系藏在方向里，而统计模式本身没有方向感。

因果方法局限：没有“改变世界”的杠杆

气象台的小王偶尔来谚语铺喝茶，笑道：“老李，你这些谚语只能看天，改不了天。要是问'把这座山挪走，雨还下不下'，你得靠我们气象台跑物理方程。”老李沉默了——他确实没有任何工具去“动一下世界”再观察结果。

真正的因果方法（随机对照试验、do-演算、工具变量、结构方程）都依赖一类 LLM 不具备的东西：干预。要得到 P(Y|do(X))，最干净的办法是随机分组、主动施加 X——可 LLM 只在静态文本上训练过，它从未“操作过世界”，拿不到干预数据，也没有因果图（描述变量之间因果箭头的图）来指导计算。更麻烦的是，反事实标注在真实数据里极度稀缺——没有人能给出“假如当时没发生”的观测值；因果能力的评估基准也远未成熟。

经典的后门调整公式长这样——它需要明确知道混杂因子 z 并显式计算：

$$\displaystyle P(Y|\mathrm{do}(X)) = \sum_z P(Y|X, z) P(z)$$

1. 等号左边的干预 $P(Y|\mathrm{do}(X))$：目标从“观察”升级为“干预”，回答“强制改变 X 会怎样”。

$$P(Y|\mathrm{do}(X))$$

2. 右边的分层求和 $\sum_z P(Y|X,z)P(z)$：在每个混杂层内考察 X 与 Y 的关系，再按 z 的分布加权拼回。

$$\sum_z P(Y|X, z) P(z)$$

3. 计算的隐含前提：必须有正确的因果图，知道谁是混杂因子。LLM 恰恰缺少这张图。

$$z \text{ 已知且可测}$$

谚语铺没有“改变世界”的杠杆，大模型也没有“干预变量”的开关。它生成的 do(X) 式语句只是文本模仿。要拿到真正的因果效应，必须借助外部实验或结构化因果模型——这是语言统计永远无法自给自足的短板。

可靠性边界：自信的鹦鹉不能拍板

今年汛期，村里要决定是否转移村民。有人提议：“让悟悟拿主意吧，它说'蚂蚁搬家必有大雨'。”村长摇头：“谚语可以提示风险，但疏散决定人命关天，必须气象台出报告、乡长拍板。”悟悟被请去喝茶，但不能坐主位。

大模型在因果任务上同样必须划定可靠性边界。在医疗、金融风控、司法、应急管理等高风险场景，一个“听上去很对”的因果结论若被直接采信，代价可能是真实的健康或财产损失。问题尤其危险的地方在于：模型的自信度与正确率常常脱节——它宣布“我有 95% 把握”时，真实正确率可能已经跌破 60%。

这种脱节叫作校准差距（calibration gap，即自信程度与实际正确频率的偏离），可以用一个简单的量来衡量：

$$\displaystyle \Delta = |\mathrm{conf}(x) - \mathrm{acc}(x)|$$

1. 自信度 $\mathrm{conf}(x)$：模型对输入 x 给出的答案所宣称的把握程度，通常是 0 到 1 之间的分数。

$$\mathrm{conf}(x)$$

2. 真实正确率 $\mathrm{acc}(x)$：在同一类输入上，模型实际答对的频率。

$$\mathrm{acc}(x)$$

3. 取绝对值 $|\cdot|$：不管高估还是低估，只要偏离就算数。

$$|\cdot|$$

4. 差距 $\Delta$：数值越大，说明模型越是“自信地犯错”，越不适合独当一面。

$$\Delta$$

可靠性边界的本质是“人机分工”：让 LLM 当提出假设的参谋，让结构化因果模型和领域专家当拍板的决策者。就像村长让悟悟报天气、让气象台下结论——自信的鹦鹉可以说，但不能替人做攸关性命的决定。

演进方向：让谚语铺装上气象雷达

老李不甘心，开始给悟悟“补课”：白天让它听气象台的讲座，晚上把天气记录和谚语对照着学。渐渐地，悟悟答话时多了一句：“这句谚语在本地夏季比较准，但受地形影响。”村民们笑了：它终于学会给自己的统计判断加上边界。

研究界正在用类似思路推动 LLM 因果能力进步。一条路线是因果微调与指令微调：让模型在带因果标注的数据上训练，学会区分“相关陈述”与“因果陈述”。另一条路线是外部模型融合：把 LLM 当作语言接口，把真正的因果计算交给结构方程模型、因果发现算法或物理模拟器，让“语言”与“机制”各司其职。

一种直观的融合策略是加权合成最终判断：

$$\displaystyle Y_{\text{final}} = w \cdot Y_{\text{LLM}} + (1 - w) \cdot Y_{\text{causal}}$$

1. LLM 判断 $Y_{\text{LLM}}$：模型给出的因果预测或解释文本背后的打分。

$$Y_{\text{LLM}}$$

2. 因果模型输出 $Y_{\text{causal}}$：结构化因果模型或模拟器算出的机制性结果。

$$Y_{\text{causal}}$$

3. 权重 $w$：根据场景可靠度调节——语料覆盖充足的场景 w 取大，高风险新奇场景 w 取小。

$$w$$

4. 加权和 $Y_{\text{final}}$：用机制结论兜底统计结论，降低“自信地犯错”的概率。

$$w \cdot Y_{\text{LLM}} + (1 - w) \cdot Y_{\text{causal}}$$

与此同时，社区也在共建因果评估基准，推动负责任部署。正如老李的谚语铺最终变成“谚语+气象数据”服务站，大模型因果推理的可靠性，将在统计与机制的双轮驱动下逐步提升——但前提是，我们永远记得它今天只是一只聪明的鹦鹉。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-# demo: statistical co-occurrence vs causal interventionimport random  def simulate_data(n=10000):    # generate observed triples (crow, dawn, rhythm)    random.seed(42)    data = []    for _ in range(n):        rhythm = 1 if random.random() < 0.5 else 0        crow = 1 if random.random() < 0.9 * rhythm + 0.05 else 0        dawn = 1 if random.random() < 0.95 * rhythm + 0.05 else 0        data.append((crow, dawn, rhythm))    return data  def pattern_predictor(data):    # LLM-like: count P(dawn | crow)    crow_yes = [d for d in data if d[0] == 1]    return sum(d[1] for d in crow_yes) / len(crow_yes)  def backdoor_adjustment(data):    # stratify by rhythm and reweight, i.e. P(dawn | do(crow))    total = 0.0    for rhythm in (0, 1):        layer = [d for d in data if d[2] == rhythm]        cond = sum(d[1] for d in layer) / len(layer)        weight = len(layer) / len(data)        total += weight * cond    return total  def main():    data = simulate_data()    naive = pattern_predictor(data)    adjusted = backdoor_adjustment(data)    print("P(dawn|crow)     = %.3f (pattern shop)" % naive)    print("P(dawn|do(crow)) = %.3f (weather station)" % adjusted)    print("gap = %.3f => correlation is not causation" % (naive - adjusted))  if __name__ == "__main__":    main()

1. def simulate_data(n=10000):生成一批观测记录，代表模型从文本中“读到”的世界
2. rhythm = 1 if random.random() < 0.5 else 0生成隐藏的混杂因子“作息节律”
3. crow = 1 if random.random() < 0.9 * rhythm + 0.05 else 0节律同时推高了打鸣概率
4. dawn = 1 if random.random() < 0.95 * rhythm + 0.05 else 0节律也推高了天亮概率
5. data.append((crow, dawn, rhythm))把每次观察记成 （打鸣，天亮，节律） 三元组
6. def pattern_predictor(data):模拟只会背模式的 LLM：只管统计共现
7. crow_yes = [d for d in data if d[0] == 1]先筛出“打了鸣”的所有样本
8. return sum(d[1] for d in crow_yes) / len(crow_yes)算出 P（天亮|打鸣），即“看起来像因果”的条件概率
9. def backdoor_adjustment(data):气象台式后门调整：按节律分层再加权
10. total += weight * cond把每层条件概率按层占比加权求和，得到干预后的因果效应

常见误区

面试题