LLM因果推理：因果问答QA

可视化演示

展示SCM驱动的因果问答生成管线、因果发现/效应估计/反事实推理三类子任务评测与准确率-推理一致性双指标对比。

1. 任务定义：给LLM出因果考卷

期末考试的考场上，老师发下一张考卷，上面没有一道题考“背诵定义”，全是“如果……会怎样”“为什么……”这类因果推理题。因果问答QA做的事情完全一样——研究者化身命题老师，把考卷（因果问题数据集）递给大语言模型这个考生。

普通问答QA（Question Answering）考察的是“知识检索”——“中国的首都是哪里？”模型相当于翻字典。而因果问答QA考察的是“因果认知”——“如果给庄稼施化肥，收成会增加多少？”这需要模型理解变量之间的因果机制，而非表面知识。从“是什么”到“为什么”，是质的飞跃。

因果问答QA的形式化定义是：给定一个因果问题 \(q\)，模型输出答案 \(\hat{a}\)。评测集 \(D\) 包含 \(N\) 个带标准答案的问题。评测流程为：构造问题 → 模型回答 → 对比标准答案 → 统计得分。准确率是衡量整体水平的首要指标。

一张考卷能否测出学生的真实水平，取决于命题质量；因果问答QA这道“考卷”，正是AI研究者用来检验大模型“有没有真正读懂因果关系”的试金石。

2. 数据集构造：准备一份好考卷

命题老师出考卷前要决定题型、难度、考点覆盖面，还要提前想好“防作弊”措施。因果问答数据集不是随便抓一些问答对堆在一起，而是精心构造的“标准题库”。

数据来源主要有三条路径：一是模板化生成，基于固定模板（如“X导致Y吗？”）和已知因果图自动生成问题，容易控制难度；二是人工标注，请领域专家撰写高质量问题，保证语义自然；三是结构化数据转换，从真实世界数据集中抽取变量对并配对生成问题。问题类型覆盖定义判断、干预预测与反事实假设。

质量控制最关键的一环是去除语言线索（language cues）：同一个因果问题换用不同表述、不同主语后，标准答案必须保持不变。这样能防止模型靠“看到'导致'两个字就答'是'”这类捷径蒙对。

就像考卷要确保“换一件马甲”学生依然会做，数据集要把“只要看到关键词就能蒙对”的路全部堵死。

3. 三大子任务：三种题型层层设卡

一套完整的因果考卷通常包含三种题型：判断题测因果发现，计算题测效应估计，假设题测反事实推理。三种题型分别从“认得出、算得准、推得远”三个层面考察因果能力。

因果发现：给定观测数据，判断变量间是否存在因果关系及其方向。比如“地面湿”和“下过雨”关系密切，但哪个是因、哪个是果？模型要能区分“相关”与“因果”。统计学上，条件独立性是发现因果边的重要线索。

效应估计：量化干预带来的影响大小。比如“吃药”对“恢复”的影响到底有多大？用平均因果效应（ATE）来衡量——先想象所有人吃药的情形，再想象所有人不吃药的情形，比较两类世界下的平均恢复情况。

反事实推理：回答“假如当时做了不同选择会怎样”。这类问题在现实中无法直接观测，模型必须基于因果模型做推演。比如“如果小明当时没有闯红灯，还会发生车祸吗？”

判断题考察“看得出因果”，计算题考察“算得出大小”，假设题考察“推得出平行时空”——三种题型层层递进，全面逼出考生的真实水平。

4. 评估指标：阅卷不能只看一个分数

考卷批完后，阅卷老师要给出综合评价。得分既要看“答对了多少”，还要看“答题是否稳定”——一个靠背答案得高分的学生，换个问法就会露馅。

准确率是最直接的指标，回答正确的题数占比。但准确率高不一定说明真懂因果，模型可能靠语言线索“蒙对”。推理一致性解决了这个盲区：把同一个因果逻辑改写为不同表述、不同主语，看模型的回答是否保持一致。如果模型对这些“同一逻辑、不同马甲”的问题给出矛盾答案，说明它依赖表面语言而非因果逻辑。

鲁棒性进一步考察“抗干扰能力”：在问题中加入无关变量、噪声词后，模型表现是否急剧下滑？一个学生被考官“横着问、倒着问、穿着马甲问”都能答对，老师才能放心地给他写“优秀”。

5. 应用价值：这场考试为什么重要

考试的目的不只是打分，更是为了选拔和诊断——了解学生哪里强、哪里弱，以及该不该让他“毕业”进入复杂社会。因果问答QA在AI领域承担着同样的角色。

因果评测基准：它是“因果大模型评测的基础设施”，提供标准化题库、统一评分规则和可复现流程，让不同团队的模型能在同一张考卷下公平竞技。研究者可以对比各模型在因果发现、效应估计、反事实推理上的细粒度得分，绘制“能力雷达图”。某个子任务的得分率可单独计算：

在模型能力诊断中，这些分数可指导后续训练——反事实得分低，就补反事实数据；因果发现得分低，就加强结构因果学习。在AI安全治理中，因果问答QA是一道“准入考试”：一个把“相关”当“因果”的模型，在医疗、金融、自动驾驶等场景可能做出危险决策。没有标准化考试就没有教育评估，没有因果问答QA就没有衡量大模型因果能力的“统一标尺”。

6. 挑战与展望：考卷也在升级

任何考试都有局限——考生可能刷题、押题，考题本身也可能有偏颇。因果问答QA同样面临三道坎。

数据偏差：现有数据集多为模板生成，语言模式单一，模型可能学到“数据集的说话方式”而非因果逻辑。生成模板所依据的因果图也可能偏离真实世界。评估局限：准确率只看最终答案，不反映推理过程——模型可能是“瞎猜对”或“逻辑错但答案对”。为量化模型对语言表层特征的依赖程度，可用改写前后准确率差值来衡量：

未来方向包括：动态生成考题——根据模型知识盲区自动生成个性化问题；结合结构因果模型（SCM）做更精细的推理评估；从静态选择题走向多轮对抗式问答，比如连续追问“为什么？”“如果呢？”；引入过程性评估指标，让“分步给分”成为可能。命题老师在下一轮考前总会复盘：哪些题被学生识破了套路？哪些题没能拉开差距？因果问答QA也在不断迭代，让这场“考试”越来越贴近真实世界的因果复杂度。

AI 应用场景

Python 演示

"""因果问答QA评估器: 模拟LLM答题并计算准确率与推理一致性"""import random  class CausalQAEvaluator:    def __init__(self, questions):        self.question_list = questions        self.correct_count = 0        self.answer_log = []     def evaluate(self, model_answer_func):        """让模型回答所有问题并记录结果"""        random.shuffle(self.question_list)        for q in self.question_list:            pred = model_answer_func(q["text"])            self.correct_count += (pred == q["gold"])            self.answer_log.append({                "text": q["text"],                "gold": q["gold"],                "pred": pred            })     def accuracy(self):        """返回准确率"""        if not self.answer_log:            return 0.0        return self.correct_count / len(self.answer_log)     def consistency(self):        """返回推理一致性: 相同gold的问题对中预测一致的占比"""        if len(self.answer_log) < 2:            return 0.0        agree_count = 0        total_pairs = 0        for idx, a in enumerate(self.answer_log):            for b in self.answer_log[idx + 1:]:                if a["gold"] == b["gold"]:                    total_pairs += 1                    if a["pred"] == b["pred"]:                        agree_count += 1        return agree_count / total_pairs if total_pairs else 0.0  def rule_based_llm(text):    """伪LLM: 看到'导致'就回答'是', 忽视因果方向"""    return "导致" in text  def main():    dataset = [        {"text": "下雨导致地面湿吗?", "gold": True},        {"text": "地面湿导致下雨吗?", "gold": False},        {"text": "服药导致病情好转吗?", "gold": True},        {"text": "病情好转导致服药吗?", "gold": False},        {"text": "锻炼导致身体健康吗?", "gold": True},        {"text": "身体健康导致锻炼吗?", "gold": False},        {"text": "熬夜导致精神变差吗?", "gold": True},        {"text": "精神变差导致熬夜吗?", "gold": False},    ]    evaluator = CausalQAEvaluator(dataset)    evaluator.evaluate(rule_based_llm)    print(f"准确率: {evaluator.accuracy():.2f}")    print(f"推理一致性: {evaluator.consistency():.2f}")  if __name__ == "__main__":    main()

1. class CausalQAEvaluator:评测器类，负责管理题目、记录回答、计算指标
2. self.correct_count += (pred == q["gold"])若模型答案与标准答案一致则累计正确数
3. random.shuffle(self.question_list)打乱题目顺序，避免顺序对评分产生干扰
4. def consistency(self):将逻辑相同（gold相同）的问题两两配对，统计预测一致的比例
5. return "导致" in text伪LLM只看关键词，忽略了问题中的因果方向
6. {"text": "地面湿导致下雨吗?", "gold": False}反方向问题，标准答案是“否”，用来考察方向敏感性

常见误区

面试题