因果知识嵌入：评估基准

可视化演示

展示因果发现/反事实/问答/解释四大评测任务维度、多模型横向比较雷达图及标准化评测指标体系。

基准设计理念：为什么要有这场统考

教育局老陈发现一个尴尬的问题：每个AI实验室都自夸自家模型“因果能力强”，可各家用的是自家出的题——甲实验室考常识、乙实验室考数学推导，分数根本没有可比性。于是，一场统考势在必行：统一题库、统一阅卷、统一放榜。这就是评估基准诞生的初心。

在技术世界里，评估基准是面向大模型因果能力、可重复执行、带标准答案的标准化任务集合。它处于“因果知识嵌入”研究链条的终点——模型把因果知识内化进参数后，靠什么验证？答：靠基准。就像体检报告判断一个人的身体状况，基准是判断模型有没有真正吸收因果知识的基础设施。

一个合格的因果基准需要满足三个设计原则。其一是统一标尺：所有模型面对同一批题目、同一条评分规则，结果才可横向比较；其二是任务多维：只用一道题测不出“因果认知”，要覆盖因果发现、反事实推理、因果问答、因果解释等多个维度；其三是测评目标明确：基准不负责教会模型因果，只负责度量模型已经内化的因果知识水平。

今天的因果大模型研究，如果没有统一基准，就像运动会上没有秒表和终点线——每个选手都说自己最快，裁判却无从判断。评估基准正是这条让因果能力可度量、可比较、可追踪的终点线。

因果发现问题：给观察记录找“真凶”

考试第一科是实验观察题。考官发给每个模型一叠厚厚的观测记录：冰淇淋销量和溺水人数同时上升，医生开药量增大而病人康复率也在提高……题目要求是：这两个变量之间的变化，究竟是谁引起了谁，还是说它们只是被某个隐藏的“第三只手”（比如天气、季节）同时拨动了？这道题考察的，是模型能否克制住“共变就等于因果”的本能。

对应到技术上，这是“因果发现”任务：给定一批没有人干预过的历史数据，模型要判断变量之间是否存在因果箭头，以及箭头的方向——X→Y、Y→X，还是X←Z→Y。为了能自动判分，考卷中的数据由一张预先设定好的因果图生成，模型的答案只需与标准因果图比对，判卷就完成了。

一个直观的考察形式是“相关性与因果性判别”题：给模型一对共同变化的变量，问“这个相关性足以证明因果关系吗”？像 Corr2Cause 这类题集就是这么设计的，它逼着模型从纯统计关联中提炼出因果方向。而判断方向的真正依据，不是X变大时Y同步变大，而是干预X之后Y会不会变化——这就要用到下面的公式。

回到考场，只会复述“这两件事经常一起出现”的模型，在“谁引起谁”的判断上会被老陈狠狠扣分。能独立完成干预推演的模型，才是通过观察题的好学生。

反事实推理题：假如当初，答案会怎样

第二科是历史老师的“假如当初”题：张飞当年没有喝醉酒丢徐州，三国的走向会怎样？小李昨晚没喝那杯咖啡，他今天还会失眠吗？这类问题的特点在于——答案在现实中从未发生，模型无法靠死记硬背拿到，必须依据对因果机制的深刻理解去“另建一条时间线”。

在基准中，这对应反事实推理任务：已知现实世界发生了 X=x、Y=y，请回答“如果当初X取另一个值x'，Y会变成多少”。形式主要有两种：生成式任务让模型改写故事结局，比如 TimeTravel 数据集要求把“被车撞”改成“及时刹住”后重新描述后续；判别式任务则给出假设场景问结果，比如视觉上的 CLEVR-Hyp 会渲染一个新场景问“如果球的颜色不同，会不会还撞上”。

反事实题与预测题最大的区别在于：预测题问“接下来会怎样”，答案仍沿着现实时间线走；反事实题问“另一个世界会怎样”，答案需要模型暂时搁置事实、沿着干预后的因果路径重新推演。这被看作检验“因果知识是否真正内化”的试金石——只会背诵答案的模型，一碰到假设情境就会露馅。

老陈常说：“懂得反事实的模型，才算真正读懂了因果。” 能答好“假如当初”的学生，不是记忆力好，而是脑子里装了因果机制的推演引擎。

因果知识问答：考的是因果常识面

第三科是知识速答题，像语文考试里的文学常识填空：疫苗为什么能降低感染风险？熬夜为什么让注意力下降？这类题不绕弯子、不设陷阱，直接考察模型在自然语言世界中提取因果知识的能力。题目里的因果关系通常是人类常识或学科公理，不需要复杂实验，只要“知道”就能答对。

因果问答任务的基本形式是让模型从几个选项里选出最合理的因果链。最经典的是 COPA 这类选择题：给出一句“小明摔倒了，因为他踩到了香蕉皮”，再给两个结果选项，让模型挑出合理的后续。它考的是一种“常识性因果推断”——从事件中自动关联出原因与结果。

这科的难点在于“干扰辨识”：命题人会在选项里混入“相关但非因果”的陷阱项。例如题干是“人们夏天吃冰激凌多”，两个后续选项中，“溺水人数上升”与“气温升高”分别是典型的“相关陷阱”和“真实原因”。能避开前者、选中后者的模型，说明它不是凭共变频率答题，而是掌握了因果结构。

放在整个评价体系里，因果问答衡量的是“因果知识嵌入的广度”——就像速答题检验学生的知识面。一个模型也许在观察题上很擅长，但若常识性因果问答得分惨淡，说明它读了不少统计书，却缺少生活常识。

因果解释题：不仅要答对，还要讲得清

第四科是论述题，也是最考验功底的科目。问“水为什么会沸腾”，大部分模型都能说出“因为加热了”——但老陈会追问：热量是怎么传递给水的？水的分子发生了什么变化？回答若是逻辑断裂、跟没讲一样，分数就会大打折扣。这科考的是“把因果机制说明白”的能力。

因果解释任务要求模型生成自然语言文本，完整描述从原因到结果之间的机制通路。它不是让模型给一个结论，而是让模型当“科普讲解员”，把X如何一步步引起Y的路径铺陈清楚。在对话式评估中，CEBaB 这类数据集会要求模型针对故事中的某个事件，解释“如果某个因素变了，后续为什么也会变”。

评判这科的标准有三个：机制说明是否完整（有没有漏掉关键的中间环节）、逻辑链条是否连贯（由因到果的每一步是否衔接得上）、事实是否正确。由于自动文本指标很难完全捕捉“讲得对不对”，评估通常用“自动打分+人工抽检”的组合方式，让阅卷既高效又不出大错。

一道精彩的论述题答案，是模型因果知识内化程度最直观的“显微镜”：讲得清楚，说明脑子里真有一张因果地图；讲得含糊，说明只是背下了结论。这也是为什么解释题越来越被因果基准重视。

统一评分标准：让阅卷不再看心情

从前总院各个实验室自己判卷，有的老师手松、有的老师手紧，分数完全不可比。老陈决定给所有批次统一阅卷规则：判断题答对得1分、答错得0分，多选题按全中给分，论述题按要点给分。这套规则，就是评估基准里的“标准化指标”——它是排行榜公信力的地基。

最基础的指标是准确率：模型答对的题目数占总题数的比例。但准确率有个盲区——当题目分布不平衡（比如90%都是“否”）时，模型全部回答“否”也能拿高分。因此基准引入了精确率（答出的答案里有多少是对的）与召回率（该答对的答案里有多少被答出来了），并把两者合并成 F1 分数，防止模型通过“多说少说”来钻空子。

此外，生成类任务还会用 BLEU、ROUGE 等文本重叠指标辅助打分，但它们衡量的是“说得像不像”而非“因果对不对”，所以基准通常再叠加人工一致性检验。评分标准的意义正如老陈所说：“分数要经得起复阅，榜单才站得住脚。”

横向对比应用：排行榜与能力雷达图

考试的最大价值，是所有学生能在同一张榜单上见高下。老陈把每个模型四个科目的分数画成一张雷达图：有的模型“观察题”满分但“反事实题”塌方，有的模型四科均衡。排行榜一挂出来，谁强谁弱、谁偏科谁全面，一目了然。

横向对比在真实研究中扮演三个角色。其一是模型排名：用综合分排出先后，为“哪个大模型因果能力更强”提供量化答案；其二是维度画像：拆开四科看长短板，定位模型在因果认知链条上的薄弱环节——这比一个总分有用得多，因为调优方向往往藏在分维里；其三是研究选型：工程师在选型时不再凭宣传材料，而是直接看基准报告，选出最贴合业务场景的模型。

排行榜还能驱动迭代：模型A在“反事实”上落后，团队便针对反事实数据做专项微调，下一轮基准分数提升——这就是“以评测促优化”的正向循环。量化的榜单，让因果大模型的进步变得清晰可见。

演进方向挑战：这场大考没有终点

考试办得久了，老陈发现一个新的麻烦：有模型“刷题”。它们通过背熟训练语料里的问答，在基准上拿高分，但一遇新情境就原形毕露。就像学生把前三年真题背得滚瓜烂熟，今年题型一变就懵了。于是命题组意识到——基准本身也在进化，它面临着三大挑战。

第一是数据偏差：基准题库若集中在某个领域（如医学或常识），模型在该领域得分高、换个领域就崩盘，表面分数掩盖了泛化能力的不足。第二是难度饱和：当大部分模型都能在旧基准上拿到90%以上分数，题目就失去了区分度，需要引入更复杂的因果链、多步反事实和跨域迁移题来拉开差距。第三是动态更新：固定静态题库终有被背穿的一天，新方向是让基准“活”起来——用程序自动生成新因果情境，让每次考试都有新鲜的“变形题”。

这也呼应了评估基准的终极定位：它不只是考卷，更是度量“因果知识嵌入”程度的动态标尺。模型在进步，尺子也要跟着精进。老陈的命题组永远不会真正收工，因为AI的因果能力大考没有终点——今天的高分，只是下一张更难试卷的起跑线。

AI 应用场景

Python 演示

"""mini_causal_bench: 微型因果评估基准演示 让三个玩具模型在同一套四科试卷上作答最终输出排行榜, 演示评估基准的运作方式""" import randomimport math random.seed(2024) # ---------- 真实世界机制(出题人的标准答案) ----------def world(x, a):    """真实因果法则: x 与 a 共同决定 y"""    return 0.6 * x + 0.4 * a  def sample(intervention=None):    """采样一条试题数据; intervention=None 表示观测模式"""    a = 1.0 if random.random() > 0.5 else 0.0    if intervention is None:        x = 1.0 if random.random() > 0.5 else 0.0    else:        x = intervention    y = world(x, a) + random.gauss(0, 0.2)    return x, a, y  # ---------- 三个被评估的玩具模型 ----------class CorrOnlyModel:    """模型甲: 只懂相关性的直觉模型"""    name = "甲-只认相关"     def answer(self, task, payload):        """按任务类型作答"""        if task == "发现":            x, a, y = payload            return abs(x - y) < 0.3        if task == "反事实":            return 0.0 if random.random() < 0.5 else 0.6        if task == "问答":            return 0.0        if task == "解释":            return 0.0  class IntervModel:    """模型乙: 会做干预统计的模型"""    name = "乙-能看干预"     def answer(self, task, payload):        """按任务类型作答"""        if task == "发现":            x, a, y = payload            return abs((y - 0.4 * a) - 0.6 * x) < 0.3        if task == "反事实":            return 0.6        if task == "问答":            return 0.24        if task == "解释":            return 0.5  class FullCausalModel:    """模型丙: 知道真实因果图与系数的模型"""    name = "丙-懂因果图"     def answer(self, task, payload):        """按任务类型作答"""        if task == "发现":            x, a, y = payload            return y - 0.4 * a > 0.3 * x        if task == "反事实":            return 0.6        if task == "问答":            return 0.24        if task == "解释":            return 0.6  # ---------- 评估器: 统一阅卷 ----------class Benchmark:    def __init__(self, n=200):        self.n = n     def run(self, model):        """对单个模型跑全部任务并统计得分"""        board = {}         hit = 0        for _ in range(self.n):            x, a, y = sample()            truth = (y - 0.4 * a > 0.3 * x)            if model.answer("发现", (x, a, y)) == truth:                hit += 1        board["发现"] = hit / self.n         hit = 0        for _ in range(self.n):            guess = model.answer("反事实", None)            if abs(guess - 0.6) < 0.2:                hit += 1        board["反事实"] = hit / self.n         hit = 0        for _ in range(self.n):            guess = model.answer("问答", None)            if abs(guess - 0.24) < 0.1:                hit += 1        board["问答"] = hit / self.n         hit = 0        for _ in range(self.n):            if model.answer("解释", None) > 0.55:                hit += 1        board["解释"] = hit / self.n        return board     def rank(self, models):        """生成排行榜"""        print(f"{'模型':<10}" + "".join(f"{k:>7}" for k in ("发现", "反事实", "问答", "解释", "综合")))        rows = []        for name, model in models.items():            board = self.run(model)            total = sum(board.values()) / len(board)            rows.append((name, board, total))        rows.sort(key=lambda r: -r[2])        for name, board, total in rows:            print(f"{name:<10}" + "".join(f"{board[k]:>7.2f}" for k in ("发现", "反事实", "问答", "解释")) + f"{total:>7.2f}")  if __name__ == "__main__":    Benchmark(n=300).rank({        "CorrOnlyModel": CorrOnlyModel(),        "IntervModel": IntervModel(),        "FullCausalModel": FullCausalModel(),    })

1. def world(x, a):定义真实因果机制，相当于出题人手里的标准答案。
2. def sample(intervention=None):支持观测与干预两种采样模式，干预模式是反事实题的关键。
3. class CorrOnlyModel:定义“只认相关”的模型甲，它会把共变误判为因果。
4. if task == "发现":模型按任务类型分别作答，模拟大模型的多任务能力。
5. class Benchmark:评估器，统一阅卷、统一算分。
6. def run(self, model):对单个模型跑全部四个任务，得到四科成绩单。
7. board["发现"] = hit / self.n用正确率作为单科得分。
8. rows.sort(key=lambda r: -r[2])按综合分降序排列，形成排行榜。
9. if __name__ == "__main__":可执行入口，运行即输出三模型成绩排名。

常见误区

面试题