推理能力：常识推理

可视化演示

演示常识推理的评测机制：模型调用预训练积累的物理/社会/时间常识知识，在CommonsenseQA等选择题中从多个候选中选出最合理答案。

1. 推理能力定义

小区里的“问不倒”王大伯，年轻时是个普通工人，没上过大学，但你问他“刚浇完热水的老式暖瓶能不能立刻拧盖”“楼下装修的噪音该找谁投诉”，他随口就能答。他不是从某本书上背到了这些答案，而是把几十年的生活经验压缩成了一种“见到场景就知道该怎么办”的判断力。这种判断力，就是我们要考察的常识推理。

大模型也有它的“生活经验”——那是预训练时读过的海量文本。常识推理评测要做的，就是看模型能不能像王大伯一样，把散落在文本里的日常知识“调用”出来，面对一个新编的日常场景做出合理推断。它考察的不是“记没记住”，而是“会不会用”。一个模型可能背下了“玻璃是易碎品”这个句子，但遇到“玻璃杯掉在瓷砖地上会怎样”这样没见过的问法，依然需要真正的推理能力。

技术上说，评测时会给模型一道选择题，例如给出一个日常场景和四个候选答案。模型输出一个选项，评测脚本把它与标准答案比对。衡量整体表现最直观的指标是准确率：答对的题数除以总题数。

这就像居委会给王大伯发了一张“社区生活考卷”，准确率就是卷面得分。得分高，不代表他背过答案，而是说明他真能把生活经验用在对的地方——这正是常识推理与其他知识记忆类评测最大的不同。

2. 评测框架设计

居委会要给新住户办“社区生活段位赛”，不能随手抓几个问题就开考。先得想清楚：考什么题型、题目怎么编、谁来判分。这三件事想明白了，考卷才有公信力。AI 常识推理评测也一样，需要一套完整的评测框架。

这套框架通常包含三个环节：任务类型、数据构建和自动化评分。任务类型上，主流做法是多项选择（Multiple Choice）——给一个日常场景，配四到五个候选答案，让模型选一个。多选题的好处是答案客观、评分简单，也方便大规模自动化执行。

数据构建是框架的重头戏。题目要覆盖真实生活场景，比如物理常识、社会常识、工具使用等；同时要防止“答案泄漏”——如果训练语料里出现过一模一样的题，模型就等于提前看到了答案。评分环节则靠脚本自动完成：读取模型的预测选项，与标准答案比对，统计准确率，全程不需要人工判卷。为了保证评测可复现，数据通常要划分成训练、开发和测试三部分。

这就是居委会办段位赛的完整流程：出题（数据构建）、发卷（任务设计）、判分（自动化评分），三件事缺一不可。框架设计得越严谨，考出来的“段位”才越真实。

3. 典型数据集

王大伯的考卷不能只有一张，不同小区的出题风格不一样：有的爱考“生活物理”，有的偏重“人情世故”。常识推理评测也有几套经典的“题源”，被全行业当成共同的尺子。

最常用的是 CommonsenseQA，它从 ConceptNet 知识图谱中采样生成，五选一，覆盖大量日常概念关系；Winogrande 是二选一代词消歧题，比如“奖杯太重，搬运工搬不动它，于是（他/它）被放在地上”，模型要判断“它”指代谁，难度较大；SIQA（Social IQa）专门考察社会互动，问“如果小明想给朋友惊喜，他应该怎么做”这类需要理解意图的问题。中文方面也有常识问答数据集，用来检验模型在中文文化语境下的常识水平。

评估一个模型在这些数据集上的表现，不能只看某一类题目的正确数，还要看它在所有类别上都稳定发挥。这时常用宏平均 F1 分数（Macro-F1）：先算每个类别的 F1，再把所有类别的 F1 取平均，避免“偏科”模型靠某一个简单类别刷高分。

不同数据集就像不同小区出的考卷：有的考物理常识，有的考社会常识，有的考语言歧义。用多套数据集联合测评，才能全面看出一个模型到底是“全能万事通”还是“只会某一门的偏科生”。

4. 评分标准

判卷不能只看绝对分。如果一张考卷全是“五选一”，闭着眼睛瞎蒙也有 20% 的正确率；要是“二选一”，蒙也有 50%。居委会要是把 25% 的蒙题分当成“及格”，那考卷就失去了意义。所以评分标准里必须有一根“蒙题基线”。

这根基线就是随机猜测的正确率期望：选项数为 C 时，瞎蒙的正确率是 1/C。评测报告在给出模型准确率的同时，必须同时给出这个基线，读者才能判断分数是“真本事”还是“运气好”。比如模型在五选一的 CommonsenseQA 上拿到 60%，而随机基线是 20%，说明模型确实学到了东西；但如果只拿到 22%，就基本等于没学会。

除了对照基线，评分还要按难度分层。通常用人类答题的正确率把题目分成容易、中等、困难三档：人类正确率高于 90% 的是容易题，60%–90% 是中等题，低于 60% 是困难题。模型在不同难度档的表现分开报告，能暴露它在“简单常识”和“冷门常识”上的具体短板。

有了“蒙题基线”和“难度分层”，考卷的评判就像体育比赛的“净胜分”：不仅要看赢没赢，还要看赢过对手多少。模型得分必须显著高于随机基线、并向人类水平靠拢，这样的分数才值得写进评测报告。

5. 物理常识场景

王大伯的物理常识不是从课本里学的，而是“打碎过几个碗、冻裂过一次水管、看着孩子碰倒过暖瓶”换来的。他知道瓷碗掉在瓷砖上会碎，不是因为背过“陶瓷硬度大于瓷砖”之类的句子，而是因为见过太多次“掉下去—碎掉”的结果。这类关于客观世界的判断，就是物理常识。

在评测里，物理常识主要考察三个子类：时空因果（把热水倒进玻璃杯，杯子可能炸裂）、物体属性（气球比铁球轻，扔出去会飘一会儿）、动作结果（人从台阶上踩空会摔倒而不是飞起来）。这些场景的共同点是：答案由物理规律决定，与人的主观意愿无关，因此题目设计比较客观，评分也稳定。

衡量一个模型在物理常识子集上的表现，可以单独计算“物理题准确率”：只统计物理类题目的答对比例。指示函数用来记录单题对错，最后求平均。

物理常识是宇宙给所有住户出的统一考题——无论哪个国家、哪种文化，水往低处流、玻璃易碎都是不变的。模型在这类题上的得分，反映的是它对客观世界规律的“直觉”是否扎实。

6. 社会常识场景

除了物理世界，人还要生活在人群里。王大伯最深得人心的本事，不是懂水管，而是懂人情：邻居帮他搬了重物，他知道要道谢；朋友丢了宠物很伤心，他知道先安慰再帮忙找；饭桌上别人讲了个冷笑话，他知道礼貌地笑一笑。这种“读人、读关系、读情境”的能力，就是社会常识。

社会常识在评测中主要考察三个子类：人际互动（别人帮助了你，要表达感谢）、情感意图（朋友皱眉叹气，可能是在烦恼，别再追问）、文化规范（参加正式会议要穿正装，不能穿睡衣）。这类题目的特点是答案没有严格的物理定律，而是由社会约定俗成的规则决定，因此标注时容易有分歧。

为了让评分更可靠，评测方通常会请多位标注者给同一道题标答案，然后看标注者之间的一致性。一致性越高，说明题目越“有公论”，评测结果越可信。人类一致性本身就是一条重要的参考线：如果人类标注者之间的一致性都不高，那这道题就不适合放进考卷。

社会常识是“人情世故”的考卷，它没有唯一的宇宙答案，却有“大多数人都认同”的答案。模型在这类题上拿高分，意味着它不只是懂语法，更懂人和人之间那些心照不宣的规则。

7. 表现差异分析

同样一张段位考卷，不同球员的分数差很多：住了三十年的老住户几乎满分，刚搬来的年轻人可能刚及格；同一批住户，用中文答题和用英文答题，水平也不一样。模型之间也存在这种“表现差异”，分析这些差异是评测的重要环节。

第一个明显规律是模型规模效应：参数量越大的模型，在常识推理基准上通常得分越高。大模型见过更多样的文本，能记住更多日常生活场景，调用知识时也更稳。第二个规律是语言差异：模型在英文常识数据集上往往比中文数据集表现好，因为英文训练语料更丰富，中文日常场景的表达和文化背景还没被充分覆盖。第三个规律是知识盲区：某些罕见场景——比如“沙漠里手机没信号该往高处走还是低处走”——几乎所有模型都答不好，说明这些场景在训练语料里出现太少，成了集体的盲区。

分析差异时，最直接的方法是计算两个群体的得分差，例如大模型平均准确率减去小模型平均准确率，差值越大说明规模带来的增益越明显。

发现差异不是目的，找到原因才是。差异报告就像成绩单上的“失分分析”：哪类题丢分、哪个语言环境更弱、哪个场景完全不会——知道了这些，下一步的改进才有方向。

8. 提升路径方法

新住户想变成王大伯那样的万事通，光着急没用，得靠方法：多在小区里泡着、多看多听（数据）；遇到不懂的主动开口请教（提示）；床头放一本《生活小百科》随时翻（知识）。大模型提升常识推理，走的正是这三条路。

第一条路是数据增强：在训练语料中补充更多样化的日常场景描述，尤其是模型已有的知识盲区，比如罕见天气、小众职业、地方习俗。第二条路是提示工程：给模型设计更合理的提示词，让它先“复述场景再作答”，比如“请先描述这个场景里发生了什么，再选择答案”，这能激活模型已有的常识知识。第三条路是知识增强：把常识知识图谱（如 ConceptNet）的信息在训练或推理时注入模型，相当于给模型一本随时可查的“生活手册”。

如何衡量改进有效？不能只看绝对分数涨了多少，因为已经接近满分的模型很难再涨。更科学的指标是“相对提升率”：用实际提升量除以还剩下的提升空间，反映改进的难度与效率。

从“新住户”到“万事通”没有捷径，但数据、提示、知识这三条路，就像社区里的三条小路：你不需要每条都走一遍，但知道路在哪里、怎么走最划算，才是评测工程师真正要修炼的本事。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""常识推理自动评测脚本 用一小批日常常识选择题，按类别统计模型的回答准确率，并与随机基线对照，输出简单的评测报告。"""import json QUESTIONS = [    {"id": 1, "category": "物理", "question": "玻璃杯掉在瓷砖地上会怎样？",     "choices": ["完好无损", "碎成几片", "变成气球", "自动浮起"], "answer": 1},    {"id": 2, "category": "物理", "question": "冬天水管没有保温，最可能发生什么？",     "choices": ["水管结冰", "水管冒火", "水管变软", "水管长叶"], "answer": 0},    {"id": 3, "category": "社会", "question": "邻居帮你搬了重物，你应该怎么做？",     "choices": ["假装没看见", "说声谢谢", "立刻搬家", "买把新锁"], "answer": 1},    {"id": 4, "category": "社会", "question": "朋友丢了宠物很难过，你该怎么做？",     "choices": ["讲个笑话", "嘲笑他", "安慰并帮忙找", "扭头就走"], "answer": 2},    {"id": 5, "category": "因果", "question": "连续熬夜且喝大量咖啡，最可能的结果是？",     "choices": ["更加清醒", "心跳加快犯困", "再也不困", "长出翅膀"], "answer": 1},    {"id": 6, "category": "文化", "question": "参加正式会议时，最合适的着装是？",     "choices": ["穿睡衣", "穿正装", "穿泳衣", "穿工装"], "answer": 1},]  def random_baseline(question):    """随机基线：固定返回 0 号选项"""    return 0  def mock_model(question):    """模拟一个只会背答案的模型：仅答对前两题"""    return question["answer"] if question["id"] in (1, 2) else (question["answer"] + 1) % len(question["choices"])  class CommonSenseEvaluator:    def __init__(self, questions):        self._questions = questions        self._stats = {}     def evaluate(self, predict_fn):        results = []        for q in self._questions:            pred = predict_fn(q)            results.append((pred, q["answer"]))        return results     def accuracy(self, results):        if not results:            return 0.0        correct = sum(1 for pred, label in results if pred == label)        return correct / len(results)     def report(self, results):        cats = sorted(set(q["category"] for q in self._questions))        for cat in cats:            cat_results = [                (pred, label)                for (pred, label), q in zip(results, self._questions)                if q["category"] == cat            ]            correct = sum(1 for pred, label in cat_results if pred == label)            self._stats[cat] = correct / max(1, len(cat_results))        print("=== 常识推理评测报告 ===")        for cat in cats:            print(cat + "类准确率: {:.2%}".format(self._stats[cat]))        overall = self.accuracy(results)        print("总体准确率: {:.2%}".format(overall))        return {"category_acc": dict(self._stats), "overall_acc": overall}  if __name__ == "__main__":    evaluator = CommonSenseEvaluator(QUESTIONS)    print("--- 候选模型 ---")    model_results = evaluator.evaluate(mock_model)    evaluator.report(model_results)    print("--- 随机基线 ---")    base_results = evaluator.evaluate(random_baseline)    evaluator.report(base_results)

1. QUESTIONS = [...]手工构造的迷你常识题库，每道题包含类别、问题、选项和标准答案，相当于一张“微型社区生活考卷”
2. def random_baseline(question): return 0随机基线，固定选 0 号选项，用来模拟“瞎蒙”的下限水平
3. def mock_model(question)模拟一个只会死记前两题的弱模型，用于和随机基线形成对比
4. class CommonSenseEvaluator:评测器类，封装了逐题作答、准确率计算和报告输出三个核心功能
5. def evaluate(self, predict_fn)让模型对每道题作答，把预测结果和正确答案打包成配对列表
6. correct / max(1, len(cat_results))单类准确率：该类中答对数除以题目数，用 max(1, ……) 防止除零
7. self._stats[cat] = ...按类别记录得分，方便最终按类别输出报告
8. if __name__ == "__main__":程序入口：先评测候选模型，再评测随机基线，最后打印对比报告

常见误区

面试题