推理能力：常识推理HellaSwag

可视化演示

三步展示HellaSwag常识推理：4选1片段补全任务、对抗性过滤剔除明显干扰项、以及ActivityNet/WikiHow两大数据来源。

基准测试概述

每年的校招季，老周都要面试几百个应届生。渐渐地他发现一个规律：只要面试题在求职论坛上出现，第二天就有人带着“标准答案”来面试。背答案的候选人能流利地说出“要先倾听客户诉求”，可一追问具体情境就露馅——他们只是记住了话术，并没有真正理解工作场景。老周痛定思痛，决定设计一套“怎么背都没用”的考试。

AI 圈也遇到了同样的烦恼。早期的 SWAG 基准被模型刷到接近人类水平后，研究者意识到：模型的“高分”很可能来自记忆文本和表面特征，而不是真正的常识理解。于是 2019 年，艾伦人工智能研究所的 Rowan Zellers 团队推出了 HellaSwag——一个“更硬”的常识推理基准。它的全称是 Can a Machine Really Finish Your Sentence?（机器真的会接话吗？），光听名字就带着挑衅的意味。

HellaSwag 的任务形式非常简单：给出一段日常情境描述（比如“一位厨师正在切洋葱”），让模型从 4 个候选结尾中选出最合理的一个——“他把刀放回抽屉”是合理的，“他把刀扔向窗外”则违背常识。数据集包含约 7 万道题，每个样本都是一道四选一选择题。它考察的是模型对物理世界因果、社会行为规范、物体功能属性等知识的理解深度，这些统称为“常识推理能力”。

$$\displaystyle \text{ACC} = \frac{N_{\text{correct}}}{N_{\text{total}}} \times 100\%$$

1. N\_correct（答对题数）：模型选出的答案与真实正确结尾一致的题目数量。

$$N_{\text{correct}} = \sum_{i=1}^{N} \mathbb{1}[\hat{y}_i = y_i]$$

2. N\_total（总题数）：测试集中全部样本的数量，HellaSwag 的测试集约 2 万道题。

$$N_{\text{total}} = N_{\text{correct}} + N_{\text{wrong}}$$

3. 比值与百分比换算：正确题数除以总题数得到一个 0 到 1 之间的小数，乘以 100 变成百分制。

$$\text{ACC} = \frac{N_{\text{correct}}}{N_{\text{total}}} \times 100\%$$

HellaSwag 就是老周那套“情境补全面试卷”——题目来自真实生活，选项精心设计，背答案的人寸步难行，只有真正理解生活的人才能得高分。

数据构造方式

老周出题从来不靠拍脑袋。他会先从真实客服对话日志里找出高频场景，再请资深客服主管写下场景开头与合理的后续；同时还要收集一些真实发生过的“反面教材”，作为干扰项的素材。这样做出来的题库，才贴近实际工作。

HellaSwag 的数据来源同样来自真实世界。第一个来源是 ActivityNet Captions——一个包含大量视频中人群活动的自然语言描述数据集，例如“一个女人把面粉倒进碗里”“一个男人在院子里修剪草坪”。第二个来源是 WikiHow——一个拥有海量图文教程的网站，从“如何制作纸飞机”到“如何更换汽车轮胎”应有尽有。研究者从这两处抽取真实的生活片段作为情境开头。

数据构造分为三步进行。第一步，从 WikiHow 的文章标题和正文中剥离出“以动作为中心的段落”作为情境；从 ActivityNet 的视频字幕中截取连贯的场景片段。第二步，用语言模型为每个情境生成若干候选结尾——包括正确的（直接从原文截取的真实后续）和错误的（模型自己编造的）。第三步，人工标注者逐一核对每个选项的合理性，剔除那些“一眼假”的错误项，确保每道题都难而不偏。这套流程本质上是“真实素材 + AI 生成 + 人工质检”的流水线。

$$\displaystyle N_{\text{samples}} = k_{\text{seeds}} \times m_{\text{variants}}$$

1. k\_seeds（种子情境数）：从 ActivityNet 和 WikiHow 中抽取的真实生活片段数量。

$$k_{\text{seeds}} = k_{\text{activity}} + k_{\text{wikihow}}$$

2. m\_variants（候选变体数）：每个情境扩展出的候选结尾数量，HellaSwag 固定为 4 选 1。

$$m_{\text{variants}} = 4$$

3. 两者相乘（样本总量）：种子情境与候选变体相乘，得到最终样本规模。

$$N_{\text{samples}} = k_{\text{seeds}} \times 4$$

就像老周的题库来自真实客服日志和资深员工的经验，HellaSwag 的题库来自真实视频与图文教程——素材的“真实性”决定了考试的质量，这也是它能衡量常识而非语感的关键。

对抗性设计

老周最得意的不是出题，而是“挖坑”。他会故意在干扰项里放进一些“乍一听很像专业话术、细想全是废话”的选项，比如候选人面对愤怒客户时选择“先给客户赠送免费酸奶”——听起来在解决问题，实际上逻辑荒谬。这种陷阱能精准识别出那些只背话术、不懂变通的人。

HellaSwag 的“坑”同样用心险恶，它的核心创新叫对抗性过滤（Adversarial Filtering）。研究者先用当时最强的语言模型（如 GPT）为每个情境批量生成“看似合理”的错误结尾，再用一个判别器模型去区分“真结尾”和“假结尾”。凡是判别器能一眼看穿的假结尾，直接淘汰；只有那些连判别器都会犯错的假结尾，才被留下来当干扰项。这就像老周把“免费酸奶”这种低级错误删掉，只保留“含金量”最高的陷阱。

这个“生成—判别—淘汰”的循环要迭代多轮。每一轮里，研究者把上轮幸存的高难度干扰项与真实结尾混合，去训练更强的判别器；再用更强的判别器去筛选下一批干扰项。对抗压力层层加码，最终得到的干扰项与正确项在词频、句式、主题上都高度接近——模型想靠“词汇重叠”“句长相似”这类表面特征蒙混过关，几乎不可能。这正是 HellaSwag 比前身 SWAG“更硬”的根本原因。

$$\displaystyle \text{Sim}(\text{ending}_{\text{wrong}}, \text{ending}_{\text{correct}}) > \theta$$

1. Sim（相似度函数）：衡量两个结尾在词面、句式、语义上有多接近，常用语言模型困惑度或向量余弦相似度计算。

$$\text{Sim}(a, b) = \cos(\vec{a}, \vec{b})$$

2. ending\_wrong 与 ending\_correct（干扰项与正确项）：每一对都要经过相似度“体检”，不合格的干扰项被淘汰。

$$\text{ending}_{\text{wrong}} \in \{\text{generated by LM}\}$$

3. θ（过滤阈值）：由研究者设定的难度门槛，只保留相似度高于阈值的“高质量陷阱”。

$$\theta_{\text{high}} \Rightarrow \text{harder samples}$$

老周的“免费酸奶陷阱”就是对抗性过滤的缩影——故意保留那些最像正确答案的错误项，让背套路的人当场现形，让真正理解情境的人脱颖而出。

评分机制

考试考完了，怎么判卷？老周立下规矩：这套考试不设 60 分及格线，因为闭眼乱选都能拿 25 分，老周本人也才考 95.6 分。所有候选人都得跟这两把尺子比——一个是“瞎蒙的地板”，一个是“人类专家的天花板”。

HellaSwag 的评分规则简单粗暴：每道题四选一，模型对每个候选结尾计算一个“合理性得分”，选分数最高的作为答案。最朴素的得分可以直接用语言模型的 P(ending | context)——即“给定情境下，这个结尾出现的概率”；也可以用一个判别器的输出分数。最终成绩用准确率（ACC）来汇总。

为什么这把尺子好使？因为四选一的结构让“随机基线”变得非常清晰：瞎蒙的期望正确率恰好是 25%。同时，论文报告的人类基线是 95.6%——这意味着普通人觉得“理所当然”的常识，对早期模型来说都是巨大挑战。为了更直观地解读一个模型的水平，可以把准确率映射到“从随机到人类之间的相对位置”上，得到归一化相对分数。这个分数越接近 1，说明模型离人类越近。

$$\displaystyle \text{NormScore} = \frac{\text{ACC}_{\text{model}} - \text{ACC}_{\text{random}}}{\text{ACC}_{\text{human}} - \text{ACC}_{\text{random}}}$$

1. ACC\_model（模型准确率）：被测模型在 HellaSwag 测试集上算出的准确率。

$$\text{ACC}_{\text{model}} = \frac{N_{\text{correct}}}{N_{\text{total}}}$$

2. ACC\_random（随机基线）：四选一瞎蒙的期望正确率，固定为 25%。

$$\text{ACC}_{\text{random}} = \frac{1}{4} = 25\%$$

3. ACC\_human（人类基线）：众包标注者在同样测试题上的准确率，约 95.6%。

$$\text{ACC}_{\text{human}} \approx 95.6\%$$

4. 分子与分母的比值：分子代表模型超越随机水平的实际增量，分母代表人类超越随机水平的增量，两者相除得到“能力完成度”。

$$\text{NormScore} = \frac{\Delta_{\text{model}}}{\Delta_{\text{human}}}$$

老周阅卷时心里有杆秤——不看绝对分，只看候选人离“瞎蒙”有多远、离老周本人有多近。NormScore 就是这杆秤的数字化身。

模型表现趋势

几轮考试下来，老周整理成绩单，发现一条清晰规律：名校背景、竞赛履历丰富的候选人（想象成“训练更充分、规模更庞大的模型”）通常分数更高，但所有人离老周本人还有一段距离。偶尔冒出一个“黑马”，仔细一查，原来是翻阅过题库的。

HellaSwag 的排行榜同样呈现清晰的梯度。基准发布之初，当时最强的 GPT-2 只有约 30%——比随机猜测好不了多少，这给整个 AI 圈泼了一盆冷水。随后几年，规模更大的模型稳步爬升：LLaMA 7B 约 76%，GPT-4 已超过 95%，逼近甚至超越了人类基线。开源社区也贡献了壮观的追赶曲线——从几百 M 的轻量模型到上百 B 的巨兽，分数稳步上扬。

这种“模型越大分越高”的趋势并非巧合。研究者观察到，模型在 HellaSwag 上的准确率与参数量近似呈对数线性关系——参数的每一次十倍增长，准确率大约提升几个百分点。背后的原因在于：参数量更大的模型能记住更多罕见情境、建模更长的上下文依赖，从而在“推断下一步发生什么”的任务中表现出更强的常识泛化能力。不过要注意，这一规律只在数据充足、训练充分的条件下才成立。

$$\displaystyle \text{ACC} = a \times \log_{10}(\text{Params}) + b$$

1. Params（参数量）：模型的参数总量，常用百万、十亿或万亿为单位。

$$\text{Params} \in \{10^6, 10^9, 10^{12}\}$$

2. log10（以 10 为底的对数）：把参数量压缩到可比较的尺度，参数 10 倍增长只对应日志增量 1。

$$\log_{10}(\text{Params})$$

3. a 与 b（拟合常数）：通过回归拟合出的斜率与截距，斜率为正说明规模越大分数越高。

$$a > 0, \quad b = \text{intercept}$$

成绩单上的“名校光环”就像参数量——优势真实存在，但老周始终清醒：真正的冠军靠的不是堆砌资源，而是对生活的真实理解。同样，模型的常识能力也不能只靠变大来解决。

评测指标局限

慢慢地，老周发现这套考试有了 bug：题库挂在网上一久，有人把原题背了下来；题目就那么多，尖子生人人都考满分，成绩单失去了区分度。更要命的是，同样的分数可能来自完全不同的错误——有人栽在情绪沟通上，有人栽在物理常识上。

HellaSwag 同样面临三重挑战。第一，数据污染：后发的模型在预训练语料里可能见过 HellaSwag 原题或高度相似的题目，分数出现虚高，考分不再等于真实能力。第二，饱和效应：随着模型能力快速提升，前沿模型准确率已经贴到人类基线附近，测试的区分度大幅下降——所有人都是 95 分，就分不出谁更优秀了。第三，单一指标：只报告一个准确率数字，完全不反映模型犯错的模式——两个同分的模型，可能在完全不同的情境上出错。

这三重局限其实是所有静态基准的宿命。数据污染让“考分”与“能力”解绑；饱和效应让排行榜变成“人人 99 分”的虚假繁荣；单一指标让研究者无法判断模型是“真懂”还是“恰好会做这类题”。因此在解读 HellaSwag 成绩时，必须把它和其他常识推理基准（如 WinoGrande、PIQA）放在一起交叉验证，而不是孤立地信奉某一个数字。

$$\displaystyle \text{Sat} = \frac{\text{ACC}_{\text{top}} - \text{ACC}_{\text{random}}}{1 - \text{ACC}_{\text{random}}}$$

1. ACC\_top（最强模型准确率）：当下排行榜第一的准确率，GPT-4 时代已超过 95%。

$$\text{ACC}_{\text{top}} \geq 0.95$$

2. ACC\_random（随机基线）：同样固定为 25% 的盲猜水平。

$$\text{ACC}_{\text{random}} = 0.25$$

3. 理论饱和值：当 ACC_top 趋于 100% 时，Sat 趋于 1，说明测试已经无法区分顶尖模型。

$$\text{Sat} \to 1 \Rightarrow \text{benchmark saturated}$$

老周意识到，再好的题库，一旦公开久了、满分者多了，就必须“换一张更难的卷子”。HellaSwag 的饱和不是终点，而是推动评测升级的信号弹。

未来演进方向

老周的应对方案很清晰：题库动态更新、按候选人水平分层出题、甚至把视频片段搬进考场。只有这样，考试才能永远跑在“背答案”前面。

HellaSwag 的经验催生了新一代评测设计思路。动态生成（如 Dynabench 平台）让研究者持续用模型失败的新样本更新题库，让基准“活”起来——模型今天做错的题，明天就变成新试卷的一部分。难度分层借鉴计算机化自适应测试（CAT）的思路：先出中等难度题，答对才加难，答错就降低难度，从而精准刻画每个模型的能力边界。多模态扩展则在文字情境的基础上引入视频、图片，考察模型对物理世界的真实理解。

这些方向的共同点，是把评测从“一次性的静态考试”升级为“持续的自适应挑战”。动态生成解决了数据污染和饱和问题——题库永远新鲜，背题无从下手；难度分层提供了更细粒度的能力画像——两个都是 80 分的模型，可能在完全不同的难度曲线上犯错；多模态扩展则把常识从语言拓展到视觉-语言联合空间，倒逼模型在训练中不只学“语感”，而是学习真正的“世界模型”。

$$\displaystyle \text{Diff}_{i+1} = \text{Diff}_i \times (1 + \delta)$$

1. Diff\_i（当前难度）：第 i 轮测试的题目难度值，由题目特征和模型表现共同标定。

$$\text{Diff}_i = \frac{1}{N}\sum_{j=1}^{N} d_j$$

2. δ（难度增量）：一个正的常数，决定难度上升速度，如 δ = 0.1 表示每轮变难 10%。

$$\delta = 0.1$$

3. 递进关系：新一轮难度在旧难度基础上按比例增长，保证考试永远与模型能力“赛跑”。

$$\text{Diff}_{i+1} > \text{Diff}_i$$

老周的“第三代考场”已经上线——题库自更新、难度自适应、场景更真实。HellaSwag 的故事告诉我们：评测不是终点，而是推动模型真正理解世界的引擎。

AI 应用场景

Python 演示

"""HellaSwag 简化演示: 用词面相似度模拟"表面线索模型"展示同一个模型在朴素数据上偶有胜绩, 遇到对抗性干扰项时被击溃"""from __future__ import print_function DATASET_NAIVE = [    ("厨师正在切洋葱",     ["然后把刀放回抽屉", "把刀扔向窗外", "把刀放到水里", "用刀敲打桌子"],     0),    ("学生在图书馆看书",     ["合上书站起来", "把书丢进火里", "把书倒过来读", "用书垫脚爬窗"],     0),    ("爸爸在厨房做饭",     ["把菜倒进锅里翻炒", "把菜倒进洗衣机", "把菜贴在墙上", "把菜扔进垃圾桶"],     0),] DATASET_ADVERSARIAL = [    ("厨师正在切洋葱",     ["然后把刀放回抽屉", "把洋葱放在案板上", "把围裙系得更紧", "把火调小一点"],     0),    ("学生在图书馆看书",     ["合上书站起来", "把书放回书架", "把视线移向窗外", "把笔记本摊开"],     0),    ("爸爸在厨房做饭",     ["把菜倒进锅里翻炒", "把围裙系在腰间", "把锅盖轻轻盖上", "把灶台擦了一下"],     0),] def jaccard_similarity(text_a, text_b):    """计算两个文本的字符集合 Jaccard 相似度"""    tokens_a = set(text_a)    tokens_b = set(text_b)    return len(tokens_a & tokens_b) / max(len(tokens_a | tokens_b), 1) def predict_by_similarity(context, endings):    """选出于情境字符重叠度最高的候选结尾"""    scores = [jaccard_similarity(context, end) for end in endings]    return max(range(len(endings)), key=lambda i: scores[i]) def evaluate(dataset):    """计算 Top-1 准确率"""    correct = 0    for context, endings, gold_idx in dataset:        pred_idx = predict_by_similarity(context, endings)        if pred_idx == gold_idx:            correct += 1    return correct / len(dataset) def main():    acc_naive = evaluate(DATASET_NAIVE)    acc_adv = evaluate(DATASET_ADVERSARIAL)    print("朴素数据集合正确率: %.0f%%" % (acc_naive * 100))    print("对抗性干扰正确率: %.0f%%" % (acc_adv * 100))    print("结论: 靠词面相似度的模型在对抗性干扰项面前失效.") if __name__ == "__main__":    main()

1. tokens_a = set(text_a)把文本拆成字符集合，作为“表面特征”的近似。
2. len(tokens_a & tokens_b)计算两个文本共有的字符数，重叠越多代表“看起来越像”。
3. max(len(tokens_a | tokens_b), 1)用并集大小做归一化，防止除零错误。
4. scores = [jaccard_similarity(context, end) for end in endings]对每个候选结尾计算与情境的相似度。
5. max(range(len(endings)), key=lambda i: scores[i])选取得分最高的候选作为模型预测。
6. if pred_idx == gold_idx判断预测是否命中正确索引，累计正确数。
7. correct / len(dataset)准确率计算公式的代码实现。

常见误区

面试题