城市里住着一位名叫小吴的侦探。这天，他收到一张神秘纸条，上面写着：「奖杯放不进棕色手提箱，因为它太大了。」纸条只有一个问题——「它」到底是奖杯，还是手提箱？普通人一眼就明白：奖杯太大装不下，「它」当然是奖杯。可这个连人类小孩都能秒答的问题，却在很长一段时间里困扰着世界上最聪明的 AI 系统。为什么？因为要解开这个谜，需要的不是背单词、也不是记语法，而是理解「大」「放不进」「箱子」背后的物理常识与因果关系。小吴侦探意识到，这不是一场文字游戏，而是检验 AI 是否真正「理解世界」的试金石。于是，他决定把这类谜题系统化，建立一座庞大的「推理卷宗库」——这就是 Winogrande 的由来。

岗位关联

理解 Winogrande，等于掌握一套经典的「推理能力体检」工具：它帮助 AI 从业者在模型上线前精准判断模型是「真会思考」还是「背了答案」，从而规避部署中的低级错误。

目录
  1. 可视化演示
  2. 任务起源：一句话的谜团
  3. 数据生成流程：卷宗库的建设
  4. 对抗性干扰项：揪出伪侦探
  5. 难度梯度设计：从新手村到地狱
  6. 评测配置要点：破案手册的规范
  7. 指标体系：多把尺子衡量能力
  8. 模型表现分析：侦探成长曲线
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

演示Winogrande的Twin Sentence构造、对抗过滤与代词消解评测，展示模型如何通过常识推理区分两个仅关键形容词不同的句子。

本节配有交互动效（进入视口后自动加载，约 3KB）。

模式1：Twin Sentence构造 成对句子仅关键形容词不同 代词消解指向不同对象 large/small→it 迫使模型依赖常识推理

任务起源：一句话的谜团

小吴侦探的法律事务所接到了一个奇特的委托。委托人递上一张纸条，上面写着：「奖杯放不进棕色手提箱，因为它太大了。」问题只有一个：这个「它」指的是奖杯，还是手提箱？普通人毫不费力就能回答——奖杯太大放不进箱子，当然「它」是奖杯。可这个人类小孩都能秒答的问题，却让许多顶尖 AI 系统当场翻车。小吴侦探的职业直觉告诉他，这类「简单过头」的谜题，往往藏着最深的门道。

这个谜题并非凭空而来。2012 年，计算机科学家 Hector Levesque 等人受到经典句式「奖杯放不进箱子因为它太大」的启发，正式提出 Winograd Schema——一组专门用来测试机器常识推理的代词消解问题。它不像普通选择题可以靠统计规律蒙混过关，而是要求模型真正理解句子背后的物理常识与社会知识。Winograd Schema 由此被视为「机器的图灵测试」的一种现代形态：不再问 AI「你聪明吗」，而是直接递给它一句看似普通、实则暗藏玄机的话。

Winograd Schema 的本质是「指代消解」。这类句子包含两个名词候选（如「奖杯」与「手提箱」）和一个代词（「它」），模型必须判断代词指向谁。表面上看，这是一个二选一分类问题；深层来看，它需要模型调用「物体体积」「容器容量」「因果关系」等世界知识。正因为如此，Winograd Schema 被看作衡量「机器是否真的理解语言」的试金石——句法规则在这里失效，统计共现也靠不住，唯一可靠的路径是常识推理。

小吴侦探得到了第一个启示：看似简单的「它」，其实隐藏着一个完整的世界模型。侦探的直觉来自生活的经验积累，而 AI 的「直觉」必须依赖海量数据中的知识沉淀。Winogrande 要检测的，正是这种沉淀是否真实存在。

Pmodel(refer(p)=a∣s)>Pmodel(refer(p)=b∣s)\displaystyle P_{\text{model}}\big(\text{refer}(p) = a \mid s\big) > P_{\text{model}}\big(\text{refer}(p) = b \mid s\big)
通俗说明：模型需要让「代词 p 指代名词 a」的概率大于「指代名词 b」的概率。换句话说，在两个嫌疑人之间，模型必须给出更相信谁的理由。
  1. 指代函数 refer(p)refer 是「指代」函数，p 是句子中的代词。这一步把「it」的身份问题形式化，明确我们要追查的对象是谁。
    refer("it")\text{refer}(\text{"it"})
  2. 条件概率表达式中的「∣s」表示「在给定句子 s 的情况下」的条件概率，也就是模型看完整个句子后对每个候选的信念强度。
    P(⋅∣s)P(\cdot \mid s)
  3. 比较判断将两个候选名词 a 与 b 分别代入，模型选择概率更大的那个作为最终答案。这就是「二选一」任务的数学刻画。
    arg⁡max⁡x∈{a,b}Pmodel(refer(p)=x∣s)\arg\max_{x \in \{a, b\}} P_{\text{model}}\big(\text{refer}(p) = x \mid s\big)

数据生成流程：卷宗库的建设

一个侦探的推理能力是否可靠，不能仅凭一两个案件定论。小吴侦探决定建立一座巨大的卷宗库——收录成千上万个「谁是它」的谜题，用海量案例检验 AI 的真实水平。毕竟，只侦破过一起案件的侦探，可能是运气好；侦破过四万起案件的侦探，才真正值得信赖。

2019 年，艾伦人工智能研究院推出了 Winogrande——一个包含约 4.4 万个问题的常识推理基准数据集。它的名字融合了 Winograd（源自 Winograd Schema）与 grande（意大利语「大」），意为「扩大版 Winograd」。相比最初仅约一千个精心设计的问题，Winogrande 的规模扩大了两个数量级。规模的跃升，使得模型能力差距可以在统计上更可靠地区分。

数据生成依赖众包平台。标注员被要求编写成对句子：先写一个句子，再把核心名词替换成反义词，形成第二个用于构造干扰项的变体。例如：「奖杯放不进箱子因为它太大」与「手提箱放不进背包因为它太大」。随后，系统执行多轮质量校验：语法检查、语义一致性验证、标签正确性确认。最后，一套「对抗性过滤」机制被用来剔除那些仅凭词汇共现就能猜对的弱题。大规模采集与质量保障的双重压力下，Winogrande 走通了「众包生产 + 机器筛选」的工业化路线。

卷宗库建成了，但小吴侦探很快发现，并非所有案件都值得收录。有些案子一眼就能看出答案——这种「送分题」会让 AI 蒙混过关。于是，一场筛选「干扰项」的行动正式启动。

∣DWinoGrande∣≈44 000=44×∣DWS∣\displaystyle |D_{\text{WinoGrande}}| \approx 44\,000 = 44 \times |D_{\text{WS}}|
通俗说明：Winogrande 的问题数量大约是经典 Winograd Schema 的 44 倍，这就是「grande（大）」的含义。
  1. 数据集符号D 表示数据集（Dataset），下标 WinoGrande 特指 Winogrande 数据集的全部题目集合。
    DWinoGrandeD_{\text{WinoGrande}}
  2. 规模数值44,000 表示约 4.4 万个问题，这是「大」的直接体现。
    44 00044\,000
  3. 倍数对比经典 Winograd Schema 约有 1,000 个问题，44 乘以 1000 等于 44,000，两个数量级跃升由此而来。
    44×1 00044 \times 1\,000

对抗性干扰项：揪出伪侦探

有些「侦探」其实根本没在推理，他们只是背熟了案件里常出现的搭配。比如，看到「奖杯」和「大」经常一起出现，就盲目指认「它」是奖杯。这种伪侦探在简单案子里表现不错，可一旦遇到精心设计的「陷阱案」，立刻原形毕露。小吴侦探决定设计一套「反作弊机制」，把这些只会背答案的伪侦探统统拒之门外。

Winogrande 的核心创新，正是通过对抗性干扰项（Adversarial Filtering）来区分「真推理」与「模式匹配」。具体做法是：将初步收集的题目交给一组较弱的预训练模型作答，如果某个题目被这些模型靠表面线索轻松答对，就把这道题从数据集中移除。留下来的题目，就是小模型靠统计规律无法攻克的「硬骨头」。这套机制的本质，是让「出题者」站在「作弊者」的立场上审视每一道题，把一切可钻的漏洞都堵死。

对抗性过滤的流程可以理解为一场「坏题淘汰赛」。首先，多个小模型（如 BERT-base、GPT-2 等）对每个候选题目作答；如果所有小模型都答对，说明题目里存在明显的表层线索，将其过滤；如果小模型答错而人类能轻松答对，说明题目真正需要常识推理，予以保留。经过多轮筛选后的题目集，小模型准确率显著下降，而人类水平依然很高——这正是对抗性干扰项的价值所在。

经过对抗性过滤的卷宗库，就像小吴侦探精心筛选的「必考题」——真正需要动脑子的那种。这样一来，AI 若是只靠表面模式作答，就会像背书却不懂应用的伪侦探一样当场露馅。

Filter Rate=1−Survived QuestionsTotal Candidate Questions\displaystyle \text{Filter Rate} = 1 - \frac{\text{Survived Questions}}{\text{Total Candidate Questions}}
通俗说明：过滤率反映了有多少题目因「太容易」而被淘汰，是衡量数据质量的重要指标。
  1. 幸存比例分子 Survivived Questions 是经历对抗性过滤后幸存的题目数，分母 Total Candidate Questions 是全部候选题目数。
    Survived QuestionsTotal Candidate Questions\frac{\text{Survived Questions}}{\text{Total Candidate Questions}}
  2. 补数转换用 1 减去幸存比例，得到被淘汰题目的比例——这个比例越高，说明原始众包数据中的表层线索越多。
    1−Survival Rate1 - \text{Survival Rate}
  3. 指标意义Filter Rate 直接反映对抗过滤的「去水」强度，也是衡量数据建设质量的第一把尺子。
    Filter Rate\text{Filter Rate}

难度梯度设计：从新手村到地狱

小吴侦探把卷宗库按难度分了层：从「新手村」的简单题，到「地狱模式」的超难题。这样一来，一份卷子就能同时考察 AI 的基础理解与深度推理能力。更重要的是，不同预算的委托人也能按需选择：预算少就做几道三星题，预算足就刷全套五星题。

Winogrande 提供了 xs、s、m、l、xl 五档规模的子集，分别包含约 500、1,500、2,000、4,800 与 20,000+ 个问题。这些子集不仅大小不同，难度也经过刻意调节。xl 是完整集，适合作为终极基准；xs 到 l 则是快速迭代调试模型时的「轻量套餐」，让研究者在有限算力下也能获得可靠的反馈信号。

难度梯度是如何制造出来的呢？研究者先从对抗过滤后的题目池中，根据小模型答错率等信号为每道题打上「难度分」；然后按不同比例划分出不同档位。xs 档位保留难度较高的问题，适合小预算实验；l 档位综合平均难度，尽量贴近 xl 的分布。这种设计让用户能根据计算资源灵活选择评测规模，极大提高了基准测试的利用率与可及性。

难度梯度让每个层级的 AI 都能找到自己能力的「量尺」：新手侦探先做三星案件练手，资深侦探直接挑战五星。评测的「性价比」由此大大提升。

Dxl=Dfiltered,Dxs⊂Dfiltered,∣Dxs∣=500\displaystyle D_{\text{xl}} = D_{\text{filtered}},\quad D_{\text{xs}} \subset D_{\text{filtered}},\quad |D_{\text{xs}}| = 500
通俗说明：xl 是全部精选题目，xs 是从中抽取的 500 道高难度子集。
  1. 全集关系D_xl 等于 D_filtered，表示 xl 档就是全部通过对抗过滤的题目——它是完整版的卷宗库。
    Dxl=DfilteredD_{\text{xl}} = D_{\text{filtered}}
  2. 子集符号子集符号「⊂」表示 xs 是从 xl 中抽取的一部分，规模远小于 xl，但每道题都经过难度精选。
    ⊂\subset
  3. 数量约束500 是 xs 档包含的题目数量，适合做快速、低成本的初步评估。
    ∣Dxs∣=500|D_{\text{xs}}| = 500

评测配置要点：破案手册的规范

有了卷宗，还得有规范的破案流程，否则答案就会随随便便。小吴侦探为团队制定了「破案手册」——从如何向 AI 提问、到如何记录勘察结果，每个环节都有严格要求。没有这套手册，不同侦探的结论就无从比较。

在 Winogrande 评测实践中，配置细节决定评测结果的可信度。最常见的评测配置是 few-shot（少样本）模式：在提示中提供几个示例，让模型理解「指代消解」的任务格式。同时，两个候选选项需要以固定且均衡的顺序呈现，控制位置偏见；最后用「准确率」作为核心评分指标。这些配置共同构成了一套可复现的评测协议，确保不同团队、不同模型之间的分数具有可比性。

具体配置包括几项关键约定：其一，提示模板通常采用「句子 + 选项A/选项B + 答案：」的格式，让模型以生成或分类方式作答；其二，候选顺序随机打乱或固定交换，避免模型形成「总选 A」的位置捷径；其三，评测指标采用宏观准确率，即答对题数除以总题数；其四，同时采集人类答题结果作为参照基线，用于校准模型水平的「刻度」。这些约定看似琐碎，却决定了评测分数能否真实反映模型能力。

有了这份破案手册，无论谁来执行评测，都能得出可复现的结论——这正是基准测试标准化流程的价值所在。

Accuracy=1Ntotal∑i=1Ntotal1[y^i=yi]\displaystyle \text{Accuracy} = \frac{1}{N_{\text{total}}} \sum_{i=1}^{N_{\text{total}}} \mathbb{1}[\hat{y}_i = y_i]
通俗说明：准确率等于答对的题数占总题数的比例，是 Winogrande 最核心的评分指标。
  1. 指示函数对第 i 题，如果模型预测值 $\hat{y}_i$ 等于真实答案 $y_i$，指示函数输出 1，否则输出 0——相当于「答对记一分」。
    1[y^i=yi]\mathbb{1}[\hat{y}_i = y_i]
  2. 求和累加遍历全部 $N_{\text{total}}$ 个题目，把所有答对的分数加起来，得到正确题目总数。
    ∑i=1Ntotal\sum_{i=1}^{N_{\text{total}}}
  3. 归一化将答对总数除以总题数，得到 0 到 1 之间的比例，再乘以 100% 就是大家常说的「准确率百分之多少」。
    1Ntotal\frac{1}{N_{\text{total}}}

指标体系：多把尺子衡量能力

小吴侦探不仅关心「案子破了多少」，还关心「破案过程是否可靠」——有没有靠运气猜对的？有没有看错线索的？一套指标体系，就像多把不同精度的尺子，从多个角度度量 AI 的真实能力。单靠一把尺子，很容易被表面的「破案率」蒙蔽。

除了最直观的准确率，Winogrande 评测实践中还鼓励使用更多诊断性指标。置信度校准（Expected Calibration Error, ECE）考察模型在给出答案时的自信程度与实际正确率是否匹配；错误分析则通过统计模型在哪些题型上犯错，定位其能力短板。将这些指标与人类基线综合对比，就能为模型绘制一幅立体的「能力画像」，而不仅仅是一个孤零零的分数。

置信度校准的核心是期望校准误差：把所有预测按置信度分成多个桶，比较每个桶内「平均置信度」与「实际准确率」的差异。差异越小，说明模型越「诚实」——知道的时候大声说，不知道的时候不敢乱猜。配合错误分类统计，研究者可以看清模型究竟是在词汇关联上栽跟头，还是对常识理解本身就薄弱。这种「多尺子」思路，正是现代 AI 评测从「看总分」走向「看诊断」的关键转变。

小吴侦探的「多把尺子」战略见效了：准确率告诉他「赢了多少场」，校准度告诉他「赢得是否光明磊落」，错误分析则指出「下一步该训练哪些技能」。三者合起来，才是一份完整的案情报告。

ECE=∑k=1K∣Bk∣N∣acc(Bk)−conf(Bk)∣\displaystyle \text{ECE} = \sum_{k=1}^{K} \frac{|B_k|}{N} \left| \text{acc}(B_k) - \text{conf}(B_k) \right|
通俗说明：ECE 衡量模型的「自夸程度」——自信与实际水平之间的差距。差距越小，模型越值得信赖。
  1. 置信度分桶把所有预测按置信度从低到高分成 K 个桶，每个桶 B_k 中的样本共享相近的置信度区间。
    Bk,k=1…KB_k, \quad k = 1 \dots K
  2. 桶内偏差每个桶内「实际准确率 acc」与「平均置信度 conf」的绝对差——如果模型说自己 90% 有把握但实际只对了 70%，这个差值就是 20%。
    ∣acc(Bk)−conf(Bk)∣\left| \text{acc}(B_k) - \text{conf}(B_k) \right|
  3. 加权汇总按每个桶的样本数占比 $|B_k| / N$ 加权求和，得到全局校准误差——样本越多的桶，对总体误差的贡献越大。
    ∑k=1K∣Bk∣N\sum_{k=1}^{K} \frac{|B_k|}{N}

模型表现分析：侦探成长曲线

卷宗在手，尺子备好，是时候盘点各路侦探的实力了。小吴侦探召集了从新手到资深的各种 AI 模型同台竞技，看看这条「推理能力成长曲线」究竟如何。令他惊讶的是，模型们的表现呈现出一条相当规整的「阶梯」。

在 Winogrande 上，模型表现呈现明显的「规模效应」：从几亿参数的 BERT 到千亿级参数的 GPT-3，参数量越大，准确率越高。但值得注意的是，即使是大模型也尚未超越人类基线——一般报告人类准确率约 94%。这说明 Winogrande 仍是一座远未攀登到顶的高峰，也说明「常识推理」这一基础能力依然是当前 AI 最稀缺的素质。

从评测报告看：小模型（如 BERT-base、RoBERTa-base）准确率约 60%–70%，仅略高于 50% 的随机基线；中型模型（如 RoBERTa-large）可达到 80% 左右；大模型（如 GPT-3、PaLM）在 few-shot 设置下能达到 85%–90%。这些数据揭示了两个关键结论：第一，参数规模是推理能力的重要驱动力；第二，小模型与人类之间的巨大差距，说明真正的常识推理仍依赖知识广度和深层语义理解——仅靠增大模型并不能自动解决全部问题，训练数据与推理范式的改进同样重要。

小吴侦探看着这些数据感慨万千：推理能力的大厦不是一天建成的。Winogrande 提醒所有 AI 从业者——真正的推理，不是背台词，而是理解世界的「物理常识」与「人情世故」。规模是燃料，常识理解才是引擎。

Accuracy(n)≈α⋅log⁡10(n)+β\displaystyle \text{Accuracy}(n) \approx \alpha \cdot \log_{10}(n) + \beta
通俗说明：模型准确率大致随参数量 n 的对数线性增长——前期增长快，后期趋于平缓，这是「规模效应」的数学画像。
  1. 参数量变量n 表示模型的参数个数（如 10 亿、1,000 亿），是「规模」的操作化定义。
    nn
  2. 对数尺度准确率与参数量的对数 $\log_{10}(n)$ 成正比——参数从 1 亿涨到 10 亿（10 倍）时准确率提升约 α 个单位；但从 100 亿涨到 1,000 亿（也是 10 倍）时提升同样多，说明规模收益递减。
    log⁡10(n)\log_{10}(n)
  3. 拟合参数α 是斜率，反映「参数增长带来多少推理收益」；β 是截距，代表模型架构与训练数据的基线水平。
    α, β\alpha, \ \beta

AI 应用场景

模型上线前的推理能力体检

阶段：模型评测与质量保障

解决的问题：在部署问答机器人前，团队需要确保模型不只靠关键词匹配回答问题，而是真正理解用户意图。传统人工检查只能测几十个样例，覆盖率低且主观性强。Winogrande 提供标准化的 4.4 万条推理题，团队可在几分钟内量化模型的推理水平，提前拦截「答非所问」的隐患。

具体案例：某智能客服团队在将小模型切换为大模型前，先用 Winogrande-xs（500 题）做快速筛选。结果发现新模型的准确率虽然领先，但在「容器与物体大小」这类常识题上仍会犯低级错误。团队据此在提示模板中加入物理常识示例，模型上线后的「答非所问」率下降了约 30%。

模型升级时的回归测试

阶段：模型迭代与版本对比

解决的问题：模型微调或增加知识库后，如何证明推理能力没有退化？Winogrande 作为固定评测集，可以在每次迭代中持续运行，跟踪准确率的变化趋势，防止「修一个 bug、坏一个能力」的回归风险。

具体案例：某研究团队对 LLaMA 进行指令微调后，在 Winogrande-l（4,800 题）上对比微调前后表现：准确率从 78% 提升到 83%，但涉及「人类情感」的句子对上有所波动。团队通过错误分析定位到微调语料中情感样本不足，补充数据后模型表现稳定回升。

多语言推理能力诊断

阶段：跨语言评测

解决的问题：中文模型在英文 Winogrande 上表现不佳，是推理能力弱还是语言迁移不足？通过评测模型在翻译版 Winogrande 上的表现，可以分离「语言能力」与「推理能力」两个维度，为预训练语料优化提供依据。

具体案例：某公司研发中文法律助手，将 Winogrande 翻译为中文后评测发现：模型虽然中文语言建模优秀，但在「体积因果」「社会常识」类题目上正确率仅有 65%。据此，研究团队在中文预训练语料中补充了更多世界知识文本（如常识性百科、说明文），再次评测时正确率提升了 11 个百分点。

Python 演示

python87 行
"""Winogrande核心机制演示：对抗性过滤与评测"""from collections import Counter  def tokenize(text):    return [w.strip(".,").lower() for w in text.split()]  class WeakModel:    """弱基线模型：基于窗口共现统计，模拟'模式匹配'侦探"""     def __init__(self, corpus, window=3):        self.co = Counter()        for words in corpus:            for i in range(len(words)):                for j in range(i + 1, min(i + window + 1, len(words))):                    self.co[(words[i], words[j])] += 1                    self.co[(words[j], words[i])] += 1     def predict(self, template, candidates):        a = tokenize(template.replace("{c}", candidates[0]))        b = tokenize(template.replace("{c}", candidates[1]))        ctx = set(a + b) - set(candidates)        sa = sum(self.co.get((w, candidates[0]), 0) for w in ctx)        sb = sum(self.co.get((w, candidates[1]), 0) for w in ctx)        if sa == sb:            return -1        return 0 if sa > sb else 1  def adversarial_filter(templates, weak):    """对抗性过滤：弱模型靠表面线索答对的题被删除"""    kept, dropped = [], []    for tpl, cands, ans in templates:        pred = weak.predict(tpl, cands)        (dropped if pred == ans else kept).append((tpl, cands, ans))    return kept, dropped  def evaluate(questions, predict):    if not questions:        return 0.0    ok = sum(1 for tpl, cands, ans in questions if predict(tpl, cands) == ans)    return ok / len(questions) * 100.0  def strong_predict(tpl, cands):    """强基线：使用简单常识规则的'真侦探'模型"""    if "glass" in tpl:        return cands.index("vase")    if "pocket" in tpl:        return cands.index("wallet")    return 0  def main():    corpus = [        "the trophy is too big for the suitcase",        "the big trophy won the first prize",        "the brown suitcase is very small",        "the plant needs water every day",    ]    weak = WeakModel([tokenize(c) for c in corpus])    templates = [        ("The {c} doesn't fit in the brown suitcase because it is too big.",         ["trophy", "suitcase"], 0),        ("The {c} needs water every day because it is alive.",         ["plant", "rock"], 0),        ("The {c} fell off the shelf and shattered because it was made of glass.",         ["vase", "hammer"], 0),        ("The {c} fits easily in his pocket because it is so small.",         ["wallet", "elephant"], 0),    ]    kept, dropped = adversarial_filter(templates, weak)    print("原始题目数:", len(templates))    print("被过滤的送分题:", len(dropped))    for tpl, cands, ans in dropped:        print("  -", tpl.split(" because")[0])    print("保留的推理题:", len(kept))    for tpl, cands, ans in kept:        print("  -", tpl.split(" because")[0])    print("弱模型在保留题上准确率: %.1f%%" % evaluate(kept, weak.predict))    print("常识规则模型准确率: %.1f%%" % evaluate(kept, strong_predict))  if __name__ == "__main__":    main()
目的：演示 Winogrande 的对抗性过滤机制——用弱模型筛掉能靠表面共现答对的题目，保留真正需要常识推理的题，并对比弱模型与常识规则模型在幸存题目上的准确率差异。
  1. class WeakModel定义一个「伪侦探」模型，它只统计语料中词语的相邻共现频率，完全不懂物理常识。
  2. self.co[(words[i], words[j])] += 1记录窗口内任意两个词共同出现的次数，这是「模式匹配」的数学化身。
  3. if sa == sb: return -1当两个候选得分相同时返回「无法判断」，模拟弱模型面对未知词汇时的困惑。
  4. (dropped if pred == ans else kept).append(...)核心过滤逻辑：弱模型「猜对」的题说明有表面线索，被丢弃；「猜错或无法判断」的题被保留。
  5. evaluate(kept, weak.predict)计算弱模型在幸存题目上的准确率（预期接近 0%），证明过滤后没有「送分题」可钻。

常见误区

误区我以为 Winogrande 就是让 AI 找出代词指代谁，和普通指代消解差不多，用「名词单复数一致」「性别一致」等语法规则就能做对。

正解普通的指代消解确实可以靠「性别一致」「单复数一致」等表层线索解决，但 Winogrande 刻意绕开了这些捷径。它要求模型理解「奖杯太大装不进箱子」背后的物理常识，才能判断「它」的指代。语法规则在这类句子中会彻底失效，这正是它被当作「真推理试金石」的原因。对抗性过滤还会额外剔除所有能靠词汇共现答对的题，进一步压缩了规则与统计捷径的生存空间。

为何常见：多数 NLP 入门教材先教基于规则的指代消解，初学者自然将 Winogrande 视为同类任务的翻版，忽略了它「去捷径化」的设计本质。

误区我听说 Winogrande 用了「对抗性」方法，以为是用一个对抗生成网络来自动编写难题，就像 GAN 生成图片那样。

正解Winogrande 的「对抗性过滤」指用一组弱模型来筛选题目：凡是弱模型靠表面线索能轻松答对的题就被丢弃。它不是生成题目的对抗网络，而是一个质量控制环节，核心思想是「如果连只会模式匹配的弱模型都能答对，这题就没有区分度」。真正的出题者仍然是众包标注员，对抗过滤只是质检员。

为何常见：深度学习语境中「对抗」一词常让人联想到 GAN（对抗生成网络），两个概念都涉及「对抗」但机制完全不同，容易混淆。

误区我在 Winogrande 上跑了模型，准确率从 70% 涨到 75%，就觉得模型推理能力提升了一大截，可以放心上线了。

正解准确率只是单一指标，它没有考虑模型是否靠「位置偏见」或「候选顺序」取巧。严谨的评测还要检查置信度校准（模型是否过度自信）、错误分布（错在哪些题型）以及对比人类基线。一次涨点可能来自随机噪声或提示模板变化，需要多次运行、控制变量后才能下结论。只看准确率，就像只问侦探「破了几案」却不管「有没有刑讯逼供」。

为何常见：准确率是最直观、最易获取的指标，许多团队惯以「涨点」作为模型改进的唯一证据，忽略了评测方法的科学严谨性。

误区我看到小模型准确率也有 65%，大模型才 85%，觉得推理能力差不多，「规模效应」被夸大了。

正解从 65% 到 85% 是巨大差距。在 Winogrande 这种二选一任务中，随机基线是 50%，65% 只比瞎猜高 15 个百分点，而 85% 意味着模型掌握了大多数常识推理规则。若对比约 94% 的人类基线，65% 与 85% 的差距更加触目惊心。规模效应不仅真实存在，而且是大模型浪潮的重要实证支撑。

为何常见：65% 的绝对数值看起来「还行」，但脱离随机基线和人类基线去谈绝对分数，容易低估差距的严重性。

误区我在内部系统上把 Winogrande 准确率刷到 99%，觉得模型推理能力天下无敌，不需要再看其他评测集了。

正解Winogrande 只覆盖常识性指代消解这一个切面。一个模型可能在 Winogrande 上接近满分，却在数学推理、多步因果推理等任务上明显不足。评测需要多元基准组合（如 MMLU、GSM8K、BBH）才能全面刻画能力。此外，高分可能源于训练集泄漏或对提示模板的过拟合——分数高并不等于推理好。

为何常见：「唯基准论」在 AI 业内根深蒂固，单点突破的成就感容易让人忽视评测的系统性，把「一个数据集上的领先」误当作「全面领先」。

面试题

Q1. Winogrande 的「grande」主要强调什么？

单选题 · easy

  • A.问题难度更大
  • B.数据集规模更大← 正确答案
  • C.答案选项更多
  • D.语言种类更多

答案：B。grande 在意大利语中意为「大」，Winogrande 的命名强调这是 Winograd Schema 的大规模版本，把经典问题的数量从约千级扩展到约 4.4 万级。难度和选项数并非命名的重点。

Q2. Winograd Schema 评测的核心任务是什么？

单选题 · easy

  • A.判断句子是否有语法错误
  • B.分析句子情感倾向
  • C.判断代词所指的对象← 正确答案
  • D.生成句子的同义改写

答案：C。Winograd Schema 让模型判断句中代词（如「it」）到底指代哪一个名词候选，这需要调用常识推理而非简单句法规则。

Q3. Winogrande 数据生成时使用对抗性过滤的主要目的是？

单选题 · mid

  • A.让模型生成更自然的句子
  • B.滤除弱模型能答对的题← 正确答案
  • C.减少数据集中的语义重复
  • D.提高标注员的工作效率

答案：B。对抗性过滤用弱模型筛选题目：凡弱模型能靠词汇共现等表面线索答对的题都被删除，确保幸存题目真正需要常识推理，从而区分「真推理」与「模式匹配」。

Q4. 关于 Winogrande 的难度梯度设计，以下说法正确的有？

多选题 · mid

  • A.提供 xs 到 xl 共五档规模← 正确答案
  • B.xs 档题目数量最多
  • C.xl 档是完整数据集← 正确答案
  • D.所有档位难度完全相同

答案：AC。Winogrande 提供 xs、s、m、l、xl 共五档；xs 仅约 500 题，用于快速调试；xl 是包含约 4.4 万题的完整集。各档位经过难度调节，分布并不相同。

Q5. 在 Winogrande 评测中引入人类基线的意义是？

单选题 · mid

  • A.让人类标注员辅助训练模型
  • B.给模型分数提供参照标准← 正确答案
  • C.增加数据集样本多样性
  • D.自动生成更多训练数据

答案：B。人类基线（约 94%）是能力的「天花板」参照。将模型准确率与人类水平对比，才能理解模型距离真正的常识推理还有多远。

Q6. ECE（期望校准误差）衡量模型什么特性？

多选题 · mid

  • A.自信程度与实际正确率的匹配← 正确答案
  • B.参数规模与推理能力的匹配
  • C.是否过于自信或信心不足← 正确答案
  • D.语言流畅度与逻辑性的匹配

答案：AC。ECE 把预测按置信度分桶后，比较桶内平均置信度与实际准确率。差距大说明模型「自评」不可靠，要么过度自信，要么信心不足。它不衡量参数规模或语言流畅度。

Q7. 二选一任务中模型准确率 65%，随机基线 50%，这说明？

单选题 · easy

  • A.模型完全没有学习能力
  • B.模型只比随机略好水平有限← 正确答案
  • C.模型已经达到人类水平
  • D.数据集有问题需要重做

答案：B。65% 只比瞎猜高 15 个百分点，在需要常识推理的 Winogrande 中属于偏弱水平。对比约 94% 的人类基线，说明模型的推理能力仍有很大提升空间。

Q8. Winogrande 中「对抗性干扰项」的根本作用是？

单选题 · hard

  • A.增加句子的语法复杂度
  • B.区分真推理与模式匹配← 正确答案
  • C.让标注员难以写出正确答案
  • D.降低模型的训练成本

答案：B。对抗性过滤剔除弱模型能靠统计共现答对的题，使幸存题目无法通过表面线索破解。这样的题目集能有效区分「真推理」与「模式匹配」，这是其根本价值。

Q9. 关于 Winogrande 的模型表现分析，哪些结论是正确的？

多选题 · extreme

  • A.参数量越大准确率整体越高← 正确答案
  • B.小模型已超越人类平均水平
  • C.大模型少样本可接近九成← 正确答案
  • D.Winogrande 已被完全解出

答案：AC。规模效应显著——大模型在 few-shot 设置下可达 85%–90%，但小模型仅 60%–70%；人类基线约 94%，尚未被普遍超越，Winogrande 远未被完全解决。

Q10. 在 Winogrande 评测中，为什么要控制候选词顺序？

单选题 · easy

  • A.让题目呈现更加美观
  • B.防止模型产生位置偏见← 正确答案
  • C.提高标注人员效率
  • D.让句子读起来更通顺

答案：B。如果候选顺序固定，模型可能学到「总选 A」的捷径。随机打乱或交换候选顺序，可以避免位置偏见干扰评测结果，让分数更真实地反映推理能力。