推理能力：BBH BigBench Hard

可视化演示

展示BBH从BigBench筛选23个高难度任务、CoT提示显著提升准确率，以及主流模型在BBH上的能力梯队对比。

BBH的定位：从全项运动会到极限挑战赛

全项运动会的看台上，观众最期待的不是人人拿满分的项目，而是那种“高手过招、胜负难料”的巅峰对决。BigBench 作为一场拥有 204 个项目的“AI 全项运动会”，最初的目标是尽可能全面地评估模型能力，涵盖语言理解、世界知识、数学推理等方方面面。然而，研究者们很快发现，大多数任务对当时的大模型来说都太简单了——准确率轻松超过 90%，出现了明显的“天花板效应”。

所谓“天花板效应”，是指测试题目太容易，所有选手都触顶满分，导致测试无法区分谁强谁弱。就像一场所有人都能跑进 10 秒的百米赛，冠军的含金量自然大打折扣。为了真正检验推理能力的高下，研究者从 BigBench 中精选出 23 个最难的任务，将它们组合成一个新的评测基准——BBH（BigBench Hard）。

这 23 个任务全部是人类专家标注的“高难推理题”，覆盖算法、因果、时空、社会常识等多个维度。BBH 的存在，就是要让 AI 选手们证明：我不只是背下了大量知识，我还能在从未见过的复杂问题上，像人类一样一步步地推理出正确答案。在评测体系中，BBH 是“模型能力维度评估”里推理能力这一环的关键试金石，也是一道公认的“分水岭”题目。

运动会最大的魅力在于悬念，而 BBH 的使命正是为 AI 推理能力制造悬念——让强者更强，让弱者现形。

筛选的两道硬杠杠：什么样的项目才配入选

假设你是运动会主办方，要从 204 个项目中挑出“巅峰对决”项目，你会怎么选？直觉告诉我们：太难的不行（选手全失败没意思），太简单的也不行（选手全成功没区分度）。BBH 的构建逻辑正是如此——它设下了两道“硬杠杠”，同时满足才能入选。

第一道杠：人类专家的成绩要足够好，准确率需达到 80% 以上。这保证任务本身是“可解的”，而不是因为歧义或标注错误让人无从下手。第二道杠：当时最强的模型在任务上的表现要接近随机猜测（准确率在 30% 到 60% 之间）。这意味着模型尚未掌握该任务所需的推理规律。两道杠一组合，就定义了一个关键概念——任务区分度：

为什么非要拉开差距？因为评测的本质是“测量差异”。如果选手都拿满分，仪器就失效了。BBH 用这两道硬杠杠，确保了每一个入选项目都像一把刻度精准的尺子：人类是刻度的高端，模型是刻度的低端，差值就是能力差距的读数。这道筛选逻辑后来也被许多其他评测基准借鉴，成为“高难度评测设计”的经典范式。

四大任务门派：23 个项目的家谱

入选的 23 个项目并非杂乱无章，它们像运动会里的田径、游泳、体操一样，按考查能力的侧重点分为四大“门派”。

第一大门派是“逻辑与演绎”。这类任务要求模型根据给定条件推导出必然结论，代表项目有布尔表达式判断（Boolean Expressions）、形式谬误识别（Formal Fallacies）以及“三对象/五对象/七对象逻辑推演”系列。它们考验的是纯粹的推理链：已知 A 蕴含 B，B 蕴含 C，你能推出 A 蕴含 C 吗？第二大门派是“数学与计算”，代表项目有多步算术（Multistep Arithmetic Two）、几何图形判断（Geometric Shapes）和物体计数（Object Counting），这类任务需要模型进行精确、多步骤的数值操作。

第三大门派是“常识与科学”，包括运动理解（Sports Understanding）、日期理解（Date Understanding）和导航模拟（Navigate）等。它们依赖模型对世界运行规律的直觉判断——比如“如果一个人先向北走 3 步再向左转，他面朝哪个方向”。第四大门派是“语言与多语言”，包括消歧问答（Disambiguation QA）、语言识别（Multilingual）等，考验模型在人类微妙语言现象中的判断力。

这四大门派各有各的“功法”：逻辑派考规则推演，数学派考精确计算，常识派考世界直觉，语言派考文化敏感度。一个真正的“推理之王”，必须在四个门派中都有一战之力——这正是 BBH 被设计成“极限铁人赛”的原因，它不允许偏科。

评分规则：比赛如何公平地打分

任何比赛都要有清晰的计分规则，BBH 也不例外。它的评分逻辑朴素而严格：每个任务都有一组带标准答案的测试题，模型答对一题得 1 分，该任务的准确率就是答对题目数除以总题目数。综合分数即是 23 个任务的平均准确率：

光有公式还不够，评测还要讲究“起跑线公平”。BBH 采用少样本提示（Few-shot Prompting）的方式：在正式测试前，给模型展示 6 个人类解题的示例，让模型模仿示例的格式作答——这相当于赛前热身，确保模型理解了题目的形式和答题规范。到了 2022 年，研究者又引入了思维链（Chain-of-Thought，CoT）提示：不仅要求模型给出答案，还要求它把推理步骤一步步写出来，就像考试中“要求写出计算过程”。这一看似微小的规则改动，却让模型成绩发生了惊人的变化——我们将在后文看到它的威力。

模型表现现状：选手们的成绩单

翻开 2022 年的 BBH 成绩单，人类专家基线的平均准确率约为 85%，而当时最强的 PaLM 540B 模型在传统的“直接作答”模式下只有 42% 左右——差距一眼可见。这个成绩单也量化出一个重要的指标：能力系数，即模型准确率与人类基线的比值。

更有趣的是细项数据：在“日期理解”“运动理解”这类依赖常识的任务上，模型表现相对较好；而在“多步算术”“逻辑推演”这类需要严谨推理链的任务上，模型准确率甚至低于 30%，与随机猜测无异。成绩单还揭示了一个重要规律：当引入思维链提示后，PaLM 540B 的平均准确率从 42% 跃升至约 65%，提升幅度超过 20 个百分点。

这说明什么呢？就像一位运动员，不是体力不行，而是“不会分配节奏”——AI 不是不会推理，而是缺少一个把推理过程“外显”出来的机制。BBH 的成绩单，第一次让研究者如此清楚地看到：大模型的推理短板，往往不在于知识储备，而在于推理过程的组织与表达。

突破与趋势：如何逼近人类基线

既然 BBH 暴露了短板，突破的方向也就清晰了。思维链提示（CoT）的引入是 BBH 评测史上最重大的转折点。它带来的提升幅度可以量化如下：

思维链为什么有效？因为它把“黑箱思考”变成了“白纸演算”——模型被迫在答案之前先写出一行行推理过程，就像小学生做应用题必须“写步骤得分”，错误在中间步骤就能被暴露和修正。此后，研究者进一步发现“规模效应”：模型参数越大、训练数据越丰富，CoT 带来的增益越稳定。PaLM 540B 从 42% 提升到 65%，而小模型即使使用 CoT，提升也十分有限。

展望未来，BBH 评测体系正在向两个方向演进：一是动态化，通过持续生成新题目防止模型“背题库”；二是多模态化，把图像、音频等非文字推理纳入考验范围。在 AI 能力评测的赛道上，BBH 的故事远未结束——它已经从一道考题，变成了整个评测体系的设计哲学。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""BBH style task filter and evaluation simulator."""  def build_task_pool():    tasks = [        {"name": "boolean_expressions", "human": 0.90, "zero_shot": 0.42},        {"name": "causal_judgement", "human": 0.88, "zero_shot": 0.55},        {"name": "date_understanding", "human": 0.86, "zero_shot": 0.38},        {"name": "multistep_arithmetic", "human": 0.92, "zero_shot": 0.35},        {"name": "logical_deduction", "human": 0.87, "zero_shot": 0.48},        {"name": "sports_understanding", "human": 0.84, "zero_shot": 0.60},        {"name": "multilingual_qa", "human": 0.80, "zero_shot": 0.31},        {"name": "physical_intuition", "human": 0.89, "zero_shot": 0.52},    ]    return tasks  def filter_hard_tasks(tasks, human_min=0.80, model_max=0.65):    picked = []    for t in tasks:        if t["human"] >= human_min and t["zero_shot"] <= model_max:            picked.append(t)    return picked  def evaluate_model(tasks, cot_gain=0.18):    total = len(tasks)    correct = 0    for t in tasks:        cot_score = t["zero_shot"] + cot_gain        correct += min(cot_score, t["human"] + 0.02)    return correct / total * 100  def main():    pool = build_task_pool()    hard = filter_hard_tasks(pool)    print("入选BBH风格任务数量:", len(hard))    for t in hard:        print(" -", t["name"], "human:", t["human"], "model:", t["zero_shot"])    acc = evaluate_model(hard)    print("引入思维链后综合准确率: %.1f%%" % acc)  if __name__ == "__main__":    main()

1. {"name": "boolean_expressions", "human": 0.90, "zero_shot": 0.42}每个任务用字典保存三项信息：任务名、人类基线准确率、模型零样本准确率
2. if t["human"] >= human_min and t["zero_shot"] <= model_max:复刻 BBH 的两道硬杠杠：人类必须会做，模型必须不会
3. picked.append(t)通过筛选的任务进入“BBH 候选名单”
4. cot_score = t["zero_shot"] + cot_gain模拟引入思维链提示后模型成绩的提升
5. min(cot_score, t["human"] + 0.02)设定“天花板约束”：模型再强，也不应大幅超过人类基线
6. return correct / total * 100计算综合准确率，对应评测报告中的核心数字
7. print("入选BBH风格任务数量:", len(hard))输出筛选结果，直观展示“从全量任务到精选高难任务”的过程

常见误区

面试题