侦探事务所来了一批新学员，所长老周拿出一套“纯逻辑考卷”：不考城市地理，不考历史人物，只考“如果门锁被撬，窗户必有脚印；门锁确被撬，你推出什么？”这套考卷让所有学员在同样的起跑线上比拼推理本能。AI世界里的逻辑推理Benchmark正是这样一张标准化考卷，它用演绎、归纳、抽象三类任务，系统评估模型在规则学习、模式识别和推理链构建上的真实水平，让不同模型的能力可以量化对比。

岗位关联

对AI从业者来说，掌握逻辑推理Benchmark的构建逻辑，等于学会用一把“标准尺”诊断模型能力，是模型评估、选型和优化的关键技能。

目录
  1. 可视化演示
  2. 评测总览
  3. 演绎推理
  4. 归纳推理
  5. 抽象推理
  6. 数据集设计
  7. 评估指标
  8. 应用局限
  9. 演进趋势
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示演绎/归纳/抽象三类逻辑推理任务、多步推理链构建过程（前提→规则→推导→结论）、以及序列模式识别与RPM矩阵推理评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

三类逻辑推理任务 演绎推理：从一般规则推导具体结论（A→B→C） 归纳推理：从具体案例总结一般规律（2,4,6,8→?） Types: Deductive + Inductive + Abstract 抽象推理识别符号间逻辑模式

评测总览

所长老周设计新学员考卷时，故意不考死记硬背，只考纯粹的推理结构。“假如门被撬则窗有脚印”这种规则题，谁都能答。通过这样的设计，新手和老手被放在同一起跑线。逻辑推理Benchmark正是这套“侦探考卷”的AI版本：不依赖海量知识，只追问模型能不能在给定条件下推出该有的结论。

在实际评测中，Benchmark会把逻辑推理拆成三类任务：演绎推理、归纳推理、抽象推理。演绎看规则应用，归纳看模式总结，抽象看视觉关系。它们共同构成一个“推理能力体检表”。相比真实业务指标，这类基准的优势是目标单一、结构清晰，能让不同模型在同样难度、同样规则约束下进行公平比武。

评测最后通常输出一个标准得分，最基础的是准确率——所有题目中答对的比例。它把复杂的推理表现压缩成一个可排序的数值，方便团队快速判断模型是强是弱。

老周的考卷让所有学员分数公开可比，AI模型也在同一把尺子下分出高下。评测总览的核心不是制造难题，而是建立公平的比较场。

Accuracy=CorrectTotal\displaystyle Accuracy = \frac{Correct}{Total}
通俗说明：准确率就是考卷上答对的题数占总题数的比例，分数越高代表推理能力越强。
  1. 分子 Correct答对的题目数量，代表模型在推理考卷上拿下的分数。
    Correct\text{Correct}
  2. 分母 Total考卷上的总题目数，代表测试覆盖的范围。
    Total\text{Total}
  3. 整体比例两者相除，得到0到1之间的标准化得分。
    CorrectTotal\frac{Correct}{Total}

演绎推理

侦探老周接到一个案子：安保系统设定“若警报响，则门锁必被破坏”。现场警报确实响了，老周不用查任何背景，立刻就能推断门锁被破坏。这种“从固定规则到必然事实”的推导，就是演绎推理。它是逻辑推理中最硬核的一类：只要前提和规则为真，结论就逃不掉。

在逻辑推理Benchmark中，演绎推理任务把这种规则链交给模型。题目会给出若干条规则和前提，让模型推出唯一必然结论。它不考经验，只考规则应用这条思维路径。比如经典三段论“所有A都是B，x是A，所以x是B”，模型必须识别出大前提、小前提和结论之间的包含关系，而不是靠记忆相似句子答题。

这类任务还会测试“推理链构建”：多个规则串联在一起时，模型需要先推出中间结论，再继续推导最终结果。中间任何一环出错，最终答案都会错。因此演绎推理的得分能直接反映模型在逻辑链条上的稳定性。

像侦探按所里铁律破案，演绎任务能清晰暴露模型能否守住逻辑链条。一个在演绎题上翻车的模型，基本可以断定它只是看起来聪明，并没有掌握规则推导。

(P→Q)∧P⇒Q\displaystyle (P \rightarrow Q) \land P \Rightarrow Q
通俗说明：当前提“P真”和规则“P推出Q”都成立时，逻辑上必然得到“Q真”。
  1. 规则$P \rightarrow Q$ 表示“如果P成立，那么Q成立”。
    P→QP \rightarrow Q
  2. 前提$P$ 是当前确认为真的事实。
    PP
  3. 结论用“与”连接规则和前提后推出Q。
    (P→Q)∧P⇒Q(P \rightarrow Q) \land P \Rightarrow Q

归纳推理

老周让阿智看100个现场，发现每个现场都有一根灰色猫毛，于是阿智归纳“嫌疑人可能养猫”。归纳不是百分百必然，但从案例中找规律是侦探的重要直觉。逻辑推理Benchmark中的归纳推理任务，就是让模型扮演这个从案例中“悟出规则”的侦探。

具体来说，题目会给出一组样例，比如一串数字、一组形状、或一系列事件关系，然后要求模型找出潜藏规则，并预测下一个没有见过的新样例。这里的核心是“规则学习”和“模式识别”，而不是背诵样例。模型需要像一个慢慢建立假设的人类，不断用新数据修正自己对规则的信任程度。

贝叶斯后验能够很好地描述这种“边看边更新”的过程：在没有任何数据前，模型对规则有一个初始信任度；每看到一个配合规则的数据，信任度就增强；看到反例，信任度就下降。归纳推理评测关注的正是：模型能不能在有限样例中总结出正确规律，并避免把偶然模式当必然规律。

归纳任务就像训练侦探从猫毛里总结规律，既要敏锐，也要防止把偶然当必然。一个优秀的模型应该能权衡证据，而不是死记硬背样例。

P(H∣D)=P(D∣H)P(H)P(D)\displaystyle P(H \mid D) = \frac{P(D \mid H) P(H)}{P(D)}
通俗说明：看到新样例D后，我们重新计算“规则H成立”的后验概率；这个值越高，模型越相信该规则。
  1. 先验$P(H)$ 是看到数据前对规则H的初始信任度。
    P(H)P(H)
  2. 似然$P(D \mid H)$ 表示如果规则H成立，当前样例D出现的可能性有多大。
    P(D∣H)P(D \mid H)
  3. 后验分子相乘再除以 $P(D)$ 归一化，得到看到样例后的新信任度。
    P(H∣D)=P(D∣H)P(H)P(D)P(H \mid D) = \frac{P(D \mid H) P(H)}{P(D)}

抽象推理

阿智盯着考卷上的图形题：第一行圆变方，第二行三角变星，第三行空格该填什么？这不需要任何文字知识，只看图形之间的变化关系。抽象推理任务专门测试这种“纯关系脑”，是逻辑推理Benchmark中最不依赖语言的一类。

常见的抽象推理形式包括图形类比和瑞文渐进矩阵。矩阵中的每一格都包含一组图形，横向、纵向各存在一套变换关系，模型需要综合这些关系补全缺失格。由于题干不使用自然语言，模型无法靠常识或记忆答题，只能依赖对形状、方向、数量等视觉元素的关系映射能力测试。

在评测中，抽象推理任务可以抽象为一种“关系叠加”：目标格由水平方向已知格的关系和垂直方向已知格的关系共同决定。模型必须分别提取两个方向上的变换，再把它们合成答案。

抽象推理像侦探看图找规律，绕开语言和知识，直击模型的抽象思维能力。如果模型在这里表现优秀，说明它有一定的符号化关系建模能力，而不仅仅是语言模式匹配。

X=f(A,B)⊕g(C,D)\displaystyle X = f(A, B) \oplus g(C, D)
通俗说明：目标图形X由水平方向的关系f(A,B)与垂直方向的关系g(C,D)共同决定，两个分量叠加得到答案。
  1. 水平关系$f(A,B)$ 提取同一行前两格之间的图形变换规律。
    f(A,B)f(A, B)
  2. 垂直关系$g(C,D)$ 提取同一列已知格的图形变换规律。
    g(C,D)g(C, D)
  3. 叠加用 $\oplus$ 合并两个方向的规律，得到唯一目标X。
    X=f(A,B)⊕g(C,D)X = f(A, B) \oplus g(C, D)

数据集设计

如果考卷题目被学员提前背熟，分数就没有意义。老周有自己的一套“题库生成机”，每次按规则模板生成新题，让学员无法靠记忆蒙混过关。逻辑推理Benchmark的数据集设计也遵循同样思想：通过规则模板自动生成逻辑题，设置不同难度层次，并刻意避免与模型训练语料重叠。

具体设计时，数据生成器会先定义一组原子规则，再组合出大量不同形态的题目。这样既能保证每道题有唯一标准答案，又能控制系统难度梯度。为了防止模型“背答案”，研究员还要做“防记忆设计”：生成时改变符号、顺序和表面表达，确保测试集与训练分布不完全重合。

数据集中的每个样本本质上是“题目-标准答案”对。模型看到的输入和人类考生看到的考卷一样，都需要一个明确答案。标准答案的确定性是Benchmark可信赖的前提，如果题目有歧义，后续评分就失去了意义。

好的题库生成机像侦探所不断更新考卷，确保分数反映真实推理，而不是背题记忆力。数据集设计越严谨，Benchmark的结果就越有说服力。

Dtrain={(xi,yi)}i=1N\displaystyle D_{train} = \{(x_i, y_i)\}_{i=1}^{N}
通俗说明：训练集就是N个“题目-答案”对组成的集合，题目x_i和标准答案y_i一一配对。
  1. 样本对$(x_i, y_i)$ 代表一道题和它的标准答案。
    (xi,yi)(x_i, y_i)
  2. 集合范围下标i从1到N，表示一共N道题。
    {(xi,yi)}i=1N\{(x_i, y_i)\}_{i=1}^{N}
  3. 训练集$D_{train}$ 是模型用来学习规则的全部题目集合。
    Dtrain={(xi,yi)}i=1ND_{train} = \{(x_i, y_i)\}_{i=1}^{N}

评估指标

只看“答对题数”会冤枉一些谨慎的侦探：他可能很少下手，但每次判断都准；另一位快速抢答，错得也多。老周需要更精细的计分表。逻辑推理Benchmark也会在准确率之外引入F1分数、一致性和泛化差距，尤其在正负样本不均衡时，F1能同时惩罚漏报和误报。

F1 是精确率 Precision 和召回率 Recall 的调和平均。精确率关心“模型说对的时候有多准”，召回率关心“正确答案里模型找到了多少”。两者常常此消彼长：模型越保守，精确率高但召回率低；模型越激进，召回率高但精确率低。F1 把两个指标拉到同一张尺子上，避免单看一项产生误导。

在逻辑推理评测中，例如判定一个结论是否可由前提推出，每个样本只有“可推出”和“不可推出”两个标签。如果模型只回答“可推出”，即使交互任务全对，也可能在反例上大量翻车。F1 能让这种偏科模型现出原形。

多维指标像侦探所的“稳准全”三项打分，防止单一分数掩盖推理风格缺陷。只有综合指标，才能把“真正的推理高手”和“只管蒙对的答题机器”区分开。

F1=2×Precision×RecallPrecision+Recall\displaystyle F1 = \frac{2 \times Precision \times Recall}{Precision + Recall}
通俗说明：F1越接近1，说明模型既不轻易漏掉正确答案，也不频繁报错。
  1. 精确率 Precision所有模型判定为“可推出”的答案中，真正正确的比例。
    Precision=TPTP+FP\displaystyle Precision = \frac{TP}{TP + FP}
  2. 召回率 Recall所有真正“可推出”的答案中，被模型找出来的比例。
    Recall=TPTP+FN\displaystyle Recall = \frac{TP}{TP + FN}
  3. 调和平均两者结合得到F1，避免用简单算术平均掩盖某一项短板。
    F1=2×Precision×RecallPrecision+Recall\displaystyle F1 = \frac{2 \times Precision \times Recall}{Precision + Recall}

应用局限

阿智在考卷上拿了高分，可第一次独立办案就栽了——嫌犯没按“门锁被撬”的规律出牌。老周说，考场再真实，也替代不了坑坑洼洼的现实。逻辑推理Benchmark也是如此：它在模型诊断和能力对比上很强大，但存在领域局限、测试集饱和和自然语言干扰，不能作为真实场景的全部答案。

一个常见信号是泛化差距。模型在训练集上准确率远高于测试集，说明它记住了题目模式，而不是学会推理。差距越大，模型越像一个“背题型学员”。因此Benchmark报告往往不只给一个分数，还会给出训练、测试分数差，提醒使用者注意模型是否存在过拟合。

此外，纯逻辑Benchmark通常使用抽象符号或简化自然语言，但真实业务中的问题往往模糊、多义，还夹杂领域知识。模型可能在这个Benchmark上表现出色，却在客服、法律、医疗等具体场景中力不从心。

考卷高分的侦探还需要真实案件磨砺，基准测试也只是一个强大的“望远镜”，并非全能显微镜。使用逻辑推理Benchmark时，必须结合业务场景看因果链条，不能只信单一数字。

Δ=Acctrain−Acctest\displaystyle \Delta = Acc_{train} - Acc_{test}
通俗说明：训练准确率减测试准确率，差值越大，说明模型在测试集上的泛化越差。
  1. 训练准确率$Acc_{train}$ 是模型在训练集题目上的得分。
    AcctrainAcc_{train}
  2. 测试准确率$Acc_{test}$ 是模型在从未见过的测试题目上的得分。
    AcctestAcc_{test}
  3. 差距$\Delta$ 反映模型是否过度依赖训练模式。
    Δ=Acctrain−Acctest\Delta = Acc_{train} - Acc_{test}

演进趋势

老周发现犯罪手法在升级，于是把侦探考核从纸面题升级成模拟犯罪现场，甚至加入监控录像和多语种口供。推理评测也必须跟着模型一起进化。逻辑推理Benchmark正从静态的“固定考卷”走向动态的“不停换题”的评测体系，以应对日益严重的数据污染问题。

动态基准会按规则模板持续生成新题，让模型无法通过刷题提升分数。多模态推理则把视觉、空间和语言线索放在同一个推理链条中，考察模型跨模态的关系理解能力。与此同时，研究者越来越关注自回归模型的“推理链”，要求模型不仅给出答案，还要让中间每一步都可被检查、可被解释。

这些趋势可以用准确率提升率来量化观测：同一模型在版本更新后，基准分数提高了多少。比如一个基础模型从旧版本到新版本，逻辑推理准确率从60%提升到75%，说明训练产生了真实进步。提升率让团队在迭代时有一个明确的目标。

像侦探考核不断换新题型，只有持续进化的评测体系，才能量出模型真正的成长。逻辑推理Benchmark的未来不是更难的题目，而是更真实的“推理现场”。

R=Accnew−AccoldAccold×100%\displaystyle R = \frac{Acc_{new} - Acc_{old}}{Acc_{old}} \times 100\%
通俗说明：R是推理能力提升率，数值越大说明新版本模型在推理测评上进步越明显。
  1. 增量$Acc_{new} - Acc_{old}$ 表示新版本比旧版本多出的准确率。
    Accnew−AccoldAcc_{new} - Acc_{old}
  2. 基线除以 $Acc_{old}$，把增长幅度转换成相对于旧模型的百分比。
    Accnew−AccoldAccold\frac{Acc_{new} - Acc_{old}}{Acc_{old}}
  3. 百分比乘以100%，得到更直观的提升率。
    ×100%\times 100\%

AI 应用场景

大模型上线前的“推理体检”

阶段：模型评估与诊断

解决的问题：传统人工测试依赖少量案例，主观且覆盖有限；AI使用标准化逻辑推理Benchmark自动生成大量题目，从演绎、归纳、抽象三个维度量化模型推理健康度。

具体案例：某客服团队微调LLM后，跑逻辑推理Benchmark发现演绎推理正确率仅62%，定位为指令数据缺少规则链，补充了1000条三段论数据后提升到82%。

多模型选型对决

阶段：模型选型与采购

解决的问题：不同模型业务表现接近时，难以判断谁逻辑更稳；用同一份标准化推理考卷对比，能揭示业务指标之外的推理能力差异。

具体案例：某企业选基座模型，分别对两个候选模型运行逻辑推理Benchmark，A模型归纳推理F1高，B模型抽象推理强，最终根据业务多为文本规则判断，选择A模型。

推理能力专项训练

阶段：模型训练与优化

解决的问题：全量数据微调成本高，先通过Benchmark精确定位薄弱推理维度，再针对该维度生成训练样本，形成“评测—训练—复测”闭环。

具体案例：研究员发现模型在归纳推理任务上存在过拟合，加入带噪声的等差序列样本后，泛化差距缩小22%，F1提升9个点。

Python 演示

python52 行
"""A tiny logic reasoning benchmark demo."""import random def gen_deductive(n=30):    return [(random.choice([True, False]),) for _ in range(n)] def predict_deductive(p):    return p def gen_inductive(n=30):    samples = []    for _ in range(n):        step = random.randint(1, 5)        start = random.randint(0, 20)        seq = [start, start + step, start + 2 * step]        samples.append((seq, start + 3 * step))    return samples def predict_inductive(seq):    return seq[-1] + (seq[1] - seq[0]) def gen_abstract(n=30):    samples = []    for _ in range(n):        a = random.randint(0, 1)        b = random.randint(0, 1)        samples.append((a, b, a ^ b))    return samples def predict_abstract(a, b):    return a ^ b def evaluate_deductive():    data = gen_deductive()    return sum(1 for (p,) in data if predict_deductive(p) == p) / len(data) def evaluate_inductive():    data = gen_inductive()    return sum(1 for seq, label in data if predict_inductive(seq) == label) / len(data) def evaluate_abstract():    data = gen_abstract()    return sum(1 for a, b, label in data if predict_abstract(a, b) == label) / len(data) if __name__ == "__main__":    scores = {        "deductive_acc": evaluate_deductive(),        "inductive_acc": evaluate_inductive(),        "abstract_acc": evaluate_abstract(),    }    for name, acc in scores.items():        print(name, round(acc, 3))
目的：用随机生成器搭建三类逻辑推理小评测，演示一个“理想推理器”在演绎、归纳、抽象任务上的准确率评估流程。
  1. def gen_inductive(n=30):生成等差序列待测样本，模拟归纳推理中的规律发现任务。
  2. seq = [start, start + step, start + 2 * step]构造三个连续项，让模型根据前三项推断步长。
  3. predict_inductive(seq)用等差规律预测下一项，代表待测模型的推理逻辑。
  4. evaluate_abstract()统计抽象推理任务中模型正确预测数占总数的比例。
  5. for name, acc in scores.items():输出三类推理任务的准确率报告，形成标准Benchmark结果。

常见误区

误区模型在逻辑推理Benchmark上拿了高分，那它一定拥有通用逻辑推理能力。分数好看，直接部署就行。

正解Benchmark分数只是标准考卷上的表现，模型可能通过记忆相似题目、统计捷径或语言模式拿到分数。就像学员背了考卷答案，真实办案仍会露馅。评测报告要结合泛化差距、数据污染检测一起看，不能只看最终数字。

为何常见：因为人看到高分的第一反应是“能力好”，忽略了测试本身可能被刷分。

误区逻辑推理Benchmark不依赖领域知识，所以对任何语言和文化都绝对公平，不需要考虑语言表达差异。

正解题目虽然不考察事实记忆，但题干仍用自然语言表达，不同语言的翻译、语序、文化语境都会产生难度偏差。好比用英文绕口令考中文母语者，表面考逻辑，实际夹带语言负担。设计时还要控制语言简洁性和跨语言一致性。

为何常见：因为“不依赖领域知识”被理解成“零语言影响”，忽略了自然语言本身是信息载体。

误区给模型多看几个样例就能学会归纳，不需要严格设计样本分布和反例比例。多塞数据就好。

正解归纳推理的评估必须控制样例覆盖、噪声比例和反例分布，否则模型只是记住了统计倾向而非规则。侦探不能只看100个有猫毛的现场，而忽略没有猫毛的现场。好的归纳Benchmark会把正例、反例、边缘情况按比例混合。

为何常见：因为人类归纳常基于少量直觉，忽略了样本偏差对泛化评估的干扰。

误区只要把题目出得特别难，逻辑推理Benchmark就一定更好。难度越高越能拉开模型差距。

正解如果题目难到人类专家也做不出，或生成规则存在歧义，基准就无法有效区分模型能力，还会奖励“蒙对”的随机猜测。好的Benchmark像正规考试，要有难度梯度和唯一标准答案，让中等模型能被稳定排序，而不是一锅粥式地全军覆没。

为何常见：因为高难度常与高质量划等号，忽略了评测的区分度和可靠性。

面试题

Q1. 逻辑推理Benchmark最核心的特点是什么？

单选题 · easy

  • A.依赖大量领域知识
  • B.聚焦纯逻辑结构← 正确答案
  • C.只测试记忆力
  • D.无需标准化评分

答案：B。逻辑推理Benchmark的本质是剥离领域知识，只考察模型在规则学习和推理链上的表现，因此聚焦纯逻辑结构。依赖知识、只测记忆、无需评分都和Benchmark的设计目标相反。

Q2. 推理任务“所有A都是B，x是A，因此x是B”属于哪种推理？

单选题 · easy

  • A.演绎推理← 正确答案
  • B.归纳推理
  • C.类比推理
  • D.随机猜测

答案：A。这是经典三段论结构，从一般规则推出个别结论，属于演绎推理。归纳是从个别例子总结一般规律，类比是寻找相似性，随机猜测不符合题干中的必然推出关系。

Q3. 关于归纳推理与演绎推理的区别，下列说法正确的是？

单选题 · mid

  • A.结论必然成立
  • B.从一般到个别
  • C.归纳从个别到一般← 正确答案
  • D.无需任何前提

答案：C。归纳推理的典型路径是从一系列个别样例中总结一般规则，结论可能被新样例推翻；演绎推理从一般规则推出个别结论。A说“结论必然成立”是演绎特点，B是演绎路径，D明显错误。

Q4. 抽象推理任务主要评估模型的什么能力？

单选题 · mid

  • A.事实记忆能力
  • B.关系映射与抽象← 正确答案
  • C.自然语言生成
  • D.基础算术计算

答案：B。抽象推理题目通常以图形类比或矩阵形式出现，模型需要识别和叠加图形间的关系，不依赖语言和知识。它直接考察关系映射与视觉抽象能力，而不是记忆、语言生成或单纯算术。

Q5. 为什么逻辑推理Benchmark需要做“防记忆设计”？

单选题 · hard

  • A.防止题目太简单
  • B.避免背答案污染← 正确答案
  • C.降低生成成本
  • D.提升图像分辨率

答案：B。如果测试题目与模型训练语料高度重叠，模型可能靠背诵而非推理获得高分，导致评测结果失真。防记忆设计通过模板生成新题、更换符号和表达形式，降低数据污染风险。其他选项都不是目标。

Q6. 泛化差距△=Acc_train−Acc_test越高，说明什么？

单选题 · hard

  • A.训练准确率偏高
  • B.训练过拟合风险高← 正确答案
  • C.样本难度设置高
  • D.推理速度变得慢

答案：B。训练准确率远高于测试准确率，说明模型记住了训练集的题目模式，却没有真正学会可泛化的规则，这就是过拟合。样本难度和推理速度与差距大小没有直接关系。

Q7. 逻辑推理Benchmark在AI能力评估中的地位是什么？

单选题 · easy

  • A.唯一的评估标准
  • B.标准化量化方案← 正确答案
  • C.只能用于娱乐互动
  • D.无法横向对比模型

答案：B。Benchmark为模型推理能力提供标准化量化方案，支持横向对比，是评估体系中的重要工具，但并非唯一标准。它不用于娱乐，也能对比模型，因此其他选项不成立。

Q8. 逻辑推理Benchmark通常包含哪些推理任务？

多选题 · mid

  • A.演绎推理← 正确答案
  • B.归纳推理← 正确答案
  • C.抽象推理← 正确答案
  • D.图像分类

答案：ABC。逻辑推理Benchmark的三大支柱是演绎、归纳和抽象推理，三者在摘要中被反复强调。图像分类属于视觉识别任务，不依赖逻辑规则结构，不属于逻辑推理Benchmark的标准组成。

Q9. 下列哪些是逻辑推理Benchmark评估中常见的偏差来源？

多选题 · hard

  • A.训练数据污染← 正确答案
  • B.语言表述干扰← 正确答案
  • C.测试集类别不平衡← 正确答案
  • D.显示器刷新率

答案：ABC。训练数据污染会让模型靠记忆得分；语言表述干扰会带来不公平的语义负担；测试集类别不平衡会影响准确率的可靠性。显示器刷新率与推理评测本身无关，属于硬件噪声干扰项。

Q10. 在抽象推理任务评估中，除准确率外，还可以用哪些指标反映推理质量？

多选题 · mid

  • A.F1分数← 正确答案
  • B.一致性← 正确答案
  • C.泛化差距← 正确答案
  • D.机器功耗

答案：ABC。F1分数衡量正负样本判断的平衡性，一致性考察模型面对相似题目是否给出稳定答案，泛化差距帮助判断模型是真的学会了规则还是死记硬背。机器功耗是工程成本指标，与推理能力度量无关。