学校想比较两个学生的真实水平，最公平的办法是什么？把他们拉进同一间教室，发同一张卷子，用同一个标准判分。多模态大模型的较量也一样：各家模型都号称自己“能看会想”，可如果各说各话，根本没有可比性。MMBench 就是为此设立的“期末考试局”——它把感知、推理、知识等能力拆成一张张“科目表”，用图文选择题当考题，让所有模型在同样的规则下同场竞技。 为了防止学生靠蒙题技巧拿高分，命题组还留了一手：把同一道题的选项顺序打乱，换个位置再考一遍，这就是环形评测（CircularEvaluation）。考完贴出年级大榜，就是模型排行榜。当然，一份卷子说明不了一切，于是还有 SEED、MMMU 这些“友校模拟卷”可供交叉验证。一句话，MMBench 就是给多模态大模型准备的一场全方位、防作弊、可排名的综合能力考试。

岗位关联

掌握 MMBench 的能力维度与防作弊机制，你就能像教务处主任一样看懂多模态模型的“成绩单”，在选型、评测、迭代中做出数据驱动的判断。

目录
  1. 可视化演示
  2. 基准设计理念
  3. 能力维度体系
  4. 防猜测机制
  5. 数据构建方法
  6. 排行榜解读
  7. 基准横向对比
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示MMBench两层能力分类树、CircularEvaluation防猜测机制和多模型基准对比，可视化多维度评测与选型过程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

MMBench能力维度设计 两层能力分类树：感知、推理、知识三大粗粒度维度及细粒度子能力 3×N 多维度评测全面覆盖模型能力边界

基准设计理念

想把不同学生的真实水平比一比，最公平的办法是让他们进同一间考场、答同一张卷子。老师不能因为某个学生平时表现好就多给几分，也不能因为另一个学生来自名校就判卷宽松。MMBench（多模态大模型基准）就是这样一个“期末考试局”：不管是闭源的顶尖大厂模型，还是开源社区自制的小模型，都必须在同一套图文考题面前见真章。

要组织一场公平的考试，命题组必须先定三件事：考哪些科目、怎么判卷、成绩用来干什么。MMBench 的设计者也从同样的三个问题出发——模型需要哪些能力？如何用统一的判分标准衡量？最终的分数如何服务于模型之间的横向比较？这三件事构成了基准的第一性设计原则。

MMBench 把考题设计成图文结合的选择题：给模型一张图片和一句提问，模型从四个选项中选一个答案。选择题最大的好处是判卷完全客观——对就是对，错就是错，不依赖人工打分。所有模型跑同一套题、按同一套计分规则汇总，总分才具备可比性。而总分通常不是简单平均，而是把各能力维度的正确率按权重加权求和，让重要能力占更高分值。

这就像高中把语文、数学、外语的满分设定得不同，主科占分高、副科占分低，最后按权重折算总成绩。MMBench 的总分规则也是如此：权重怎么定，直接决定了这份“期末成绩单”是否能反映出模型最重要的能力。

S=∑i=1nwi⋅AiS = \displaystyle\sum_{i=1}^{n} w_i \cdot A_i
总得分等于各能力维度得分乘以其权重后累加，就像高考把语文、数学、外语按不同满分折算成总成绩。
  1. 总得分S 表示模型在 MMBench 上的综合得分，相当于期末考试总成绩。
    SS
  2. 累加符号\displaystyle\sum_{i=1}^{n} 表示把 n 个能力维度依次加总，像把各科分数汇总到一张成绩单。
    ∑i=1n\displaystyle\sum_{i=1}^{n}
  3. 科目权重w_i 是第 i 个能力维度的权重，决定该科占分比重，类似主科与副科的分值差异。
    wiw_i
  4. 科目得分A_i 是模型在第 i 个维度上的正确率，即该科答对题数占总题数的比例。
    AiA_i

能力维度体系

一张卷子如果只考“会不会算数”，数学好的学生就能通吃全场，这显然不公平。现实中的考试会把学科分成语文、数学、英语，再进一步拆成拼音、作文、函数、几何等具体知识点。MMBench 对多模态能力的考察也是这个思路：先分大类，再分小类，层层细化。

在粗粒度上，MMBench 把能力划分为感知、推理、知识等几个大类，类似文理科的划分；在细粒度上，每个大类又被拆成更具体的技能，例如感知大类下会有物体识别、颜色判断、空间关系等。每道考题都会被标注它考察的细粒度能力标签，相当于在试卷上写明“本题考察：空间推理”。

这样的双层次设计让评测结果不只是冷冰冰的总分。拿到成绩单后，你可以逐维度查看：模型在“物体识别”上拿了 95 分，却在“空间推理”上只有 60 分。这种细粒度得分就像体检报告上的分项指标，能精确指出模型“哪块肌肉发达、哪块肌肉萎缩”。

体育老师不会用一句“体育不错”概括学生，而是分别记录跑步、跳远、引体向上的成绩。MMBench 把能力拆得越细，模型开发者就越容易找到训练数据的缺口，也越能看清两个模型之间的真正差异。

Ad=CdNdA_d = \displaystyle\frac{C_d}{N_d}
某个能力维度的得分，等于该维度答对的题数除以该维度总题数，也就是“这科的正确率”。
  1. 维度得分A_d 表示模型在第 d 个细粒度能力维度上的正确率，是衡量单科水平的指标。
    AdA_d
  2. 分子含义C_d 是该维度下答对的题目数量，相当于单科做对的题数。
    CdNd\displaystyle\frac{C_d}{N_d}
  3. 分母含义N_d 是该维度下的题目总数，用作归一化分母，把不同题量的科目拉到同一百分制可比。
    NdN_d

防猜测机制

班里总有这么一类学生：知识点不会，但蒙题技巧一流。老师发现有学生靠“三长一短选最短”拿高分后，就发明了一招——把同一道题的选项顺序打乱，换个位置再考一遍。会做的学生照样选对，蒙题的学生立刻露馅。MMBench 的 CircularEvaluation（环形评测）就是这个思路的考试学版本。

环形评测的执行流程并不复杂：对一道题，先将四个选项随机打乱，形成多个选项顺序不同的“同位题”，然后分别让模型作答。如果模型真正理解了题目内容，它应该始终指向同一个语义答案；如果模型只是记住了“A 选项是对的”，那么选项一换位，它的答案就会跟着漂移。

具体评测时，每道题会进行多轮重排并多次询问模型，最后统计模型是否在所有轮次中都给出同一正确答案。多轮一致率高的模型，成绩被认为是“扎实”的；首轮答对但多轮不一致的模型，则很可能是在碰运气，它的分数可信度会被下调。这一机制相当于在成绩单之外，额外附了一份“诚信指数”。

老师把“哪个是红色苹果”的四个选项调换位置再问一遍，蒙对一次不难，次次蒙对几乎不可能。环形评测正是利用这个朴素道理，把靠运气的分数从实力分数中一点点挤出去，让榜单上的每一个高分都更经得起复考。

R=1K+1∑k=0KI[ak=g]R = \displaystyle\frac{1}{K+1}\sum_{k=0}^{K} \mathbb{I}[a_k = g]
一道题从原始版本到 K 次重排版本共考 K+1 遍，统计答出标准答案的比例；比例越高，说明模型不是靠猜。
  1. 多轮正确率R 表示这道题在多次重排作答中的综合正确率，是环形评测的核心统计量。
    RR
  2. 轮次平均\displaystyle\frac{1}{K+1}\sum_{k=0}^{K} 表示把原始版本和 K 个重排版本的作答结果取平均，像把多次小测成绩一起算总分。
    1K+1∑k=0K\displaystyle\frac{1}{K+1}\sum_{k=0}^{K}
  3. 判定函数\mathbb{I}[a_k = g] 在第 k 轮回答与标准答案一致时取 1，否则取 0，如同判卷老师逐题在答题卡上打勾或打叉。
    I[ak=g]\mathbb{I}[a_k = g]

数据构建方法

一套好卷子的诞生，远不是“出题老师随手写几道题”那么简单。正规考试的命题流程通常是：先由教研组根据大纲批量产出题目初稿，再由经验丰富的老教师逐题审核修改，最后还要试考一遍，剔除有歧义、超纲、答案存疑的题。MMBench 的数据构建也遵循同样的三道工序。

第一道工序是自动生成：借助已有的视觉问答数据集和程序化模板，批量合成大量“图片+问题+四个选项”的候选题目，相当于海选出海量题源。第二道工序是人工审核：标注员逐题确认图片、问题、答案三者一致，修改表述有歧义的题，删除无法作答的废题。第三道工序是质量校验：进一步检查答案是否唯一、选项是否合理、难度是否适中。

质量校验阶段还会关注题目的区分度：如果一道题所有模型都答对，说明太简单；所有模型都答错，则可能题目本身有问题。两类无效题都会被剔除。最终，每个能力维度都会保留数量大致均衡的高质量题目，避免“某科题特别多拉高总分”的偏科现象。

海选一万份作文，经过三审三校之后只有三千份印进考卷——通过率越低，卷子的含金量往往越高。MMBench 用同样的漏斗式筛选，目的就是确保每一道出现在考卷上的题，都经得起“为什么标准答案是这个”的追问。

F=N通过N生成F = \displaystyle\frac{N_{\text{通过}}}{N_{\text{生成}}}
数据构建的通过率，等于最终通过质检的题目数除以自动生成的候选题目数，反映命题漏斗的收口程度。
  1. 通过率F 表示从候选题目到正式题目的保留比例，衡量数据构建流程的筛选强度。
    FF
  2. 候选题数N_{\text{生成}} 是自动生成的题目总量，像海选阶段收到的报名卷数。
    N生成N_{\text{生成}}
  3. 保留题数N_{\text{通过}} 是经过人工审核和质量校验后最终保留的题目数，像拿到录取通知书的幸运儿。
    N通过N_{\text{通过}}

排行榜解读

期末考试结束后，教务处会在公告栏贴出年级大榜。家长扫一眼总分，尖子生比较各科排名，老师则会分析平均分和及格率。MMBench 的排行榜同样是“一张榜，多种读法”，关键在于你带着什么目的去看它。

评测执行时，每个模型需要在相同的运行环境下跑完整个题库，系统自动统计各维度得分、总分，并按总分从高到低排序。因为所有模型共用同一套题、同一份判分标准，这个排行可以近似理解为“同一间教室里的一次全科模考”，分数直接可比。官方也提供了开源评测框架（[MMBench](0)），可以下载题库在本地复测。

读榜的正确姿势有三步：第一步看总分，确定候选模型的实力档位；第二步看细粒度维度，找出彼此的能力差异；第三步看环形评测的一致性分数，判断高分里是否含有运气成分。选型时还要结合业务场景——比如你的产品主要是图像审核，一个“感知强、推理弱”的模型，可能比总分更高的“推理型”模型更合用。

看榜时不能只盯着“李雷比韩梅梅高 2 分”，而要算清楚这 2 分在总分里占几个百分点——如果差距还不到波动范围，排名的先后其实并没有太大意义。MMBench 榜单也一样，数字背后的统计口径、维度差异，往往比名次本身更值得琢磨。

Δm,n=Sm−SnSn×100%\Delta_{m,n} = \displaystyle\frac{S_m - S_n}{S_n} \times 100\%
两个模型的差距百分比，等于总分差除以被比较模型的分数，把绝对分差换算成相对差距。
  1. 分数差距\Delta_{m,n} 表示模型 m 相对模型 n 的总分领先幅度。
    Δm,n\Delta_{m,n}
  2. 分子分差S_m - S_n 是两个模型总分之差，类似年级第一与年级第二的分差。
    Sm−SnS_m - S_n
  3. 相对基准\displaystyle\frac{S_m - S_n}{S_n} 取被比较模型的分数作分母，把绝对分差转为相对比例。
    Sm−SnSn\displaystyle\frac{S_m - S_n}{S_n}
  4. 百分比换算\times 100\% 将小数差距放大为更直观的百分比数字。
    ×100%\times 100\%

基准横向对比

一个学生在自己学校的模拟考中名列前茅，不代表他在全市联考中也能脱颖而出。不同学校出的模拟卷，难度不同、侧重点不同、阅卷标准也不同。MMBench、SEED、MMMU 就是多模态评测领域的“三所名校”，各有一套自己的命题风格。

SEED-Bench 的特点是覆盖面广，试图把图像、视频等多模态任务统一到一套选择题框架中，适合快速看模型的“通识水平”。MMMU 则主打大学级别的学科知识，题目涉及数学、物理、艺术等多个学科，难度明显更高，更像“奥赛选拔卷”。MMBench 的差异化优势在于能力维度拆得最细，并且引入了环形评测这道“防作弊工序”。

三个基准在三个维度上存在明显差异：题目来源（网络收集还是人工制作）、能力侧重（通用感知还是学科推理）、评测机制（是否防猜测）。工程上做模型选型时，明智的做法是交叉阅读多个榜单：如果某模型在 MMBench 和 SEED 上都靠前，说明基本功扎实；如果只在某一个基准上表现突出，则要警惕它可能只是适应了特定题型。

三份模拟卷各有偏好：一份偏基础、一份偏奥赛、一份偏综合。聪明的学生三份都做，用“多卷互证”来定位自己的真实水平；聪明的工程师也应该交叉阅读多个基准的榜单，再决定把算力与预算押在哪个模型上。

OB→A=∣TA∩TB∣∣TB∣O_{B \to A} = \displaystyle\frac{|T_A \cap T_B|}{|T_B|}
基准 A 对基准 B 的题型覆盖度，等于两个基准考察题型集合的交集大小除以基准 B 的总题型数。
  1. 题型覆盖度O_{B \to A} 表示基准 B 的题型有多大比例能被基准 A 覆盖，衡量两个基准结论的可互证程度。
    OB→AO_{B \to A}
  2. 交集大小|T_A \cap T_B| 是两个基准考察题型集合的交集数量，相当于两份模拟卷“撞题”的数目。
    ∣TA∩TB∣|T_A \cap T_B|
  3. 总量分母|T_B| 取基准 B 的题型总数，用于计算被覆盖的比例。
    ∣TB∣|T_B|

AI 应用场景

场景1：多模态模型选型前的“体检报告”

阶段：模型选型与评估

解决的问题：选型工程师面对一堆候选模型，仅凭演示 demo 或宣传指标很难判断哪个更适合自己的业务。传统做法是拿十几个样张人工看一眼效果，主观且样本量太小。用 MMBench 跑一遍，可以得到每个候选模型在感知、推理等细粒度维度上的量化得分，再结合一致性分数排除“蒙对型”模型。

具体案例：某电商团队要选择能识别商品图片中标签文字的模型。他们将 GPT-4V、Qwen-VL、InternVL 等模型在 MMBench 上跑分，发现 A 模型总分最高，但在“字符识别”细粒度维度上低于 B 模型，最终选择了更贴合业务场景的 B 模型。

场景2：模型迭代后的回归测试

阶段：模型迭代与质量保障

解决的问题：模型团队每次调整训练数据或微调参数，都担心某些能力会“回退”。只测几个固定样例不够全面，全量重训成本又高。把 MMBench 的题库按细粒度维度切片，每次迭代后跑一遍子集，能快速发现“上次感知 80 分，这次只有 72 分”的异常。

具体案例：某多模态助手团队在加入更多中文训练数据后，用 MMBench 细粒度报告发现“英文场景理解”分数下降，及时定位到数据配比问题，回滚了部分训练样本。

场景3：自建业务评测集的“命题参考”

阶段：评测体系搭建

解决的问题：团队想搭建一套贴合自己业务的数据评测集，却不知道如何保证题目质量和防作弊。直接照搬 MMBench 的“自动生成→人工审核→质量校验”流水线，并借鉴环形评测的打乱选项机制，就能低成本建立起一套可靠的内部评测体系。

具体案例：某自动驾驶公司的感知团队参照 MMBench 流程，用交通场景图片自动生成选择题，再请标注团队审核，最后对候选模型做多轮选项重排测试，两周内上线了内部感知评测集。

Python 演示

python33 行
import random # 迷你 MMBench 题库: (问题, 图片描述, 选项, 正确内容)QUESTIONS = [    ('图中物体是什么颜色？', '一个红色苹果', ['蓝色', '绿色', '红色', '黄色'], '红色'),    ('图中动物在做什么？', '一只猫在睡觉', ['跑步', '睡觉', '吃东西', '游泳'], '睡觉'),    ('图中有几个杯子？', '桌上有三个杯子', ['1', '2', '3', '4'], '3'),]  def circular_evaluate(model, model_name, rounds=4, seed=42):    rng = random.Random(seed)    first_right = 0    all_consistent = 0    for question, image, options, answer in QUESTIONS:        results = []        for _ in range(rounds):            shuffled = list(options)            rng.shuffle(shuffled)            results.append(model(shuffled, answer))        if results[0] == answer:            first_right += 1        if all(r == answer for r in results):            all_consistent += 1    print(model_name, '首轮答对:', first_right, '/', len(QUESTIONS),          ' 多轮一致:', all_consistent, '/', len(QUESTIONS))  guess_model = lambda shuffled, answer: shuffled[0]oracle_model = lambda shuffled, answer: answer circular_evaluate(guess_model, '盲猜模型(按位置作答)')circular_evaluate(oracle_model, '真学霸模型(按内容作答)')
目的：用迷你题库模拟环形评测，对比“按选项位置作答”的盲猜模型与“按内容作答”的真学霸模型，展示打乱选项如何暴露运气分。
  1. rng = random.Random(seed)固定随机种子，让每次运行的重排结果可复现，保证演示公平。
  2. for question, image, options, answer in QUESTIONS:遍历迷你题库，逐题执行环形重排与作答。
  3. rng.shuffle(shuffled)模拟环形评测中每次打乱选项顺序的关键动作。
  4. results.append(model(shuffled, answer))让模型在重排后的选项上作答，并记录当前轮结果。
  5. if all(r == answer for r in results):判断是否多轮全部答对，这正是环形评测的核心判据。
  6. guess_model = lambda shuffled, answer: shuffled[0]盲猜模型永远选第一个位置，选项一变就出错。
  7. oracle_model = lambda shuffled, answer: answer真学霸模型按标准答案作答，不受选项顺序影响。

常见误区

误区排行榜总分第一就是最强模型，业务选型直接抄答案就行，不用看其他指标。

正解MMBench 主要考察感知、推理、知识等通识能力，并不覆盖语音、长文本生成等场景。总分第一的“学霸”可能在某个细粒度维度上不及格。选型应结合业务场景查看细粒度得分与一致性分数，而不是只看总分排名。就像招聘不能只看高考总分，还要看岗位需要的是编程能力还是英语口语。

为何常见：排行榜天然给人“一个总分定高下”的直观印象，容易忽略分数背后的维度结构。

误区CircularEvaluation 就是一种简单的防作弊手段，把选项打乱再考一次，防止学生背答案。

正解它真正的价值是测“一致性”：真懂的模型无论选项顺序怎么变都答对，靠猜的模型即使单轮答对，多轮重排后也会露馅。它产出的不是“是否作弊”的判定，而是一致率这样的可信度指标，用来调整分数解读。打乱选项只是手段，量化稳定性才是目的。

为何常见：只看到“打乱选项”的表层操作，低估了它在结果可信度评估中的作用。

误区评测基准嘛，数据量才是王道，刷个几十万道题，分数自然更可信。

正解题目质量比数量重要得多。MMBench 通过“自动生成→人工审核→质量校验”保证每道题的答案唯一、无歧义、难度适中。如果混入错题或废题，再大的题库也会拉低榜单的可信度，就像一份印刷错误的试卷，题再多也没意义。

为何常见：大模型时代容易形成“数据量=质量”的惯性思维，忽略了评测数据的标注可靠性。

误区公开榜单排名靠前，就说明这个模型在所有任务上都表现优秀，可以直接放心部署。

正解存在“刷榜”现象：模型可能在公开测试集上过拟合，相当于把考卷答案背了下来。看一个模型是否真实可靠，要结合未公开的新题、多个基准的交叉结果以及环形评测的一致性来综合判断。背答案的学生在换一张新卷子时就会现出原形。

为何常见：公开榜单的权威感让人放松警惕，忽略了过拟合对评测结果的影响。

面试题

Q1. MMBench 主要使用哪种题型来考察多模态大模型？

单选题 · easy

  • A.开放式自由问答
  • B.图文元素配对
  • C.选项式选择题← 正确答案
  • D.图像描述填空任务

答案：C。MMBench 采用图文选择题，模型从四个选项中选择一个答案，便于自动判卷和统一比较。开放式问答需要人工评分，难以大规模自动化；图文配对与填空更偏专项任务，不是 MMBench 的主题型。

Q2. 下列哪一项不属于 MMBench 的粗粒度能力维度？

单选题 · easy

  • A.感知能力
  • B.推理能力
  • C.知识能力
  • D.对话能力← 正确答案

答案：D。MMBench 的粗粒度能力维度主要分为感知、推理、知识等大类，这是在出卷前定好的“科目表”。对话能力虽然也是多模态模型的重要能力，但不在 MMBench 的考察科目范围内。

Q3. CircularEvaluation（环形评测）的核心目的是什么？

单选题 · mid

  • A.增加整体题库的题目数量
  • B.打乱选项顺序测一致性← 正确答案
  • C.刻意增加题目的整体难度
  • D.大幅加快模型评测的速度

答案：B。环形评测把同一道题的选项随机打乱，生成多个版本分别问模型，通过观察答案是否始终指向同一内容来判断可信度。它的目标是测“一致性”，而不是扩题、加难度或提速。

Q4. 某模型在环形评测中首轮答对但多轮不一致，最可能说明什么？

单选题 · mid

  • A.模型严重依赖于选项的位置← 正确答案
  • B.模型的环境与上下文推理很强
  • C.输入图片的分辨率过低导致失误
  • D.题目本身存在标注错误的问题

答案：A。首轮答对可能是运气，但选项重排后答案跟着漂移，说明模型记住的是“A 这个位置”而不是“这个内容”。就像蒙题的学生换一次选项顺序就露馅，这是典型的依赖选项位置作答。

Q5. MMBench 数据构建流程的正确顺序是？

单选题 · mid

  • A.先质量过滤再人工审核再自动生成
  • B.先自动生成再人工审核再质量校验← 正确答案
  • C.先人工审核再自动生成最后质量过滤
  • D.先自动生成再质量校验再人工审核

答案：B。正确流程是先自动生成海量候选题，再人工审核修订表述和答案，最后做质量校验剔除无效题。这就像出卷先海选题目初稿，再请老师逐题修改，最后试考排查错题。

Q6. 两个模型在 MMBench 上总分相差 2%，被比较模型得分波动约 1.5%，合理结论是？

单选题 · hard

  • A.差距显著直接选分数高的
  • B.低分模型没有参考的价值
  • C.应重复评测并只看最高分
  • D.可能不显著须再细粒度对比← 正确答案

答案：D。2% 的差距小于 1.5% 的波动范围，说明差距可能在统计误差之内，不能仅凭总分就下结论。正确做法是回到细粒度维度看具体科目的分差，就像两个学生总分只差 2 分，需要看单科才能判断谁更合适。

Q7. 关于 MMBench 与 MMMU 的差异，下列说法正确的是？

单选题 · hard

  • A.MMMU更侧重大学多学科知识← 正确答案
  • B.两者的评测机制完全相同
  • C.MMBench题目整体难度更高
  • D.MMMU也同样使用环形评测

答案：A。MMMU 主打大学级别的学科知识与跨学科推理，题目难度更高，像一套奥赛卷；MMBench 则以细粒度能力拆解和环形评测机制见长。两者机制、难度与侧重点都不同，A 的描述符合 MMMU 的定位。

Q8. MMBench 的细粒度能力得分可以用于哪些分析？

多选题 · mid

  • A.定位并分析模型具体短板← 正确答案
  • B.对比两模型的能力画像← 正确答案
  • C.证明该模型总分一定最高
  • D.指导针对性训练数据收集← 正确答案

答案：ABD。细粒度得分像体检分项指标，能定位短板、对比画像、指导数据补强。但它不能反过来“证明总分最高”——总分是加权汇总的结果，单看细粒度无法推出总分排序。

Q9. 以下哪些做法有助于获得模型在 MMBench 上的真实表现？

多选题 · hard

  • A.盲调模型使其总是选第一个选项
  • B.使用环形评测一致性筛选候选模型← 正确答案
  • C.根据细粒度维度得分针对性补数据← 正确答案
  • D.只追求总分刷榜忽略维度均衡

答案：BC。环形评测能筛掉靠位置作答的“运气型”模型，细粒度得分能指导定向补数据，二者都指向真实能力提升。盲选第一个选项经不起重排考验，只刷总分忽略维度均衡则是典型刷榜行为，都不利于获得真实表现。

Q10. 阅读 MMBench 排行榜做模型选型时，正确做法包括？

多选题 · easy

  • A.只参考总分并忽略细粒度
  • B.结合业务场景看细粒度维度← 正确答案
  • C.交叉阅读多个基准的结论← 正确答案
  • D.留意环形评测一致性分数← 正确答案

答案：BCD。正确的读榜姿势是总分定档位、细粒度找差异、一致率辨真假，同时交叉参考 SEED、MMMU 等基准互相验证。只盯总分忽略细粒度，就像只看年级排名不看单科成绩，很容易选错模型。