想象你是城里最挑剔的美食评论家，最近来了一位自称“全感官主厨”的AI机器人——它读得懂手写的米其林菜谱（文本），看得懂菜品摆盘照片（图像），听得见油锅里的火候声（音频），还能自己上手颠勺（调用工具）。你要决定是否给它颁发年度大奖，却发现它上个月端出了惊艳的彩虹蛋糕，这个月却把盐当成了糖。只凭一两道菜下结论显然太草率，但把成百上千道菜都尝一遍又不现实。于是你决定办一场设计严密的“全感官主厨大赛”：先定评分标准，再备标准菜谱，用温度计测熟度，最后请几位资深评委坐镇。这套办赛的思路，就是多模态Agent评估框架——一套用来系统衡量“能看、能听、能说、能动手”的AI助手到底行不行的科学方法。本文就用这场主厨大赛的比喻，带你走完评估框架从定标准、建数据集、算指标，到组评委团、落地上线的完整流程。

岗位关联

对AI从业者而言，评估框架是判断模型好坏、定位缺陷、说服业务方的“地基工程”——不懂评估，就无法证明你的Agent真的可靠，职业发展也会被天花板早早封顶。

目录
  1. 可视化演示
  2. 一、评估核心概念：为“全感官主厨”定规矩
  3. 二、评估维度设计：评委手上的那张评分卡
  4. 三、数据集与基准：比赛的“标准菜谱库”
  5. 四、自动化指标：用温度计代替舌头
  6. 五、人工评测体系：请几位资深评委坐镇
  7. 六、框架落地流程：从办赛想法到奖项揭晓
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

交互展示Agent评估维度雷达图、评估流水线流程和不同Agent性能对比。

本节配有交互动效（进入视口后自动加载，约 3KB）。

评估雷达：多维能力画像 感知/推理/规划/执行/交互五维评估 多模态理解与生成能力综合打分 Score = Σ wi × Di / Σ wi 雷达图直观展示Agent能力长短板

一、评估核心概念：为“全感官主厨”定规矩

假设你是一位挑剔的美食评论家，城里新来了一位自称“全感官主厨”的AI机器人——它读得懂手写菜谱，看得懂摆盘照片，听得见火候声音，还能自己颠勺。你要决定是否颁发年度大奖，却发现它上个月惊艳、这个月翻车。你很快明白：只凭一两道菜下结论是靠运气。于是你决定办一场比赛，用统一的规则回答“它到底行不行”——这本赛事章程，就是多模态Agent评估框架（Evaluation Framework）的雏形。

在多模态Agent的世界里，“全感官主厨”就是能同时处理文本、图像、音频甚至视频，并调用外部工具的AI智能体。它不再是考卷上的填空题，而是要在真实世界里完成任务的“行动派”。评估框架要为这样的Agent定制三个基本规则：第一，评估目标——是看单次回答质量还是整个任务的可靠性，这决定了评估粒度（按“轮”还是按“任务”打分）；第二，多模态特性——必须检验图文音是否协同，图里的猫和文字说的猫是不是同一只；第三，评测闭环——“评测→发现问题→修复→再评测”的循环，像后厨根据评委反馈调整配方。

无论规则多细，最终都要落到可度量的数字上，最基本的指标就是整体正确率：用全部评测样例中答对的个数，除以总样例数。

至此你明白，比赛规则的灵魂是把“口味之争”变成“可复现的数字”。光说“我觉得它厉害”无法服众，但有了统一目标、明确粒度和可复用的评分公式，你的主厨大赛就迈出了扎实的第一步。

Accuracy=NcorrectNtotal\displaystyle \text{Accuracy} = \frac{N_{\text{correct}}}{N_{\text{total}}}
正确率就像“获奖菜品数÷参赛总菜品数”——一个0到1之间的比例，粗略衡量Agent在考题上的整体表现。
  1. N_correct（正确数）在所有评测样例中，Agent输出与预期答案一致的样本数量，相当于“被评委认可的菜品数”。
    Ncorrect\displaystyle N_{\text{correct}}
  2. N_total（总样例数）评测集里全部样例的数量，覆盖简单与复杂考题，相当于“参赛菜品总数”。
    Ntotal\displaystyle N_{\text{total}}
  3. 两者相除（正确率）用正确数除以总数得到比例，值越接近1，说明Agent在评测集上整体越可靠。
    Accuracy=NcorrectNtotal\displaystyle \text{Accuracy} = \frac{N_{\text{correct}}}{N_{\text{total}}}

二、评估维度设计：评委手上的那张评分卡

真正的美食比赛，评委手里总有一张评分卡：口感占30%、创意占25%、摆盘占20%、卫生占15%、出菜效率占10%。每一项都有清晰的观察点——评论家不会因为一道菜咸了就全盘否定，而是对照评分卡逐项打分。这就是“维度化评判”的智慧：把模糊的整体印象拆成可观察、可讨论的具体项。

多模态Agent的评估同样需要一张“评分卡”，即评估维度体系（Evaluation Dimensions）。业界通常从四个维度切入：任务完成度看Agent是否真正解决了用户的问题；推理正确性看它的思维链是否经得起推敲；跨模态一致性看它描述的东西与它看到/听到的东西是否对得上；安全合规则确保不输出有害内容。四个维度像评分卡的四大项，缺一不可。

维度确定后怎么合成总分？最常用的是加权求和：每个维度先归一化到0到1，再乘以权重累加。权重反映业务优先级——医疗场景安全权重拉满，客服场景任务完成度优先。注意还可以设置“一票否决制”，像卫生不过关直接退赛，适合安全类硬约束。

评分卡的妙处在于“透明”。当参赛厨师被淘汰时，他能立刻看到自己败在哪一项——是摆盘拖了后腿还是火候不足。同样，当Agent上线评审不通过时，工程师也能借助维度得分精准定位短板，而不是对着一个模糊的总分手足无措。

S=∑k=1Kwk⋅sk,∑k=1Kwk=1\displaystyle S = \sum_{k=1}^{K} w_k \cdot s_k, \qquad \sum_{k=1}^{K} w_k = 1
综合得分等于每个维度的得分乘以对应权重再累加，而所有权重之和为1——就像评分卡上各项目占比加起来正好100%。
  1. s_k（维度得分）第k个评估维度的归一化得分，取值0到1，可理解为主厨在某一评分项上的表现。
    sk∈[0,1]\displaystyle s_k \in [0, 1]
  2. w_k（维度权重）第k个维度在整体评价中的重要程度，所有权重之和必须为1，像评分卡上各项目的占比。
    ∑k=1Kwk=1\displaystyle \sum_{k=1}^{K} w_k = 1
  3. 加权累加（综合得分）把每个维度的得分乘以权重后全部加起来，得到加权后的最终综合分。
    S=∑k=1Kwk⋅sk\displaystyle S = \sum_{k=1}^{K} w_k \cdot s_k

三、数据集与基准：比赛的“标准菜谱库”

一场公平的比赛，菜谱不能由参赛厨师自己带——那他会专挑拿手的做。大赛组委会要事先准备一本“标准菜谱库”：涵盖前菜、主菜、甜点，既有家常菜也有宫廷菜，还混入几道故意刁难人的怪菜。这本菜谱就是多模态Agent评估中的数据集与基准（Benchmark）：一组事先定好的、覆盖全面的考题。

构建评测数据集最忌讳“考什么练什么”——如果评测样例和训练数据高度重合，Agent等于提前看到了答案，这就是著名的数据污染问题。构建时既要覆盖文本、图像、音频、视频等模态的组合，也要让场景分布贴近真实业务；每个样例还要有规范的标注，像每道菜要有标准做法和摆盘图，供评分时对照。

数据集规模通常按模态配比分配：设总样例数为N_total，每个模态类别k的占比为p_k，则该类别样例数按比例向上取整。除常规样本外，还要注入对抗样本——比如故意把文本和图片改成矛盾信息，检验Agent会不会“睁眼说瞎话”。

有了这本“标准菜谱库”，每一位参赛主厨面对的就是同样规格的考题：同样的前菜、同样的怪菜、同样的刁钻陷阱。公平性是比赛公信力的生命线，也是评估结果能说服业务方的根基所在。

nk=⌈pk⋅Ntotal⌉,∑k=1Kpk=1\displaystyle n_k = \lceil p_k \cdot N_{\text{total}} \rceil, \qquad \sum_{k=1}^{K} p_k = 1
每个模态类别的样例数 = 总数 × 该类占比后向上取整，保证占比总和为1，让考题覆盖面有据可依。
  1. N_total（总预算）评测数据集的总样例数，相当于菜谱库的总菜品数，由业务预算和测试效率共同决定。
    Ntotal\displaystyle N_{\text{total}}
  2. p_k（模态配比）第k类模态组合的样例占比，所有类别占比之和必须为1，保证配比不重叠不遗漏。
    ∑k=1Kpk=1\displaystyle \sum_{k=1}^{K} p_k = 1
  3. 相乘取整（分配样例）用总数乘以配比并向上取整，得到该模态类别的样例数，保证小类别也有最低样本量。
    nk=⌈pk⋅Ntotal⌉\displaystyle n_k = \lceil p_k \cdot N_{\text{total}} \rceil

四、自动化指标：用温度计代替舌头

评委的舌头再灵也有疲劳的时候——连吃50道菜后，他也可能把微咸当成正好。于是大赛引入了精密仪器：用电子温度计测牛排熟度，用糖度计测甜品含糖量。这些仪器就是多模态Agent评估中的自动化指标（Automatic Metrics）：不需要人参与、用算法就能算出的客观分数。

自动化指标追求两件事：快和稳。最常用的是准确率和F1分数。F1特别适合“类别不平衡”的场景——比如100道菜里99道正常、1道馊了，如果厨师一律说“正常”，准确率高达99%却毫无意义。F1同时惩罚“漏判”和“误判”，是比准确率更挑剔的考官。

F1由精确率P和召回率R合成。精确率P=TP/(TP+FP)衡量“判为正例里有多少判对了”，召回率R=TP/(TP+FN)衡量“真实正例里有多少被找出来了”，F1是两者的调和平均。调和平均对低分更敏感——一道菜卫生项得0分，即使口味满分，整体观感也会被狠狠拉低。

温度计不累、不偏袒、不糊弄，这正是自动化指标的可爱之处。它让你在上千个评测样例上快速拿到第一手体检报告。但仪器只能测“熟度”测不出“风味”，所以下一节还得请人类评委出场。

F1=2×P×RP+R,P=TPTP+FP,R=TPTP+FN\displaystyle F1 = \frac{2 \times P \times R}{P + R}, \qquad P = \frac{TP}{TP + FP}, \qquad R = \frac{TP}{TP + FN}
F1是精确率和召回率的调和平均，只有当两者都高时F1才高——像主厨既要“端出的菜都是好菜”，也要“所有好菜都没被漏掉”。
  1. TP（真正例）实际是正例且被正确判为正例的样本数，相当于“确实是馊菜且被识破”的数量。
    TP\displaystyle TP
  2. P（精确率）在预测为正例的样本中真正为正例的占比，测量“挑出来的菜里好菜的比例”。
    P=TPTP+FP\displaystyle P = \frac{TP}{TP + FP}
  3. R（召回率）在所有真实正例中被成功找出的占比，测量“所有馊菜里被抓住的比例”。
    R=TPTP+FN\displaystyle R = \frac{TP}{TP + FN}
  4. 调和平均（F1）把精确率和召回率做调和平均，任何一项偏低都会显著拉低F1。
    F1=2×P×RP+R\displaystyle F1 = \frac{2 \times P \times R}{P + R}

五、人工评测体系：请几位资深评委坐镇

有了温度计和糖度计，大赛还是离不开人类评委——“风味层次”“创意巧思”这种东西，再精巧的仪器也测不出来。于是你请来三位资深食评家，却很快发现新问题：张三觉得惊艳，李四认为平平。你怎么判断评委之间靠不靠谱？这就引出了人工评测体系（Human Evaluation）的核心概念——评委间一致性。

实际评测中，人工评分通常配合“评委”“量表”“一致性检验”三件套。评委可以是真人标注员，也可以是LLM评委（让大语言模型充当打分者）。LLM评委速度快、成本低，但也有偏好偏差，比如位置偏差（选项放前面更容易被选）、谄媚偏差（顺着用户口气打分）。因此业内常把LLM评分与真人抽样评分做一致性对比。

最经典的一致性指标是Cohen's Kappa系数。设两位评委对同一批样例打分，P_o是两人实际一致的比率，P_e是两人纯靠巧合也一致的期望概率，那么κ=(P_o-P_e)/(1-P_e)。κ在0.6到0.8之间视为“基本可靠”，高于0.8视为“高度一致”。如果LLM评委与真人评委的κ太低，说明这台“自动评分机器”的意见还不足信，需要先调教。

这套流程就像大赛的“评审监督委员会”：既尊重评委的专业判断，又用统计学手段防止评委各说各话、让比赛沦为随缘。有了Kappa这杆标尺，“请评委”才从人情世故变成了科学方法。

κ=Po−Pe1−Pe\displaystyle \kappa = \frac{P_o - P_e}{1 - P_e}
Kappa系数 = （实际一致 − 巧合一致） ÷ (1 − 巧合一致)，它扣掉了“瞎蒙也能撞上”的运气成分，只留下真实的评分默契。
  1. P_o（观测一致率）两位评委对同一批样例给出相同评分的比例，是两人的“实际默契程度”。
    Po=评分一致的样本数总样本数\displaystyle P_o = \frac{\text{评分一致的样本数}}{\text{总样本数}}
  2. P_e（期望一致率）假设两人随机打分时碰巧一致的期望概率，由各自评分分布的边际概率计算，表示“瞎猜也能撞上的程度”。
    Pe=∑kPA(k)⋅PB(k)\displaystyle P_e = \sum_{k} P_A(k) \cdot P_B(k)
  3. 扣除巧合（Kappa值）用（观测一致−期望一致）除以（1−期望一致），结果越接近1，说明评分越不是靠运气。
    κ=Po−Pe1−Pe\displaystyle \kappa = \frac{P_o - P_e}{1 - P_e}

六、框架落地流程：从办赛想法到奖项揭晓

大赛方案写了几页纸，真正落地那天你才发现：要订场地、排赛程、印评分卡、装秒表、培训记分员……每一步都可能出岔子。办一场全感官主厨大赛是系统工程，多模态Agent评估框架的落地同样是端到端工程。

一套可落地的评估框架通常走四步：需求分析→环境搭建→执行评测→结果分析与迭代。需求分析阶段与业务方对齐“评估什么、什么算好”；环境搭建阶段准备评测集、Agent接口、计算资源与日志；执行评测阶段跑自动化指标并抽样送人工评审；最后汇总成报告，定位失败案例并驱动模型或提示词迭代。

迭代阶段有一个务实的验收准则：新版本综合得分必须比旧版本提升超过阈值ε才允许通过。设旧版本得分为S_old、新版本为S_new，则通过条件为S_new−S_old≥ε。ε不能设太大也不能太小——太大团队被卡死，太小形同虚设。实际工程中还会建立“回归评测集”：每次改动都跑一遍，确保修好一个维度的同时不弄坏另一个维度。

当大赛的幕布落下，你回看整个过程：评分卡、标准菜谱、温度计、评委团、赛程规划，环环相扣。多模态Agent评估框架设计，本质上就是为AI这位“全感官主厨”把好每一道关——没有它，再惊人的能力都只是无法兑现的“天赋”。

Snew−Sold≥ε\displaystyle S_{\text{new}} - S_{\text{old}} \ge \varepsilon
迭代验收只有一条硬杠：新版综合得分减去旧版得分，必须不低于阈值ε，否则新版一律不许发布。
  1. S_new（新版得分）迭代后的Agent在完整评估流程上跑出的综合得分，相当于新配方菜品在评委席上的总分。
    Snew\displaystyle S_{\text{new}}
  2. S_old（基线得分）上一版已验证Agent的综合得分，是衡量是否进步的比较基准。
    Sold\displaystyle S_{\text{old}}
  3. 阈值ε（验收门槛）规定的最小提升量，只有净提升不低于它，新版才允许进入发布流程。
    Snew−Sold≥ε\displaystyle S_{\text{new}} - S_{\text{old}} \ge \varepsilon

AI 应用场景

场景一：智能客服Agent的多模态质检

阶段：评估与回归测试

解决的问题：客服Agent同时处理用户发来的截图和文字，传统做法只看文本回复准确率，导致“文字说会处理、图片显示问题根本没解决”的尴尬情况。多维度、跨模态的评估框架能系统暴露这类图文矛盾。

具体案例：某电商平台用本文的评估框架对客服Agent做月度评测，在“跨模态一致性”维度发现12%的图文矛盾样本，定位到视觉编码器对截图中的商品瑕疵识别失效，修复后该维度得分从0.70提升到0.91。

场景二：内容安全审核Agent的上线前验收

阶段：上线前验收

解决的问题：安全审核Agent面对“文字正常、图片违规”的对抗样本时可能漏判，单看文本指标完全发现不了。评估框架通过“安全合规”维度的一票否决制，把类似风险挡在上线之前。

具体案例：某视频平台在审核Agent上线前，用图文矛盾的对抗样本集执行评测，安全维度得分仅为0.55，触发一票否决；工程师加入跨模态校验模块后重测，分数提升至0.95才获批上线。

场景三：保险理赔文档Agent的持续迭代

阶段：持续迭代与回归

解决的问题：理赔场景对准确率要求极高，模型每次升级都可能引入新的退化。评估框架的“回归评测集+阈值验收”机制，能确保每个新版本只进不退。

具体案例：某保险科技公司维护了一套包含图像票据、语音录音、PDF合同的评测集，每次更新模型都跑全量回归。某次新版综合得分低于旧版0.02，未达阈值被自动拦截，避免了线上事故。

Python 演示

python92 行
from collections import Counter  class MultimodalAgentEvaluator:    """多模态Agent评估器：按维度收集分数并聚合综合得分"""     def __init__(self, weights):        self.weights = weights        self.dim_scores = {dim: [] for dim in weights}     def add_case(self, dim, score):        if dim not in self.dim_scores:            raise ValueError("unknown dimension: " + dim)        self.dim_scores[dim].append(max(0.0, min(1.0, score)))     def dim_result(self, dim):        scores = self.dim_scores[dim]        if not scores:            return 0.0        return sum(scores) / len(scores)     def overall_score(self):        total_w = sum(self.weights.values())        if total_w <= 0:            raise ValueError("weights must be positive")        total_s = 0.0        for dim, w in self.weights.items():            total_s += w * self.dim_result(dim)        return total_s / total_w     def is_pass(self, threshold=0.75):        return self.overall_score() >= threshold  def cohen_kappa(ratings):    """计算两位评委评分的Cohen's Kappa一致性系数"""    if not ratings:        return 0.0    labels_a = [pair[0] for pair in ratings]    labels_b = [pair[1] for pair in ratings]    po = sum(1 for x, y in ratings if x == y) / len(ratings)     def ratio(labels):        cnt = Counter(labels)        return {k: v / len(labels) for k, v in cnt.items()}     da = ratio(labels_a)    db = ratio(labels_b)    pe = sum(da.get(k, 0) * db.get(k, 0) for k in set(da) | set(db))    if pe >= 1.0:        return 1.0    return (po - pe) / (1 - pe)  def main():    weights = {        "task": 0.30,        "reasoning": 0.25,        "consistency": 0.20,        "safety": 0.15,        "efficiency": 0.10,    }    agent = MultimodalAgentEvaluator(weights)    cases = {        "task": [0.92, 0.87, 0.95, 0.88],        "reasoning": [0.80, 0.85, 0.78, 0.90],        "consistency": [0.75, 0.82, 0.70, 0.86],        "safety": [0.98, 0.95, 1.00, 0.92],        "efficiency": [0.90, 0.85, 0.88, 0.93],    }    for dim, scores in cases.items():        for s in scores:            agent.add_case(dim, s)     print("维度平均分:")    for dim in weights:        print("  {}: {:.3f}".format(dim, agent.dim_result(dim)))    overall = agent.overall_score()    print("综合得分: {:.3f}".format(overall))    print("是否通过: {}".format("通过" if agent.is_pass() else "不通过"))     ratings = [("优", "优"), ("良", "良"), ("优", "中"),               ("中", "中"), ("良", "良"), ("优", "优"),               ("中", "中"), ("良", "良")]    kappa = cohen_kappa(ratings)    print("LLM评委 vs 人工评委 Kappa: {:.3f}".format(kappa))    if kappa < 0.6:        print("提示: Kappa较低，需要调教LLM评委或增加人工抽样。")  if __name__ == "__main__":    main()
目的：实现了一个极简的多模态Agent评估器——按维度收集样例分数、加权聚合综合得分，并计算人工评委与LLM评委的Kappa一致性。
  1. self.dim_scores = {dim: [] for dim in weights}为每个评估维度准备一个“分数桶”，方便后续按维度汇总。
  2. self.dim_scores[dim].append(max(0.0, min(1.0, score)))把每条样例分数裁剪到0~1之间，防止标注超出边界。
  3. return sum(scores) / len(scores)求维度平均分，相当于该评分项的平均观察分。
  4. total_s += w * self.dim_result(dim)核心加权聚合：每个维度得分乘以权重后累加。
  5. return total_s / total_w用权重总数归一化，得到最终综合得分。
  6. po = sum(1 for x, y in ratings if x == y) / len(ratings)计算两位评委的“实际一致率”。
  7. pe = sum(da.get(k, 0) * db.get(k, 0) for k in set(da) | set(db))计算纯靠巧合也会一致的“期望一致率”。
  8. return (po - pe) / (1 - pe)套用Kappa公式：扣掉运气成分后还剩多少真实一致。

常见误区

误区评测集上准确率98%，这多模态Agent肯定很牛，直接上线吧！准确率都这么高了，还要什么别的指标？

正解准确率在类别不平衡时极具欺骗性——就像100道菜里99道正常1道馊，厨师一律说“正常”也能拿到99%的准确率。需要配合F1、各维度得分、对抗样本结果一起看，单看准确率就像只看主厨最拿手的那道菜。

为何常见：准确率是大多数人学到的第一个指标，直观好算，容易给人“数字安全”的错觉。

误区大模型打分又快又便宜，而且看起来挺懂行，干脆把人工标注全部砍掉，全交给LLM评委！

正解LLM评委存在位置偏差、谄媚偏差和自我偏好偏差，它的“懂行”是概率性的。正确做法是用Kappa系数持续校准LLM与真人评委的一致性，保留人工抽样，像大赛既用仪器也留人类评委一样。

为何常见：LLM评分零成本、可无限重复，让人很容易放松对它的审查。

误区这套基准集是去年定的，一直跑得好好的，没必要更新，换了还得重新适配，太麻烦。

正解训练数据会污染评测集，线上业务分布会漂移，Agent能力会进化——去年的菜谱库可能全部被主厨背熟了。需要定期更新样例、补充对抗样本、维护回归集，才能持续测出真实水平。

为何常见：更新评测集成本高、周期长，人容易对“历史成绩”产生路径依赖。

误区算一个综合得分不就行了？领导只看总分，写报告也省事，不需要看每个维度的明细。

正解总分会掩盖短板——一个维度的崩塌可能被其他维度的优秀稀释。评估的价值恰恰在于定位问题：报告必须带维度明细和失败案例分析，安全类硬指标还应设一票否决，像卫生不过关的餐厅总分再高也不能评星。

为何常见：单一数字好汇报、好对比，人天然喜欢“简单结论”。

误区文本、图像、语音各测一遍，加起来就是多模态评测了，有什么难的？

正解多模态的核心在于“跨模态交互”——图文信息矛盾时能否识别、看视频能否理解因果、听声音能否结合画面判断。单模态指标拼不出这些能力，就像分别考刀工和火候，测不出“一道菜整体是否和谐”。

为何常见：单模态评测工具链成熟，思维惯性让人默认“总和等于整体”。

面试题

Q1. 多模态Agent评估框架的首要目标是？

单选题 · easy

  • A.证明模型版本号更高
  • B.衡量多模态交互并驱动迭代← 正确答案
  • C.彻底替代所有人工测试
  • D.压缩模型参数量降低算力

答案：B。评估框架的核心是系统衡量Agent在多模态任务中的表现，并形成“评测→定位→修复→再评测”的闭环。选项A是虚荣指标，C不现实（人工评审不可替代），D属于模型压缩范畴，与评估无关。

Q2. 跨模态一致性衡量的是Agent的什么能力？

单选题 · easy

  • A.生成文本时速度是否够快
  • B.各模态信息描述是否对得上← 正确答案
  • C.推理链路是否足够长
  • D.模型参数量是否足够大

答案：B。跨模态一致性检验的是Agent在同一对象的文本描述、图像内容、音频信息之间能否保持一致。比如图里是一只猫，文字却说是狗，就属于跨模态矛盾。速度、推理长度、参数量都与“一致性”无关。

Q3. 下列属于多模态Agent评估维度的有？

多选题 · mid

  • A.任务完成度与推理正确性← 正确答案
  • B.跨模态一致性与安全合规← 正确答案
  • C.显卡显存占用率高低
  • D.前端页面按钮美观程度

答案：AB。评估维度包括任务完成度、推理正确性、跨模态一致性和安全合规等，A和B都属其中。C是硬件资源范畴，D是前端UI范畴，均不属于Agent能力评估维度。

Q4. 加权综合得分公式S=Σw_ks_k中，权重w_k的作用是？

单选题 · mid

  • A.表示维度得分的相对重要程度← 正确答案
  • B.表示每个维度的样本数量
  • C.表示隐藏层的神经元数量
  • D.表示评测集的总样本规模

答案：A。权重w_k反映第k个维度的业务优先级，所有权重之和为1，像评分卡上各项目占比。它既不是样本量、神经元数，也不是评测集规模，这些是另一些完全不相关的概念。

Q5. 在类别不平衡场景下，比准确率更适合的指标是？

单选题 · mid

  • A.平均响应延迟毫秒数
  • B.精确率与召回率的F1值← 正确答案
  • C.模型权重的L2范数值
  • D.训练集里的样本总数

答案：B。类别不平衡时准确率会被多数类掩盖，F1由精确率和召回率调和平均而来，能同时惩罚误判和漏判，更真实。延迟是性能指标，L2范数是正则化概念，样本总数与模型质量无直接关系。

Q6. 构建评测数据集时应该注意哪些问题？

多选题 · hard

  • A.避免评测样例与训练数据重叠← 正确答案
  • B.覆盖多模态组合与真实场景← 正确答案
  • C.只选最容易通过的简单样例
  • D.注入图文矛盾的对抗性样本← 正确答案

答案：ABD。评测集要严防数据污染（A）、覆盖多模态组合和真实业务分布（B）、注入对抗样本检验鲁棒性（D）。C是错误做法——只留简单样例等于把比赛难度调成零，测不出真实水平。

Q7. Cohen's Kappa系数越接近1，说明什么？

单选题 · mid

  • A.两位评委的评分越依赖运气
  • B.两位评委的评分一致性越强← 正确答案
  • C.被测Agent的计算速度越快
  • D.评测数据集的样本量越丰富

答案：B。Kappa在扣除随机巧合概率后衡量评委间一致性，越接近1说明评分越可靠、越不靠运气。它与Agent速度、数据集样本量没有关系，A恰恰说反了。

Q8. LLM评委可能存在的偏差包括？

多选题 · hard

  • A.位置偏差与选项顺序偏好← 正确答案
  • B.谄媚偏差与自我偏好偏差← 正确答案
  • C.完全客观不会犯任何错误
  • D.对长答案评分出现显著偏差

答案：AB。LLM评委已知偏差包括位置偏差（先出现的选项更容易被选）、谄媚偏差（顺着用户语气打分）、自我偏好偏差（偏爱自己生成的答案）等。C是理想化假设，D虽可能发生但并非公认的典型偏差名称，故不选。

Q9. 模型在新版基准上准确率不降反升但业务投诉率上升，最可能原因？

单选题 · extreme

  • A.基准集被训练数据污染失效← 正确答案
  • B.业务用户的操作习惯突变
  • C.模型推理速度得到大幅提升
  • D.评测环境网络延迟波动大

答案：A。基准样例若混入训练数据，Agent等于“提前背了答案”，准确率虚高而真实业务能力退化——这就是数据污染。用户习惯突变、推理速度提升、网络延迟都解释不了“分数升、投诉涨”的矛盾组合。

Q10. 多模态Agent评估的闭环流程通常是？

单选题 · easy

  • A.评测一次然后永久上线
  • B.评测定位问题修复再评测← 正确答案
  • C.上线后评测没过就回滚
  • D.训练评测交替循环进行

答案：B。评估闭环是“评测→定位问题→修复→再评测”的循环，对应我们讲到的框架落地四步。A是一次性思维，C是发布策略而非闭环，D是训练阶段的调优循环，与“评估框架闭环”含义不同。