AgentBench评测：Agent范式演进

可视化演示

交互展示AgentBench八大评测环境的性能对比、不同LLM Agent的能力差异和多轮交互性能衰减，理解Agent评测如何驱动技术演进。

一、评测需求：为什么不能只靠笔试

笔者学车时，教练说过一句话：科一考一百分，不等于你会开车。笔试考的是“你知道答案”，路考考的是“你能做到”。过去我们把大模型当“考生”来测试，出了上万道选择题：看到问题，背出答案。可当我们要的是一个能自己上网查资料、订机票、写代码的“数字驾驶员”——也就是 AI Agent 时，这种笔试统计出来的高分，恰恰是最危险的错觉。

传统基准（如 SQuAD、MMLU）的题目都是静态的：问题加标准答案，评阅时只需比对文本。而 Agent 的真实工作方式是“行动—观察—再行动”：它要在命令行敲击、在网页点按、在数据库执行查询，任何一步都可能偏离轨道。静态笔试永远测不出这种动态能力，因为答案就在题干背后，模型甚至可能在预训练时“背过”原题。

AgentBench 由此提出"LLM-as-Agent"评测：把大模型封装成 Agent，放进 8 个可交互的模拟环境（操作系统、数据库、知识图谱、卡牌游戏、横向思维谜题、房屋管理、网页购物、数字卡牌），由模型自主决定每一步行动，最终用任务成功率作为核心指标：

所以，AgentBench 要的不是“背得熟的学员”，而是“能独立上路的司机”。它用真实任务的成功率，把一次性的笔试分数换成了一本可验证、可追溯的驾驶记录。

二、范式演进：从笔试到路考的四级跳

驾考制度本身也在进化：从纯笔试，到加入场地桩考，再到科目三路考，如今不少城市已增加夜间驾驶、高速适应等新项目。Agent 的评测范式沿着相同方向演进——考的内容越来越贴近真实驾驶，考生的身份也从“答题机器”变成“驾驶员”。

具体来说，AI 的“考法”经历了四个阶段：一是静态问答，给问题、要答案，一问一答结束；二是工具调用，允许模型调一次计算器或搜索接口，但仍是一锤子买卖；三是动态交互，模型可以在环境中执行多步行动，每步都收到环境反馈——这正是 AgentBench 的起点；四是自主决策，在动态交互之上，模型还要自己规划任务、拆解子目标、在失败时调整策略。

后两个阶段的关键，是把 Agent 建模成一个“闭环控制回路”：模型每一时刻的决策都基于过去所有观测与行动（合称轨迹 h_t），然后产生下一个动作。就像新手司机每打一次方向盘，都取决于之前的全部路况与操作：

从笔试到路考，考的不是知识本身，而是把知识用于一连串真实操作的能力。AgentBench 正是在“动态交互”这个新时代，给全行业统一发了一张新考纲。

三、评测维度：考官的评分表

路考时，考官手里总有一张评分表：起步是否平稳、变道是否打灯、停车是否规范、遇到行人是否减速……每一项独立打分，最后加权出总分。AgentBench 的评测也不是“一锤定音”，而是从多个维度给 Agent 画一张“能力雷达图”。

常见的维度有四类：任务完成度——任务最终是否成功，这是总开关；决策质量——不只结果，中间每一步动作是否合理、是否符合接口规范；效率指标——完成同样任务用了多少步、多少轮，绕远路也能到，但不算好司机；鲁棒性——同一个任务运行多次，结果稳定吗？遇到报错、超时等异常返回能不能恢复？

为了把多个维度合成一个可比较的分数，AgentBench 会对各维度分别打分，再按权重加权。就像驾考总分等于交规分、桩考分、路考分各自乘以权重的加总：

一张多维评分表，让考官既不溺爱“只会考试不会开车”的学员，也不冤枉“开得稳健但速度稍慢”的老司机。分维度看能力，正是 AgentBench 评测设计的精髓。

四、任务分类：八大科目

驾考有科目一、科目二、科目三，AgentBench 的考场也分门别类，一共覆盖 8 个模拟环境：操作系统（命令行）、数据库（SQL）、知识图谱（API 查询）、卡牌游戏、横向思维谜题、房屋管理、网页购物、数字卡牌。它们就像不同考试科目，锻炼不同的“肌肉群”。

可以把这些科目粗分为四类：工具操作类——操作系统与数据库，要求 Agent 准确调用复杂接口（命令行、SQL）；信息检索类——知识图谱，要求做多跳查询找到答案；决策规划类——卡牌游戏与数字卡牌，要求根据规则和局面做规划；日常交互类——网页购物、房屋管理，要求理解模糊指令并完成多步操作。

每类任务单独统计“通过率”，便于定位模型长短板；总体成绩则是对所有环境成功率取平均。好比学校算总评，先算每门课的平均分，再把各科平均分加总除以科目数——不会因为某一科特别简单或特别难而带偏整体判断：

科目分得越细，越能看出学员是“只会倒库”还是“路况全能”。一个在购物环境满分、在命令行翻车的模型，显然不算合格的“数字司机”。

五、复杂度分级：从小区停车场到高速

同样叫“路考”，在空旷的驾校场地开车，和在早高峰的高架桥上开车，难度天差地别。AgentBench 也把任务按复杂度分级，避免拿简单的倒车去考验“需要随机应变”的高难度驾驶，也避免所有任务都难到全军覆没。

AgentBench 引入 IIR 框架，从三个维度刻画任务难度：Interface（接口）——任务要操作的工具界面有多复杂，是纯文本、命令行还是图形界面；Instruction（指令）——用户指令有多长、多模糊、包含多少约束；Reasoning（推理）——完成任务需要几步推理、是否涉及长链条逻辑。三个维度共同决定了一道题是“科目二”还是“高速夜考”。

经验上，任务成功率会随复杂度等级显著下降。可以用一个简单模型描述这种现象：每上一个难度台阶，成功率按固定比例打个折，就像路况每复杂一档，新手司机的通过率就掉一截：

把难度分级放进评测，既不会让简单任务“人人满分”失去区分度，也不会让高难任务“屡考屡挂”无从分析——每一级的失败原因，都指向不同的能力短板。

六、框架对比：谁家的学员上路最稳

驾校不同，教学风格不同：有的主打应试速成，有的强调防御性驾驶。AI 界的“驾校”就是各种 Agent 框架——它们给同一个大模型套上不同的“教学法”，路考成绩自然拉开差距。

AgentBench 评测中最常被拿来比较的几类框架：直提基线——只给模型一段系统提示就开始干活，相当于“自学成才裸考上阵”；ReAct——强制模型按“思考→行动→观察”交替推进，相当于教练在旁边一步步报要点；AutoGPT——让模型自主拆解目标、循环执行子任务，相当于放手让学员自己规划路线；Reflexion——在 ReAct 基础上加入“失败后复盘重试”，相当于考砸了允许先写反思再补考。

框架对比的常用指标，是相对基线的提升幅度。就像比较各驾校的平均分比全市平均分高多少——提升量为正说明这套“教学法”确实有效：

这场“驾校对决”清楚地告诉我们：模型再聪明，也需要好的教学法才能安全上路。AgentBench 把这层差距量化成了表格——谁在裸考、谁在认真练车，一目了然。

七、性能分析：解读成绩单

路考结束，教练会拿着成绩单逐项分析：安全分丢在哪、灯光扣了几分，而不是只看“过了/没过”。AgentBench 的成绩单分析同样重视细节：不只关心排名，还要看清输在哪里、赢在何处。

常见的分析维度包括：整体得分——所有环境的平均成功率，用于横向排名；分项对比——按环境、按维度拆开看，定位“哪科挂科”；胜率分析——当多个 Agent 在同一批任务上同场竞技时，统计谁赢得多；瓶颈定位——把失败样本归因到接口误用、长链漂移、指令误解等具体原因。

胜率是衡量 Agent 相对强弱的重要指标。如果把每次任务看作一次“同时发卷的对抗赛”，那么有胜场 W 和负场 L，胜率就定义为：

把成绩单拆开看，才能找到真正的短板：也许总分不高，是因为某个复杂接口频繁出错，而非推理能力弱。分析成绩单，正是改进 Agent 的第一步。

八、基准价值：考试反哺教学

一个城市的驾考通过率常年垫底，交管部门就会研究是训练时间不够，还是考试项目设置不合理，然后针对性调整教学与考纲。AgentBench 的价值，正是这样一座“数据反馈桥”：模型考得不好，研究者能立刻定位原因，反过来改进模型与框架。

具体价值有三条：技术创新——把“Agent 能力”变成可优化的目标函数，研究者针对失分点迭代微调、强化学习与提示策略；迭代反馈——每次换框架或微调后重跑评测，量化是进步还是退步，避免“拍脑袋上线”；生态建设——开源评测集让社区在同一条赛道上比拼，带动框架、数据集、工具链共同繁荣。

衡量一次迭代是否有效，可以用相对提升率。相当于上次考 60 分、这次考 75 分，提升了 25%——相对提升率把不同难度的起点拉到同一把尺子上比较：

考试不是为了把学生考倒，而是让教学变得更好。AgentBench 正是在用一场全面的“路考”，倒逼整个 Agent 生态把油门踩向更可靠、更自主的未来。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""简化版 AgentBench: 用多步骤任务模拟环境, 比较三类 Agent 策略的完成率""" import random  def run_agent(correct_prob, task_len):    """模拟 Agent 逐步执行任务, 任一步动作出错即整体失败"""    for _ in range(task_len):        if random.random() >= correct_prob:            return False    return True  def baseline(task_len):    """基线策略: 单步正确率只有 30%"""    return run_agent(0.30, task_len)  def react(task_len):    """ReAct 策略: 思考与行动交替, 单步正确率 70%"""    return run_agent(0.70, task_len)  def reflexion(task_len, retries=2):    """Reflexion 策略: 失败后复盘, 重试时单步正确率逐次提升"""    for i in range(retries + 1):        prob = 0.70 + 0.10 * i        if run_agent(prob, task_len):            return True    return False  def evaluate(agent, task_len, trials=200):    """在 task_len 步任务上跑 trials 轮, 返回完成率"""    return sum(agent(task_len) for _ in range(trials)) / trials  def main():    random.seed(42)    levels = [("L1 简单", 3), ("L2 中等", 6), ("L3 困难", 10)]    strategies = {"Baseline": baseline, "ReAct": react, "Reflexion": reflexion}    for name, fn in strategies.items():        scores = [evaluate(fn, length) for _, length in levels]        avg = sum(scores) / len(scores) * 100        parts = "  ".join("%s=%4.1f%%" % (tag, s * 100) for (tag, _), s in zip(levels, scores))        print("%-10s %s  平均=%4.1f%%" % (name, parts, avg))  if __name__ == "__main__":    main()

1. def run_agent(correct_prob, task_len)模拟器核心：任务要求连续做对 task_len 步，任一步出错即失败，对应“一步错步步错”的真实接口任务
2. if random.random() >= correct_prob:单步动作出错即返回失败，反映 AgentBench 中不可逆状态操作的高风险
3. def reflexion(task_len, retries=2):失败后进入“补考”循环，对比 ReAct 的一次性尝试
4. prob = 0.70 + 0.10 * i反思让重试轮次的单步正确率逐步提升，这是 Reflexion 的核心增益
5. levels = [("L1 简单", 3), ("L2 中等", 6), ("L3 困难", 10)]用所需连续正确步数模拟复杂度分级
6. return sum(agent(task_len) for _ in range(trials)) / trials多次抽样求完成率，对应评测中的多次运行取平均

常见误区

面试题