AgentBench：多任务基准与失败分析

可视化演示

\u5c55\u793aAgentBench\u591a\u4efb\u52a1\u8bc4\u6d4b\u57fa\u51c6\u7684\u6027\u80fd\u5f97\u5206\u5bf9\u6bd4\u4e0eAgent\u5931\u8d25\u6a21\u5f0f\u5206\u5e03\u5206\u6790\uff0c\u8986\u76d6\u6570\u636e\u5e93/\u7f51\u9875/\u64cd\u4f5c\u7cfb\u7edf\u7b49\u591a\u573a\u666f\u3002

评测缘起：为何需要多任务考场

还记得那个只考“聊天”的学校吗？它的毕业生面试时一开口就露馅——聊得头头是道，真让他帮忙整理一份报表却手足无措。问题出在考核方式上：单一测试无法反映综合能力。就好比不能用作文成绩判断一个学生的数学水平，评测 AI Agent 也不能只问“你能陪我聊几句”。AgentBench 的诞生，就是给 AI 设置了一场“3+X“综合考试：不再问”你会不会说话“，而是问”你能不能把事办成”。

这里的“办成事”怎么量化？AgentBench 把能力拆解为一系列任务环境（environment），每个环境都模拟真实软件场景，比如真实 Linux 系统、数据库引擎、知识图谱服务器。模型必须像人类实习生一样，通过工具调用、命令执行、多轮试错来完成任务。每个任务环境又包含若干实例（instance），每个实例都有一条明确的任务描述和一份标准答案。

那么一份“综合素质成绩”怎么算？最简单也最公平的方案，是取所有任务成功率的算术平均。这就像考试院把六门课的成绩等权汇总，防止某个 Agent 只在简单科目刷高分。综合得分的表达式为：

回到比喻，AgentBench 的初心很简单：把音体美也纳入考核，逼着 AI 考生从“话痨型天才”变成“全能型选手”。多任务考场不是故意刁难，而是因为现实世界中根本没有“只考一科”的工作。

任务设计：六大环境如六门科目

打开这份考卷，你会发现六门“科目”的设定相当用心。操作系统像上机实操——Agent 拿到一个 Linux 终端和一项任务（如安装软件、修复文件），必须自己敲命令、看回显、调整策略；数据库像资料检索与统计——Agent 要对真实数据库执行查询，从多表关联中推理出答案；知识图谱则像逻辑推理题，需要在实体关系网络中一步步推导。

另外三门更贴近日常：数字卡牌游戏要求 Agent 理解规则、规划出牌，甚至要会“骗”对手；家居环境让 Agent 通过指令控制虚拟房间里的设备，完成“把灯调到最暗坐下休息”这类复合指令；网页购物则要求 Agent 像真人一样浏览页面、点击筛选、比对价格、完成下单。

每个科目都不是空口出题，而是基于真实公开数据构建的实例集。评测时，系统会随机抽取一批实例，有的简单、有的复杂，就像试卷里有基础题也有压轴题。成功与否不是“感觉对了”，而是看最终状态是否满足任务的目标条件。一个实例的成功率统计可表示为：

这六门科目不是拍脑袋定的，而是对应着真实数字世界中 Agent 可能接手的工作：运维、数据分析、知识检索、策略博弈、智能家居和在线购物。就像高考科目会随时代调整，AgentBench 的设计哲学是：未来 Agent 要分担人类在数字世界的各种杂务，考卷就应当覆盖这些杂务的缩影。

评估机制：自动阅卷与公平规则

考试最怕什么？怕阅卷老师手抖，更怕有人钻规则空子。AgentBench 的答案是“机器阅卷 + 三条铁律”。第一，每个任务环境配备一个自动评分器（checker），它负责判断 Agent 的最终输出是否达到目标条件。有的评分器做精确匹配，比如数据库查询结果必须和标准答案完全一致；有的做规则校验，比如检查文件是否真的被修改；还有的干脆请一个“裁判模型”来评判，模拟人类打分。

第二，为了公平，所有考生都戴着“镣铐”：交互次数限制（interaction limit） 和 成本预算。这就像考试限时 120 分钟、只能带指定文具。Agent 不能无限试错，因为它消耗的 token 和大模型 API 调用都是真金白银。第三，标准化跑分意味着每个模型的评测脚本、指标定义完全一致，谁快谁慢、谁强谁弱一目了然。

评分器对一次交互轨迹的判定可以写成一个简单的奖励函数：

自动阅卷不是冷冰冰，而是公平的化身。人类评委可能被冗长输出误导，机器评分只看结果是否达标。这也提醒我们：Agent 的“表演型认真”在 AgentBench 面前毫无用处，考试成绩全靠硬实力。

模型表现：三组考生的成绩单

放榜时刻到了。AgentBench 论文把考生分成三组：商业闭源模型（以 GPT-4 为代表）、开源模型（如 LLaMA 微调后的 Agent）和人类基线。结果毫不意外又令人警醒：人类基线的成功率普遍在 80% 以上，是当之无愧的“学霸”；GPT-4 综合表现最强，在数据库、知识图谱等任务上接近人类水平，但在网页购物这种长链路任务上只有两成多的成功率；开源模型则整体落后一筹，多数任务在个位数到三成之间徘徊。

成绩单上最刺眼的，是模型与人类之间的“鸿沟”。这个差距可以用相对差值来衡量：

三组分数告诉我们两件事：第一，人类仍是 Agent 的天花板，尤其在需要长程规划的任务上，人类几乎碾压式领先；第二，闭源与开源的差距真实存在，但并非遥不可及——开源模型在部分任务上已经逼近闭源。这张成绩单不是用来制造焦虑，而是帮研究者找准发力方向。

失败模式：八类病根的诊断

分数之外，AgentBench 最珍贵的产出是那份“偏科诊断书”。论文系统分析了 Agent 的失败轨迹，归纳出八类典型失败模式，就像医生把症状归为几大症候群。这八类分别是：

1. 程序崩溃（crashes）：Agent 生成的命令或代码直接让执行环境报错退出；

2. 陷入死循环（infinite loops）：不断重复同样的动作，原地打转；

3. 探索不足（insufficient exploration）：只看了一眼环境就贸然行动，信息不足；

4. 过度探索（excessive exploration）：逛遍整个环境却迟迟不提交答案，忘了任务目标；

5. 指令部分遵循失败（partial instruction following）：做了任务的一部分，却漏掉关键约束；

6. 指令完全忽略（complete neglect）：答非所问，完全跑题；

7. 幻觉（hallucination）：编造不存在的文件、命令或事实；

8. 错误记忆（wrong memory）：从之前的对话中提取了错误信息，张冠李戴。

这八类病根出现的频率并不均匀。研究发现，长程任务中失败率显著更高，而且越往后的步骤越容易出问题。如果把失败样本看作一个整体，每一类病根的“确诊率”可以这样计算：

诊断书的意义在于按病开方：如果“探索不足”占比高，就增强 Agent 的观察深度；如果“指令忽略”频发，就改进 prompt 的约束表达。就像体检报告上的箭头比总分更值得关注——失败模式才是改进 Agent 的真正抓手。

性能瓶颈：长任务为何翻车

在所有病根背后，隐藏着一个更本质的瓶颈：Agent 在长程任务中会随着步数增加而“掉血”。你可以把每一步操作想象成一次蒙眼闯关，每步都有一定概率出错。如果一个 Agent 单步操作的成功率为 \(p\)，完成一个需要 \(n\) 步的任务，那么全程成功的概率就是：

这个公式直击 Agent 的两大软肋：规划能力欠缺——不会把长任务拆解成可靠的小步骤；指令遵循不足——步骤一多就忘掉最初的约束。加上上下文窗口的限制，Agent 常常“走太远忘了为什么出发”。泛化能力弱则让问题雪上加霜：换个环境、换个说法，原本有效的策略就失效了。

所以，性能瓶颈不是单一的“模型不够聪明”，而是规划、记忆、泛化三座大山叠加。好消息是，公式也给出了改进方向：要么提高单步成功率 \(p\)（用更好的工具调用、更严谨的验证），要么减少必要步数 \(n\)（用更强的前置规划压缩任务链条）。两条路都能显著抬升长程任务的成功率。

评测应用：Agent 改进的指挥棒

AgentBench 不是一份考完就丢的试卷，而是指导 Agent 开发的指挥棒。早期两大著名框架——AutoGPT 和 BabyAGI——就经常被拿来做对照实验。AutoGPT 像“自由发挥型”考生，擅长自主分解任务，但步骤一多就容易跑偏甚至自我循环；BabyAGI 像“流水线工人”，按固定流程执行任务，稳定但缺乏灵活性。用 AgentBench 一测，两者在真实环境中的成功率都不高，这狠狠打醒了“看起来聪明”的乐观情绪。

那么如何利用 AgentBench 改进自己的 Agent？标准做法是三层迭代：先跑一遍完整基准拿到成绩单；再对照失败模式诊断书定位高频病根；最后针对性地修改系统设计——比如减少不必要的模型调用、给规划模块加结构化约束、引入失败重试机制。改进效果可以用相对提升来衡量：

回到学校比喻，AgentBench 让 AI 教育从“凭感觉培养”走向“数据驱动培养”。先考试、再诊断、后补课、再复考，这个循环是 Agent 从“实验室玩具”走向“生产力工具”的必经之路。

AI 应用场景

Python 演示

import random TASKS = ['操作系统', '数据库', '知识图谱'] def evaluate(success_probs, trials=100):    results = {}    for task, p in zip(TASKS, success_probs):        success = 0        for _ in range(trials):            if random.random() < p:                success += 1        results[task] = success / trials    return results def fail_analysis():    dist = {'长程规划': 38, '指令遵循': 25, '环境交互': 20, '记忆管理': 17}    total = sum(dist.values())    for name, cnt in dist.items():        ratio = cnt / total        print('失败模式 {0}: {1:.0%}'.format(name, ratio)) def main():    agents = {        'GPT-4': [0.43, 0.92, 0.66],        '开源Agent': [0.23, 0.67, 0.44],        '人类基线': [0.81, 0.94, 0.90],    }    for name, probs in agents.items():        results = evaluate(probs)        avg = sum(results.values()) / len(results)        print(name, {k: round(v, 3) for k, v in results.items()},              '综合得分:', round(avg, 3))    fail_analysis() if __name__ == '__main__':    main()

1. results[task] = success / trials用蒙特卡洛方式估算每个任务的成功率，相当于模拟机器阅卷。
2. avg = sum(results.values()) / len(results)复现综合得分公式 \(\bar{S}\)，即各科成功率的算术平均。
3. total = sum(dist.values())统计全部失败样本数，对应公式中的 \(N_{\text{fail}}\)。
4. ratio = cnt / total计算某类失败模式占比，对应公式 \(P(c) = N_c / N_{\text{fail}}\)。
5. if __name__ == '__main__':提供可执行入口，直接运行即可看到三组“考生”的成绩单。

常见误区

面试题