Agent工作流：Agent评测

可视化演示

从任务完成率、工具调用准确性与推理链质量三个维度量化Agent综合能力，对比自动化评分与人工评估在效率与准确性上的取舍。

评测三维度

驾校要给学员发驾照，不是看一次倒库表现就拍板，而是先考理论、再考场地、最后路考——三个层面都过关才敢放你上路。评估一个 Agent 也是同理：它跟用户聊得再热闹，最终要看三件事——事办成了没有、工具用对了没有、走弯路了没有。这三个问号，正好对应评测三维度：任务完成率、工具调用准确性、推理链质量。

任务完成率最直接，像“科目三路考”，终点到达才算通过；工具调用准确性是“科目二倒库”，方向盘、后视镜这些“工具”用得精准才不碰杆；推理链质量则像副驾安全员手里的过程评分表，学员每踩一脚刹车、每变一次道，依据是什么、顺序是否合理，都会被记录在案。

三个维度各自独立又互相补充。任务完成率只关心最终输出是否兑现用户的真实目标，不管中间走了多少弯路；工具调用准确性统计 Agent 每一步中要调用的 API、函数、数据库是否选对、参数是否填对；推理链质量则由 LLM 生成的过程轨迹来评判——子目标分解是否合理、计划是否可执行、有无冗余甚至幻觉步骤。三者交叉，才能描绘出 Agent 的综合能力画像。

三个维度合一，才是一张完整的“成绩单”。就像驾校不会只问“到了没”，还要问“怎么开的”——任务完成率给结果背书，工具准确率给“家伙什”背书，推理链质量给驾驶习惯背书。三者都拿到高分，这位 AI 管家才敢真正上岗。

评测基准设计

有了评分标准，下一步是出题。驾校考试不能只在一个院子倒库，还得分城市路、高速、夜间、雨天。Agent 评测基准（benchmark）就是那本《驾考大纲》，它决定 Agent 在哪些“道路”上接受检验、题目从哪来、难度梯度和领域分布如何设定。

评测基准设计的好坏，直接决定分数有没有参考价值。一个只考“今天天气怎么样”的基准，就像只考倒库的驾校，再高的分也代表不了真实驾驶水平。设计基准要回答四个问题：考什么任务、任务多难、覆盖哪些领域、题目有没有漏题。

任务集构建要从真实业务日志中提炼高频且有代表性的用户诉求，避免凭空编题；难度分级要覆盖简单、中等、困难、地狱四个梯度，防止“人人满分”或“人人零分”失去区分度；领域覆盖要打开，客服、办公、编程、搜索、金融等场景都应入册；防过拟合要求评测集与训练数据严格隔离，并定期用线上新难题刷新题库，防止 AI 像学生“刷真题”一样背答案。

一份合格的基准，就像一份覆盖城市路、高速、乡道和雨天的驾考大纲，题目的难度、领域和新鲜度都有规则可言。题库设计得扎实，考出来的分数才配写进“档案”，成为后续迭代的参照坐标。

自动化评分

科目二的项目现在大多是红外线电子考官——车有没有压线，摄像头和传感器比人眼更精准。Agent 评测也追求尽可能自动化，否则每天跑几百条任务、每条任务几十个步骤，光靠人看会累死。但自动化评分并非只有一种姿势。

自动化评分本质是“机器当考官”，常见有三种裁判方式：规则匹配、模型评分、工具结果校验。它们像电子考官的不同传感器，各有所长，组合使用才能把客观题和主观题都评得服气。

规则匹配最直接，写正则或 JSON Schema 检查 Agent 输出的格式、关键词、JSON 结构是否符合预期，适合工具参数这类强约束字段；模型评分是请一个更强的 LLM 当“阅卷老师”，按评分卡对它给出的完成度、相关性逐项打分，适合开放性的自然语言结果；工具结果校验最硬核，直接看 Agent 调用的工具返回码、数据库状态、文件是否真实生成，用事实说话。自动化评分上线前，必须验证它与人工评分的一致性，常用的指标就是 Cohen's Kappa 系数，看“机器考官”和“人类考官”的给分是否达成共识。

电子考官厉害，但也要先“校准”。自动化评分不是拍脑袋定规则，而是先跟人类考官对答案，达成共识后再批量上岗。这样既保留了机器的效率，又守住了人类的标准。

人工评估方案

电子考官再先进，路考还是要把安全员请进副驾。因为有些东西传感器看不出来：学员起步前有没有观察后视镜、斑马线前有没有主动减速——这种“过程文明”，必须靠人眼判断。Agent 评测同样需要人工评估来兜底。

人工评估不是把几百条任务全人工跑，那成本太高。工程上的标准做法是：设计一套科学的抽样、标注与一致性校验机制，让最少的人力覆盖最关键的盲区。

首先是标注体系：定义清晰的评分卡，把“推理是否合理”“回复是否得体”“是否产生有害内容”拆成可打勾的条目，而不是让标注员凭感觉打总分；然后是抽样策略，按难度、领域、模型输出类型做分层抽样，保证各层都有样本进人工池；接着是一致性校验，至少两人独立标注同一批样本，口径一致率超过约定阈值才采信，否则说明评分卡写得不够清楚，要回炉重写。整个人机协同的设计，目标是把“人的判断力”用在最需要的地方。

安全员坐在副驾，不是要抢方向盘，而是守护电子设备看不到的“过程底线”。人工评估也一样，它不追求全量覆盖，而是用一套严密的抽样与校验制度，在自动化盲区里补上一双可靠的眼睛。

开放域挑战

驾校考场是封闭的，而真实道路上有行人穿行、有暴雨积水、有施工改道。Agent 一旦进入开放域环境，评测就开始“水土不服”：同样的题目昨天能得 90 分，今天只拿 80 分——这是学员水平波动，还是路况变了？

开放域评测最大的敌人有三个：不可复现、标注偏差、环境不稳定。它们动摇了“评测分数可信”这个根基。

不可复现来自 LLM 采样随机性——温度大于 0 时，同一 prompt 每次输出都不同；外部依赖的模型版本更新、A/B 实验切换也会让行为漂移。标注偏差来自主观性：不同人对“回答得够不够好”的标准天生不一致，标注规范再细也有灰色地带。环境不稳定指外部 API 超时、限流、文档变更导致工具调用失败，分数下滑未必是 Agent 变笨了。应对方法是多次采样取均值、把评测环境做成沙箱快照、对评测任务固定随机种子，并在报告里同时给出平均值和置信区间，让“分数”带上“误差棒”，也让“评测可靠性”本身被量化。

开放域就像没有围墙的考场，天气和路况天天变。与其追求一个“绝对精准”的分数，不如接受波动并用统计工具管理它——给分数装上误差棒，让每一次评测都诚实标注“这次考卷的可信度有多高”。

工程落地实践

驾校一旦规模化，就要上排考系统、成绩档案和复考制度——不能靠教练记小本本。Agent 评测要真正服务生产，同样得工程化：把评测从“脚本”升级为“流水线”，嵌进 CI/CD，配上监控和告警。

从技术原型到大规模生产，评测要回答三个新问题：每次改 Prompt 或换模型怎么快速知道变好还是变差？线上 Agent 会不会悄悄退化？评测集怎么持续保鲜？

答案是三条流水线。发布流水线：模型或 Prompt 变更时自动触发评测机跑全量回归集，得分下滑超过阈值直接拦截合并请求；监控流水线：生产环境每两小时跑一组迷你基准（20 到 30 条任务），分数或工具成功率漂移超过 5% 就告警；优化闭环：把线上人工客服标记的“疑难件”定期补充进评测集，让基准和真实世界同频进化。三条线串起来，Agent 能力就成了可观测、可回溯、可迭代的工程资产。

打分体系一旦跑进流水线，就变成了生产的“红绿灯”。每次模型更新都要过闸机，线上波动有雷达盯着，题库随真实世界持续生长——到这一步，Agent 评测才真正从“考试”变成了“质量基础设施”。

AI 应用场景

Python 演示

import jsonimport random  class SimpleAgent:    """模拟的Agent, 带一个技能水平参数."""     def __init__(self, name, skill_level=0.8):        self.name = name        self.skill_level = skill_level     def complete_task(self, task):        return random.random() < self.skill_level     def call_tool(self, tool_name):        return random.random() < self.skill_level     def reason_steps(self, task):        return ["理解任务", "拆解子目标", "调用工具", "汇总结果"]  class AgentEvaluator:    """评测器: 输出三维度完整报告."""     def __init__(self, tasks, rounds=3):        self.tasks = tasks        self.rounds = rounds        self.report = {}     def evaluate(self, agent):        total = len(self.tasks) * self.rounds        tool_total = sum(len(t.get("tools", [])) for t in self.tasks)        tool_total *= self.rounds        success = tool_hit = reason_ok = 0         for task in self.tasks:            for _ in range(self.rounds):                if agent.complete_task(task["desc"]):                    success += 1                for tool in task.get("tools", []):                    if agent.call_tool(tool):                        tool_hit += 1                steps = agent.reason_steps(task["desc"])                if len(steps) >= task.get("min_steps", 3):                    reason_ok += 1         self.report[agent.name] = {            "task_completion": round(success / total, 3),            "tool_accuracy": round(tool_hit / tool_total, 3),            "reason_chain": round(reason_ok / total, 3),        }        return self.report[agent.name]  if __name__ == "__main__":    benchmark = [        {"desc": "查询天气并提醒带伞", "tools": ["weather_api"], "min_steps": 3},        {"desc": "整理一周日程并发送摘要", "tools": ["calendar", "email"], "min_steps": 4},        {"desc": "对比两款手机价格并推荐", "tools": ["search", "compare"], "min_steps": 4},    ]    evaluator = AgentEvaluator(benchmark, rounds=5)    score_a = evaluator.evaluate(SimpleAgent("agent_a", 0.85))    score_b = evaluator.evaluate(SimpleAgent("agent_b", 0.65))    print(json.dumps(score_a, ensure_ascii=False, indent=2))    print(json.dumps(score_b, ensure_ascii=False, indent=2))

1. class SimpleAgent:定义一个带技能水平参数的模拟 Agent，技能值越高，完成任务和调用工具的成功率越高。
2. return random.random() < self.skill_level用随机数模拟“任务是否成功”，技能值就是成功概率。
3. class AgentEvaluator:评测器本体，负责对 Agent 执行多轮评测并汇总三维度报告。
4. def __init__(self, tasks, rounds=3):初始化时接收评测任务集和重复轮数，轮数越多波动越小。
5. for task in self.tasks:遍历评测基准里的每个任务，就像考官逐题发卷。
6. if agent.complete_task(task["desc"]):让 Agent 执行任务并判断是否成功，累计成功次数。
7. if agent.call_tool(tool):检查每个工具调用是否正确，累计命中次数。
8. "task_completion": round(success / total, 3)用成功次数除以总执行次数，得到任务完成率。
9. benchmark = [...]定义评测基准：三条任务、每个任务需要的工具和最少推理步数。
10. evaluator.evaluate(SimpleAgent("agent_a", 0.85))同时评测 skill_level 为 0.85 和 0.65 的两个 Agent，直观看出高分 Agent 的三维得分更高。

常见误区

面试题