工具调用评测：工具选择

可视化演示

展示工具选择评测：从多个可用工具中选择最合适工具、意图匹配准确度、选择错误与正确率分析，通过交互理解Agent工具调用能力评测。

评测任务定义

小林搬进老公寓的第一天，主管递给他一本《维修任务手册》。翻开手册，每一页的格式都一样：上半页写着家人的求助（“厨房水龙头一直滴水”“书架上的十字螺丝松了”），下半页贴着几张工具的照片和标签说明，最后留一行空格：“请填写你选择的工具编号”。小林要做的，就是完成手册里每一页的填空。这就是一次标准的“工具选择评测”。

在 AI 评测的世界里，这本《维修任务手册》就是“评测任务集”。每条任务由两部分构成：用户请求 q（相当于家人的求助）和候选工具列表 \(\{D_1, D_2, \ldots, D_K\}\)（相当于手册里的工具照片与说明）。模型的输出是一个工具编号，或者按匹配度排序的工具列表。评测场景也有讲究：点选式评测只要求模型选一个最合适的工具；排序式评测要求模型把候选工具按适合程度排好序；开放集评测则不提前固定候选工具，模型需要从更大的工具库中自行筛查。

任务定义直接决定了评测的难度和可信度。如果任务描述含糊，或者工具说明过于简短，模型的成绩就反映不出真实能力。因此正规的评测会像《维修任务手册》一样，统一任务格式、控制描述篇幅、预设标准答案。评测中统计模型选对的比例，就得到了最基础也最重要的指标——选择准确率：

有了这本格式统一的任务手册，小林的每一次表现都能被公平记录。不过手册只是“卷子”，真正决定小林考得好不好的，是他能不能读懂工具标签——这就是下一节要讲的工具描述理解。

工具描述理解

小林翻开手册时发现，工具标签的质量参差不齐。有的标签写得很清楚：“尖嘴钳——适合夹持细小物体”；有的却只写着“多功能工具”四个字。标签读不懂，再好的工具也可能被忽略。工具描述理解，评测的正是模型“读标签”的能力。

技术上将“读标签”拆成三个可评测的环节：描述文本解析、语义向量编码、功能信息抽取。描述文本解析把自然语言描述拆成“功能动词 + 作用对象 + 使用条件”，例如“拧紧 + 六角螺母 + 需配合扳手”；语义向量编码把整段描述映射成一个稠密向量；功能信息抽取则进一步生成结构化的能力清单。在许多工具选择框架中，向量编码后的描述会被拿去与用户请求的向量做相似度计算：

读懂标签决定了选工具的下限，标签理解不到位，后面的匹配就无从谈起。而真正决定“能不能选中”的临门一脚，是把家人的需求与工具的功能精确对上——这就是意图匹配。

意图匹配准确

家人的求助通常“话里有话”。“厨房水龙头一直滴水”字面上在说水，实际上需要的是能拧紧接口的扳手或密封胶带；“把画挂到墙上”没说“电钻”，但墙上打孔离不开电钻。小林要做的，是把模糊的求助翻译成明确的“功能需求清单”，再与工具的功能清单配对。

意图匹配在评测中的实现通常分三步。第一步是意图解析：从请求中提取“要完成什么动作、作用于什么对象、有什么约束”；第二步是候选召回：先用宽泛的匹配从上百个工具中快速筛出 5-10 个候选，避免对每个工具都做精细计算；第三步是匹配排序：对候选工具逐一计算匹配分数并按分数排序。

排序环节常用带温度系数的 softmax 把匹配分数转成选择概率：

意图匹配准确了，小林的正确率自然就上去了。但他也会犯错——记录本上那些“翻车现场”，正是下一节要研究的错误分析。

选择错误分析

小林的工具箱旁边有本黑色的《维修失误记录本》。他翻开给主管看，发现错误可以分成三类。第一类：工具标签写得太差，他压根没读懂，比如把“多功能工具”理解成“什么都能干”，结果什么都干不好；第二类：家人需求太绕，他把“想拧紧漏水的水龙头”理解成了“想要一块毛巾”；第三类：两个工具长得太像，他在尖嘴钳和平口钳之间犹豫半天，最后还是拿错了。

这三类错误正是工具选择评测中“选择错误分析”的典型维度：描述误读、意图偏离、近邻混淆。描述误读对应工具描述理解能力的缺口；意图偏离对应意图匹配环节的偏差；近邻混淆则反映模型在细粒度功能区分上的不足。把总错误率按下面的公式分解，可以快速定位最需要改进的环节：

主管还让小林把每个工具的“选对与选错”情况填成一张混淆矩阵表，看看他和哪些工具“八字不合”。不过归根结底，评价小林不能只靠感觉，需要一套科学的计分规则——这就是评测指标设计。

评测指标设计

主管说，光看“总维修成功率”不够公平。有些任务简单到闭眼都能做对，比如“敲钉子”配锤子；有些任务却在两个相似工具之间设陷阱。如果简单任务占多数，一个平庸的维修师也能拿到不错的分数。于是主管在评分表上加了两行：一行是“每一种工具的单品考核分”，一行是“综合加权分”。

第一行对应宏平均 F1。把每个工具编号看作一个类别，先算出该工具的精确率 \(P_k\)（选它时有几次选对）和召回率 \(R_k\)（该选它时有几次被选中），求调和平均得到该工具的 F1，再把所有工具的 F1 取平均。这样即使某个工具很少被用到，它的表现也不会被淹没在大盘数据里。

除此之外，评测框架还会综合准确率、宏 F1、错误分解结果给出加权综合分，用于排行榜总排名。有了这套记分牌，评测才算真正“公平”。而想进一步确认某个改进真的有效，就要进入最后一关：对比实验分析。

对比实验分析

公司同时招聘了几位“维修师”（不同版本的模型），主管给所有人分发同一本《维修任务手册》和同一套工具箱。为了公平，他制定了三条规则：一是每个维修师都要做同一批任务，控制任务分布一致；二是把维修师的一些“技能模块”临时拆掉对比，看哪些模块真正有用；三是每个维修师重复考核好几轮，排除运气成分。

对应到工具选择评测中，第一条规则是统一评测集与工具集；第二条规则是消融实验——例如把“工具描述理解”模块替换成朴素关键词匹配，或去掉“意图解析”模块直接拿原文匹配，观察准确率下降多少，以此确认各模块的贡献；第三条规则是显著性检验。因为随机种子、采样顺序都会带来波动，两次实验之间 0.5% 的差距可能只是噪声。用独立的 t 检验可以判断差异是否显著：

经过这三条规则的层层检验，小林（以及各家“维修师”）的真实水平才水落石出。从任务定义到描述理解、意图匹配、错误分析、指标设计、对比实验，这套“工具选择评测”就像一间标准化的维修考核车间：工具箱统一、卷面统一、评分统一，每一个回答都能追溯原因，每一次进步都能被验证。

AI 应用场景

Python 演示

import numpy as npfrom collections import Counter # 定义工具集合, 模拟维修工具箱中的四件工具TOOLS = [    {"id": 0, "name": "扳手", "desc": "拧紧或松开六角螺母", "keys": ["拧", "螺母", "六角"]},    {"id": 1, "name": "螺丝刀", "desc": "旋转十字或一字螺丝", "keys": ["螺丝", "旋转", "十字"]},    {"id": 2, "name": "锤子", "desc": "敲击钉子或锤打物体", "keys": ["敲", "钉", "锤"]},    {"id": 3, "name": "密封胶带", "desc": "密封接口或粘贴物体", "keys": ["密封", "粘贴", "漏水"]},] # 评测任务集, answer 为标准答案TASKS = [    {"query": "厨房水龙头一直滴水", "answer": 3},    {"query": "书架的十字螺丝松了", "answer": 1},    {"query": "想把钉子敲进墙里", "answer": 2},    {"query": "六角螺母拧不下来", "answer": 0},    {"query": "窗户缝渗水要用胶带密封", "answer": 3},    {"query": "给电视挂架拧十字螺丝", "answer": 1},] def random_model(tools, query):    # 随机基线: 闭着眼睛从工具箱里拿    return int(np.random.randint(len(tools))) def keyword_model(tools, query):    # 关键词基线: 数一数查询里命中多少个工具关键词    best_id, best_hits = tools[0]["id"], -1    for t in tools:        hits = sum(1 for k in t["keys"] if k in query)        if hits > best_hits:            best_id, best_hits = t["id"], hits    return best_id def evaluate(model, tasks):    # 评测函数: 跑完所有任务, 返回准确率与混淆对    correct = 0    confusion = Counter()    for task in tasks:        pred = model(TOOLS, task["query"])        if pred == task["answer"]:            correct += 1        else:            confusion[(task["answer"], pred)] += 1    acc = correct / len(tasks)    return acc, confusion np.random.seed(42)acc_rand, conf_rand = evaluate(random_model, TASKS)acc_kw, conf_kw = evaluate(keyword_model, TASKS)print("random acc: %.2f" % acc_rand)print("keyword acc: %.2f" % acc_kw)print("confusion(gt->pred):", dict(conf_kw) if conf_kw else "none")

1. {"id": 0, "name": "扳手", ..., "keys": [...]}定义工具的“标签页”，keys 模拟工具描述中的关键功能词
2. def keyword_model(tools, query)一个朴素的“只看关键词”的基线维修师
3. hits = sum(1 for k in t["keys"] if k in query)统计查询里命中多少个功能词，模拟“读标签”匹配过程
4. pred = model(TOOLS, task["query"])每个任务调用一次模型，得到工具选择结果
5. confusion[(task["answer"], pred)] += 1记录「标准答案 → 预测」的错配对，供错误分析使用
6. np.random.seed(42)固定随机种子，保证随机基线可复现，呼应评测的公平性要求
7. print("keyword acc: %.2f" % acc_kw)输出整体准确率，作为模型排名的依据

常见误区

面试题