工具调用评测：BFCL Berkeley Function Calling

可视化演示

什么是BFCL

假设你是家政考评委员会主席，要评出“年度最佳 AI 管家”。你不会只问管家“你会不会干活”，而是设计一个标准操作间：一面墙上挂满工具——查天气的、订机票的、发邮件的。主人说出需求后，管家要在几秒内把选中的工具编号和填写好的操作单交上来。BFCL 就是这套标准操作间的数字化版本，它由加州大学伯克利分校团队开源维护，全称 Berkeley Function Calling Leaderboard，专注回答一个问题：面对真实用户请求，哪个大模型能最准确地选出函数、填对参数？

所谓“函数调用”，是模型输出一段结构化指令（通常用 JSON 表示），描述“调用哪个函数、传入什么参数”，而不是直接执行代码。真正执行由外部系统完成。BFCL 把这项能力拆解成一个个可自动判分的测试用例：每个用例包含一段用户请求、一组可用函数定义、一份标准答案（golden answer）。

评测时，模型先看到“工具清单”——函数名、参数 schema 和说明——再看到用户请求，最后输出函数调用 JSON。评测系统将模型输出与标准答案比对，统计准确率：

回到考评中心：准确率就像“管家在所有模拟任务中一次做对的比例”。80% 的准确率意味着十次吩咐里有两次挑错工具或填错参数——这在真实家庭里可能就是一次失败的订餐。

评测任务分类

考评中心不会只考一种场景。主人有时只提一个需求（“帮我查天气”），有时给一串选择（“明天开会，帮我订合适的会议室”），有时会在对话里追加条件（“哦对了，座位要靠窗”），有时还要同时做好几件事（“订机票的同时帮我预约接机”）。BFCL 的考题分门别类，覆盖这些真实调用模式。

对应到技术上，BFCL 的任务分类大致包括：单函数调用（SF）、多函数选择（MF）、多轮对话函数调用（MFC）、并行函数调用（PFC）等。无论哪类，一次函数调用的核心都是一个二元组：函数名 f 和参数字典 a：

多函数选择考察的是“信息筛选”：候选函数定义里存在干扰项，模型必须依据用户意图选出正确的那一个，而不是所有看起来相关的都调用。多轮任务则模拟真实对话：第二轮请求可能引用第一轮的结果，比如“刚才查的那家餐厅，帮我订位”，模型需要记住前文中的实体信息。并行调用允许模型一次输出多个函数调用，评测系统会分别与对应标准答案比对。

主人吩咐得越复杂，管家要对的号入座的工具就越多。BFCL 把“简单吩咐”“选择困难”“追加条件”“一人多用”全部纳入考纲，就是为了筛出真正能应对真实生活的全能管家。

评分标准

考卷交上来了，怎么判分？考评委员会有三道工序：第一道看操作单上工具编号和填写内容是否跟标准答案一模一样；第二道看格式虽不同但本质是否相同——比如“城市：北京”和“北京：城市”填反了顺序，只要意思一样就不算错；第三道更狠，直接把操作单交给工具试一下，看工具能不能按这张单子跑起来。

对应 BFCL 的三层评分：精确匹配（Exact Match）、AST 匹配（Abstract Syntax Tree Match）和可执行检查（Executable Check）。精确匹配要求字符串级完全一致，最严格也最脆弱；AST 匹配把函数调用解析成语法树，允许键顺序、空格等不影响语义的差异；可执行检查则进一步调用真实或模拟函数，根据返回结果判断是否正确。

AST 匹配是 BFCL 最具特色的判分方式。它将模型输出和标准答案分别解析为抽象语法树，比较两棵树是否结构等价：

可执行检查则模拟“工具真实运行”的环境，会校验参数类型合法性、函数是否存在等，比 AST 更贴近工程上线时“到底能不能调通”的诉求。

三道工序对应三种严格程度。现实团队上线 Agent 时，最该优先关注可执行检查：因为哪怕 AST 全对，只要真实工具报错，这次调用在业务上就是失败的。

数据集构建

一套公平的考卷怎么出？考评中心的出题组不会闭门造车。他们走进真实家庭，采集“主人平时最常吩咐的事情”，再把相近的吩咐合成变体——“查天气”衍生出“查北京天气”“查三天后上海天气”，最后请几个老管家审一遍，确保每题答案唯一、工具确实用得上。

BFCL 的数据集构建遵循类似思路：从真实 API 场景中抽取函数定义（如天气、日历、出行类 API），构造用户请求和标准函数调用。为保证规模，还会用程序自动生成多种写法；同时安排人工检查，剔除函数定义含糊、答案有歧义的题目。

评估一个数据集好不好，可以看它对“可用函数空间”的覆盖程度。一个简单的覆盖率指标是：测试集中出现的唯一函数数量与总用例数之比

覆盖率越高，说明题库涉及的函数越多样，越不容易让模型靠背题蒙混过关。构建时还要严格避免测试集泄漏——若某道题恰好出现在预训练语料中，模型的“高分”就可能是记忆而非能力。

好的考卷应该像真实生活一样丰富多变。题库的多样性和防泄漏设计，决定了 BFCL 的分数到底测的是“能力”还是“记忆”，这也是所有评测基准设计中最容易被忽视却最致命的一环。

模型表现对比

考卷改完，榜单揭晓。主办方把各家管家的成绩张贴在墙上：头部选手稳定领先，操作规范、几乎不挑错工具；一批后起之秀紧随其后，但偶尔会在复杂任务上手忙脚乱，尤其在“选择困难”题上失分最多。

BFCL 的公开结果呈现相似图景：闭源模型（如 GPT-4 系列、Claude 系列）在函数调用准确率上整体领先，开源模型（如 Qwen、Llama）经过针对性训练后快速追赶。进一步分析错误类型会发现，许多模型的主要失分点不在参数填写的精度，而在“函数选择”本身——也就是选错了工具。

比较模型差距时，常用相对差距来消除基准线影响：

譬如最佳模型准确率 92%，某个模型 80%，则其相对差距约 13%，意味着每 100 次调用比最佳模型多错约 12 次。值得注意的是，跨模型对比时，参数量、指令微调和函数调用专项训练都会影响结果，分数差异首先要归因于训练目标而非模型架构。

成绩单的意义不仅是排名，更是指出“哪类家务最值得培训”——当所有管家都在函数选择上集体翻车，模型的开发方向就应该往“理解意图、匹配工具”上倾斜，而不是一味堆参数。

局限与启示

再完美的考卷也有盲区。考场里管家面对的是一张纸上的文字吩咐，但真实生活里主人可能会打断、会纠正、会反悔；考场里的工具是静止的，而真实工具会报错、会超时、会返回意外结果。静态考卷考不出管家在这些突发状况下的临场应变。

BFCL 这类静态评测的局限正在于此：模型输出被一次性判分，无法在交互中修正，也无法验证“多轮试探”后的最终效果。因此业界开始探索动态评测，让模型在模拟环境中真实地调用工具、观察结果、调整策略，并最终衡量任务完成率：

对 RAG 与 Agent 评测而言，BFCL 提供了三条可复用的方法论：其一，把“能力”拆成可自动判分的原子任务；其二，评分要分层次——精确匹配、结构匹配、可执行验证缺一不可；其三，测试集必须重视防泄漏，任何一题的泛化能力都要经得起“训练集里没有见过”的检验。同时也要意识到，函数调用准确率高，不代表 Agent 整体就可靠，还需要评估工具调用后的规划、容错与多步完成任务的能力。

考卷帮我们筛掉了不会干活的管家，但真正优秀的管家还要在“现场突发状况”中证明自己。BFCL 是一块坚实的起跳板，而评测的下一站，是让 AI 走进会反馈、会变化的真实世界。

AI 应用场景

Python 演示

"""BFCL 精简评测器: 对模型输出的函数调用进行评分"""import astfrom typing import Any, Callable, Dict, List # 测试题库: 每个用例包含用户请求与标准函数调用GOLDEN_CASES = [    {        "question": "帮我查一下明天北京的天气, 并预订一家附近的餐厅",        "functions": [            {"name": "get_weather", "arguments": {"city": "北京", "date": "明天"}},            {"name": "reserve_restaurant", "arguments": {"city": "北京", "meal": "晚餐"}},        ],    },    {        "question": "给Alice发一封邮件, 告诉她会议改到下午3点",        "functions": [            {"name": "send_email",             "arguments": {"to": "alice@example.com", "content": "会议改到下午3点"}},        ],    },] def predict_calls(model: Callable[[str], List[Dict[str, Any]]],                  question: str) -> List[Dict[str, Any]]:    """调用模型获得预测的函数调用列表"""    return model(question) def json_dump(obj: Any) -> str:    """将参数序列化为稳定字符串, 键按字母排序"""    if isinstance(obj, dict):        pairs = sorted(obj.items())        return "{" + ",".join(f'"{k}":{json_dump(v)}' for k, v in pairs) + "}"    if isinstance(obj, str):        return '"' + obj + '"'    return str(obj) def ast_match(pred: Dict[str, Any], gold: Dict[str, Any]) -> bool:    """用 AST 比较两个调用是否结构等价"""    if pred.get("name") != gold.get("name"):        return False    try:        p_tree = ast.dump(ast.parse(json_dump(pred.get("arguments", {}))))        g_tree = ast.dump(ast.parse(json_dump(gold.get("arguments", {}))))        return p_tree == g_tree    except SyntaxError:        return False def evaluate(model: Callable[[str], List[Dict[str, Any]]],             cases: List[Dict[str, Any]]) -> Dict[str, float]:    total = len(cases)    ast_correct = 0    exec_correct = 0    for case in cases:        preds = predict_calls(model, case["question"])        golds = case["functions"]        if len(preds) != len(golds):            continue        ast_ok = True        exec_ok = True        for pred, gold in zip(preds, golds):            if not ast_match(pred, gold):                ast_ok = False            args = pred.get("arguments", {})            if not isinstance(args.get("city", None), str):                exec_ok = False        if ast_ok:            ast_correct += 1        if exec_ok:            exec_correct += 1    return {        "total": total,        "ast_accuracy": ast_correct / max(total, 1),        "exec_accuracy": exec_correct / max(total, 1),    } def dummy_model(question: str) -> List[Dict[str, Any]]:    """模拟一个表现一般的模型: 答对第一题, 第二题函数名写错"""    if "天气" in question:        return [            {"name": "get_weather", "arguments": {"city": "北京", "date": "明天"}},            {"name": "reserve_restaurant", "arguments": {"city": "北京", "meal": "晚餐"}},        ]    return [{"name": "send_msg",             "arguments": {"to": "alice@example.com", "content": "会议改到下午3点"}}] if __name__ == "__main__":    result = evaluate(dummy_model, GOLDEN_CASES)    print(f"评测用例数: {result['total']}")    print(f"AST 匹配准确率: {result['ast_accuracy']:.2f}")    print(f"可执行检查准确率: {result['exec_accuracy']:.2f}")

1. GOLDEN_CASES = [...]定义标准答案题库，每道题包含用户请求和期望的函数调用列表。
2. def ast_match(pred, gold):定义 AST 判分函数，先检查函数名，再比较参数树结构。
3. ast.dump(ast.parse(json_dump(...)))把参数字典解析成语法树后再序列化比较，键顺序不影响结果。
4. len(preds) != len(golds)函数调用数量都对不上，说明模型连该调用几个工具都没搞清楚。
5. if ast_ok: ast_correct += 1单个用例的所有函数调用全部匹配，才累计正确数。
6. args.get("city", None)模拟“参数值能否通过类型校验”的可执行检查。
7. dummy_model` 第二题返回 `send_msg故意把 send_email 写错，展示“函数选择错误”如何被扣分。

常见误区

面试题