深入理解工具自动创建

可视化演示

展示工具自动创建的六步流水线、工具组合优先策略的链路构建，以及Voyager式技能库的自动积累与复用机制。

概念本质：缺口与触发

探险家出发前会清点背包，边摸边问：这东西能劈柴吗？能引火吗？如果摸到一把顺手的刀就直接用；如果摸遍背包发现没有一件合用的，才会考虑动手现做。这个“摸遍背包”的过程，就是工具匹配。而在Agent系统里，任务需求（记作 \(R\)）和每个工具的能力描述（记作 \(C_t\)）都可以表示成一组特征向量，系统先为当前需求与所有工具打分，再取最高分。

如果最高分仍然低于预设的阈值 \(\theta\)，就说明出现了“工具缺口”（gap）——对应探险家摸遍背包也找不到顺手工具的瞬间。此时系统不再执行“工具调用”，而是进入“工具创建”流程：围绕需求动态编写一个全新工具。这，就是工具自动创建的核心定义。它与“工具调用”（从既有集合里选）和“工具推荐”（从候选集里排序）有一个本质区别：调用和推荐都依赖一个预先存在的候选清单，而创建是“无中生有”，把自然语言需求变成可执行代码，再注册成可复用工具。因此，工具自动创建特别擅长覆盖长尾任务——那些很少出现、没有预置方案的边角需求。

\[

\alpha=\max_{t\in\mathcal{T}}\frac{\vec{R}\cdot\vec{C}_t}{\lVert\vec{R}\rVert\lVert\vec{C}_t\rVert},\qquad \text{若 }\alpha<\theta\text{ 则触发创建}

\]

1. 需求向量 \(\vec{R}\)：把当前任务目标编码成向量，例如“过河”对应“需要浮力、可载人”的特征。

$$\vec{R}\in\mathbb{R}^d$$

2. 工具描述向量 \(\vec{C}_t\)：把工具库中每个工具的能力描述也编码成向量，例如“竹筏”对应“浮力强、可载人”。

$$\vec{C}_t\in\mathbb{R}^d$$

3. 余弦相似度：点积除以两个向量的模长，得到范围在 \([-1,1]\) 的匹配分数，分数越高表示需求与工具越“合拍”。

$$\cos(\theta_t)=\frac{\vec{R}\cdot\vec{C}_t}{\lVert\vec{R}\rVert\lVert\vec{C}_t\rVert}$$

4. 阈值判断：在所有工具中取最高分 \(\alpha\)，当它仍低于阈值 \(\theta\) 时，说明工具库“无人可用”，触发创建。

$$\alpha<\theta\Rightarrow \text{触发创建}$$

这就像探险家判断“背包里没有能过河的工具”：阈值决定了他是继续翻包，还是蹲下来开始扎竹筏。阈值设得太高，会频繁造新工具、浪费体力；设得太低，又会硬用不合适的旧工具，在河中央翻船。

运作机制：四步流水线

做鱼叉不是抓起树枝就乱捅。有经验的人会先看鱼在哪里、水是深是浅，然后想清楚要几根齿，再削尖、绑牢，最后下水试一下，叉不到鱼就回来调整。这一整套“看、想、做、试”，就是工具创建的流水线。Agent创建工具同样遵循四个阶段：需求解析、设计方案、代码生成、验证入库。

第一步，需求解析把用户发来的模糊自然语言（“帮我处理这个表格里的日期格式”）转成结构化规格：函数名、输入输出类型、依赖的第三方包。第二步，设计方案决定实现策略：是用现成的库函数组合，还是从零写一个算法；第三步，代码生成让大语言模型按设计蓝图产出可执行源码；第四步，验证入库是关键的质量闸门——用单元测试或样例数据真实跑一遍，通过的工具才允许注册进工具库，失败的工具则带着错误信息回到生成环节重来。这套流水线把“凭空写代码”变成了可管理、可检查的工程流程：每一步都可被单独模块接管，也可由主Agent独自走完。

\[

t_{\text{new}}=G(R,\mathcal{T},\mathcal{K}),\qquad V(t_{\text{new}})\ge \varepsilon \Rightarrow \mathcal{T}\leftarrow \mathcal{T}\cup\{t_{\text{new}}\}

\]

1. 生成器 \(G\)：负责把需求变成工具，可以是大语言模型，也可以是“规划+生成”的组合模块。

$$G:\text{需求}\times\text{工具库}\times\text{知识}\to\text{新工具}$$

2. 输入三元组 \((R,\mathcal{T},\mathcal{K})\)：\(R\) 是结构化需求，\(\mathcal{T}\) 是现有工具库，\(\mathcal{K}\) 是外部知识（如API文档、算法资料）。

$$R=\text{结构化需求},\quad \mathcal{T}=\text{工具库},\quad \mathcal{K}=\text{知识}$$

3. 验证函数 \(V\)：用测试样例运行新工具，输出一个质量分数；\(\varepsilon\) 是合格线。

$$V(t_{\text{new}})\in[0,1],\quad \varepsilon=\text{合格线}$$

4. 入库操作：验证通过后，把新工具追加进工具库；这一步是条件成立时才执行的更新。

$$\mathcal{T}\leftarrow\mathcal{T}\cup\{t_{\text{new}}\}$$

先摸清鱼情再动手，最后必须下水试叉——四步缺一不可。省略验证直接入库，等于没试过就宣布鱼叉好用，下一次使用时可能连鱼影都捞不到。

关键技术：三板斧

真正的好工匠做工具讲究三件事：第一懂原理，知道木头怎么削才锋利；第二做手柄，让手握着舒服、发力顺畅；第三收进背包，下次用的时候不必重做。这三点对应工具创建的三大关键技术：代码生成、接口抽象、工具库积累。

代码生成是用LLM把自然语言需求转化为可执行代码，这是“懂原理”的环节。进阶做法是plan-then-code：先让模型写出实现计划，再按计划写代码，能显著提升复杂工具的正确率。生成结果还要放进沙箱里真实运行，验证可执行性。接口抽象是“做手柄”的环节：把工具的实现细节包起来，只暴露清楚的函数签名、文档说明和依赖列表。使用者只需知道“怎么握”，不必关心“钢材怎么炼”。工具库积累是“收背包”的环节：创建成功的工具以“名字+签名+代码+描述向量”的形式注册入库，下次遇到相似需求优先复用；当单一工具不够时，还能把多个旧工具组合成一个新工具，实现1+1>2的能力叠加。

\[

I(t)=\langle \text{sig}_t,\text{doc}_t,\text{deps}_t\rangle,\qquad

\text{Pass}@k=\frac{1}{k}\sum_{i=1}^{k}\mathbb{1}\left[\text{验证通过}(t_i)\right]

\]

1. 接口三元组 \(I(t)\)：一个工具的对外接口由签名、文档、依赖三部分组成，相当于“手柄+说明书+配套零件”。

$$\text{sig}_t=\text{签名},\quad \text{doc}_t=\text{文档},\quad \text{deps}_t=\text{依赖}$$

2. Pass@k 的含义：从生成器中采样 \(k\) 个候选实现，统计其中通过验证的比例；比例越高，说明生成器越可靠。

$$\text{Pass}@k=\frac{\text{通过验证的候选数}}{k}$$

3. 指示函数 \(\mathbb{1}[\cdot]\)：括号内条件成立时取1，否则取0，用来把“通过/失败”变成可加的数字。

$$\mathbb{1}[\text{验证通过}(t_i)]\in\{0,1\}$$

懂原理把竹子削成尖刺，做手柄让它好握好发力，收进背包让下次不用重来。三板斧合起来，才能让“现造工具”既造得出、用得动，也留得住。

交互协同：试错与分工

探险队里不止一个人：侦察兵负责判断要什么，工匠负责动手做，老队员负责验收，做出来的鱼叉不好用还会拿回来让工匠返工。工具创建同样不是一次成功，而是“一次尝试、收集反馈、迭代修正”的协作过程。在主Agent内部，这体现为“创建→测试→失败→分析错误→再次生成”的闭环，错误信息就是最宝贵的反馈信号。

在更复杂的系统中，需求Agent、实现Agent、验证Agent可以分角色协作：一个负责写规格，一个负责写代码，一个负责鸡蛋里挑骨头。三个角色互相制衡，能显著减少“生成者对自己的代码下不了狠手”的盲区。人机协作方面，“人类在环”（human-in-the-loop）守住关键边界：新工具的接口设计要经过人工审核，高风险工具的最终使用权要保留给人。工具自动创建不是让Agent放飞自我，而是让它在护栏内高效地试错。

\[

t^{(i+1)}=\operatorname{Refine}\big(t^{(i)},\ \text{Feedback}(t^{(i)})\big),\quad i=0,1,2,\dots

\]

1. 初始版本 \(t^{(0)}\)：第一轮生成的工具，相当于工匠的第一版鱼叉，大概率不完美。

$$t^{(0)}=\text{初始工具}$$

2. 反馈函数 Feedback：收集单元测试失败信息、样例执行错误或人类评论，返回结构化反馈。

$$\text{Feedback}:\text{工具}\to\text{反馈信息}$$

3. 精炼操作 Refine：结合反馈对工具进行修改，生成下一版；迭代直到通过验证或达到步数上限。

$$t^{(i+1)}=\operatorname{Refine}(t^{(i)},\text{Feedback}^{(i)})$$

一件工具从“勉强能用”到“顺手好用”，靠的不是一次灵光乍现，而是小队的反复磨合与返工。每一次失败反馈，都在把鱼叉磨得更锐利。

应用场景：从实验到产业

学会了就地取材的探险家，终于走出训练营，来到真实丛林。在学术试验田里，他反复被考试；在产业大森林里，他接手一个个没人处理过的“杂活”。这两个场景恰好勾勒出工具自动创建的落地版图。

学术层面，CRAFT、TaskWeaver、CREATOR等框架把“创建-评估-复用”的范式做成可复现的实验，在数学推理、表格分析、复杂任务规划等基准上，允许创建的Agent往往比只会调用的Agent得分更高。产业层面，最常见的两类高价值场景是：数据分析中为一次性数据清洗动态生成处理函数；软件工程中为新增接口自动生成测试工具和脚本，接入CI流水线。无论哪种场景，Agent都会先做一笔“值不值得造”的账：如果现成工具能凑合，就调用；如果手动完成任务要一小时，而创建工具只要三十秒且以后还能复用，那就果断开造。

\[

C_{\text{create}} + p_{\text{fail}}\cdot C_{\text{retry}} < C_{\text{manual}}

\]

1. 创建成本 \(C_{\text{create}}\)：从解析需求到验证通过所消耗的算力与时间。

$$C_{\text{create}}=\text{一次创建的成本}$$

2. 失败概率 \(p_{\text{fail}}\) 与重试成本 \(C_{\text{retry}}\)：生成可能失败，失败后返工需要额外成本，两者相乘得到期望重试代价。

$$p_{\text{fail}}\in[0,1],\quad C_{\text{retry}}=\text{单次返工成本}$$

3. 手工成本 \(C_{\text{manual}}\)：完全不创建工具、用人工或低效方式完成任务的花费。不等式成立，才值得触发创建。

$$C_{\text{create}}+p_{\text{fail}}C_{\text{retry}}<C_{\text{manual}}$$

老探险家从不看见木头就做工具，他只算一笔账：造这把工具省下的力气，值不值付出的时间。成本收益不等式，就是Agent心中的那杆秤。

挑战风险：暗礁与护栏

就地取材并不总是成功。经验不足的人可能挑到发脆的竹子，做出看似光鲜却一压就断的鱼叉；更糟的是，把断鱼叉顺手塞进背包，下次要用时拿出来才发现——它耽误了整个队伍的行程。工具创建的四大风险，正是探险路上的暗礁。

第一，正确性风险：LLM生成的代码可能有bug、可能输出错误的数据格式，甚至有隐藏的注入攻击。第二，错误积累：未被严格验证的工具进入工具库后会被后续任务反复复用，小错误像滚雪球一样越滚越大。第三，过度创造：明明有现成的优秀工具却偏要重造一个，既浪费算力，又因新代码的不可控性扩大了攻击面。第四，安全失控：自主生成并执行代码必须放在沙箱中隔离运行，同时保留人在回路，否则工具可能越权访问敏感数据。错误积累之所以危险，是因为“跳过验证”的概率一旦不为零，污染就会在工具库中悄悄蔓延。

\[

P_{\text{poison}}=P(\neg V(t)\mid t)\cdot P(\text{skip-check})\cdot P(\text{reuse}\mid t)

\]

1. 工具本身有缺陷的概率：\(P(\neg V(t)\mid t)\) 表示新工具真实存在缺陷却未被发现的条件概率。

$$\neg V(t)=\text{工具未通过质量验证}$$

2. 跳过检查的概率：\(P(\text{skip-check})\) 表示因为流程疏漏、样例覆盖不全等原因，坏工具躲过了验证环节。

$$0<P(\text{skip-check})\ll 1$$

3. 被后续任务复用的概率：\(P(\text{reuse}\mid t)\) 表示坏工具入库后，又在检索中被命中的概率；三项相乘即工具库被污染的总体概率。

$$P_{\text{poison}}=P(\neg V)\cdot P(\text{skip})\cdot P(\text{reuse})$$

好工匠不只擅长造工具，更擅长挑材料、做验收、果断扔掉不合格的工具。否则背包越满，危险越大——每一次错误复用，都在透支整个探险队的信用。

发展展望：自我增强

当这位探险家带着做过的上百件工具再次走进森林，他的背包已经沉甸甸。但每次遇到新问题，他那句“没有合适工具”的叹气声越来越少，取而代之的是从背包里抽出顺手工具时的从容。这就是“自我增强循环”：工具创建成功 → 工具库增厚 → 新需求更容易被满足 → 更多任务被完成 → 更多经验沉淀。

工具自动创建的长期价值，正在于让Agent的能力边界从“出厂预设”变成一个“持续生长的开放集合”。每一次成功创建，都是在为未来的自己铺路。更进一步，未来会形成“工具生态”：Agent之间共享工具、互相评价工具的可用性、自动淘汰劣质工具，甚至出现“工具市场”，让高质量工具像商品一样流通。到那时，Agent不再是一个孤胆探险家，而是一整个互相协作的探险者网络。

\[

Q(n)=Q_0+\beta\log(1+n),\qquad n=|\mathcal{T}|

\]

1. 基础能力 \(Q_0\)：Agent在完全没有工具积累时的初始能力，相当于空手上路的探险家。

$$Q_0=\text{预设基础能力}$$

2. 工具库规模 \(n\)：当前工具库中的工具数量，\(n=|\mathcal{T}|\)。

$$n=|\mathcal{T}|=\text{工具总数}$$

3. 对数增长 \(\beta\log(1+n)\)：能力随工具数对数增长，早期每加一件工具收益明显，后期边际递减，但整体保持开放增长。

$$\frac{dQ}{dn}=\frac{\beta}{1+n}>0$$

从第一把粗糙的鱼叉到一整个求生工具箱，这是Agent的野外进化史，也是智能从静态走向动态自我增强的缩影。每一次蹲下身的就地取材，都在悄悄改写能力的天花板。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""tool_creator_demo.py - 工具自动创建最小演示"""from __future__ import annotationsimport math  def cos_sim(vec_a, vec_b):    """余弦相似度 - 评估任务与工具能力是否匹配"""    dot = sum(a * b for a, b in zip(vec_a, vec_b))    norm_a = math.sqrt(sum(a * a for a in vec_a)) or 1.0    norm_b = math.sqrt(sum(b * b for b in vec_b)) or 1.0    return dot / (norm_a * norm_b)  def code_for(func_name):    """模拟大模型按需求生成工具代码"""    return ("def {}(data):\n"            "    return [x * 3 for x in data]\n").format(func_name)  class ToolAgent:    def __init__(self):        self.tool_code = {}    # 工具库 - 名字到可执行函数        self.tool_vec = {}     # 工具库 - 名字到能力描述向量        self.threshold = 0.6   # 匹配阈值     def register(self, name, vec, code):        local_ns = {}        exec(code, {}, local_ns)        self.tool_code[name] = local_ns[name]        self.tool_vec[name] = vec     def request(self, name, req_vec, test_data):        best_name, best_score = None, -1.0        for tool_name, vec in self.tool_vec.items():            score = cos_sim(req_vec, vec)            if score > best_score:                best_name, best_score = tool_name, score         if best_score >= self.threshold:            return "调用已有工具", self.tool_code[best_name](test_data)         code = code_for(name)        self.register(name, req_vec, code)        return "自动创建新工具", self.tool_code[name](test_data)  if __name__ == "__main__":    agent = ToolAgent()    agent.register("reverse", [1, 0, 0, 0],                   "def reverse(data):\n    return data[::-1]\n")    status, result = agent.request("triple", [0, 1, 0, 0], [1, 2, 3])    print("处理方式:", status)    print("执行结果:", result)    print("toolbox 新成员:", "triple" in agent.tool_code)

1. score = cos_sim(req_vec, vec)用余弦相似度给每个工具的能力匹配度打分，分数越高越合拍。
2. if best_score >= self.threshold:最高分过阈值就调用现成工具，没过才触发创建，这就是“先翻背包再动手”的决策逻辑。
3. code = code_for(name)模拟大模型按需求生成一个“数字翻三倍”的新函数，对应流水线中的代码生成阶段。
4. self.register(name, req_vec, code)执行新代码并把它注册进工具库，对应验证通过后的入库动作。
5. return "自动创建新工具", self.tool_code[name](test_data)创建后立刻用样例数据跑一遍，对应“下水试叉”的验证环节。

常见误区

面试题