多模型路由与调度：给每个请求找对“科室”

可视化演示

展示Semantic Router多模型路由调度的三阶段决策流程、四种路由策略对比及成本质量帕累托优化，交互切换三种模式。

路由背景：模型越来越多，先算一笔成本账

城市里最大的综合医院，科室从十几个一路膨胀到上百个。病人走进大厅，第一反应往往是茫然：头疼该挂神经内科还是耳鼻喉科，肚子疼是消化内科还是急诊外科？导诊台由此诞生——护士问几句症状，就能给你指一条明路，不至于让所有人都挤在专家诊室门口。

如今的 AI 应用也站在同一座“医院”门口。GPT-4o、Claude、Llama，加上专门的代码模型、数学模型、语音模型，同一个团队往往同时维护好几个候选模型。这些模型能力不同、成本不同、响应速度也不同。如果所有请求都不加区分地发给最强的那个大模型，就像让所有病人都挂专家号：专家精疲力竭、费用居高不下、轻症病人也要干等。这就是“多模型路由与调度”要解决的问题：在请求真正到达模型之前，先判断“这一单该交给谁”。

动手设计之前，先算一笔成本账。假设系统里有 n 个模型，第 i 个模型单次调用的成本是 \(c_i\)，一段时间内被调用了 \(r_i\) 次，那么总成本就是：

导诊台的核心价值，正是让小病去看全科、大病才上专家，而不是让所有病人都挤进同一间诊室。同理，路由器的第一使命，就是把这个成本公式里的“次数分配”变得聪明起来。

语义路由原理：护士是“听懂”，不是“匹配”

导诊台的老护士不会死记“头疼=神经内科”这种死规则。当你描述“后脑勺一跳一跳地疼，还犯恶心”时，她脑子里冒出的不是一个关键词，而是一个综合判断——这像偏头痛，去神经内科。她听懂的是你话里的“意思”，而不是几个零散的字眼。

传统的关键词路由就像笨拙的新护士：只听到“头疼”两个字就开单子。用户说“帮我弄个排序”，关键词系统找不到“代码”，就不知道送往哪里。Semantic Router 的突破，在于把请求和每种意图都放进同一个向量空间：一个嵌入模型先把文字变成一串数字（向量），含义相近的句子，在这片空间里的位置也彼此靠近。每种意图（聊天、代码、数学）对应一片意图区域，而区域的中心通常是这类样本向量的平均值。

那么，怎么判断一个新请求属于哪个区域？最常用的度量是余弦相似度，它只看两个向量的方向是否一致：

老护士心里有一张隐形的“症状地图”，Semantic Router 的向量空间就是这张地图的数字化版本——每一类意图在图上画出一片领地，请求进来后只要找到自己落脚的领地，就知道该去见哪位医生了。

架构设计：分诊台背后的科室索引

分诊台从来不是一张桌子和一位护士那么简单。她的背后有全院科室索引、参考分诊手册、紧急转诊流程和替补人手安排。没有这些支撑，她再会判断也无从下手。Semantic Router 要真正走进生产环境，同样需要一套完整的架构。

这套架构的第一层是请求网关，相当于医院大厅的入口，所有请求必须从这里进入，它负责鉴权、限流和日志。第二层是策略引擎，相当于分诊护士本人，利用语义向量做路由判断。第三层是模型路由表，相当于科室索引，记录着每个模型的能力标签、调用接口、成本与优先级。最后一层是降级兜底，相当于急诊绿色通道——当路由器判断不出该送哪个科室时，起码能把病人送到一个安全的地方。

其中，路由决策是整个架构的枢纽。假设候选技能集合为 \(C\)，路由器会逐一计算请求与每个技能中心向量的相似度，然后选择得分最高的那个：

模型路由表就是医院的科室索引，策略引擎则继承了资深护士的判断力。没有这张表和这套分层，语义向量算得再准，也落不到真正可运行的模型调用上。

核心流程：从挂号到分诊的四步

病人来分诊台，流程永远是清晰的四步：描述病情 → 护士记录 → 判断去哪个科 → 开具转诊单。哪一步缺失都可能出乱子——不记录就判断，回头找不到依据；不判断就开单，等于随机分诊。

Semantic Router 的执行流程同样如此，四步环环相扣。第一步是请求编码：把用户文本交给嵌入模型，变成向量 \(\mathbf{q}\)，相当于护士把病人的话记录在案。第二步是向量检索：计算 \(\mathbf{q}\) 与所有意图区域中心向量的相似度，找出最高分候选，相当于护士在心里翻看各科室的典型病历。第三步是阈值判定：确认最高分是否真的够高，这是防止“乱指路”的关键保险。第四步才是模型执行：真正调用被选中的模型，让对话/代码/数学的回答生成出去。

阈值判定为什么重要？因为最高分未必可信。一个“帮我写份遗嘱”的请求，可能对三个区域都只有 0.2 的相似度——硬要选一个就是误诊。所以路由器会先设一道门槛：

这就像发烧不到 38.5℃ 时，护士不会硬把你塞进发热门诊，而是建议先回家观察——低置信度的请求走默认模型，远比强行路由到一个错误模型更稳妥。

工程落地：分诊台要试运行和复盘

顶尖医院的分诊台不是一天建成的。新护士要跟班实习，把每一条分诊记录和最终诊断对照，反复校正自己的判断；医院也会定期抽检历史病例，看看分诊准确率有没有下滑。没有这套复盘机制，分诊台很快会沦为“凭感觉指路”。

Semantic Router 上线前同样需要一套工程化动作。首先是样本采集：从历史日志中收集足量真实请求，并人工标注它们应该去哪个模型，这相当于给护士准备一套标准答案的病例集。然后是阈值调优：在验证集上反复尝试不同的 \(\theta\)，找到“误判少、兜底不过载”的平衡点。接着是灰度发布：先让 5% 的线上流量走新路由器，对比旧方案的效果。最后是效果监控：持续跟踪路由准确率、兜底率、成本变化，一旦指标恶化立即回滚。

衡量路由器“分得准不准”，最直观的指标是准确率：

每周复盘误诊案例、校准阈值、更新区域中心，路由器才能像老护士一样越用越准。工程落地从来不是一次性的上线，而是一套持续迭代的体系。

效果优化：专家门诊终于不挤了

分诊台成熟之后，整个医院的面貌都会改变：轻症病人在全科门诊几分钟看完，急诊通道畅通无阻，专家门诊只剩真正的疑难杂症。资源被重新分配，效率随之而来。

Semantic Router 在生产环境里带来的正是这样四重收益。成本节省：大量简单请求被分流到便宜的小模型，总账单显著下降。延迟提速：小模型推理速度快，简单请求的响应时间从秒级降到百毫秒级。质量提升：复杂请求依然交给旗舰大模型，回答质量不打折扣。资源复用：GPU 集群不再被“你好、再见”这类请求占满，算力留给真正需要它的任务。

这些收益可以量化。假设过去所有请求都调用最贵的大模型，现在只有部分高难度请求走大模型，其余走小模型，那么成本节省率可以表示为：

整座医院因为一个优秀的分诊台而高效运转，AI 应用同样因为一个优秀的 Semantic Router，让每个请求都找到最合适的“科室”——这就是多模型路由与调度的终极价值。

AI 应用场景

Python 演示

"""简易语义路由器: 将用户请求分发到最合适的技能(模型)"""import numpy as npfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.metrics.pairwise import cosine_similarity  class SemanticRouter:    """基于语义相似度的路由器, 对应正文的编码-检索-判定-执行流程"""     def __init__(self, skill_examples, default_skill, threshold=0.15):        self.skill_examples = skill_examples        self.skill_names = list(skill_examples.keys())        self.default_skill = default_skill        self.threshold = threshold        self.vectorizer = TfidfVectorizer()        self._build_index()     def _build_index(self):        corpus = []        self.labels = []        for skill, examples in self.skill_examples.items():            for text in examples:                corpus.append(text)                self.labels.append(skill)        self.X = self.vectorizer.fit_transform(corpus)     def _encode(self, query):        return self.vectorizer.transform([query])     def route(self, query, return_score=False):        q_vec = self._encode(query)        scores = cosine_similarity(q_vec, self.X).flatten()        best_idx = int(np.argmax(scores))        best_score = float(scores[best_idx])        skill = self.labels[best_idx]        if best_score < self.threshold:            skill = self.default_skill        if return_score:            return skill, best_score        return skill  def show_route(router, query):    skill, score = router.route(query, return_score=True)    print("请求: {}".format(query))    print("  -> 路由到: {} (置信度: {:.3f})".format(skill, score))    print()  if __name__ == "__main__":    skills = {        "code": [            "帮我写一个快速排序",            "解释下面的Python函数",            "这段代码为什么报错",        ],        "math": [            "解一个二元一次方程组",            "求矩阵的特征值",            "这个函数的导数是什么",        ],        "chat": [            "今天天气怎么样",            "给我推荐一部电影",            "讲讲最近的趣事",        ],    }    router = SemanticRouter(skills, default_skill="general")    queries = [        "给我写一个排序算法",        "怎么算二次函数的顶点",        "周末适合去哪里玩",        "把这堆乱码修一下",    ]    for q in queries:        show_route(router, q)

1. self.vectorizer = TfidfVectorizer()用 TF-IDF 把文本变成向量，工业生产中可替换为更强大的嵌入模型，但流程完全一致。
2. self.X = self.vectorizer.fit_transform(corpus)把所有技能样本一次性向量化，构成“意图区域”的参照底库。
3. q_vec = self._encode(query)把新的用户请求也转成向量，相当于分诊台听完病人的症状描述。
4. scores = cosine_similarity(q_vec, self.X).flatten()计算请求与所有样本的余弦相似度，找到最接近的“病例”。
5. best_idx = int(np.argmax(scores))取相似度最高的样本索引，这就是路由决策公式里的 argmax 步骤。
6. if best_score < self.threshold: skill = self.default_skill阈值判定，分数太低就走兜底默认模型，避免误诊。
7. for skill, examples in self.skill_examples.items()遍历每个技能下的人工标注样本，构建“技能名 → 样本列表”的映射。

常见误区

面试题