模型路由策略：按任务难度派发LLM

可视化演示

展示标记-清除垃圾回收算法的完整过程：从GC Roots遍历标记存活对象，再清除不可达的死对象回收内存空间。

路由基本思想：分诊台做对了什么

分诊台的价值在于“人尽其才”——轻症患者不占用专家号，重症患者绝不落到实习医生手里。大模型平台每天收到成千上万条请求，如果全部发给旗舰模型，账单会以惊人的速度膨胀；如果全部发给轻量模型，质量又会断崖式下跌。路由策略就是那个分诊台，站在流量入口，替每一串 token 决定该挂哪个“号”。

所谓“路由”，本质是一个决策函数：拿到请求的可观测特征——提示词长度、任务类型、涉及领域——输出一个模型选择。请求特征就是患者的症状描述，模型选择就是病历本上盖下的科室章。一个平台通常维护多档模型：轻量模型便宜但能力有限，适合翻译、抽取、简单问答；旗舰模型昂贵但能力全面，适合复杂推理、长文写作、代码生成。路由函数 $f$ 把请求特征空间 $\mathcal{X}$ 映射到模型集合 $\mathcal{M}$。最简单的路由是人工规则，进阶的路由是训练一个轻量分类器。

分诊台好不好，看两件事：是否把重症送进了抢救室，是否没让轻症占用专家号。路由策略的评价标准同样如此——困难请求是否交给了旗舰模型，简单请求是否省下了钱。

难度评估分级：护士的问诊单

分诊护士从不靠直觉拍板，她手里有一张问诊单：哪里不舒服、持续多久、有没有基础病、是否高烧。这些问题一一对应路由器的“难度特征”。问诊单设计得好不好，直接决定分诊准不准；难度特征选得好不好，直接决定路由灵不灵。

要做路由，先得给请求的难度打分。常用的启发式特征有三类：第一是提示词长度，越长往往携带越复杂的上下文；第二是领域复杂度，数学、法律、代码这类领域天然比闲聊难；第三是任务类型，信息抽取、翻译相对容易，多步推理、创意写作明显更难。每个特征归一化到 0 到 1 之间，再按权重加权求和，得到一条请求的难度得分 $s$。

问诊单上的每一项都是护士多年经验的浓缩。权重一开始靠人工调试，随着日志积累，可以让数据自己“教”出更优的权重——这为后面的分类器训练埋下了伏笔。

路由规则设计：分诊手册与阈值

医院走廊里贴着分诊流程图：体温超过 39℃ 去发热门诊，胸痛伴大汗立刻送抢救室。这种白纸黑字的“如果—那么”逻辑，就是路由规则的原型。规则的好处是看得见、摸得着，出事了一个一个检查，绝不黑箱。

有了难度得分 $s$，最直观的路由方式就是阈值分段。设两个阈值 $\theta_1$ 和 $\theta_2$，把难度切成一简单、中、难三块，分别对应轻量、均衡、旗舰三个模型。这套规则引擎轻量透明、可解释性强，最关键的是它不需要任何标注数据就能上线——这正是冷启动阶段的救命稻草。同时必须设计兜底策略：当请求特征缺失、或分数恰好卡在阈值边界时，保守地选择档次更高的模型，宁可多花一点钱也绝不答错。

分诊手册让新开业的医院在没有资深护士时也能正常运转。阈值规则同样让路由系统在上线第一天就发挥价值——但手册需要随临床经验不断修订，规则之后也需要用数据校准。

分类器训练：培养实习护士

光靠手册会误判。于是医院让实习护士跟着老护士看上千个病例，慢慢地她学会了“这个症状组合基本是重症”的直觉。分类器就是被数据喂出来的实习护士：手册负责兜底，直觉负责精度。

当请求日志和标注积累到一定规模，就可以训练一个轻量分类器来替代或补充人工规则。训练数据来自人工抽样标注（让人判断每条请求的难度等级）加线上模型质量反馈（模型答得不好说明这条请求可能被低估了难度）。特征就是前面问诊单上的那些归一化特征。分类器常用逻辑回归、梯度提升树或小型神经网络，它们足够轻，毫秒级完成判断，不会给请求链路增加可见延迟。训练目标是最小化交叉熵损失：对每条样本，让模型给“正确难度类”的概率尽量接近 1。

实习护士出师后依旧要接受老护士的抽查复核，分类器上线后也要持续用新日志迭代重训。请求分布一变，分类器的“直觉”就会失灵，迭代更新不是可选项，而是必选项。

成本效果优化：院长的算盘

院长不只看患者满意度，也不只看月度账单。她真正关心的是：每花一分钱，买到了多少治疗效果。路由策略的成败同样是一笔账——质量不能垮，成本必须降，两者要放到同一个天平上称。

路由决策会同时影响质量与成本：选轻量模型省钱但可能降质量，选旗舰模型保质量但费钱。要指导阈值和分类器的调优，需要把两个目标合并成一个统一的目标函数。质量分可以是人工评分、用户点赞率或任务成功率；成本则按“模型单价 × token 消耗”核算。对一批带标注的真实请求，用目标函数做网格搜索或梯度调参，找到让整体收益最大化的路由参数。

院长的算盘打得响，是因为她手里有全院患者的账单和复诊率。路由团队也一样：没有成本核算和质量监控，任何调优都是盲人摸象。

实验验证方法：先试运行再全院推广

新分诊流程不敢一次性全院推行。稳妥的做法是：让一半窗口试运行一周，对比另一半窗口的患者满意度与排队时间。A/B 测试就是医院里的小范围试运行，用数据而不是拍脑袋来决策。

路由效果同样需要实验数据说话。具体做法是：线上流量随机分桶，对照组所有请求全部走旗舰模型（基线），实验组走路由策略。分别记录两组的四个关键指标：总成本、平均质量、响应延迟、人工介入率。样本量攒够之后，用显著性检验判断差异是真实存在还是随机波动；检验通过后再灰度放量，逐步从 10% 流量扩到 100% 全量。

一周的试运行数据摆上会议桌，院长才敢签字全院推广。路由上线同样遵循“A/B → 灰度 → 全量”的节奏，每一步都用数据说话，每一步都留好回滚的退路。

AI 应用场景

Python 演示

import random MODELS = {    "lite":     {"price": 0.15, "quality": 80},    "mid":      {"price": 0.60, "quality": 90},    "flagship": {"price": 2.50, "quality": 98},} def difficulty_score(req):    length, domain, task = req    return 0.4 * length + 0.35 * domain + 0.25 * task def route(difficulty, theta1, theta2):    if difficulty < theta1:        return "lite"    if difficulty < theta2:        return "mid"    return "flagship" def make_requests(n, seed=42):    random.seed(seed)    return [(random.random(), random.random(), random.random()) for _ in range(n)] def evaluate(requests, theta1, theta2):    total_cost = 0.0    total_quality = 0.0    for req in requests:        d = difficulty_score(req)        m = route(d, theta1, theta2)        total_cost += MODELS[m]["price"]        total_quality += MODELS[m]["quality"]    n = len(requests)    return total_quality / n, total_cost / n def main():    requests = make_requests(2000)    best = None    best_score = -1e9    for t1 in [0.2, 0.3, 0.4]:        for t2 in [0.6, 0.7, 0.8]:            if t1 >= t2:                continue            q, c = evaluate(requests, t1, t2)            score = q - 0.2 * c            if score > best_score:                best_score = score                best = (t1, t2, q, c)    t1, t2, q, c = best    base_cost = MODELS["flagship"]["price"]    saving = 1 - c / base_cost    print("最佳阈值: theta1=%.2f theta2=%.2f" % (t1, t2))    print("平均质量: %.2f 平均成本: %.2f" % (q, c))    print("相对全旗舰节省率: %.1f%%" % (saving * 100)) if __name__ == "__main__":    main()

1. return 0.4 * length + 0.35 * domain + 0.25 * task模拟问诊单的加权打分，三个特征各占不同权重
2. def route(difficulty, theta1, theta2):阈值路由规则：难度落在哪个区间就选哪个模型
3. MODELS[m]["price"]成本核算：按实际选中的模型单价累加
4. score = q - 0.2 * c优化目标：平均质量减去 β×平均成本，β 取 0.2
5. for t1 in [0.2, 0.3, 0.4]:网格搜索：遍历候选阈值组合，找出目标函数最大的那组
6. saving = 1 - c / base_cost节省率计算：路由平均成本与全旗舰成本对比

常见误区

面试题