自动调优：在线/离线调优

可视化演示

展示TVM自动调优中在线调优四阶段流水线、离线调优成本模型预测搜索空间探索及在线离线精度耗时对比三种核心模式，直观呈现AI编译器调优机制。

基本概念：风味研发的两种路线

老张研发招牌面有两条路线。第一条，他真开一口大锅，把十几种牛肉、七八种骨汤、二十种香料排列组合，一批批煮出来请街坊盲测打分，每一口都真实下肚——这是“在线调优”。第二条，他先不下锅，靠着多年直觉在脑子里过配方：“牛腱子配番茄汤、多放八角提鲜”，先筛出三五款再重点试——这是“离线调优”。

AI 编译器里的“自动调优”思路完全一样。一个卷积层翻译到底层代码，写法千差万别：数据分块多大、循环要不要展开、向量化宽度设多少，这些可选项统称“算子配置”。不同配置在同一块芯片上性能能差出十倍。调优算法的任务，就是在这个巨大的“配方空间”里找到跑得最快的组合。

TVM 中的在线调优，会把候选配置真正放到目标硬件上运行，用计时结果引导搜索方向；离线调优则不跑代码，用一个先验训练好的“成本模型”预测耗时再搜索。一句话概括：在线调优“用舌头试吃”，离线调优“靠脑子想象”。

老张从一款配方换到下一款，最终锁定的是街坊打分最高的那碗面——自动调优亦然，它锁定的，是真实硬件上跑得最快的那份代码。

核心原理：配料表与试吃台

老张家厨房有一面墙，挂满了食材配料表：面种、汤底、牛肉部位、香料比例、火候档位……每种配料勾选一个选项，就成了一张完整配方卡。所有配方卡的集合，就是他的“搜索空间”。可惜这空间太大，大到把全世界的面粉都搬来也试不完——一个算子有几十个可调参数，每个参数几十种取值，组合数轻松过亿。

所以老张练出了一套“味道模拟器”：看一张配方卡，不试吃就能预估个大概分数。这套模拟器，就是编译器里的“成本模型”（cost model）。它用历史测量数据训练而成，输入一个配置，输出预测耗时。预测当然不如实测准，但比实测快几个数量级——离线调优靠它，才能在短时间内扫过海量候选。

不过模拟器总有走眼的时候。在线调优的价值，正在于每次实测都能纠偏：把真实耗时反馈回去，让模拟器越用越准。这就是调优的“迭代闭环”：采样配置 → 离线预测粗筛 → 在线实测关键候选 → 用数据更新模型，如此循环。

老张终于明白，光靠一口锅一口锅地试，这辈子都试不完所有配方。他得靠“味道模拟器”先筛掉九成明显不行的，再把力气花在最有希望的几款上——这正是离线与在线分工合作的精髓。

关键算法：尝一口不好吃也要记下来

老张试菜有个怪习惯：遇到一口觉得不对味的搭配，他不会立刻扔掉，而是先记在小本子上。因为“难吃”有时是假象——这味料配别的汤底可能就是神来之笔。这种“暂时接受差方案、避免被困在局部美味”的智慧，正是“模拟退火”算法的核心。

模拟退火源自金属退火工艺：高温时原子剧烈运动，能跳出局部结构；温度渐降，运动趋于平稳，最终稳定在低能量状态。用在调优上：搜索初期“温度”高，接受差配置的概率大，便于探索全局；后期温度低，几乎只接受更优配置，逐步收敛。隔壁老李用的“遗传算法”则是另一路：把几道拿手菜的配方片段“交叉”“变异”，一代代进化出更优组合。

TVM 里的“学习型调优”更进一步：用 XGBoost 这类模型，把所有历史测量数据喂进去训练成本模型，让模型学会“看到配置就预测性能”。搜索算法（如模拟退火、遗传算法）再拿着模型预测当指南针，在巨大空间里快速定位最有潜力的区域，最后只对少数候选做真实测量。

老张的小本子越记越厚，可他从不后悔——那些“不好吃”的记录，恰恰帮他绕开了死胡同，最终撞见了那碗让整条街排队的招牌面。模拟退火也一样，对差解的“包容”不是糊涂，而是智慧。

TVM实现：老王的独门秘笈库

老张的配方笔记有两类：一类是手写的“模板配方卡”，比如“牛肉面必须分三个步骤炒料”，留出空格让徒弟填参数——这就是 TVM 里的 AutoTVM。它基于模板定义搜索空间，用 XGBoost 成本模型加模拟退火，把模板里的空格填成最优解。优点是稳定、可解释；缺点是模板覆盖不到的代码结构，它想不出。

另一类笔记是“任意发挥卡”：不预设步骤，从零开始自动设计做菜流程——这就是 Ansor。它用“草图生成”和“进化选择”自动构造调度方案，不受模板限制，常能挖出人想不到的优化组合。Ansor 更适合新出现的算子；AutoTVM 则胜在对常见算子又快又稳。

TVM 还有个“总调度员”角色：一个深度学习模型里有几十上百个算子，每个都要调优。总调度员把它们拆成多个“调优任务”，在多个设备上并行跑，像老张同时开几口锅试菜，大大缩短总调优时间。最终每个算子都拿到自己的最优配置，组合成一份完整的高性能内核。

老张的秘笈库越来越全，但他明白：模板是多年经验的结晶，自动发明是探索未知的利器，而真正的招牌，往往诞生在两者结合的地方。

工程实践：开分店时怎么把配方带过去

老张的招牌面打响了，他决定开分店。新店的灶台、锅具、水质和总店都不一样，配方不能照搬——但也不必从零研发。他会先带总店的配方过去，在分店实际试做几次，微调火候和盐量，这就像“迁移复用”：把在 A 硬件上调好的配置，迁移到相近的 B 硬件上，往往只需很少的额外调优成本。

工程上的调优流程是个标准闭环：先定义搜索空间，配置好 trials 数量（最多试多少个配置）和 timeout（单个测量超时）；然后并行启动调优，一边测量一边更新成本模型；最后验证最优配置并固化进部署包。参数设置要讲究：trials 太少搜不干净，太多浪费时间；timeout 太短，慢配置被误杀，太长又拖慢整体节奏。

效果评估看两个数：一是“加速比”，即调优前后性能的比值；二是“调优成本”，即花了多少设备时。老张每开一家分店，都会记录“新店配方调试花了几天、比总店慢还是快”，这些数据反过来又成了他给下一家分店做离线预估的经验底料。

老张把总店的配方带到了三家分店，每家都做了因地制宜的微调，开店速度越来越快。迁移复用的思路，让“调优经验”本身也成了可以继承的资产。

权衡策略：省钱还是保准

老张面临一个现实问题：研发预算有限，试吃要花钱雇街坊，想象不花钱但可能看走眼。他该怎么分配精力？这其实是个“预算分配”问题：在调优总时间固定的前提下，该让离线模型多筛几轮，还是让在线实测多验几家？

先泼一盆冷水：“冷启动”难题——新硬件、新算子没有任何历史数据时，离线成本模型就是个没吃过几道菜的新手，预测全靠猜。这时盲目离线，容易把宝押在错配置上。还有一个陷阱是“过拟合”：离线模型在训练过的算子形状上预测很准，一旦换一个输入尺寸，预测就离谱，最优配置也悄悄“搬家”。

所以成熟团队普遍采用“混合策略”：先用离线模型做粗筛，把候选从几千万压到几十个；再对这批候选做在线实测精调。预算多时，实测比例放大；预算紧时，依赖迁移学习的先验知识。老张最后总结的经验是：想象负责广撒网，试吃负责一锤定音，两者缺一不可。

老张把这句话贴在了厨房墙上：“聪明的大厨既动脑，也动手。”调优也一样——离线让搜索跑得更远，在线让结果落得更实。明白了这个道理，你离成为一名合格的编译器工程师，又近了一大步。

AI 应用场景

Python 演示

import randomimport numpy as np # 模拟真实设备上的性能函数, 实际工程中要跑benchmark获得def real_perf(x):    return 0.6 * np.exp(-(x - 5.2) ** 2 / 3.0) + 0.3 * np.sin(x * 1.3) # 历史调优日志: (配置, 实测性能)history = [(2.0, 0.55), (3.5, 0.72), (6.2, 0.88), (7.8, 0.74), (9.5, 0.51)] class SimpleCostModel:    def __init__(self):        self.a = 0.0        self.b = 0.0     def fit(self, data):        xs = np.array([d[0] for d in data])        ys = np.array([d[1] for d in data])        n = len(xs)        denom = n * np.sum(xs ** 2) - np.sum(xs) ** 2        if abs(denom) < 1e-9:            return        self.a = (n * np.sum(xs * ys) - np.sum(xs) * np.sum(ys)) / denom        self.b = (np.sum(ys) - self.a * np.sum(xs)) / n     def predict(self, x):        return self.a * x + self.b def offline_tune(model, candidates):    """离线调优: 不实测, 只凭成本模型预测选最优"""    best = max(candidates, key=lambda c: model.predict(c))    return best def online_tune(model, candidates):    """在线调优: 逐个实测并按结果逐步更新模型"""    best = None    best_score = -1e9    for c in candidates:        score = real_perf(c)        history.append((c, score))        model.fit(history)        if score > best_score:            best_score = score            best = c    return best if __name__ == "__main__":    random.seed(42)    candidates = np.linspace(0, 10, 21)    model = SimpleCostModel()    model.fit(history)     c_off = offline_tune(model, candidates)    c_on = online_tune(model, candidates)     print("offline_tune pick: %.2f (real perf %.3f)" % (c_off, real_perf(c_off)))    print("online_tune pick:  %.2f (real perf %.3f)" % (c_on, real_perf(c_on)))    print("history length: %d" % len(history))

1. real_perf(x)模拟真实硬件上才能测到的性能曲线，实际工程中是跑 benchmark 测出来的。
2. history模拟历史调优日志，离线模型的先验知识来源。
3. class SimpleCostModel最小成本模型，用最小二乘法拟合“配置 → 性能”的线性关系。
4. def fit(self, data)用历史数据更新模型参数，对应在线调优里的“实测反馈纠偏”。
5. def offline_tune(model, candidates)全程不调用 real_perf，纯靠模型预测选最优，速度快但可能选偏。
6. def online_tune(model, candidates)每个候选都真实验证，同时把新测量结果塞回历史数据，模型越用越准。

常见误区

面试题