AutoTVM/Ansor：Ansor无模板

可视化演示

展示Ansor无模板自动调度器的四阶段工作流、循环变换规则及进化搜索机制，交互切换查看调度搜索核心流程。

模板调优痛点

老主厨有一本祖传菜谱，里面写着每道菜的标准刀工和火候。AutoTVM 就像这位老主厨，把成功经验固化成模板，搜索调度就是打开菜谱一项项试。菜谱看似丰富，翻开却只有几十个固定条目：遇到新的食材组合，条目对不上，老主厨只能放下菜刀等专家来补写。越新的食材，菜谱越是一片空白。

在 AI 编译里，“食材”是算子（也就是一道待烹饪的计算任务），“菜谱条目”就是调度模板。调度（schedule）指循环如何切分、并行、展开等一系列操作顺序。AutoTVM 的模板会预留若干参数，比如循环展开因子、线程数，搜索器只负责填参数。填参数虽然快，但模板本身没有覆盖的算子，根本无法进入填参环节。模板漏掉一个结构，可能就错过最优性能。

假设一个算子的所有调度方案总数为 N，模板能表达的只有 M 种。当新算子不断出现，M 相对 N 会迅速变小。调优时间的大头，反而变成了专家为算子写模板的时间。

模板调优的痛点正像一本残缺菜谱：会做的菜很多，但不会做的更多。当新算子数量爆炸，等待专家补模板会把优化的希望寄托在人工经验上。Ansor 要做的第一件事，就是扔掉这本菜谱。

草图生成规则

Ansor 的新主厨不翻菜谱，而是先按一套“拆菜规则”写出烹饪草稿。所谓草稿，就是调度草图：它把一道菜切成几个阶段——备料、切配、下锅、摆盘，每个阶段都描述一层循环结构。主厨不用知道最终味道如何，只需要快速写出大量可行的草稿。

在实际调度中，Ansor 会对计算流程做分阶段生成。每个阶段对应一次计算产物的循环结构，比如矩阵乘法的累加循环或是卷积的输出通道循环。Ansor 有一组分派规则，根据算子的形状和访存特征，把不同结构匹配到不同的草图模板片段。这样生成的不是一个完整手工模板，而是许多随机初始草图。

因为草图来自规则，所以每条草图被生成的概率可以分解为各阶段概率的乘积。Ansor 正是利用这种概率分解，在生成阶段就鼓励多样化和覆盖度，避免所有草稿长得一模一样。

有了这套写草稿的规则，第一次把“无模板”落到了实处。不过草稿只是起点，真正让菜品千变万化的，是写完之后在菜谱边上加的“批注”。

注释变换机制

厨师写菜谱时，常会在旁边加一行小字：“蒜末爆香后改为小火慢煨。”这些批注不改变菜是什么，却会改变做菜的速度和口感。Ansor 的注释（annotation）也是如此：它不改变计算结果，只改变循环结构，比如把某个循环展开、绑定向量化宽度、绑定并行线程数。

循环展开是最典型的注释：原来一个循环每次只处理一个元素，现在改成一次处理 4 个元素，循环次数减少了，循环控制的开销也随之摊薄。向量化注释则是告诉编译器把多个数装进同一个寄存器并行计算；并行化注释则是让不同线程同时处理不同数据块。这些注释组合起来，可以在同一张草图上衍生出大量性能不同的变体。

如果把循环展开因子记为 u，原来需要 n 次迭代，展开后大约只需要 n/u 次迭代。迭代次数下降，开销自然下降，这正是注释最直接的价值。

注释像菜谱边上的小批注，同一个草稿能演出几十种变体。但光靠主厨手写批注不够，Ansor 还要让这些批注自动“变异”，从而进入进化搜索。

随机进化搜索

新主厨最擅长折腾：他会把上一轮的草稿随机改一刀，有时把展开因子从 2 改成 4，有时把并行线程从 1 改成 2，有时干脆交换两层循环的位置。这种随机微调就像做菜时随手换一种配料，有些改动会变难吃，有些却意外惊艳。Ansor 把这一过程叫随机变换。

随机变换不是乱改，它会严格遵守“上下文变换”规则：所有修改都保持计算结果等价，只改变执行方式。比如循环展开、拆分、重排序都属于上下文变换。Ansor 维护一个种群，里面保留多条候选调度，每次从中挑一些进行变异，再结合代价模型给出的分数淘汰较差个体，让种群整体不断进化。

用公式表示，从父代 S 生成子代 S′，子代被保留的概率与它的分数在所有候选分数之和中的占比成正比。分数越高，越容易被留下继续繁殖。

随机进化让 Ansor 能在草稿基础上源源不断地产出新方案。可问题是，每道菜都真做一遍太慢了，Ansor 需要一个能快速“试吃”的帮手。

代价模型引导

如果每道菜都要完整做一遍才能判断好不好吃，探索几十万种菜谱根本不现实。Ansor 的做法是请一位“试吃员”：他不用真正下厨，只要看看食材切法、火候标注、摆盘顺序，就能估算这道菜大概要花多久。这位试吃员就是代价模型。

代价模型会提取调度草图的特征，比如循环迭代次数、访存次数、并行度、向量化宽度等，然后通过学习历史数据预测执行延迟。Ansor 在搜索中用预测分数给所有候选草图排序，只把分数最高的几百个送入真实编译测量。这样大部分差方案在预测阶段就被筛掉了，大幅降低编译开销。

这很像用特征做加权打分：每个特征乘上一个权重，再加一个基准值，就得到预测耗时。权重来自训练数据，数据来自真实硬件上的测量结果。

试吃员虽然会偶尔看走眼，但在大规模筛选中足够可靠。有了它，Ansor 就能在有限时间里多看很多菜，但它仍需要聪明的“试菜顺序”。

搜索策略优化

有经验的试菜不会把每道菜平均用力：先快速尝一轮，锁定价位合适的几道，再对最有希望的反复精调。Ansor 的搜索策略也一样，它采用分层搜索：先粗粒度生成大量草图，划分出几个有潜力的区域，再在区域内细粒度微调。这样既覆盖大范围，又不会均匀撒网导致时间浪费。

搜索还有一个难点：是继续深挖当前最高分，还是去看看还没被评估过的冷门候选？Ansor 在代价模型和进化搜索中都会使用探索与利用平衡策略。公式里有两项：第一项代表当前已知的分数，第二项代表这个候选被评估的次数越少、越值得去探索。当采样总数增加，这个探索奖励还会自动变化。

有了这套试菜顺序，Ansor 能在大厨房里快速找到好菜，而不是漫无目的地乱试。那么，扔掉模板的最终收益到底有多大？

无模板收益分析

从祖传菜谱走到自动发明新菜，最大的变化不是做菜动作，而是后厨的运转方式。AutoTVM 像一位依赖菜谱的老主厨，每来一道新菜都要等专家来编写新条目；Ansor 则像一支自动研发团队，从草稿生成到试吃调整全部自动完成。结果就是覆盖率提升、新算子适配加快、调优周期缩短。

覆盖率提升来自草图生成规则：它不再限制于人工模板能表达的参数组合，而是直接生成循环结构与注释组合。自动化程度提高则来自整条流水线闭合：规则、变换、代价模型和进化搜索共同协作，人工只需要选择搜索时间和预算，不再需要手写调度模板。与 AutoTVM 相比，Ansor 在搜索空间广度上明显占优，但也仍然需要人工设计规则库和代价模型特征，并非完全零干预。

$$\text{Automation} = 1 - \frac{T_{\text{manual}}}{T_{\text{total}}}$$

1. 统计总时长：记录完成一次调优所花费的全部时间 T_total。 $$T_{\text{total}} = T_{\text{manual}} + T_{\text{search}}$$

2. 统计人工时长：其中专家写模板、调规则的时间记为 T_manual。 $$T_{\text{manual}} = \text{人工干预时间}$$

3. 计算自动化程度：用 1 减去人工占比，得到自动化程度。 $$\text{Automation} = 1 - \frac{T_{\text{manual}}}{T_{\text{total}}}$$

无模板的收益，本质上是从“人力补全知识”变成“系统自动探索知识”。Ansor 没有让主厨失业，而是把主厨从重复写菜谱中解放出来，让他专注于设计更好的规则和模型。

AI 应用场景

Python 演示

import random WORKLOAD = 10000.0 def generate_sketch():    stages = []    for i in range(3):        stage = {            "name": "conv" if i == 0 else "matmul",            "unroll": random.randint(1, 4),            "vector": random.randint(1, 4),            "parallel": random.randint(1, 2)        }        stages.append(stage)    return stages def mutate(stages):    new_stages = [dict(st) for st in stages]    idx = random.randrange(len(new_stages))    key = random.choice(["unroll", "vector", "parallel"])    delta = random.choice([-1, 1])    new_stages[idx][key] = max(1, new_stages[idx][key] + delta)    if random.random() < 0.2:        new_stages[idx]["name"] = random.choice(["matmul", "conv", "pool"])    return new_stages def cost_model(stages):    cost = 0.0    for st in stages:        ratio = st["unroll"] * st["vector"] * st["parallel"]        cost += WORKLOAD / ratio    return cost def evolutionary_search(iters=200, pop_size=12):    pop = [generate_sketch() for _ in range(pop_size)]    best = min(pop, key=cost_model)    for _ in range(iters):        child = mutate(best)        pop.append(child)        pop.sort(key=cost_model)        pop = pop[:pop_size]        best = pop[0]    return best, cost_model(best) if __name__ == "__main__":    best_schedule, best_cost = evolutionary_search()    print("best schedule:", best_schedule)    print("estimated cost:", best_cost)

1. def generate_sketch():随机生成初始调度草图，相当于主厨先写流程草稿。
2. def mutate(stages):对某个阶段随机调整一个优化参数，模拟换火候或改刀法。
3. def cost_model(stages):用简单除法公式估算执行时间，相当于试吃官快速评分。
4. pop.sort(key=cost_model)每轮按评分排序并只保留前 pop_size 个，实现种群优胜劣汰。
5. if __name__ == "__main__":以脚本方式运行时输出搜索到的最优调度，验证完整流程。

常见误区

面试题