AutoTVM/Ansor：自动调度

可视化演示

展示AutoTVM/Ansor自动调度核心机制：搜索空间演示模板化参数空间与候选schedule采样；代价模型展示ML预测器替代硬件实测的性能预测流程；Ansor改进展示无模板sketch-注释自动构建搜索空间与进化搜索协同优化。

调度是什么

想象你找金牌旅行规划师“唐导”帮忙设计一天的旅行。景点清单是固定的——故宫、长城、王府井，先看哪个、坐公交还是打车、每个景点待多久、中午在哪里吃饭，唐导的每一个决定都构成一套“游览执行方案”。只要清单不变，无论怎么走，你最终看到的景点都一样；但不同的走法，体力和时间的消耗却天差地别。

AI 编译器里的“调度”（schedule）就是这个道理。计算图（相当于景点清单）规定了必须做哪些计算，而调度决定了这些计算具体怎么执行：循环是串行还是并行？数据是逐元素处理还是分块搬进缓存？数组是按行访存还是按列访存？TVM 把这种“在不改变计算结果的前提下，重新安排计算执行方式”的动作统称为调度。

TVM 提供了一组调度的“基本动作”，就像路线规划里的微操：Split 把一个大循环拆成内外两层循环，Fuse 把相邻循环合并，Reorder 调整循环顺序，Vectorize 把标量计算打包成向量指令，Parallel 把循环分给多个线程并行执行。一个完整的调度方案就是这些基本动作的组合：

唐导不会凭感觉拍板，他会把这套“微操”组合记录成一份路书草稿，供后续反复修改和比选。调度方案也是如此——它本身是搜索的起点，而所有可能的方案合在一起，就构成了下一章要讲的“搜索空间”。

搜索空间定义

唐导手头有一批“经验模板”：比如“故宫经典一日游”模板，包含路线骨架，但有些位置留了旋钮——几点出发（7 点、8 点、9 点）、在故宫待多久（2 小时、3 小时、4 小时）。把每个旋钮转到不同档位，就得到一条具体路线。所有档位组合出来的路线加起来，就是一个“备选路线池”。

在 AutoTVM 里，专家会用调度模板（template）描述一个算子的“路线骨架”，并在骨架里留下可调的位置，称为旋钮（knob）：分块大小取哪几个值、循环展开几路、是否并行。每一组旋钮取值都是一个具体的调度配置（config）。所有配置的集合，就是搜索空间（search space）。

搜索空间的大小等于各旋钮取值数的乘积。旋钮越多、每档取值越多，空间就会爆炸式增长：

空间太大，搜索就像在没有地图的星球上找绿洲。因此生产实践中必须做空间裁剪，删除明显不合理的取值组合。唐导也会先淘汰“凌晨三点出发”这类匪夷所思的选项，把精力留给高价值的候选路线。

特征提取方法

唐导认识一位“线路点评师”，人家不可能把每条候选路线都亲自走一遍，于是唐导把每条路线浓缩成一张属性卡：总里程、换乘次数、步行比例、沿途餐饮密度。点评师只看卡片，就能预估这条路线的体验分。

自动调度也面临同样的困难：代价模型要预测成千上万个调度的性能，不可能每个都先跑到硬件上测一遍。于是系统先从调度方案中提取特征向量（feature vector），把程序结构、循环嵌套深度、访存密度、并行粒度等信息浓缩成一组数值。

特征设计直接决定预测质量。经典做法包括：统计各类计算操作的个数、统计内存访问次数（访存密度）、记录循环层级的融合与拆分方式、记录向量化位宽等。这些特征拼接成一个固定维度的向量，喂给代价模型：

属性卡片做得好，点评师才能一眼分出高下；特征设计得好，代价模型才能在没跑过的情况下排出优劣。接下来我们看看点评师（代价模型）如何工作，以及唐导如何利用它快速逼近最优路线。

代价模型预测

点评师的本事不是天生的：过去一年他吃过几百家餐厅、走过几百条路线，每一趟的“实际体验分”都记在小本子上。新路线来了，他靠这些经验做类比，给出预估分。

代价模型（cost model）就是用历史测量数据训练出来的回归模型。AutoTVM 早期使用基于 MLP 或 XGBoost 的模型，输入是调度的特征向量，输出是预测的执行时间；Ansor 则训练带样本权重的回归模型，重点拟合高质量样本。预测流程可以概括为：从搜索空间中取出一个配置 → 提取特征 → 送入代价模型 → 得到预估性能。

为了保持准确，系统会在真实硬件上跑一部分采样点，把实测结果加入训练集，迭代更新模型，形成“测量—学习—预测—再测量”的闭环。底层抽象的数学形式如下：

点评师的预估不一定百分百准，但足够用来指导搜索方向；代价模型用“近似正确”换取了“快速排序上万方案”的能力。唐导终于不用实际走完每条路线再做决定，规划时间被大大压缩。

搜索算法策略

有了备选路线池和点评师，就差一个“怎么逛”的策略。唐导的做法是：先随机挑几条路线试水，然后重点在分高的路线附近微调；偶尔故意跳到一个陌生方案，防止被局部的“好路线”困住。

这就是模拟退火（simulated annealing）的思路。AutoTVM 内置多种搜索策略：随机采样、模拟退火、遗传算法等。搜索中反复执行“生成新配置 → 代价模型打分 → 决定是否接受”，直到满足迭代预算或收敛条件。

模拟退火的特点是“温度”控制：高温阶段敢于接受更差的方案，扩大探索范围；温度逐渐降低后，只接受更优方案，向局部最优收敛。接受较差方案的概率由 Metropolis 准则给出：

温度从高到低，就像唐导先“广撒网”收集情报，再“锁定目标”精雕细琢。AutoTVM 还配合分阶段搜索：先淘汰明显差的配置，再对幸存者做完整评估，进一步压缩搜索成本。

AutoTVM工作流

唐导接到一个新客户，完整流程是这样的：先确认心愿单（计算图），套用经典模板（调度模板），给模板设置一堆旋钮（搜索空间），让点评师批量打分（代价模型），同时抽几趟真正试跑（硬件实测），最后把得分最高的路线写成详细路书（代码生成）。

AutoTVM 的调优分为几个阶段：tuning（调优）阶段利用模板枚举配置，通过“测量 + 模型预测”寻找最优 schedule；找到后进入代码生成阶段，将最优配置应用到底层代码，产出可在目标硬件上高效运行的算子。整个过程的核心，可以用一个简洁的表达式概括——在所有候选调度中，选代价模型预测最优秀的那一个：

于是，从“模板、搜索空间、特征、代价模型、搜索算法”到“代码生成”，一条完整的流水线把手工调优经验变成了可复用的自动化系统。唐导从此不必亲力亲为，流水线替他完成大部分规划工作。

Ansor自动生成

老牌规划师唐导靠经验模板吃饭，但年轻的“安索”（Ansor）觉得模板限制了想象力——总有客户要去冷门小众的景点，老模板套不上。安索干脆不背模板，拿一张白纸，按几条基本构图规则（草图 sketch）现场画路线，再用“进化试错”反复打磨。

Ansor 的核心创新是“自动生成搜索空间”：先用草图（sketch）机制枚举程序的粗粒度结构（循环怎么拆分、怎么融合、并行放在哪一层），再用进化搜索与模拟退火组合出细粒度的填充参数（分块大小、向量化宽度）。全程不需要专家手写模板，搜索空间的边界由机器自动划定。

Ansor 的代价模型同样遵循“学习—预测—再测量”的闭环，但训练时对高质量候选分配更高权重，使模型更关注搜索热点区域，其训练损失为加权均方误差：

用白纸画路线，好处是不受老模板束缚，坏处是画出的路线可能奇怪。Ansor 用一遍遍跑真机测量来纠偏，最终在多个硬件后端的算子性能上普遍追平或打败 AutoTVM，证明了“自动生成搜索空间”这条路走得通。

跨硬件应用

唐导的客户千奇百怪：徒步的学生、自驾的家庭、骑行的背包客。他们去的是同一批景点（同一个算子），但最优路线完全不同——自驾讨厌停车难，徒步怕绕路，骑行怕陡坡。唐导从不拿同一份路书糊弄所有人。

这就是 AutoTVM/Ansor 的价值所在：同样一个矩阵乘算子，在 x86 CPU、NVIDIA GPU、昇腾 NPU 上，最优调度方案可能完全不同——并行粒度、缓存分块、向量宽度各有差异。自动调度系统会针对每个后端重新搜索，自动生成该硬件上的高性能代码，不再需要工程师为每个硬件手工调优。

收益可以量化：以朴素实现为基准，自动调度通常带来数倍到数十倍的性能提升，同时大幅缩短算子库的部署周期：

往更大的图景看，自动调度正在重新定义 AI 编译器的分工：工程师不再为每个算子手写优化，而是定义问题、配置资源、验证结果。跨硬件的自动化优化，让“一份模型跑遍所有设备”从口号变成了每天都在发生的现实。

AI 应用场景

Python 演示

import mathimport random  def measure(tile_m, tile_n, M=128, N=128):    # 模拟一次真机测量：给定分块尺寸，返回执行时延    tiles = math.ceil(M / tile_m) * math.ceil(N / tile_n)    reuse = min(tile_m, 16) * min(tile_n, 16) / 256.0    penalty = max(0, tile_m - 16) * 0.5 + max(0, tile_n - 16) * 0.5    return tiles * (2.0 - reuse) + penalty  TILES = [2, 4, 8, 16, 32, 64]  def random_config():    # 随机生成一个调度起点    return random.choice(TILES), random.choice(TILES)  def neighbors(cfg):    # 在当前旋钮档位附近正负一档生成相邻配置    tm, tn = cfg    out = []    for delta in (-1, 1):        i = TILES.index(tm) + delta        if 0 <= i < len(TILES):            out.append((TILES[i], tn))        j = TILES.index(tn) + delta        if 0 <= j < len(TILES):            out.append((tm, TILES[j]))    return out  def simulated_annealing(max_iter=300):    # 模拟退火搜索最优分块    cur = random_config()    cost = measure(*cur)    best_cfg, best_cost = cur, cost    t0 = 5.0    for step in range(max_iter):        t = t0 * (1.0 - step / max_iter)        nxt = random.choice(neighbors(cur))        nxt_cost = measure(*nxt)        if nxt_cost < cost or random.random() < math.exp(-(nxt_cost - cost) / t):            cur, cost = nxt, nxt_cost            if cost < best_cost:                best_cfg, best_cost = cur, cost    return best_cfg, best_cost  if __name__ == "__main__":    cfg, cost = simulated_annealing(300)    naive = measure(2, 2)    print("best config:", cfg)    print("best cost:", round(cost, 3))    print("tuning speedup:", round(naive / cost, 2))

1. def measure(tile_m, tile_n, M=128, N=128):模拟一次真机测量，等价于把配置放到硬件上跑一遍。
2. tiles = math.ceil(M / tile_m) * math.ceil(N / tile_n)计算分块个数，分块越小块数越多、调度开销越大。
3. penalty = max(0, tile_m - 16) * 0.5 + max(0, tile_n - 16) * 0.5超过缓存容量的过大分块也要扣分。
4. def neighbors(cfg):在当前旋钮档位附近正负一档生成相邻配置，即“路线微调”。
5. if nxt_cost < cost or random.random() < math.exp(-(nxt_cost - cost) / t):Metropolis 准则：更优必接受，较差方案按概率接受。
6. best_cfg, best_cost = cur, cost记录当前搜索路径上遇到的最优解。
7. naive = measure(2, 2)用默认小分块作为朴素基线。
8. print("tuning speedup:", round(naive / cost, 2))输出自动调度相对基线的加速比。

常见误区

面试题