AutoTVM/Ansor：草图生成（Sketch Generation）

可视化演示

展示Ansor草图生成器从计算DAG按拓扑序推导调度骨架、派生规则匹配及多草图覆盖搜索空间的过程。

1. 草图生成概念

小安在白板前站定，掏出记号笔。他没有直接开火，而是先画出三种做法的初步构想：第一种，把B蒸软再与A快炒；第二种，把A和B分别炸脆，最后下C烩；第三种，把所有食材一起慢炖。每张草稿只有三五笔，标记「先」「后」「并」几个关键词。在 Ansor 的世界里，这一步就是草图生成——整条自动调优流水线的第一站。

草图生成的目标，是拿到一份计算图后不依赖任何人工预设模板，自动产出一批「大体可行」的调度方案。调度（schedule）在 AI 编译器中指「如何安排计算循环的顺序、并行方式与数据放置」。草图只决定大框架，不规定细致参数——就像草稿只写先炒还是先炖，不写精确到几克盐。有了这批框架，后续的规则注解与进化搜索才有施展的舞台。

形式上，一张草图可以理解为作用于计算图 G 的一组调度规则序列：

对厨师来说，一墙草稿顶不上一盘菜，却决定了菜品可能的样貌；对编译器来说，一张草图也还不能执行，它只是把「哪些做法值得试」从无穷收敛到有限。这份克制，恰恰是草图生成最了不起的地方。

2. 计算图解析

小安拿到订单后，第一步不是翻菜谱，而是弄清楚食材之间的「先后关系」：B 必须提前处理才能和 A 同锅，C 又必须等 A、B 齐了才能下锅。他把这些关系画成一张箭头图——食材是点，箭头表示「谁等谁」。这张箭头图，就是计算图的缩影。

在 Ansor 中，草图生成器读取 TVM 编译流程产出的中间表示。这个中间表示把神经网络的层与算子展开成一张静态图：每个算子（矩阵乘、卷积、激活函数）是一个顶点，张量数据在算子间的流动形成边。系统还要推导每个算子的输出形状和计算规模，这些信息决定了循环的边界与迭代次数。

计算图用有向无环图（DAG）描述，这是后续一切枚举的基础：

小安把食材关系图钉在墙上，心里就有了谱：哪些步骤可以并行（两个灶台同时开工），哪些步骤必须排队。计算图解析做的正是这件事——它把「什么能先做、什么必须等」翻译成机器能理解的结构信息，为接下来的调度手法选择铺平道路。

3. 调度规则库

小安的厨房墙上挂着一排排工具：蒸锅、炒锅、炸锅、炖盅、切片刀、按摩锤。每种工具对应一种改变菜品口感的手法。在草图生成器里，也有一整套这样的「手法百宝箱」——调度规则库，每个规则都是一次原子级的循环结构变换。

循环是算子在硬件上执行的基本形态，深度学习计算可以看成一组嵌套循环。循环变换规则包括：split（分块，把大循环切成小 tile）、fuse（融合，把两个相邻循环合成一个）、reorder（重排，交换循环嵌套顺序）；涉及并行的有 parallel（并行化，把循环分到多核上执行）、vectorize（向量化，让一条指令同时处理多个数据）；还有面向存储的规则，如改变数据读取的缓存策略。

每条规则都是一个循环结构到另一个循环结构的映射：

规则库就像小安的调味架——每种手法单独看都很普通，但它们的不同组合却能做出南辕北辙的菜。草图生成的价值，正是让系统自己来决定「这盘菜该用哪几样手法、按什么次序下锅」，而不是每次都由主厨拍脑袋。

4. 推导式生成

小安画草稿不是乱画，他有一套自己的推演套路：先看食材关系，再定主手法，最后补并行方案。比如「B 要先蒸——那就分成蒸透 B 的两小段；A 和 B 熟了可以同时下 C——那就把两步融合成一个步骤」。每一步都是在上一步的基础上继续，最后得到一张完整的做法草图。

Ansor 的推导式生成与此同构。它以计算图为起点，逐阶段施加规则：第一个阶段选循环变换，第二个阶段安排并行与向量化，第三个阶段调整存储。每个阶段从规则库中挑一条规则应用，前一个阶段的输出成为后一个阶段的输入。把所有可能的「选择路径」枚举出来，就得到了候选草图集合：

小安画满一墙草稿后，会退后两步整体端详：这份太琐碎，那份来不及，真正值得试的其实就几份。推导式生成同样产出一组「值得试」的草图——它不保证每张都好，但保证好方案大概率藏在这些候选里。这正是它比人工模板覆盖更广的原因。

5. 搜索空间特点

菜单草稿贴满一墙后，小安发现自己面临一个新麻烦：如果每种食材组合都要试一遍，后厨烧一整天也试不完。他必须控制草稿数量，既不能太少而漏掉好菜，也不能太多而拖垮试菜节奏。这个「既要铺得开，又要收得拢」的平衡，就是搜索空间设计的核心问题。

草图生成后的搜索空间，由所有候选草图及其细化的变体组成。它的特点是覆盖广——因为规则是自动枚举的，凡是规则库表达范围内的调度形态都会被纳入；同时它又必须可控——如果每个算子都有多种选择，总候选数量会呈爆炸式增长。Ansor 通过限制枚举深度、约束规则使用次数来压缩空间，再用随机采样让搜索在有限时间内覆盖尽量多的高质量区域。

候选总数可以由乘积公式近似刻画：

如果说草图生成是为后厨「备料」，搜索空间的控制就是决定「一桌菜到底备多少份料」。备少了怕客人点不到，备多了怕浪费。Ansor 的答案很务实：把空间控制在「搜索器跑得完、好方案漏不掉」的甜区，再用采样这双快手，尽可能多翻几份可能的好选择。

6. 与后续衔接

墙上的草稿只是开始。小安挑出三份最顺眼的草稿，蹲在灶台边把它们写成详细菜谱：精确到克的火候、精确到秒的计时、哪个灶头同时开火。在 Ansor 里，这一步叫规则注解（annotation）：把草图这个「空架子」填上具体的循环因子、向量宽度、线程绑定的数值，变成可编译、可执行的完整调度。

完整调度生成后，紧接着是进化搜索（evolutionary search）。Ansor 把每份草图的变体当作「候选物种」，通过评测它们在目标硬件上的真实耗时，保留性能好的个体，再让它们交叉、变异产生新方案，一代代逼近最佳调度。整个过程的数学目标，是在草图集合 S 中找到一个性能最优的完整调度：

回到餐厅：草稿定方向，菜谱写细节，试菜定胜负。如果试菜发现某道菜不够惊艳，小安会回头调整草稿再试一轮——Ansor 的反馈迭代也是这样：搜索完一轮后，用结果反哺下一轮的草图枚举与采样策略。草图、注解、搜索三者首尾相连，形成一条自动化的调优闭环。

7. 工程价值与挑战

自从学会了「画草稿」这套方法，小安的餐厅发生了质变。以前客人点一道没做过的菜，他要翻菜谱、试错好几遍才能定下做法；如今他只要看一眼食材关系，几分钟就能画出七八份可行方案交给学徒试做。更妙的是，即使来了全新的食材组合，他也不用慌——草稿法对「没见过的菜」同样有效。

这正是草图生成在工程上的核心价值：自动化与覆盖度。在传统的 AutoTVM 模板时代，工程师每遇到一种新的算子结构，就要手写一份调度模板，GPU 上动辄成百上千种算子，模板维护成本极高。Ansor 的草图生成把「人工写模板」变成「程序枚举规则组合」，显著降低了人力成本，同时覆盖了手工模板照顾不到的调度形态。实际部署中，它对不规则的张量形状、融合算子、新型硬件都非常友好。

但自动化不是免费的午餐。随着计算图规模变大，搜索空间的膨胀压力也开始显现：

小安明白，草稿画得快是本事，但画太多反而让后厨瘫痪。Ansor 同样清醒：草图生成让编译器更聪明，却不可能让搜索魔法般绕过物理开销。真正的工程智慧，是在自动化的广度与搜索的深度之间，找到那个让性能收益远大于额外开销的平衡点——这也是每个 AI 编译器工程师在实际系统中持续打磨的功课。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""草图生成最小演示: 用计算图与调度规则模拟 Ansor 的候选草图枚举""" from itertools import product  class OpNode:    """计算图上的算子节点"""    def __init__(self, name, work_size):        self.name = name        self.work_size = work_size        self.deps = []     def add_dep(self, dep):        self.deps.append(dep)  def build_graph():    """构造一个小型计算图: A, B -> C -> D"""    a = OpNode("A", 1024)    b = OpNode("B", 1024)    c = OpNode("C", 512)    d = OpNode("D", 256)    c.add_dep(a)    c.add_dep(b)    d.add_dep(c)    return [a, b, c, d]  def gen_sketches(graph):    """为每个算子列举可选规则, 再组合出全部候选草图"""    rule_pool = ["split", "fuse", "parallel", "vectorize", "reorder"]    candidates = []    for node in graph:        opts = [(node.name, rule) for rule in rule_pool[:3]]        candidates.append(opts)    return [list(combo) for combo in product(*candidates)]  def main():    graph = build_graph()    sketches = gen_sketches(graph)    print("计算图节点数:", len(graph))    print("枚举出的草图数量:", len(sketches))    for s in sketches[:5]:        print("  ", s)  if __name__ == "__main__":    main()

1. from itertools import productproduct 用于计算多个列表的全部组合，正是「规则组合枚举」的引擎。
2. class OpNode计算图节点的数据结构，保存算子名、计算规模与依赖列表。
3. c.add_dep(a)构造「C 依赖 A」的有向边，形成有向无环图。
4. rule_pool[:3]每个算子只取前 3 条规则，模拟空间规模控制。
5. product(*candidates)逐节点选一种规则，组合成一张完整的候选草图。
6. print("枚举出的草图数量:", len(sketches))直观看到 3^4=81 个候选草图，体会组合爆炸的威力。

常见误区

面试题