内存优化：内存复用

可视化演示

内存复用概念

海风大酒店最值钱的资产不是大堂的水晶吊灯，而是那十五间客房。总台主管每天做的最重要决定，就是把哪批客人和哪批客人安排进同一间房——只要两批客人的入住时段错开，房间就可以“一房两用”。这就是酒店经营里的房间复用，也是内存复用最朴素的形态。

在AI编译器的世界里，模型计算图上的每个算子都会产出中间张量：卷积的激活值、矩阵乘的中间结果、反向传播的梯度……这些张量就像陆续入住的客人，各自占据一块内存。如果每个张量都独立分配一块完整内存，一篇BERT模型动辄消耗几GB显存，大模型更是寸步难行。内存复用的核心思想由此诞生：为生命周期互不重叠的中间张量分配同一个内存地址，让内存像客房一样翻台使用。

编译器需要在编译期完成两件事：第一，收集每个中间张量的生命周期；第二，将生命周期不交叠的张量合并到同一块存储。合并后，模型的内存峰值从“所有张量大小之和”降为“同时活跃张量的最大交集”。下面用复用率来量化收益：

公式通俗说明：复用率 R 表示“省下来的内存比例”。P_original 是每个张量各住一间房的“原始总房量”，P_reuse 是复用后同时住店的“最大客容量”。R 越大，省下的显存越多。

资源冲突分析

排房最怕什么？怕两批客人的入住时间重叠。旅行团凌晨入住、中午退房，商务客下午入住、晚上退房，这两批人如果被安排进同一间房，就会在深夜的走廊里撞个满怀。内存复用的“排房铁律”与此完全一致：两个中间张量的生命周期一旦重叠，就绝不能被分配到同一内存块。

编译器如何判断两个张量是否冲突？方法是对比它们生命周期的起止时刻。如果张量 a 在张量 b 尚未死亡前诞生，并且 b 在 a 尚未死亡前诞生，那么两者在时间轴上存在交集，这就是时间重叠检测。真正工程中的困难来自两点：一是内存别名问题——同一个底层内存地址可能被多个符号引用，别名让编译器难以精确判断“谁在何时真的在使用这块地址”；二是碎片化难题——反复分配与释放大小不一的块，会在地址空间留下许多无法被大请求利用的“碎布头”空洞。冲突判定可以用公式精确表达：

公式通俗说明：l_a 是 a 的“到达时间”，d_b 是 b 的“离店时间”。如果 a 到店时 b 还没离店，且 b 到店时 a 还没离店，两个客人就撞期了——这两块内存不能共享。

内存池机制

海风大酒店每天有几十批客人进出，如果每来一批客人都临时打电话给保洁、现铺床单、现查空房，前台就得忙到凌晨三点。聪明的做法是提前锁定几个常备楼层：租下来、打扫好、随时可以入住。这些常备楼层就是内存池（Memory Pool）。

内存池机制是内存复用的工程基石。编译器预先向系统申请一块较大的连续显存，然后在池内按需切分成多个大小不等的块。当算子需要中间张量时，直接从池中取一块“干净房间”，用完后归还池中供下一批张量使用，不再频繁调用系统级的内存分配接口。这样做有两个明显好处：第一，预分配策略把昂贵的系统调用压缩到建池时一次性完成；第二，块大小管理按算子需求将池划分为常规尺寸（如 64KB、1MB、8MB），让小请求命中池中的“标准间”，避免向操作系统零散要房的巨大开销。分配开销的对比可以这样理解：

公式通俗说明：第一次建池就像酒店装修一个新楼层，很贵；但之后每次入住退房都只是前台登记一下，很便宜。分配次数 n 越大，每次分配的平均成本就越低。

生命周期分析

排房的核心依据是什么？是弄清每批客人到底几点入住、几点退房。前台登记簿上写着：旅行团 0 点入住、12 点退房；商务客 14 点入住、22 点退房。有了这张表，你才能放心地把同一间房排给两批客人。AI 编译器里的“登记簿”就是生命周期分析（Liveness Analysis）。

生命周期分析属于编译器经典的数据流分析。对计算图中的每个变量，分析器沿执行顺序追踪两条关键信息：出生点——变量被定义（写入）的指令位置；死亡点——变量最后一次被读取的指令位置。从出生到死亡的这个区间，就是变量的活跃区间。进一步把所有变量的活跃区间画在时间轴上，就得到一张区间覆盖图：每一行是一个变量的活跃条，纵向看就能发现哪些时间点上多个变量同时存活。这张图是后续所有复用决策的“房态总表”。

公式通俗说明：每个变量 v 的一生就是出生点到死亡点之间的一段区间。birth 是客房开门迎客的时刻，death 是客人拎着行李离开的时刻。

图着色算法

拿到房态图后，总台主管要对所有客人做“合并排房”。她把每位客人写在一张卡片上，如果两个客人时间重叠，就在两张卡片之间连一条红线。然后她开始给卡片涂颜色：有红线相连的卡片必须涂不同颜色，同一颜色代表分配同一间房。这个流程在算法世界里就是图着色（Graph Coloring）。

在内存复用场景中，图着色算法的输入是冲突图：节点是中间张量，边代表两个张量生命周期冲突（即第 2 节判定的重叠）。贪婪着色（Greedy Coloring）是最常用的求解策略——按顺序遍历节点，给每个节点涂上“不与已涂色邻居冲突的最小色号”。每种颜色对应一块内存地址，最终使用的颜色总数就是内存块数，即为复用后所需内存。颜色分配完成后，相同颜色的张量共享同一块显存。着色约束如下：

公式通俗说明：E 是所有冲突边的集合。只要两个节点有边相连，它们的颜色号就必须不同——这正是“有红线相连的客人不能住同一间房”。

优化策略

海风大酒店还要考虑翻台效率：如果每批客人退房后要花一小时打扫，下一批客人才能入住，房间的利用率就上不去。于是总台想了一个办法——准备两套备用布草：A 套在 1 号房使用时，B 套预先布置在 2 号房；1 号房退房后，客人直接转入已布置好的 2 号房，两房交替使用、永不停歇。这就是双缓冲技术（Double Buffering）。

在 AI 编译器中，双缓冲让计算与数据搬运时间重叠。假设某层网络先要把输入从内存搬到计算单元，再进行矩阵运算。如果串行执行，总耗时是搬运加计算；双缓冲则在计算当前一块数据时，预取下一块数据到缓冲区，让搬运和计算并行进行。进一步地，跨层复用跳出单算子的局部视野：相邻层的中间输出不再各自占据一块内存，而是共享一个全局 Buffer，空间进一步压缩。结构融合（如算子融合）则干脆把多个算子的中间结果“内联”在原处，减少中间张量的个数。双缓冲的时间收益可写为：

公式通俗说明：双缓冲让计算和搬运同时进行，整个流水线的周期不再是两者相加，而是慢的那个环节说了算。“A 布场的时候 B 开演，B 布场的时候 A 开演。”

实战与调优

酒店经营一个月后，总台主管开始翻看财务报表：哪类房型空置率高？哪层电梯拥堵？哪个时段打扫不过来？实战中的内存优化同样需要性能分析与调试监控这两面镜子。

在实际工程里，主流的推理引擎（如 NNVM/TVM、ONNX Runtime、TensorRT）都在编译期对计算图做内存规划，并将规划结果封装为 Arena（内存竞技场）：一个预分配的大内存池，内部按照生命周期分析与图着色结果划分块，运行时所有中间张量都在 Arena 中取放。以端侧推理为例，模型经过量化压缩后，内存优化的重点从“能否放下”转向“能否跑得更快”。此时需要用 profiling 工具观测两条关键指标：内存峰值——在时间轴上找到占用最高的时刻，对比优化前后峰值判断复用效果；碎片率——碎片化成片地蚕食可用显存，严重时大块请求直接失败。碎片率定义如下：

公式通俗说明：碎片率衡量内存池里有多少空间是“看得见但用不上”的零碎边角料。S_used 是实际被有效使用的空间总和，S_total 是内存池总空间。碎片率越高，浪费越严重。

AI 应用场景

Python 演示

class Interval:    def init(self, name, birth, death):        self.name = name        self.birth = birth        self.death = death  def conflict(a, b):    return a.birth < b.death and b.birth < a.death  def greedy_color(intervals):    colors = []    color_of = {}    for v in intervals:        used = set()        for c, other in zip(colors, intervals):            if conflict(v, other) and other.name in color_of:                used.add(color_of[other.name])        color = 0        while color in used:            color += 1        color_of[v.name] = color        colors.append(color)    return color_of  def main():    intervals = [        Interval("weight", 0, 3),        Interval("act1", 2, 5),        Interval("act2", 4, 7),        Interval("grad", 6, 9),        Interval("temp", 1, 2),    ]    mapping = greedy_color(intervals)    peak = max(mapping.values()) + 1    for v in intervals:        print(f“{v.name}: 内存块{mapping[v.name]}”)    print(f“复用后峰值内存块数：{peak}”)    print(f“若不复用需内存块数：{len(intervals)}”)  if name == "main":    main()

常见误区

面试题