Autoformer：把分解嵌进网络

可视化演示

时序预测痛点

想象你是一名 DJ，拿到一首混音完成的舞曲——贝斯线、鼓点、人声全部搅在一起。要预测下一小节的鼓点，直接盯着整首混音，耳朵里全是各种声音的叠加，根本分不清哪个低频是贝斯、哪个高频是镲片。这就是长期时序预测最头痛的问题：真实数据从来不是单一成分，而是趋势、季节、噪声的混合体。

传统的 Transformer 模型处理时间序列时，把所有时间点当作"平等的元素"做两两注意力计算。这就像 DJ 试图把混音中每一个采样点都与其他所有采样点建立关系——计算量巨大，且没有区分"缓慢变化的整体走向"与"快速重复的节奏模式"。在长序列上，模型很快就在混合信号中迷失方向。

Autoformer 的作者指出，纯 Transformer 在长期预测上表现不佳的根因有二：一是序列分解被放在网络外部或干脆被忽略，趋势与季节没有显式建模；二是自注意力本质是捕捉"同时出现的模式"，难以捕捉"周期重复的模式"。这两点恰与时序数据的本质特征相悖。

任意一个时间点的值 x_t，都可以拆成趋势 T_t、季节 S_t 与随机噪声 ε_t 三部分。

序列分解块

音乐制作人拆音轨时，用的工具是滤波器——贝斯是低频信号，用低通滤波就能抽出来。Autoformer 的分解块用了类似思路：移动平均就好比一个"慢速低通滤波器"，用一个滑动窗口不断取平均，把快速波动的细节抹平，剩下的就是光滑的趋势线。

具体做法很简单。给定输入序列 $x$，先用一个固定大小的平均池化窗口划过整个序列，得到每个位置附近 K 个点的平均值，这就是趋势估计 $\hat{T}$。由于窗口平均天然平滑，趋势项抓住了"大方向"。

然后将原始序列减去趋势，剩下的是什么？是那些围绕趋势上下波动的部分——季节和噪声的混合体。分解块把它们统称为季节项 $\hat{S}$。更关键的是，这个分解不是做完一次就结束：Autoformer 把分解块内嵌到每一层网络之后，每层输出都要再拆一次，让深层特征也不断保持"趋势/季节"的分离状态。

趋势项由滑动平均池化得到，季节项等于原序列减去趋势项。

自相关机制

找到鼓点节奏的关键，是"打拍子"：你把手放在空中，跟着歌曲一下一下地打，当你的拍子与鼓点重合时，那种"对上"的感觉特别强烈。自相关机制也是这么工作的——把一个序列与其延迟 $\tau$ 个位置的自身相乘求和，如果延迟正好等于周期，序列和它的延迟副本会在每个波峰处"对上"，乘积和达到峰值。

形式化地说，对延迟 $\tau$，自相关函数 $\mathcal{R}(\tau)$ 衡量序列与其延迟 $\tau$ 步副本的相似程度。注意这里的乘积是逐点的直接相乘，不需要任何可学习参数。这样，自相关函数就成了一把"周期探测器"：在哪个 $\tau$ 处出现峰值，就说明数据以 $\tau$ 为周期重复。

Autoformer 用自相关机制完全替代了 Transformer 中的自注意力。它的核心洞察是：时序数据中真正重要的依赖，不是任意两点间的关联，而是相隔一个周期的那两个点之间的强关联。自注意力 O(n²) 地检查所有点对，而自相关只在"周期"这个维度上搜索，不仅更高效，而且更贴合时序的本质。

自相关函数是序列与自身延迟副本的逐点乘积的平均值，用于检测周期重复模式。

周期发现

找到拍子之后，DJ 要做的是挑出最明显的几个节拍点，然后跟着它们走。Autoformer 在得到自相关函数 $\mathcal{R}(\tau)$ 后，从中选出自相关值最大的前 k 个延迟，作为候选周期。这好比听一首歌时，你能同时感知到"四四拍的强拍"和"每四小节一个的重音"——多个周期可以同时存在。

选出候选周期后，Autoformer 执行一个关键操作：Roll（循环位移）。对每个选中的周期 $\tau$，将序列沿时间轴循环位移 $\tau$ 个位置，这样原来"相隔一个周期"的点就被对齐到了同一时刻。然后对位移后的序列乘以对应的自相关值作为权重，再做加权求和，得到聚合输出。

这样做的直觉是：既然以 $\tau$ 为周期的点彼此高度相似，那把它们"折叠"到一起加权平均，就能高效地融合周期信息。整个过程等价于一种基于周期的注意力——只不过注意力分数来自自相关函数的峰值，而非可学习的投影矩阵。这大大降低了参数量和计算量。

主周期 $\tau^*$ 是使自相关函数取值最大的延迟。

FFT加速

如果老老实实按定义计算每个延迟的自相关，需要对每个 $\tau$ 做一次全序列的乘积求和——总复杂度 O(n²)。序列长度为 1000 时就要做 100 万次乘法，而实际预测的序列常常上万步。这就像 DJ 要逐帧手动比对音频波形，效率低得不可接受。

维纳-辛钦定理（Wiener-Khinchin Theorem）提供了一个捷径：自相关函数等于信号功率谱密度的逆傅里叶变换。换句话说，先把序列做快速傅里叶变换（FFT）得到频谱，将频谱与其共轭相乘得到功率谱，再对功率谱做逆 FFT，就一次性得到了所有延迟的自相关值。

为什么这样会快？因为 FFT 的复杂度是 O(n log n)。从 O(n²) 降到 O(n log n)，当 n=4096 时，计算量大约是原来的 1/350。在 Autoformer 中，每个自相关子层都依赖这一加速，否则自相关机制的计算开销会让整个模型无法落地。FFT 在这里不是用于频率分析，而是纯粹的"计算加速器"。

自相关可由功率谱的逆傅里叶变换得到，FFT 将计算复杂度从 O(n²) 降至 O(n log n)。

整体架构

Autoformer 的整体结构依然延续编码器-解码器框架，但内部零件全面换新。编码器部分：每一层都由自相关子层 + 分解块构成，输入序列经过注意力机制后，紧跟着做一次趋势/季节分解——趋势分支继续向前，季节分支作为"节奏层"保留。解码器部分则采用累加式设计：每一层分解出的趋势项被逐层累加起来，最终形成预测的趋势部分。

这个设计与音乐制作一一对应：编码器相当于"分轨"环节，每经过一层，都把曲子更细致地拆成贝斯轨和节奏轨；解码器的累加则像是"混音"环节，把各层分离出来的贝斯轨逐渐叠加，最终得到一首完整的预测曲目。自相关子层负责在每层中捕捉周期依赖，分解块负责把已捕捉的信息拆解归类。

值得强调的是，预测不是一次性生成的，而是趋势累加 + 季节预测两条线并行。解码器内部每一层都输出一个趋势增量，逐层相加后得到最终趋势预测；季节部分则由自相关机制从历史周期中"提取"并延拓。这种渐进式解码大大缓解了长期预测中的误差累积问题。

编码器提取历史序列的深层特征，解码器融合特征与预测输入，输出完整预测序列。

实战优势

Autoformer 的设计目标非常明确：长期时序预测。相比于纯 Transformer，它在三个维度上取得了实质性提升。精度：在多个公开数据集（如 ETT、Electricity、Weather）上，Autoformer 在 96 步到 720 步的预测窗口上全面超过 Transformer 基线，尤其是 336 步以上的长窗口，提升幅度明显扩大。

鲁棒性：对强周期数据，如电力负荷、交通流量、天气温度，Autoformer 的自相关机制天然适配——周期越强，自相关峰值越尖锐，模型提取的周期特征越可靠。反过来，对于近似随机游走的无周期序列，Autoformer 依然能靠趋势分解维持合理表现，不至于像纯注意力模型那样崩溃。

效率：自相关机制参数量远少于自注意力（无需 Q/K/V 投影矩阵），加上 FFT 加速，单层计算开销显著降低。这使得 Autoformer 可以在同样的显存预算下堆叠更多层，或处理更长的输入序列。

模型训练时以预测值与真实值的均方误差（MSE）作为损失函数，衡量整体预测偏离程度。

AI 应用场景

Python 演示

import numpy as np  class SeriesDecomp:    ""“序列分解块：移动平均提趋势，原序列减趋势得季节”""     def init(self, kernel_size=25):        self.kernel_size = kernel_size     def moving_average(self, x):        kernel = np.ones(self.kernel_size) / self.kernel_size        return np.convolve(x, kernel, mode='same')     def call(self, x):        trend = self.moving_average(x)        seasonal = x - trend        return trend, seasonal  def auto_correlation(x, max_period=64):    ""“用 FFT 快速计算自相关，复杂度 O(n log n)”""    n = len(x)    padded = np.fft.fft(x, n=2 * n)    power_spec = padded * np.conj(padded)    corr = np.fft.ifft(power_spec)[:max_period].real    return corr / corr[0]  def topk_periods(corr, k=3):    ""“按自相关峰值选出 Top-k 周期”""    return np.argsort(corr)[-k:][::-1]  def forecast_autoformer(x, period=12, horizon=24):    ""“简化版 Autoformer 预测：趋势外推 + 季节周期延拓”""    decomp = SeriesDecomp(kernel_size=5)    trend, seasonal = decomp(x)     t = np.arange(len(trend))    slope, intercept = np.polyfit(t, trend, 1)    t_future = np.arange(len(trend), len(trend) + horizon)    trend_forecast = slope * t_future + intercept     seasonal_forecast = np.tile(        seasonal[-period:], int(np.ceil(horizon / period))    )[:horizon]    return trend_forecast + seasonal_forecast  if name == 'main':    rng = np.random.RandomState(42)    t = np.arange(120)    signal = 0.02  t + np.sin(2  np.pi  t / 12) + 0.1  rng.randn(120)     decomp = SeriesDecomp(kernel_size=5)    trend, seasonal = decomp(signal)    corr = auto_correlation(signal[60:120], max_period=30)    periods = topk_periods(corr[1:], k=2) + 1     pred = forecast_autoformer(        signal[:96], period=int(periods[0]), horizon=24    )    actual = signal[96:]    mae = np.mean(np.abs(pred - actual))     print('Top周期：', periods.tolist())    print('预测MAE: %.3f' % mae)    print('趋势均值 %.2f, 季节均值 %.2f' % (trend.mean(), seasonal.mean()))

常见误区

面试题