FEDformer频域注意力设计

可视化演示

展示傅里叶变换时频域转换、频域稀疏化低频截断与FEDformer线性复杂度优势，交互理解频域注意力设计原理。

时域频域转换

演出后台有一块巨大的示波器屏幕，它逐毫秒地描出声音波形，每一处微小的抖动都看得一清二楚；旁边还有一块频谱仪，用一根根柱条展示当前各个音高的能量分布。调音师扫一眼频谱仪，就能说出“现在低音太闷、中频有点空”，而对着波形图可能盯半天也没头绪。这就是“换个视角看问题”的力量。

Transformer 的注意力机制就像盯住波形图工作：把序列里的每个时间点当作一个“音符”，让每个音符和序列里所有其他音符比较相似度。N 个时间点要做 N×N 次比较——这在短文本上还凑合，可时序预测动辄几千上万个时间步，N² 次的配对立刻让计算量爆炸。FEDformer 团队提出一个反直觉的问题：能不能像调音师一样，先看看频谱，只挑重要的频段来比较？

答案藏在傅里叶变换这座桥梁里——它把长度为 N 的时域序列分解成 N 个频率分量，其中 X₀ 是平均值（直流分量），X₁、X₂……对应越来越高的频率。公式如下：

$$\displaystyle X_k = \sum_{n=0}^{N-1} x_n \cdot e^{-i 2\pi \frac{k n}{N}}, \quad k = 0,1,\dots,N-1$$

1. 输入时域序列：x_n 表示序列在第 n 个时刻的采样值，n 从 0 取到 N-1，共 N 个时刻

$$x_0, x_1, x_2, \dots, x_{N-1}$$

2. 旋转因子：e^{-i 2π k n / N} 是单位圆上旋转的复数，相当于频率 k 的“节拍器”

$$e^{-i\theta} = \cos\theta - i\sin\theta$$

3. 累加求和：把每个时刻的采样值乘以对应相位后全部相加，完成“匹配检测”

$$\sum_{n=0}^{N-1}(\cdots)$$

4. 频域分量：X_k 是复数，模长表示该频率的能量大小，辐角表示相位偏移

$$X_k \in \mathbb{C}$$

就像频谱仪把现场声音拆成一根根能量柱，傅里叶变换把时序拆成一个个“频率通道”。调音师从此可以不用盯着波形逐帧看，而是直接在这些通道上做文章——这正是 FEDformer 一切设计的起点。

傅里叶变换基础

调音台上有许多推子，每个推子控制一个频段：最左边是 20Hz 的超低音，中间是人声频段，最右边是 16kHz 以上的空气感。把推子一个个拉下来，再一个个推回去，就能精确塑造声音。傅里叶变换就是这套推子系统的底座。

DFT 把 N 个时域采样变成 N 个频域系数，就像把波形“分发”到 N 个推子上；而逆变换（IDFT）则是把这些推子的信号重新混音回波形。两者互逆，信息没有任何丢失——只要保留全部频率分量，就能无误差还原原始序列。

逆傅里叶变换的公式如下，注意指数符号由负变正，前面多了 1/N 的归一化因子：

$$\displaystyle x_n = \frac{1}{N} \sum_{k=0}^{N-1} X_k \cdot e^{i 2\pi \frac{k n}{N}}$$

工程上直接算 DFT 是 O(N²)，但快速傅里叶变换（FFT）利用旋转因子的对称性把复杂度降到 O(N log N)，这也是 FEDformer 敢把序列“送进频域逛一圈”的底气。

1. 频域加权求和：每个频率分量 X_k 乘以“反向旋转因子”后相加

$$\sum_{k=0}^{N-1} X_k \cdot e^{i 2\pi \frac{k n}{N}}$$

2. 归一化因子：1/N 保证 IDFT 与 DFT 互为逆运算，信息无损

$$\frac{1}{N}(\cdots)$$

3. 还原采样值：等式左边 x_n 是第 n 个时刻的原始数值，属于实数

$$x_n \in \mathbb{R}$$

4. FFT 加速：利用旋转因子的周期对称性，把 O(N²) 降至 O(N log N)

$$O(N \log N)$$

推子全部推满，波形原封不动；把一些推子压下去，声音就开始“变形”。FEDformer 想做的，恰恰是主动压掉那些不重要推子的音量——因为它知道哪些推子几乎没人听得到。

频域稀疏性

一首摇滚乐，贝斯和底鼓扛着整个低音区，人声和吉他集中在中频，而最高频的镲片声虽然刺耳但能量微弱。调音师可以大胆地把 12kHz 以上的推子全部压掉，观众几乎察觉不到区别。

真实世界的时间序列——无论是电网负荷、天气温度还是高速公路车流量——都呈现高度的“频域稀疏性”：绝大多数能量集中在少数低频分量上，高频段主要是噪声和微小波动。这意味着频谱上的大量柱条几乎为零，把它们全部保留纯属浪费。

用数学语言说，保留前 M 个低频分量，就能抓住几乎全部能量：

$$\displaystyle \frac{\sum_{k=0}^{M-1}|X_k|^2}{\sum_{k=0}^{N-1}|X_k|^2} \approx 1 - \varepsilon, \quad M \ll N$$

这里 ε 是一个非常小的量。FEDformer 的“模式”（mode）概念由此而生：在频域里选出的 M 个重要分量，就是这条序列的 M 个“主模式”，它们足以代表整条序列的核心形态。

1. 分子——保留模式能量：前 M 个频率分量模长的平方和

$$\sum_{k=0}^{M-1}|X_k|^2$$

2. 分母——全部频域能量：所有 N 个分量的平方和（帕塞瓦尔定理下等于时域能量）

$$\sum_{k=0}^{N-1}|X_k|^2$$

3. 能量覆盖率：比值接近 1，说明低频几乎携带全部信息，ε 是损失掉的极小部分

$$\approx 1 - \varepsilon, \quad \varepsilon \ll 1$$

4. 稀疏条件：M 远小于 N，后续所有计算都发生在 M 这个“瘦身”后的维度上

$$M \ll N$$

调音师把十几个推子里真正用得上的三四个推子照顾好，整首歌的骨架就立住了。FEDformer 同样只关心少数主模式，把计算资源留给真正重要的频段。

频域注意力

指挥家不会在每拍都盯着每个乐手的每个动作，而是把注意力放在几个关键声部上——低音提琴的律动、铜管的高潮、打击乐的节奏。只要这几条主线配合默契，整支乐队的表现八九不离十。

标准 Transformer 的注意力矩阵是 N×N 的稠密矩阵，每个位置都参与打分。FEDformer 的思路是：把 Q、K、V 变换到频域后，注意力矩阵在频域天然稀疏，只需在确定的 M 个模式上计算打分，其余位置直接忽略。

频域增强注意力（FEA）的数学表达如下：

$$\displaystyle \text{FEA}(\mathbf{Q},\mathbf{K},\mathbf{V}) = \mathcal{F}^{-1}\Big( \text{Softmax}\big( \frac{\mathcal{F}(\mathbf{Q})\,\mathcal{F}(\mathbf{K})^{\top} \odot \mathbf{S}}{\sqrt{d_k}} \big) \mathcal{F}(\mathbf{V}) \Big)$$

其中 S 是只保留 M 个模式的稀疏掩码。值得强调的是，FEDformer 采用“随机模式选择”：每个注意力头、每一层都随机挑选一组模式，不同的头覆盖不同的频率子集，这样既保证全局信息互补，又让每个头的计算量都压在 M 上。随机性还带来额外好处——隐式正则化，缓解过拟合。

1. 频域投影：Q、K、V 分别做傅里叶变换，得到频域表示

$$\mathcal{F}(\mathbf{Q}), \ \mathcal{F}(\mathbf{K}), \ \mathcal{F}(\mathbf{V})$$

2. 模式掩码：S 与打分矩阵做逐元素乘法，只在 M 个选定频率上保留数值

$$\odot \mathbf{S}, \quad S_{kk'} \in \{0,1\}$$

3. 缩放点积打分：除以 \sqrt{d_k} 防止内积过大导致梯度消失

$$\frac{\mathcal{F}(\mathbf{Q})\,\mathcal{F}(\mathbf{K})^{\top}}{\sqrt{d_k}}$$

4. Softmax 归一化：把打分变成和为 1 的注意力权重

$$\text{Softmax}(\cdot)$$

5. 聚合与还原：权重作用于 V 的频域表示，再逆变换回时域

$$\mathcal{F}^{-1}(\cdot)$$

指挥家只听三条主线，就能调度整个乐队；FEDformer 每个头只听几个频率通道，多个头合在一起却听全了整个频谱。用很少的“耳朵”达成全局的“听见”。

复杂度优化

逐字读完整本 500 页的书来写摘要，要花 25 万个字的阅读量；但先看目录、只精读几个重点章节，工作量骤减，摘要质量却差别不大。复杂度优化的本质就是“少读几章，读对章节”。

标准自注意力的复杂度是 O(N²)：序列长度 N 翻一倍，计算量翻四倍。对 10,000 步的长序列来说，1 亿次配对几乎让训练无法进行。FEDformer 把注意力从 N×N 的稠密空间压缩到 M 个模式上的稀疏空间，复杂度随之改变。

复杂度的变化可以写成：

$$\displaystyle \text{复杂度：} O(N^2) \;\longrightarrow\; O(M \cdot N) \approx O(N), \quad M \ll N$$

由于 M 是固定超参数（FEDformer 默认取 64 左右），不随输入长度增长，所以总体复杂度近似线性。N=10,000 时，标准注意力是 10⁸ 量级运算，FEDformer 只有 10⁵ 量级——三个数量级的差距，正是长序列预测能否落地的分水岭。同时，截断掉的往往是噪声成分，模型在效率提升的同时往往还能轻微提升精度，实现“效率-精度”双赢。

1. 标准复杂度：每个位置都要与其他 N-1 个位置计算注意力

$$O(N^2)$$

2. 截断后复杂度：M 个模式各与 N 个位置交互

$$O(M \cdot N)$$

3. 常数模式数：M 固定不随 N 增长，复杂度近似线性

$$O(M \cdot N) \approx O(N)$$

4. 稀疏条件：M 远小于 N，保证线性近似成立

$$M \ll N$$

读书有“关键章节”，调音有关键频段，注意力有关键模式——聪明的工程师永远先找到那 20% 的输入，收获 80% 的效果。FEDformer 把这句经验法则变成了数学公式。

傅里叶块设计

调音师的工作台上有两条信号链路：一条直接输出“整体氛围”（趋势），另一条经过效果器处理“细节纹理”（季节波动）。两条链路最终在混音总线上汇合。FEDformer 的模块结构就是这条双链路调音台。

FEDformer 全称 Frequency Enhanced Decomposed Transformer，核心是“分解 + 频域增强”。每个编码器层先用移动平均把输入拆成趋势项和季节项：趋势项是缓慢变化的基调，季节项是围绕基调的周期性波动。季节项再送入频域增强块（FEB）处理。

FEB 的操作可以概括为三步：先傅里叶变换到频域，用可学习的复数权重 W_f 对每个频率分量做“音量调节”，再逆变换回时域：

$$\displaystyle \text{FEB}(\mathbf{x}) = \mathcal{F}^{-1}\big( \mathcal{F}(\mathbf{x}) \odot \mathbf{W}_f \big)$$

配合模式选择，FEB 只对选中的 M 个模式做加权，其余频率直接置零，把计算量限制在 O(N)。整个架构由“模式发现”（在频域中选择重要模式）和“模式恢复”（逆变换还原到原始时空形状）两步组成，像极了录音中的“频谱编辑—导出”流水线。

1. 频域变换：季节项 x 先经 FFT 得到频谱

$$\mathcal{F}(\mathbf{x})$$

2. 可学习加权：逐元素乘以 W_f，等价于为每个频率分配一个音量推子

$$\odot \mathbf{W}_f, \quad \mathbf{W}_f \in \mathbb{C}^N$$

3. 稀疏置零：未选中的模式被掩码清零，只保留 M 个主模式参与计算

$$\mathbf{W}_f \odot \mathbf{S}$$

4. 逆变换还原：IFFT 把处理后的频谱合成为时域输出

$$\mathcal{F}^{-1}(\cdot)$$

调音师在频谱编辑器里框选要处理的频段、拖动增益曲线、再导出成品——FEB 的“模式发现→加权→模式恢复”就是这条流水线的自动化版本，只不过推子变成了神经网络学出来的 W_f。

预测实践应用

调音师再懂原理，演出前也要逐一确认推子位置、压限阈值和返听音量。机器学习模型同样如此——架构对了，超参数和工程细节决定现场效果。

FEDformer 在长序列预测上的实践可以拆成三个层面：超参数选择、训练策略和工程加速。其中最重要的超参数就是保留的模式数 M——它直接决定复杂度与精度的权衡点。

FEDformer 的默认配置通常取 M=64，配合 2-3 层编码器解码器。训练时随机模式选择扮演“数据增强”角色，让模型见过多种频率组合；损失函数采用归一化的 L1 误差，对序列的绝对尺度不敏感，方便跨数据集比较：

$$\displaystyle \mathcal{L} = \frac{\|\hat{\mathbf{y}} - \mathbf{y}\|_1}{\|\mathbf{y}\|_1}$$

工程上，FFT 在 GPU 上有高度优化的 torch.fft.rfft 实现，实际运行几乎不成为瓶颈。在 ETTh（电力变压器温度）、Electricity（用电量）、Traffic（交通流量）等长序列基准上，FEDformer 以线性复杂度达到了超越 Informer 等前期模型的预测精度，成为长序列预测的重要基线。

1. 分子——绝对误差和：预测与真实值逐点差的绝对值求和

$$\|\hat{\mathbf{y}} - \mathbf{y}\|_1 = \sum_i |\hat{y}_i - y_i|$$

2. 分母——真实值尺度：真实序列的绝对值之和，作为归一化因子

$$\|\mathbf{y}\|_1 = \sum_i |y_i|$$

3. 相对误差：消除量纲影响，不同数据集之间可以直接比较

$$\mathcal{L} \in [0, +\infty)$$

一切调校最终是为了演出效果——FEDformer 的一切设计最终落在长序列预测的精度与速度上。掌握了这些“调音参数”，你就能在真实项目中把谱子演奏出来。

AI 应用场景

Python 演示

import numpy as npimport time def fft_truncate(x, M):    N = len(x)    X = np.fft.fft(x)    X[M:N - M + 1] = 0    return np.fft.ifft(X).real def freq_attention(Q, K, V, M):    N, d = Q.shape    Qf = np.fft.fft(Q, axis=0)    Kf = np.fft.fft(K, axis=0)    Vf = np.fft.fft(V, axis=0)    Qm, Km, Vm = Qf[:M], Kf[:M], Vf[:M]    scores = (Qm @ Km.conj().T).real / np.sqrt(d)    scores = scores - scores.max(axis=-1, keepdims=True)    attn = np.exp(scores)    attn = attn / attn.sum(axis=-1, keepdims=True)    Yf = np.zeros_like(Qf)    Yf[:M] = attn @ Vm    return np.fft.ifft(Yf, axis=0).real def std_attention(Q, K, V):    d = Q.shape[1]    scores = Q @ K.T / np.sqrt(d)    scores = scores - scores.max(axis=-1, keepdims=True)    attn = np.exp(scores)    attn = attn / attn.sum(axis=-1, keepdims=True)    return attn @ V if __name__ == "__main__":    N, d = 2048, 16    t = np.arange(N)    base = np.sin(2 * np.pi * 5 * t / N) + 0.6 * np.sin(2 * np.pi * 17 * t / N)    X = np.stack([base] * d, axis=1) + 0.05 * np.random.randn(N, d)     rec = fft_truncate(base, 32)    ratio = np.linalg.norm(rec) / np.linalg.norm(base)    print("保留32个低频模式，能量保持率: %.3f" % ratio)     start = time.time()    std_attention(X, X, X)    t_std = time.time() - start    start = time.time()    freq_attention(X, X, X, 32)    t_fed = time.time() - start    print("标准注意力 %.4fs，频域注意力 %.4fs，加速 %.1f 倍" % (t_std, t_fed, t_std / t_fed))

1. X[M:N - M + 1] = 0一次性把高频段全部清零，这就是“截断”
2. Qf = np.fft.fft(Q, axis=0)沿时间维度做 FFT，把序列搬进频域
3. Qm, Km, Vm = Qf[:M], Kf[:M], Vf[:M]模式选择，只取前 M 个频域分量
4. scores = (Qm @ Km.conj().T).real / np.sqrt(d)在低维频域做缩放点积打分，取实部
5. scores = scores - scores.max(axis=-1, keepdims=True)softmax 前的数值稳定技巧
6. attn = attn / attn.sum(axis=-1, keepdims=True)注意力权重归一化，使和为 1
7. Yf[:M] = attn @ Vm只在 M 个保留模式上聚合信息
8. return np.fft.ifft(Yf, axis=0).real逆变换回时域，取实部还原真实序列
9. std_attention(X, X, X)标准注意力作为对照组，用于计时对比

常见误区

面试题