Informer：稀疏注意力降复杂度

可视化演示

展示Informer长序列预测三大核心创新：ProbSparse稀疏注意力用KL散度筛选活跃Query、复杂度从O(n²)降至O(n log n)、蒸馏减层与生成式解码避免误差累积。

注意力瓶颈：全员会议的平方级折腾

想象公司年会有一个“全员一对一交流”环节，每位员工都要与其余所有人单独聊一遍才算完成任务。100 人要聊 9900 次，1000 人就要聊近 100 万次。标准 Transformer 的自注意力就是这种开会方式：序列中每个位置（token）都是参会者，它需要和其他每一个位置交换信息，才能决定自己应该“关注”谁。

放到技术上，自注意力先把序列投影成三个角色：查询 Q（想了解信息的人）、键 K（每个人挂的胸牌）、值 V（每个人实际讲的干货）。注意力分数由 Q 与 K 逐一配对得到，配对结果是一张 L×L 的二维表。只要序列长度 L 翻一倍，这张表和对应的计算量就翻四倍——这正是 O(n²) 的典型特征。

长序列预测正是这场会议的“极限压力测试”：预测未来 336 个小时的电力数据，历史窗口动不动就上千个时间步，L×L 矩阵会让显存和算力一起爆炸。于是 Informer 决定：不再让所有人开全员会。

ProbSparse机制：只让“意见领袖”发言

真正的会议效率提升，从来不是让所有人闭嘴，而是让真正有价值的人开口。Informer 的 ProbSparse 注意力做了一件看起来大胆的事：从 L 个查询里挑出稀疏度最高的前 u 个“意见领袖”，组成一个瘦身后的查询矩阵 Q̄，只用它去和键 K 计算注意力。

为什么敢这么做？因为在真实的长序列数据里，注意力分布往往呈现“长尾”特征：少数查询对输出起决定性作用，绝大多数查询的注意力模式和均匀分布差不多，多算它们只是浪费算力。只要 u 的取值与 log L 同阶（例如 u = c·logL），点积量就从 L×L 降到 u×L，整体复杂度变为 O(L·logL)。

这场“精英质询会”开完，大家发现会议结论和全员大会几乎一样——因为真正推动结论的永远是那几位关键发言人。

稀疏度度量：给发言质量打分

怎么判断谁是“意见领袖”？ Informer 用了一个非常直觉的标准：如果某个人问的问题，答案和全场默认答案一模一样，那他的问题没有信息量；相反，如果他的提问能引出最大的“意外响应”，就该被重点对待。这个“意外程度”在数学上就是注意力分布与均匀分布的 KL 散度。

完整 KL 散度要先算所有 softmax 概率，成本太高。Informer 用一个漂亮的近似来打分：对查询 qᵢ，它遍历所有键，记录下最强烈的“共鸣”分数（最大值），再算出对所有键的平均反应；两者相减。峰值很高、平均水平又低，说明这个查询只对少数键有强关注，信息很集中；如果峰值和均值差不多，说明它对谁都很平均，没有独到之处。

把所有人的分数排出来，会得到一条右边拖得很长的分布：绝大多数查询分数低，少数查询分数高。Informer 只需要排个序，截取 Top-u，自然就拿到了那批最值得发言的人。

自蒸馏降维：会议纪要逐层减半

精英质询会虽然省了交互次数，但每个参会者依然要记住全场所有人的发言细节，内存压力还是不小。于是 Informer 又加了一道“会议纪要”流程：每开完一轮会，秘书就把纪要压缩一半，只保留最重要的要点，下一轮会议在精简版基础上继续开。

这个操作叫自注意力蒸馏。每经过一个注意力块，Informer 先用一维卷积把相邻时间步的信息融合一下，再用 ELU 激活引入非线性，最后用最大池化把序列长度减半。长度减半意味着下一层注意力矩阵又小一倍，显存占用呈几何级数下降。

这份“越来越薄的纪要”并不会丢失关键信息，反而帮模型自动筛选出最值得保留的多尺度特征，让长序列预测更稳。

生成式解码：开场白直接念完整份结论

传统 Transformer 做预测像新闻发言人逐字憋稿：先说出第一个词，再根据第一个词想第二个词，一个词一个词往外蹦，每蹦一个词都要重新“开一轮会”。预测 336 步，就得开 336 次会，慢得让人绝望。

Informer 的改变是：主持人拿到“开场白 + 整页空白答题纸”。开场白是从真实历史序列里截取的一段上下文 token，空白答题纸就是待预测位置的占位向量（全 0）。把它俩拼在一起放进解码器，一次前向就能把整段预测结果写满。

正是因为“一次开场，全文输出”，Informer 避免了自回归解码的串行瓶颈，长 horizon 预测的推理速度大幅提升。

复杂度实战：从平方级到线性对数的落地

把这三板斧合在一起算总账：ProbSparse 注意力把交互次数从 L² 压到 L·logL，蒸馏让每层特征长度逐层减半，生成式解码又免去逐步预测的重复开销。最终 Informer 的整体时间复杂度和内存复杂度都落在 O(L·logL)。

| 方法 | 时间复杂度 | 内存复杂度 | 典型极限长度 |

| --- | --- | --- | --- |

| 标准 Transformer | O(L²) | O(L²) | 千级显存告急 |

| Informer | O(L·logL) | O(L·logL) | 万级照样训练 |

这套设计让 Informer 在 ETTh1 电力变压器数据、交通流量等大规模长序列任务上真正跑得起来，也让它成为长 horizon 预测场景中绕不开的经典基线。

AI 应用场景

Python 演示

import numpy as np  def query_sparsity_scores(Q, K):    """近似 KL 散度：max 与 mean 之差，分数越高越值得被采样"""    scale = np.sqrt(Q.shape[-1])    dot = np.matmul(Q, K.T) / scale    return dot.max(axis=1) - dot.mean(axis=1)  def probsparse_attention(Q, K, V, top_u):    """ProbSparse 注意力：只对 Top-u 个重要查询做完整 softmax"""    L = Q.shape[0]    scores = query_sparsity_scores(Q, K)    top_idx = np.argsort(scores)[-top_u:]     dot = np.matmul(Q[top_idx], K.T) / np.sqrt(Q.shape[-1])    attn = np.full((L, L), 1.0 / L)          # 其余行用均匀分布近似    attn[top_idx] = np.exp(dot - dot.max(axis=1, keepdims=True))    attn[top_idx] /= attn[top_idx].sum(axis=1, keepdims=True)     return np.matmul(attn, V)  if __name__ == "__main__":    np.random.seed(42)    L, d, u = 512, 64, 30    Q = np.random.randn(L, d)    K = np.random.randn(L, d)    V = np.random.randn(L, d)     out = probsparse_attention(Q, K, V, u)    dense_cost = L * L    sparse_cost = u * L    print(f"标准注意力点积次数: {dense_cost}")    print(f"ProbSparse 点积次数: {sparse_cost}")    print(f"加速倍数: {dense_cost / sparse_cost:.1f}x")

1. dot = np.matmul(Q, K.T) / scale先算出所有查询与键的相似度矩阵，用于给每个人打分（教学演示中全量算；工业实现会采样键来避免 O(L²)）
2. scores = dot.max(axis=1) - dot.mean(axis=1)用“最大响应减平均响应”近似 KL 散度，反映查询的信息独特性
3. top_idx = np.argsort(scores)[-top_u:]挑出分数最高的 Top-u 个查询，相当于选出意见领袖
4. dot = np.matmul(Q[top_idx], K.T) / np.sqrt(Q.shape[-1])只让意见领袖与所有键计算点积，复杂度从 L×L 降到 u×L
5. attn = np.full((L, L), 1.0 / L)没被选中的查询行统一用均匀分布近似，省掉大量计算
6. attn[top_idx] /= attn[top_idx].sum(axis=1, keepdims=True)对选中的行单独做 softmax 归一化，保证权重和为 1

常见误区

面试题