滑动窗口注意力 SWA：老周的两米灶台

可视化演示

动态演示滑动窗口注意力SWA的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

全注意力困境：为什么长文本会“算不动”

老周最早开档口时，规矩是“眼观六路”：每炒一道菜，非得把整个厨房扫一遍才安心。问题是，单子从 5 桌涨到 30 桌，他要扫的灶台、食材、单子跟着成倍涨。到最后，一晚上下来菜没炒几盘，人先瘫在灶台边上。全注意力机制就是这样的“眼观六路”：处理一段文本时，每个字（token）都要和整段话里所有其他字两两计算一个“相关度分数”，这个分数决定它应该从谁那里吸取信息。

这个过程在数学上看着优雅，代价却藏在计算量里。假设一段文本有 $n$ 个 token，每个 token 都要和其他 $n$ 个 token 打一次分，整个注意力表就是 n 行 n 列。当 $n$ 是 1000 时，要算 100 万个分数；当 $n$ 是 100 万时，就是一万亿次——平方级增长就是这么来的。端侧设备（手机、眼镜、车载芯片）内存和算力都小，长文本一到，别说推理，模型可能直接加载失败。

补充一个计算量公式：

老周后来明白，自己的记性再好也扛不住平方级增长的厨房巡视。于是，他把目光收回到面前两米——这就是下一节的故事。

滑动窗口原理：把视野收进两米灶台

老周的新规矩很简单：炒任何一道菜，只看面前两米范围内的东西。左手边备好的料、右手边的调味罐、正前方冒油的锅。远处的菜不是被扔掉了，而是他不再盯着看——那些菜由旁边的帮厨互相照应，需要时自然会传话过来。滑动窗口注意力把这个直觉搬进了 Transformer：每个 token 不再和全序列所有 token 算注意力，而是只和距离自己不超过 $w$ 个位置的邻居算。

这个“只看附近 $w$ 个位置”的约束，在实现上是一个掩码矩阵（Mask Matrix）。矩阵里的元素 $M_{ij}=1$ 表示第 $i$ 个 token 能看到第 $j$ 个 token，$M_{ij}=0$ 则表示它们之间不建立注意力连接。配合自回归任务时，还会叠加一个因果掩码，让每个位置只能看到自己左侧的 $w$ 个 token。这样整个注意力表从“全连接的稠密矩阵”变成了“只在窗口内连线的稀疏矩阵”。

滑动窗口注意力的计算量也随之变成线性：

老周的灶台哲学，本质上是把“全厨房巡视”换成了“局部精细化”：远处的信息不是不要了，而是通过一层层帮厨接力传过来。下一节我们看看，这个灶台到底留多长最合适。

窗口大小设定：备菜台到底留多长

老周在厨房里量来量去：备菜台太短，大盘菜摆不开，炒着炒着料没处放；备菜台太长，伸手够不着最远端的调料罐，还得绕着跑，反而耽误事。窗口大小 $w$ 就是模型的“备菜台长度”，它是 SWA 最重要的超参数，直接决定计算量、内存和模型表现三者的平衡。

工程实践里，$w$ 的常用范围在 128 到 512 个 token 之间——大约是半页到两页文本的长度。在端侧设备上，还要考虑内存和时延预算：$w$ 每翻一倍，注意力计算量和 KV 缓存也跟着翻倍。经验上，$w$ 常取序列长度的 1/8 到 1/16：如果模型要处理 4096 token 的长文本，窗口取 256 或 512 是常见的配置。更关键的是，窗口不能孤立地看，它必须和 Transformer 的堆叠层数配合，两个数字共同决定信息最远能传多远：

比如窗口 $w=256$、层数 $L=32$ 时，理论上感知野能覆盖 8192 个 token。老周选备菜台长度时，看的不是台面本身，而是“帮厨接力”能不能覆盖整条宴席线的距离。窗口太小、层数太少，远处的重要信息就真的传不到了；窗口太大，近处该精细处理的注意力又被稀释。按任务适配：做短文本分类可以开小窗，做长文档问答就得让 $L\times w$ 盖过文档里最远的关键依赖距离。

精度差异分析：只看眼前会不会丢手艺

老周刚改规矩时也心虚：只盯着眼前的锅，万一远处某个灶台喊“该出锅了”他没听见怎么办？事实是，帮厨们一层层传话，大部分消息最终还是能到他耳朵里，只是慢一点、可能略有失真。SWA 和全注意力的精度差异，正是同一回事。

单层 SWA 的感知野只有 $w$，远距离的两个 token 之间没有直接连接，长距离依赖信息会被弱化——这是它和全注意力最本质的精度差异。举例来说，文档开头提到“老王”，三千字之后才出现“他”，在单层 SWA 里这两个位置互不可见，指代关系只能靠层与层之间的接力传递。但 SWA 也有全注意力没有的好处：它天然滤噪。全注意力会让每个 token 和全文中所有无关内容都算一遍相似度，那些无关位置的注意力权重虽然小，却会稀释真正重要的信号；SWA 把视野收窄后，注意力更集中，局部结构建模反而更扎实。

精度损失可以用工程手段弥补。堆叠足够多的层，感知野 $L\times w$ 就能覆盖多数任务需要的依赖距离；配合相对位置编码（如 RoPE、ALiBi），窗口内每个 token 的先后顺序信息一点不丢。开源社区已有验证：Mistral 7B 这类模型采用滑动窗口注意力，在很多长文本任务上表现与全注意力相当。代价是它通常需要更充分的训练或微调，来学习“如何高效接力传话”。老周试了一个月后得出结论：手艺没丢，反而因为专注，近处的火候掌握得更好了。

长文本处理效能：流水席是怎么扛下来的

星火小厨接了笔大单：1000 道菜的流水席，菜要一道道上，客人随到随吃。老周发现，只要守着面前的灶台，来多少道菜他都不慌——因为每道菜的备料都在手边，不用满厨房现翻。SWA 在长文本推理中的效能，就是这个逻辑：瓶颈不再随“总文本长度”增长，而是被窗口封了顶。

推理时分两个阶段。预填充阶段（Prefill）要处理整段输入文本，SWA 已经能把复杂度从 $O(n^2)$ 降到 $O(nw)$；更关键的是增量解码阶段（Decode）——模型逐字生成输出时，每生成一个新 token，只需要和窗口内的 $w$ 个 key 计算注意力，而不必回头扫全序列。$n$ 再大，这一步的成本都恒定在 $O(w)$。这直接决定了 KV 缓存的大小：

老周的流水席就是这么扛下来的：订单越来越长，但他的手边永远只有两米灶台的活。只要传送带上的菜不断，他就能一直炒下去——这就是线性复杂度带来的“不吃力”。

端侧实现要点：小厨房的摆灶智慧

星火小厨后厨只有六平米，摆下这口灶台、那张备菜台，基本就满了。端侧设备（手机、平板、车载芯片）就是这么个六平米小厨房：内存小、算力有限、还怕发热。SWA 要在端侧真正落地，光有数学上的线性复杂度还不够，工程实现有四个要点。

第一是内存带宽。端侧推理时，从内存里读一次 K/V 缓存往往比做一次浮点运算还贵。SWA 的最大价值不只是少算，更是少读：窗口缩小后，K/V 缓存能放进片上高速缓存（SRAM），避免反复访问廉价但慢的 DRAM。第二是算子融合。经典的实现里，mask 和 softmax 是分开的两个步骤，中间要把分数矩阵写回内存再读出来；融合成单个算子，让 mask 在 softmax 计算过程中就地生效，能省掉一整轮内存往返。第三是缓存滚动。推理超过窗口长度后，超出窗口的旧位置不再需要，用环形缓冲区覆盖旧缓存即可，避免每次重新分配内存。第四是硬件适配。端侧芯片常提供稀疏计算库或低精度指令（如 INT8），把窗口内的稀疏注意力包装成稀疏矩阵运算，配合量化压缩，进一步压榨出带宽余量。

这四个要点，对应到老周的小厨房里就是：灶眼要小、动线要短、调料就手、锅铲顺手。SWA 的工程价值最终兑现为三件事——更少的访存、更小的缓存、更低的时延。做好了，手机上的长文本对话才能每秒吐十几个字，还不烫手。

适用场景评估：这招适合什么样的席面

不是所有宴席都适合两米小灶台。老周总结：接大排档的流水散客，小灶台又快又稳；但要是接国宴——每道菜都得和全厨房所有菜精确对表、摆盘讲究全局对称——小灶台就露怯了。SWA 的适用场景，同样有一条清晰的分界线。

最适合的是资源受限设备上的长文本任务。端侧长对话：手机上的聊天助手要记住上下文，SWA 让 KV 缓存不随对话长度膨胀；流式摘要与会议纪要：边生成边滚动窗口，文档再长内存水位恒定；实时翻译：逐词产出、延迟敏感，窗口内计算正好匹配芯片的流水线。此外，凡是“可以微调”的场景，SWA 的精度缺口都能通过训练弥补，落地更稳。不适合的是必须做全局精确建模的任务，比如全文重排、跨页关系极强的深度文档推理，且模型不允许微调——这时 SWA 的接力传话会丢细节，该用全注意力还是得用。

一句话总结老周的选型智慧：对话、摘要、翻译这类“顺着读”的活，上 SWA；需要“跳着读、来回比”的活，请外援。 理解了这条分界线，你在实际项目里就能判断：这个长文本需求，该不该把注意力换成滑动窗口。

AI 应用场景

Python 演示

import numpy as np  def scaled_dot_product(q, k, v, mask):    dim = q.shape[-1]    scores = np.matmul(q, k.transpose(0, 2, 1)) / np.sqrt(dim)    scores = np.where(mask == 1, scores, -1e9)    weights = np.exp(scores - np.max(scores, axis=-1, keepdims=True))    weights = weights / np.sum(weights, axis=-1, keepdims=True)    return np.matmul(weights, v), weights  def sliding_mask(seq_len, window):    i = np.arange(seq_len).reshape(-1, 1)    j = np.arange(seq_len).reshape(1, -1)    return (np.abs(i - j) <= window).astype(np.float32)  def full_mask(seq_len):    return np.ones((seq_len, seq_len), dtype=np.float32)  def attention_forward(q, k, v, window=None):    seq_len = q.shape[1]    mask = sliding_mask(seq_len, window) if window else full_mask(seq_len)    out, weights = scaled_dot_product(q, k, v, mask)    visible = mask.mean()    return out, weights, visible  def main():    np.random.seed(7)    batch, heads, seq_len, dim = 2, 4, 64, 32    q = np.random.randn(batch, heads, seq_len, dim).astype(np.float32)    k = np.random.randn(batch, heads, seq_len, dim).astype(np.float32)    v = np.random.randn(batch, heads, seq_len, dim).astype(np.float32)     full_out, _, _ = attention_forward(q, k, v)    swa_out, swa_w, visible = attention_forward(q, k, v, window=8)     diff = np.abs(full_out - swa_out).mean()    print("window=8 visibility ratio: {:.3f}".format(visible))    print("mean output diff vs full: {:.4f}".format(diff))    print("attention weights shape:", swa_w.shape)  if __name__ == "__main__":    main()

1. scores = np.matmul(q, k.transpose(0, 2, 1)) / np.sqrt(dim)这一步实现 $QK^\top$ 打分并除以 $\sqrt{d}$ 缩放，是注意力公式里最核心的矩阵乘法。
2. scores = np.where(mask == 1, scores, -1e9)用一个很小的数模拟 $-\infty$，把窗口外分数压到负无穷，Softmax 后权重归零。
3. weights = weights / np.sum(weights, axis=-1, keepdims=True)对每一行做归一化，得到总和为 1 的注意力权重。
4. return (np.abs(i - j) <= window).astype(np.float32)生成滑动窗口掩码：距离不超过 window 的位置记为 1，其余为 0。
5. mask = sliding_mask(seq_len, window) if window else full_mask(seq_len)有窗口参数用 SWA 掩码，否则退回全注意力掩码。
6. full_out, _, _ = attention_forward(q, k, v)跑一遍全注意力，作为精度对比的基准。
7. swa_out, swa_w, visible = attention_forward(q, k, v, window=8)跑一遍窗口为 8 的 SWA，并拿到可见度比例。
8. diff = np.abs(full_out - swa_out).mean()计算两种注意力输出的平均绝对差，量化精度差距。

常见误区

面试题