滑动窗口注意力：局部感受野的高效方案

可视化演示

展示滑动窗口注意力的局部感受野机制、窗口移位跨层信息传递，以及复杂度从O(n²)降至O(n×w)的效率优势。

局部感受野：先照顾身边的同学

上课铃响，老师让大家传纸条讨论问题。你有没有想过，为什么我们不跟全班每个人都传一遍？因为绝大多数有用的信息来自身边的同学——同桌能看到你草稿纸上的符号，前后排能补上你漏听的话，而坐在教室另一角的人，你连他的名字都未必知道。这个直觉，就是滑动窗口注意力的出发点：在信息处理中，距离近的 Token 之间往往有更强的关联，这就是“信息局部性先验”。

在 Transformer 里，每一个 Token（可以理解为一个词或一个图像块）都带着三个角色：Query（负责发问）、Key（负责回应）、Value（负责提供内容）。标准注意力让“每个 Token 问遍所有人”，而滑动窗口注意力规定：我只问前后距离不超过 $w/2$ 个位置的邻居。这个“只问邻居”的规则，并不会改变 QKV 的计算方式，只需要额外加一张“允许通信”的名单——掩码矩阵 $M$。

掩码矩阵 $M$ 的大小是 $n \times n$，第 $i$ 行第 $j$ 列的数字表示 Token $i$ 是否能与 Token $j$ 说话：距离在窗口内记 1，窗口外记 0。注意力分数在 softmax 之前先与掩码逐元素相乘，窗口外的分数变成负无穷，softmax 之后权重自然归零。这样，每个 Token 的输出就只由窗口内的邻居加权求和而来。

回到教室里，掩码矩阵 $M$ 就是那张“座位距离表”——它告诉你哪些同学在传纸条半径内。有了这张表，全班 40 人的广播式交流，就变成了每个同学只跟前后左右几个人低声细语。这正是滑动窗口注意力最核心的一步棋。

复杂度下降：从全班广播到邻里闲聊

我们不妨算一笔账：全班 40 人，每人跟其他 39 人传纸条，总次数约 40×39≈1600 张。标准注意力一模一样——$n$ 个 Token 两两打分，需要 $n^2$ 次交互。当 $n$ 上升到 1 万（一篇长文章），$n^2$ 就是一亿次交互，GPU 直接冒烟。这就是“二次复杂度问题”：序列长度翻倍，计算量翻四倍。

滑动窗口把规则改成了“每人只跟左右 $w$ 人传”。假设 $w=7$，每人只需写 7 张纸条，总数是 $n \times w$；对一万 Token 的序列，只有 7 万次交互，比一亿少了三个数量级。用大 O 记号表达，标准注意力是 $O(n^2 d)$，滑动窗口是 $O(n w d)$。由于 $w$ 和 $d$ 都是固定常数，复杂度只随序列长度 $n$ 一次方增长——这就是“线性复杂度”。

传纸条从 1600 张降到 280 张，省下的是真金白银的算力。而这一切只因为你加了一条规则：只看身边的同学。这也是滑动窗口能支撑十万 Token 长文本的根本原因——省下来的钱，足够让你处理更长的文章。

窗口大小权衡：把传纸条半径调到多大合适

现在要回答一个很实际的问题：传纸条的“半径”（窗口大小 $w$）到底定多少？半径定成 3，消息传得近但轻松；半径定成全班，信息完整但累趴。$w$ 就是这条传纸条半径，它同时决定了两件事：每个 Token 能感知的上下文范围，以及总计算量 $n \times w$。两者是一对天然的矛盾。

窗口太小，每个 Token 只见得着身边一两个位置。长句子里主语和谓语动词隔着十几个词，光靠窗口根本联不上，语言建模就变成“盲猜”。窗口太大，$w$ 逼近序列长度 $n$，每个 Token 几乎能看到全文，复杂度又退回平方级，省力效果完全消失。定义覆盖比例 $r = w/n$，可以清楚地看到这个退化过程：

实践中，语言模型常用 $w=7$ 或 $16$，视觉模型常用 $7 \times 7$ 的 patch 窗口。挑选原则叫做“语义粒度匹配”：窗口要能覆盖一个完整的语义单元——一个短语、一个物体的一部分。就像传纸条的半径，得让一次传话刚好覆盖一个“完整的小话题”，而不是大半个教室。

窗口移位机制：隔一层换一次队形

固定窗口传纸条有个尴尬：如果把全班按 5 人一组切块，1~5 号互相认识，6~10 号互相认识，但 5 号和 6 号之间隔着一堵看不见的墙——边界同学完全孤立。消息传到最后，永远跨不过每组的边界。这就是固定窗口的“信息孤岛”问题：窗口边界上的 Token 无法和隔壁窗口交流。

Swin Transformer 的解法非常巧妙：在第奇数层，把窗口整体偏移 $\lfloor w/2 \rfloor$ 个位置。原本在窗口边界的 Token，移位后落在新窗口的中央，就能和隔壁组的 Token 交流了。偏移量写成公式，偶数层不偏移，奇数层偏移半个窗口：

这就像做广播操整队：第一遍按 1~5 排手拉手，第二遍整体错开半步，5 号就能牵到 6 号的手。队形没变，边界却被打通了。窗口移位让“跨窗口信息流”得以建立，是局部注意力架构里必不可少的一环。

多层堆叠作用：接力棒传遍全班

单靠一次传话，消息只能走一小段。但如果你传给同桌、同桌再传给她的同桌，消息就能穿过整间教室。Transformer 的多层堆叠正是这个接力过程：每一层都做一次窗口注意力，信息就在序列上“向前多走一段”。

设窗口大小为 $w$，堆叠 $L$ 层。第 1 层的输出已经“看”过窗口内 $w$ 个位置的输入；第 2 层再基于这些输出看新的窗口，等效感知范围向两边各扩展 $w-1$ 个位置。递推下去，第 $L$ 层的等效感受野是：

以 $w=7$ 为例，堆到 12 层感受野就是 $1 + 12 \times 6 = 73$，堆到 24 层接近 145。这解释了为什么局部窗口模型也能处理长距离依赖：传纸条接力不需要每个人都认识全班，只要路线通畅，消息早晚传遍整间教室——而“路线通畅”的前提，是模型层数足够深、每层窗口足够合理。

全局注意力融合：给全班广播留一条通道

接力传话虽好，但要是老师临时通知“下课时间提前 10 分钟”，靠一张纸条接力传完，估计已经上课了。这时候最有效的做法是站起来吼一嗓子，让全班都听见。信息处理也一样：局部交流负责日常的细碎关系，但有些信息必须“一键直达”。

纯窗口注意力缺少任意两点之间的直达路径。比如指代消解——“2019 年诺贝尔物理学奖得主……他”——那个“他”和前面的描述可能隔着几百个 Token，单纯靠接力传话容易在中途失真。这就是“纯局部局限”。主流架构的解法是混合注意力设计：在局部窗口之外，额外引入一个全局分支，对稀疏采样的 $s$ 个 Token（$s \ll n$）做全交互，两路输出相加：

另一种常见做法是“阶段式融合”：每隔 $K$ 层插入一层完整的全局注意力，其余层全部用窗口注意力。无论哪种方式，本质上都是“传纸条讲效率，广播兜底”——窗口注意力负责日常细碎交流，全局注意力负责关键时刻的直达通道，两者配合才能既省力又不误事。

AI 应用场景

Python 演示

import numpy as np  def softmax(x, axis=-1):    e = np.exp(x - x.max(axis=axis, keepdims=True))    return e / e.sum(axis=axis, keepdims=True)  def standard_attention(Q, K, V):    """标准注意力: 每个 Token 与全部 Token 交互, 复杂度 O(n^2 d)"""    d = Q.shape[-1]    scores = Q @ K.transpose(0, 1, 3, 2) / np.sqrt(d)    return softmax(scores) @ V  def window_attention(Q, K, V, window_size):    """滑动窗口注意力: 用掩码把窗口外的相似度分数置为负无穷"""    n = Q.shape[-2]    half = window_size // 2    dist = np.abs(np.arange(n)[:, None] - np.arange(n)[None, :])    mask = (dist <= half).astype(np.float32)     scores = Q @ K.transpose(0, 1, 3, 2) / np.sqrt(d)    scores = scores * mask - 1e9 * (1 - mask)    return softmax(scores) @ V  def receptive_field(num_layers, window_size):    """L 层堆叠后, 一个 Token 能间接感知的最远距离"""    return 1 + num_layers * (window_size - 1)  if __name__ == '__main__':    np.random.seed(0)    n, d = 64, 16    Q = np.random.randn(1, 4, n, d)    K = np.random.randn(1, 4, n, d)    V = np.random.randn(1, 4, n, d)     out_full = standard_attention(Q, K, V)    out_win = window_attention(Q, K, V, window_size=n)    print('window_size = n 时退化一致:', np.allclose(out_full, out_win, atol=1e-6))     for L in (1, 2, 4, 8, 12):        print(f'L={L:2d} 层, w=7, 等效感受野 = {receptive_field(L, 7)} 个 Token')

1. dist = np.abs(np.arange(n)[:, None] - np.arange(n)[None, :])构造 n×n 的“座位距离表”，第 i 行第 j 列是 Token i 和 Token j 的距离。
2. mask = (dist <= half).astype(np.float32)距离在窗口内记为 1，窗口外记为 0，形成掩码矩阵。
3. scores = scores * mask - 1e9 * (1 - mask)窗口外分数变成负无穷，softmax 后权重归零，等价于“不给窗外同学传纸条”。
4. return 1 + num_layers * (window_size - 1)等效感受野公式 $\mathrm{RF}_L = 1 + L(w-1)$ 的实现。
5. for L in (1, 2, 4, 8, 12):直观展示层数翻倍时感受野的线性增长。

常见误区

面试题