滑动窗口注意力：Mistral 的长文本“接力跑”智慧

可视化演示

展示滑动窗口注意力的带状掩码矩阵、O(n^2)与O(nw)复杂度对比及多层堆叠扩展有效感受野，交互调节窗口大小查看注意力覆盖范围。

经典注意力瓶颈

你还记得那个三百米长的烤冷面队伍吗？在标准的注意力机制（Self-Attention）里，排在队伍末尾的你，为了决定自己要不要加辣，居然要挨个问前面三百个人“你买的是什么口味”。每个人都要这么问一遍，整个队伍就要进行三百乘三百——九万次对话。如果队伍有一万人，那就是一亿次对话。这就是经典注意力机制的困境：计算量随序列长度呈平方级增长，写成公式就是 O(n²)。

在 Transformer 架构中，每个 token（你可以把它理解为一个“字”或“词”）都要计算与序列中所有其他 token 的注意力分数。这个“全连接”设计让模型能捕捉任意距离的依赖关系，但代价极其高昂：当输入序列长度 n 翻倍时，计算量翻四倍。对于动辄几十万 token 的长文档、长对话，这个开销让训练和推理都变得难以承受。

更棘手的是，除了计算量，显存占用也随平方级增长。每个 token 都要为其他所有 token 保存注意力矩阵，这个矩阵的大小是 n×n。当 n 达到十万时，单单注意力矩阵就需要 100 亿个浮点数——这在消费级 GPU 上直接爆炸。所以，经典的全局注意力在处理长文本时，就像让夜市里的每个人都认识整条街的所有人，既不现实，也没必要。

滑动窗口机制

Mistral 对上面的困境给出了一个极其接地气的答案：既然没必要认识全街的人，那就只认识你前后几个邻居好了。这就是滑动窗口注意力（Sliding Window Attention，SWA）。它给每个 token 划定了一个固定大小的“社交圈”——通常取窗口大小为 W，每个 token 只与前后 W/2 个 token 计算注意力，窗口之外的 token 一概不理会。

这个“社交圈”的设计非常巧妙。它不像某些方法那样把序列硬切成互不重叠的块（那样会丢失块与块之间的联系），而是让窗口“滑”过整个序列。序列中的每一个 token，无论它处在什么位置，都能看到以自己为中心、宽度为 W 的一个连续区间。相邻 token 的窗口会重叠，信息在序列上是连续流动的。

窗口大小 W 是一个超参数，Mistral 在其 7B 模型中设置的窗口大小为 4096。也就是说，每个 token 只看自己前后共 4096 个邻居，而非整个序列。这就像你在夜市里只跟前后两三个摊位聊得火热，但整条街的热闹景象，依然能通过邻居们的口口相传进入你的耳朵。窗口越宽，视野越大，但计算量也越大；窗口越窄，效率越高，但可能漏掉重要的远距离信息——这是一个需要根据任务需求精心调配的旋钮。

线性复杂度

现在我们来看看，这个“只跟邻居聊天”的策略，究竟省了多少力气。假设序列长度为 n，窗口大小为 W。每个 token 只需要计算与窗口内 W 个 token 的注意力分数，因此总计算量大约是 n × W。由于 W 是一个固定常数（不随 n 变化），所以整体复杂度从 O(n²) 降到了 O(n)——这就是线性复杂度。

这个从“平方”到“线性”的跨越，在实际运行中效果惊人。假设 n 从 1000 涨到 100000，标准注意力的计算量要涨一万倍，而滑动窗口注意力只涨一百倍。在推理引擎中，这意味着同样一块 GPU，能够处理的上下文长度从“几万 token”跃升到“几十万 token”。（补充一句说明）这不仅仅是一个数字游戏，它直接决定了你的聊天机器人能否读完一整本《三体》再跟你讨论剧情。

层间信息传播

你可能会问：每个 token 只看 W 个邻居，那距离很远的两个 token 之间，信息不就彻底断了？别担心，这就是滑动窗口注意力最精妙的设计——层间接力。虽然每个 token 在单层内只看到 W 个邻居，但 Transformer 模型有几十层甚至上百层。在第 1 层，token A 认识 B；在第 2 层，B 认识的 C 通过 B 间接“介绍”给了 A；到了第 3 层，A 就认识了 C 的朋友 D。每经过一层，信息就能多传播 W 个 token 的距离。

这就是“感受野”（Receptive Field）的概念：在 L 层 Transformer 中，一个 token 能间接看到的最远距离约为 L × W。Mistral 有 32 层，窗口 4096，理论上最远可以感知到超过 13 万个 token 之外的信息。这就像夜市里的消息传播：你只跟邻居说话，但一晚上下来，整条街的八卦全都传到了你的耳朵里——因为每个邻居都从他们的邻居那里听到了消息，层层传递，毫无死角。

这个性质说明了一个深刻的道理：全局性不一定要靠“直接看”来实现，“间接听说”同样能覆盖整个序列。Mistral 用 32 层 × 4096 窗口，达到了远超单层全局注意力的有效覆盖范围，而计算量却小得多。这就像一个大公司里，普通员工不需要认识 CEO，但通过层层汇报，CEO 的决策依然能传达到每一个基层员工。

全局注意力token

虽然层间接力能传播信息，但“听说”总归不如“亲眼所见”来得可靠。对于某些关键信息——比如文章的主题句、数据库的全局统计量——如果每个 token 都要等上几十层才能“辗转听说”，既慢又容易失真。Mistral 的解决方案是：每隔一段距离，设置一个“全局注意力 token”，让窗口内的普通 token 可以直接看到它。

这些全局 token 就像夜市街角的“广播塔”：任何一个在窗口范围内的 token 都能直接“看到”广播塔里播放的全局信息。Mistral 的做法是选择序列中每隔一定间隔（比如每 7 个 token）的一个 token，让它能注意到整个序列的所有 token，而序列中所有 token 也都能注意到它。这样，全局 token 就成了信息的中转枢纽：局部信息汇聚到全局 token，再由全局 token 广播给所有窗口内的 token。

这种设计达成了一种精妙的平衡：正常 token 只用滑动窗口，保持线性复杂度；少量全局 token 使用完整注意力，提供全局视角。因为全局 token 的数量很少（比如每 7 个有一个，大约占总数的 1/7），所以即便它们用全局注意力，整体复杂度依然是线性的。这就像夜市不会真的让每个人都站在楼顶看全景，但每隔一段路设一个“瞭望塔”，就足以让所有人既了解身边的小事，也不错过整条街的大事。

这个“局部为主、全局点睛”的混合架构，后来被证明极具生命力。它让模型既能高效处理海量局部细节（比如代码中的函数体、小说中的场景描写），又能牢牢把握全局脉络（比如整个项目的架构、小说的主线剧情）。在 Mistral 的实践中，全局 token 还承担了类似“感叹词触发器”的角色——当某个关键实体在长文中出现时，全局 token 能迅速将它的历史信息拉回当前正在生成的文本中。

推理优化策略

滑动窗口注意力不仅让训练更快，也给推理阶段带来了巨大的优化空间。首先受益的是 KV 缓存（KV Cache）。在自回归生成中，每生成一个 token，都要复用之前所有 token 的 Key 和 Value 向量。如果用标准注意力，KV 缓存会随着生成长度线性增长——生成了十万个 token，就要缓存十万个 Key/Value 对。但滑动窗口注意力下，每个 token 只需要窗口内的 Key/Value，所以缓存可以像传送带一样滚动：新的 KV 进来，超出窗口的旧 KV 就可以丢弃。

这就像夜市摊位的“排队单”管理：你不需要记住今天下午每一位顾客的订单，只需要记住最近几单的口味偏好，前面的订单早已变成食物递出去了。Mistral 的 KV 缓存大小与窗口大小成正比，与生成的总长度无关。这意味着，无论你让模型写多长的文章，显存占用都不会随之暴涨——这对推理引擎的稳定性至关重要。

第二个策略是 跨层 KV 共享。Mistral 观察到，相邻层的注意力模式往往高度相似，于是让相邻两层共享同一份 KV 缓存，而不是每层各存一份。这相当于把夜市里相邻摊位的“顾客偏好记录”合并成一张共享的小黑板，既省了纸张（显存），又没损失多少信息。跨层 KV 共享让缓存量再减半，配合滑动窗口，Mistral 能在单张 A100 GPU 上流畅处理 32K 甚至更长的上下文。

第三个策略是配合 流式推理（Streaming Inference）。由于模型只需要保留窗口内的信息，推理引擎可以边读边算、边算边丢，就像一个只带了一个小背包的徒步者，而不是背着全部家当的搬家车。这让 Mistral 在处理超长文档（比如整本代码库、完整对话历史）时，依然能保持稳定的生成速度和内存占用，这也是为什么 Mistral API 能自信地宣称支持“百万 token 上下文”。

优势与局限

讲了这么多好处，滑动窗口注意力也不是没有软肋。先说说优势：最直观的就是显存占用大幅下降。标准注意力在任何时刻都要为全序列保留注意力矩阵和 KV 缓存，而滑动窗口注意力只需要保留窗口大小的那部分。这意味着同样的硬件，能跑的模型更大、能处理的文本更长。其次是计算延迟显著降低，因为每个 token 的注意力计算量从 n 降到了 W，生成每个 token 的速度更快，用户体验更流畅。

但局限也同样明显。第一，远距离依赖仍然受限。虽然层间接力能实现全局信息传播，但这种“间接传播”是有损的：信息每传一层都可能被“稀释”或“扭曲”。如果两个关键实体在文中相距极远（比如一本推理小说开头埋的伏笔，到结尾才收），滑动窗口的模型可能无法像全局注意力那样牢牢抓住这层关系。第二，窗口大小很敏感。窗口太小，局部上下文不够，模型理解力下降；窗口太大，计算量回升，失去滑动窗口的意义。这个超参需要针对具体任务精细调优，并不是越大越好。

第三，实现复杂度较高，尤其对推理引擎开发者来说：需要专门的掩码矩阵（Attention Mask）、特殊的 KV 缓存管理逻辑和跨层共享机制，这都比标准的全注意力实现要复杂。你可以把这个问题理解成：夜市管理方为了让“人传人”的消息传播机制运转顺畅，需要在各个路口设指示牌、安排广播员、设计防走失路线——这显然比“所有人直接站楼顶看到全街”要费更多管理的脑筋。

对比与展望

把滑动窗口注意力放在大模型注意力机制演进的地图上，它的位置非常有趣。与标准全局注意力相比，它以一定的远距离建模能力换取了大得多的效率提升——在长文本场景下，这几乎是决定性的优势。与稀疏注意力（Sparse Attention）的其他变体（如 Longformer 的膨胀窗口、BigBird 的随机连接）相比，滑动窗口的实现更简单、更直观，同时也能取得接近的效果。Mistral 用实践证明了：简单的“只看邻居”策略，加上多层的间接传播，足以挑战复杂得多的稀疏方案。

展望未来，滑动窗口注意力已经成为长上下文大模型的“标准动作”。GPT 系列有类似的局部注意力变体，Llama 3.1 的 128K 长上下文也有局部注意力的影子，而 Mistral 更是凭借滑动窗口 + 全局 token + KV 共享的组合拳，在效率与效果之间找到了一个漂亮的平衡点。随着上下文窗口从 128K、1M 甚至更长延伸，“完全全局注意力”在算力上越来越不可能，滑动窗口这类“局部直连 + 多层接力 + 少量全局锚点”的混合架构，将成为长上下文推理的主流范式。

就像夜市不会因为修了一条贯穿全街的高架桥，就把邻里间的串门取消——效率与温度需要兼顾。未来的注意力机制，大概率不会是“全都要”的暴力美学，而是“精准计算”的设计艺术。滑动窗口注意力，就是这个设计艺术中已经落地的、被大规模验证的一块基石。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""滑动窗口注意力机制的最小实现演示"""import numpy as np  def sliding_window_attention(q, K, V, window_size=3):    """对单个 query 计算滑动窗口注意力。     Args:        q: 当前 token 的 query 向量, shape (d,)        K: 所有 token 的 key 矩阵, shape (n, d)        V: 所有 token 的 value 矩阵, shape (n, d)        window_size: 滑动窗口大小(只看左边 window_size 个 token)     Returns:        注意力加权后的输出向量, shape (d,)    """    n = K.shape[0]    # 1. 只保留窗口内的 key/value(不含未来 token)    start = max(0, n - window_size)    K_win = K[start:n]    V_win = V[start:n]     # 2. 计算窗口内注意力分数(点积)    scores = K_win @ q     # 3. softmax 归一化成权重    scores = scores - np.max(scores)  # 数值稳定性    weights = np.exp(scores) / np.sum(np.exp(scores))     # 4. 加权求和得到输出    out = weights @ V_win    return out  def main():    # 构造模拟数据: 50 个 token, 每个 8 维    np.random.seed(42)    n, d = 50, 8    K = np.random.randn(n, d)    V = np.random.randn(n, d)     # 模拟第 50 个 token(即当前生成位置)的 query    q = np.random.randn(d)     # 标准全局注意力(对比用)    scores_full = K @ q    scores_full = scores_full - np.max(scores_full)    w_full = np.exp(scores_full) / np.sum(np.exp(scores_full))    out_full = w_full @ V     # 滑动窗口注意力(窗口=3)    out_win = sliding_window_attention(q, K, V, window_size=3)     print("标准全局注意力输出:", np.round(out_full, 4))    print("滑动窗口注意力输出:", np.round(out_win, 4))    print("窗口大小=3, 仅使用最后3个token的信息")  if __name__ == "__main__":    main()

1. start = max(0, n - window_size)确定窗口起始位置，保证窗口不越界，这是滑动窗口的核心边界处理。
2. K_win = K[start:n]; V_win = V[start:n]只取窗口内的 Key/Value 矩阵，将计算量从全序列降为窗口大小。
3. scores = K_win @ q用点积计算查询向量与窗口内各 Key 的相似度，决定关注谁。
4. weights = np.exp(scores) / np.sum(np.exp(scores))Softmax 归一化，把相似度分数变成“注意力权重”，相当于给每个邻居分配关注比例。
5. out = weights @ V_win用权重对窗口内 Value 做加权求和，得到当前 token 的输出向量。
6. if __name__ == "__main__":保证脚本可直接运行，便于读者动手验证。

常见误区

面试题