Longformer长序列处理：线性注意力的工程实现

可视化演示

滑动窗口机制

阿明发现，读者想了解一本书时，最相关的往往是同一排书架、相隔不远的那几本。与其让每本书都和全馆书籍比较，不如立一条规则：每个 token 只关注左右一定范围内的邻居。这个“左右一定范围”就是滑动窗口。

在 Longformer 里，每个 token 不再与整个序列做点积，而是只与窗口内的 token 计算注意力分数。窗口外的位置在 softmax 之前被掩码遮住，相当于直接不在推荐列表里出现。因为窗口大小是人工设定的常数，所以注意力计算量不再随序列长度平方增长。

实际工程中，窗口大小通常选 512 或 1024。如果任务中句子局部依赖很强，比如文本分类和抽取式问答，512 已经够用；如果文档跨度很大，比如长文档摘要，1024 会更稳妥。窗口越大，能看到的上下文越多，但计算和显存也随之上升。

阿明的“邻架规则”之所以有效，是因为语言里的相关性大多是局部的：一句话的核心意思，往往由前后几句话决定。这样既保住了主要信息，又把全库比对变成了线性工作量。

膨胀窗口设计

只看邻架也有问题：有些重要的书隔了三个书架，但阿明的规则永远看不到它。于是他想到一个办法：不连续地查每一本，而是每隔 d 本抽一本。这样同样走一趟，视线却能越过好几个书架。

这就是膨胀注意力。它保留滑动窗口的“局部范围”思想，但窗口内只取距离为 d、2d、3d……的采样点。比如膨胀率 d=2，一个 token 会关注距离 2、4、6 的位置，而不是位置 1、2、3。于是每层计算量没有变多，最远却能看到原来的几倍。

多层 Transformer 叠加后，每一层都让信息再跳一次。浅层看相邻语义，深层看到跨段落关系，这就是膨胀窗口扩大感受野的原理。工程上可以只在靠后的若干层开启膨胀，避免最底层丢失细节。

回到图书馆：阿明不需要把每个书架都停下来，只需隔架扫一眼，就能判断远处是否有值得推荐的书籍。膨胀窗口是一款“省钱望远镜”，代价是可能漏掉中间细节，所以工程中通常与连续窗口搭配使用。

全局Token策略

有些书是全馆的核心参考书，比如字典、地图和馆史资料。阿明把它们放到前台，任何读者都能直接查阅；这些书也可以主动跳到任意书架。这个“前台核心书”的概念，对应 Longformer 里的全局 token。

全局 token 的注意力模式非常特殊：它要对序列中所有 token 计算注意力，同时所有 token 也要关注它。换句话说，全局 token 保留了完整注意力的“特权”，但数量必须非常少，否则又会回到全连接的成本。

实际设置时，通常把 CLS 符号、特殊分隔符、问题 token 或任务关键实体设为全局。比如在长文档问答中，把问题整体设为全局，让模型每读到一段正文都能随时对照问题。数量一般控制在几个到几十个，不能像滑动窗口那样大量使用。

阿明在前台只放了几本核心参考书，而不是把整个书架搬过去。全局 token 的价值在于“精准锚点”：它让长文档中的关键信息始终在场，却不会让计算量失控。

线性复杂度原理

原始 Transformer 的注意力，相当于每一位读者都要和全馆所有书做一次比较。如果读者有 n 个，书也有 n 本，总操作就是 n×n，也就是平方级复杂度。阿明的三件套——邻架、抽样、前台——让每本书只需要和固定数量的书发生关联。

Longformer 没有改变注意力公式本身，它改变的是“哪些位置允许互相看”。具体做法是在 QK^T 计算之后加一个稀疏掩码：窗口外、抽样外、非全局位置统统遮掉。这样每个 token 的注意力行只有 k 个非零元素，k 是常数。

从复杂度上看，全注意力需要计算 n² 对关系，Longformer 只需要 n×k 对关系。当序列长度从 512 涨到 8192 时，全注意力的成本会涨 256 倍，而 Longformer 只涨 16 倍，这就是工程意义上的“线性注意力”。

阿明并没有发明一种全新的“推荐算法”，他只是改变了哪些书会出现在比较名单上。名单缩小后，平方级工作变成了线性工作，这才是 Longformer 能在超长文本上跑起来的根本原因。

显存优化技巧

图书馆旺季时，阿明发现临时借阅记录堆满了仓库。他不再把每一阶段的中间草稿都保存下来，而是只保存关键结果，需要反向计算时再重新生成。这种做法叫梯度检查点，本质是用时间换空间。

显存压力主要来自两部分：一是注意力矩阵本身，二是反向传播需要保存的中间激活。Longformer 用稀疏注意力把注意力矩阵从 n² 压到 n×k，大幅减少第一类开销；梯度检查点则针对第二类开销，随机丢弃部分中间激活，反向传播时重新计算。

分块注意力也是工程中常用的手段。它不让完整 n×n 矩阵一次性驻留显存，而是按块计算和累积注意力分数。配合混合精度训练，可以把长文本模型的训练从“一张卡放不下”变成“多卡也能塞下”。

阿明把仓库里用不到的草稿全部丢掉，等需要时再重新写一遍。虽然多花了一点时间，但图书馆终于不会被资料淹没了。

推理加速方法

训练完成后，阿明还要面对每天成千上万的现场咨询。他不再每次临时翻书架，而是把最常用的推荐路径做成快捷卡片，直接递给读者。这就是推理阶段的缓存和 kernel 融合。

Longformer 的稀疏注意力天然适合算子融合：把掩码生成、QK^T 计算、softmax 和加权求和合并成一个自定义 kernel，减少中间矩阵存到显存再读回的次数。尤其在推理时，序列是逐步生成的，KV 缓存让已计算过的历史状态可以复用。

另一个实用技巧是批处理。长文本请求往往长度差异很大，动态 padding 和按长度分组可以避免整批被最长的样本拖慢。工程上还可以把 Longformer 导出为 ONNX 或 TorchScript，利用图优化进一步压缩延迟。

阿明的快捷卡片并不改变推荐质量，但能大幅减少每次咨询的翻书时间。推理优化也是如此：算法不变，服务的速度和吞吐量却完全不同。

变体横向对比

阿明的图书馆管理方案，在隔壁街区也出现了不同版本。BigBird 图书馆采用了“邻架 + 前台 + 随机抽查”，也就是说除了固定邻居，每条书架上还会随机抽几本作为补充。随机连接让信息传播更均匀，但随机性也给复现带来一点麻烦。

Linformer 图书馆走的则是另一条路：它把所有书浓缩成固定长度的摘要卡，注意力不再发生在原书之间，而是发生在书和摘要卡之间。这样也能把复杂度降到线性，但代价是长距离细节会被压缩。

选择哪个变体，取决于任务特点。如果文本有很强的一维局部结构，比如合同和代码，Longformer 的滑动窗口最自然；如果希望全局信息也能通过随机捷径传播，BigBird 更稳；如果输入长度极度不均又希望结构简单，Linformer 的低秩投影更方便。

阿明并不认为自己的方案天下无敌。每个图书馆的布局、读者习惯和藏书结构不同，只有匹配任务特性的管理策略，才是真正高效的好策略。

HuggingFace实践

阿明把“窗口、抽样、前台”这三条规则写进了图书馆管理系统的配置文件。以后不管换哪个馆员，只要读取配置，就知道该怎么摆放书架。HuggingFace 的 Longformer 就是这样一个“可配置管理系统”。

使用 LongformerModel.from_pretrained 加载模型后，核心配置是 attention_window。它可以是一个整数，也可以是一个列表，表示每一层 Transformer 的窗口大小。比如浅层用 512，深层用 1024，就能兼顾局部细节和长程语义。

全局 token 通过 input_global_attention_mask 传入：把需要设为全局的位置置 1，其他置 0。这个掩码可以和 input_ids、attention_mask 一起送入模型。训练时建议从预训练权重出发做微调，否则稀疏注意力模式从头训练收敛很慢。

阿明把管理经验沉淀成配置后，新馆员只需要照章办事。对工程师来说，这意味着可以把 Longformer 当成一个可插拔的编码器，快速接入自己的长文本任务。

AI 应用场景

Python 演示

def build_longformer_mask(n, window=4, dilation=2, global_tokens=(0, 15)):    mask = []    for i in range(n):        allowed = set()        for step in range(-window, window + 1):            j = i + step            if 0 <= j < n:                allowed.add(j)        gap = dilation        while True:            left = i - gap            right = i + gap            if left < 0 and right >= n:                break            if left >= 0:                allowed.add(left)            if right < n:                allowed.add(right)            gap += dilation        for g in global_tokens:            allowed.add(g)        mask.append(sorted(allowed))    nonzero = sum(len(row) for row in mask)    full = n * n    ratio = nonzero / full * 100    return mask, nonzero, full, ratio  if __name__ == "__main__":    n = 32    mask, nonzero, full, ratio = build_longformer_mask(n)    print("sequence length:", n)    print("non-zero attention entries:", nonzero)    print("full attention entries:", full)    print("non-zero ratio: %.2f%%" % ratio)    print("sparsity ratio: %.2f%%" % (100 - ratio))

1. allowed = set()每个 token 用集合保存它允许关注的位置。
2. for step in range(-window, window + 1):对应滑动窗口的左右邻居遍历。
3. if 0 <= j < n:越界的位置直接丢弃，保证索引合法。
4. while True:循环叠加膨胀采样点，直到左右两侧都越界。
5. gap += dilation让采样距离从 d 变成 2d、3d，不断扩大感受野。
6. for g in global_tokens:把全局 token 强行加入每个 token 的关注列表。
7. mask.append(sorted(allowed))最终生成每行有序的稀疏注意力索引。
8. ratio = nonzero / full * 100计算稀疏注意力实际覆盖的比例，直观看出省了多少计算。

常见误区

面试题