Longformer：给 Transformer 戴上“望远镜”

可视化演示

展示标准Transformer O(n^2)注意力矩阵瓶颈、Longformer局部滑动窗口注意力机制，以及局部+全局混合注意力策略如何实现线性复杂度。

满格注意力的代价

老王发现，图书馆的老规矩是“每本书借出都要通知全馆”——这便是标准 Transformer 的“满格注意力”。每个 token 都要计算与序列中所有其他 token 的相关性，形成 n×n 的注意力矩阵。当文本长度 n 为 512 时，矩阵有 26 万项，尚可承受；当 n 达到 4096（约 3000 英文词），矩阵膨胀到 1600 万项，计算量与内存双双爆表。

从数学上看，标准注意力的复杂度为 O(n²)。这意味着文本长度翻倍，计算成本变成原来的 4 倍。处理一篇 10 万词的论文，所需算力相当于处理 512 词短文的 4 万倍——这在工程上完全不可行。许多团队被迫将长文档截断成片段，打断了跨段落的语义连贯性。

于是老王意识到：若要管理十万册古籍，必须改变“全员通知”的规则。Longformer 的出发点正是舍弃这种“过度礼貌”，转而建立一套高效的沟通机制——这正是我们接下来要讲的滑动窗口注意力。

滑动窗口注意力

老王的新方案：每位管理员只与身边工位相邻的同事保持日常沟通，远处的事项交给专门的信使。这就是 Longformer 的滑动窗口注意力——每个 token 只关注其左右两侧各 w 个 token，形成一个宽度为 2w+1 的局部窗口。窗口外的情况一概不问，由此计算量从 n² 降为 n×w，其中 w 通常取 128 或 256，远小于 n。

单层滑动窗口的“视野”有限，但 Transformer 是深度堆叠的。假设模型有 L 层，每层窗口宽度为 w，则第 L 层的一个 token 能间接感知约 L×w 范围内的信息——这类似于老王通过一层层同事的口耳相传，最终能了解整个楼层的动态。多层堆叠让局部窗口在深层获得足够大的感受野。

回到图书馆的比喻：滑动窗口让成本与馆藏量成正比，而非平方。老王松了一口气，但新的问题浮出水面：只看近邻，如何捕捉全文的主旨？这便需要全局记忆 token 的登场。

全局记忆token

图书馆不能只有近距离沟通，还需要几个“广播站”——比如大厅的总服务台，所有人都知道有事可以去那里查询全馆信息。Longformer 的全局注意力正是这个广播站：在序列中选定少量特殊 token（如 [CLS] 或任务相关的实体位置），这些 token 与序列中所有 token 计算注意力，同时所有 token 也反向注意它们。全局 token 的数量通常为几十个，计算成本仅为 O(n×g)，其中 g 是全局 token 数（常数）。

这种“局部为主、全局为辅”的设计让 Longformer 同时拥有两副眼镜：一副放大镜看局部细节，一副望远镜看全局脉络。在文本分类任务中，[CLS] 作为全局 token 汇总全文信息；在问答任务中，问题中的每个 token 都可设为全局，让模型在阅读长文档时始终“带着问题找答案”。

老王在每层楼设置了一个“信息台”（全局 token），既不影响日常的邻里沟通，又能让信息在全馆流通。接下来的问题是：这样的设计在数学上到底省了多少成本？我们来看线性复杂度的具体账本。

线性复杂度分析

我们以 n=4096 的文本为例，对比标准 Transformer 与 Longformer 的实际开销。标准注意力的计算量为 n² ≈ 1677 万次交互；Longformer 取 w=256、g=64，计算量为 n×(2w+g) ≈ 4096×576 ≈ 236 万次交互——足足节省了 86% 的注意力计算。且这一优势随 n 增大而扩大：当 n=32768 时，标准模型需要 10.7 亿次交互，Longformer 仅需约 1850 万次。

更关键的是内存占用。注意力分数矩阵需要显存存储，标准模型的显存需求为 O(n²)，4096 序列长度就需要数百 GB（在 batch>1 时不可想象）；Longformer 的显存需求为 O(n)，同样的长度仅需几 GB，普通 GPU 即可训练。这种“无需截断”的能力，让模型首次能完整阅读整本书级别的输入。

老王的账本终于好看了：管理十万册古籍的成本与藏书量成正比，而不是平方。但还有最后一处细节需要处理——新来的管理员在不熟悉的楼层如何知道自己的位置？这引出了位置编码策略。

位置编码策略

在滑动窗口机制中，一个 token 不再与远处的 token 直接交互，因此全局绝对位置的重要性下降，窗口内相对位置变得关键。Longformer 在设计时发现，基于相对位置编码（如 T5 的相对位置偏置）能天然适配滑动窗口——只需编码“i 与 j 相差几个格子”，而不必知道 i 和 j 各自在全文中的绝对位置。

这种设计带来两个好处：其一，模型对输入长度天然外推，训练时见过的最大长度不足时，推理时可用更长的序列；其二，实现简洁，无需为窗口注意力设计额外的位置嵌入。对于后来的旋转位置编码（RoPE），Longformer 同样兼容——RoPE 本身便是基于相对位置的编码，可直接替换原有的绝对位置编码层。

老王给每位管理员发了一张“楼层相对位置图”——不必知道自己在整栋楼的坐标，只需知道与隔壁工位的距离。这样的地图在任何规模的图书馆都通用，这也正是 Longformer 能够在超长文本上灵活工作的原因。有了这套机制，我们终于可以把它用到真实世界的长文本任务中。

长文本实战应用

Longformer 的线性复杂度使其成为长文本 NLP 任务的首选骨干网络。以论文审阅为例：一篇机器学习论文正文约 8000~12000 词，标准 BERT 需切分为多个 512 词的片段，导致“实验在第 5 页、结论在第 7 页”这类跨段信息完全断裂。Longformer 可一次性读完全文，直接回答“这篇论文在哪些数据集上超过了 SOTA？”

在法律合同审查场景，一份合同动辄 50~100 页。Longformer 将全部条款纳入单一序列，配合全局 token 标记“赔偿条款”“保密义务”等关键实体，让模型同时把握局部措辞与整体结构。医疗领域同样受益：患者的电子病历长达数万字，Longformer 可完整建模既往病史与当前症状之间的长期依赖，辅助医生做出更准确的诊断建议。

在代码实现层面，HuggingFace Transformers 库已内置 LongformerModel，只需将 attention_window 设为合适的窗口大小（常用 256 或 512），即可加载预训练权重进行微调。下面我们用一个 Python 示例演示如何用 Longformer 完成长文本分类任务。

AI 应用场景

Python 演示

import torchfrom transformers import LongformerTokenizer, LongformerForSequenceClassification model_name = "allenai/longformer-base-4096"tokenizer = LongformerTokenizer.from_pretrained(model_name)model = LongformerForSequenceClassification.from_pretrained(model_name, num_labels=2) long_text = """    Longformer is a transformer variant designed for long documents.    It replaces full attention with a sliding window of size 512.    Additionally, global attention tokens like [CLS] aggregate information.    This reduces complexity from quadratic to linear in sequence length.    Therefore, Longformer can process thousands of tokens in one pass.    For example, it can read an entire research paper at once.    This makes it suitable for document classification and QA.""" * 20 inputs = tokenizer(long_text, return_tensors="pt", max_length=4096, truncation=True)attention_mask = inputs["attention_mask"]global_attention_mask = torch.zeros_like(attention_mask)global_attention_mask[:, 0] = 1 outputs = model(**inputs, global_attention_mask=global_attention_mask)pred = torch.argmax(outputs.logits, dim=-1).item()print("预测类别:", pred)

常见误区

面试题