ALiBi位置编码：线性偏置替代方案

可视化演示

位置编码困境

假设你走进剧场，座位全部空着，工作人员把剧本和演员名单一起倒进一个大箱子。你能数清有哪些演员，却不知道谁该站哪个位置——“猫追老鼠”和“老鼠追猫”用的演员完全一样，但戏完全不同。Transformer 里的自注意力就是这样一个“只看脸、不看站位”的观众：无论词怎么排列，只要是同一批词，它给出的相似度一模一样。语言是讲究顺序的：“我爱你”和“你爱我”是两种人生，可自注意力根本分不出来。

这个性质在数学上叫“置换不变性”。它让 Transformer 可以并行读词、训练飞快，但也把“先后顺序”这个信息彻底弄丢了。所以研究者必须额外给每个词发一张“座位票”，告诉模型“我是第几个出场的”——这就是位置编码（Positional Encoding）的由来。在标准 Transformer 里，位置编码加到词向量上再送入自注意力；但自注意力公式本身，最初并没有任何与位置有关的项：

所以这时的模型就像手里只有一份演员名单、却不知道出场顺序的剧场观众。要让“猫追老鼠”不被理解成“老鼠追猫”，必须给台词贴上顺序标签。下一节我们就看看，传统方法是怎么贴这些标签的。

传统编码回顾

传统方法相当于在剧场里印发三种不同款式的“座位牌”。第一种是按数学公式印的万能号码牌（正弦编码），号码看似无穷无尽；第二种是请人把每个座位号背下来（可学习编码），背熟哪个剧场就只认哪个剧场；第三种是用完即弃的“相对距离牌”（相对位置编码），只标“前面第三个座位”，不标绝对座号。

其中最著名的是 Transformer 原论文里的正弦位置编码。它给每个位置 $pos$ 生成一组固定不变的向量，频率沿维度递减：偶数维度用 $\sin$，奇数维度用 $\cos$。这样一来，相隔 $k$ 个位置的向量之间存在确定的线性关系，模型理论上可以用它推断相对距离。

三种座位牌的共性缺陷在“换剧场”时暴露。正弦编码理论上能印到任意长度，但实证中外推到训练长度的数倍以上时，困惑度明显反弹——因为高频分量把“具体位置”记得太牢；可学习编码更直接，超出训练长度就没牌可发；相对编码虽灵活，但实现复杂、计算开销大。它们的共同点是：位置信息与注意力彼此脱节，距离没有被明明白白写进打分规则。

你看，无论是印号码、背座位还是记相对距离，大家都在“座位牌”的设计上纠结。有没有可能，干脆不发给任何座位牌，而是让“听声辨位”成为剧场本身的物理定律？这正是 ALiBi 的答案。

线性偏置原理

ALiBi 的灵感很朴素：剧场里声波天然随距离衰减——离得越远，音量越小。无论剧场修多大、座位加到多少排，这条自然法则都成立。ALiBi 对模型说：别背座位号了，注意力打分时，谁的座位离你远，就自动给它的分数扣掉一点，扣多少与距离成正比。

ALiBi 全称 Attention with Linear Biases（带线性偏置的注意力）。它完全不引入位置嵌入：词向量上不叠加任何位置信号；真正的改动只发生在注意力打分这一步——在 QK 缩放点积的结果上，直接减掉“斜率 × 距离”。偏置项只与相对距离有关，因此矩阵化实现就是在因果掩码之外，再统一叠加一层下三角的负偏置矩阵。

因为偏置项只与 $(i-j)$ 有关，整个模型没有任何位置参数：位置知识零学习、零存储。多头各配各的斜率，从“只看邻座”到“能够远眺”，覆盖不同距离尺度——这就是“零参数免训练”的含义。在训练时，这些斜率是超参数而不是可学习权重，所以模型的计算图和标准注意力几乎一模一样，只是多了一次廉价的加法。

ALiBi 不发座位牌，却给剧场装上了声波衰减的物理定律。没有新增一个可学习参数，模型却第一次真正“知道”了远近——听声辨位，比背座位号优雅得多。

外推性能优势

老戏班在只能坐 512 人的小剧场里排练，演员背熟了座位号。登台一看，新剧场有 2048 个座位——背号码的演员当场呆住，而遵守“距离越远越听不清”这个物理法则的演员，换多大的场子都能立即开演。

这就是“长度外推”：训练时见过最长 $L_{\text{train}}$ 个词，测试时给 $L_{\text{test}} > L_{\text{train}}$ 个词，模型依然能保持低困惑度。在这项考试里，可学习位置编码直接不及格（超出范围没向量可用），正弦编码勉强及格但长距离会“破音”，ALiBi 则表现稳定。在 WikiText-103 等语言建模基准上，用 512 词训练的 ALiBi 测试到 2048 词，困惑度几乎不上升。

其形式化的表达是一个“只扣分”的偏置矩阵：对第 $h$ 个头，第 $i$ 行第 $j$ 列的值等于负的距离乘以斜率，然后整体加到注意力分数上。

为什么 ALiBi 能外推而传统方法不行？根子就在于它只依赖相对距离。序列从 512 长到 8192，“相隔 300 个位置”的惩罚依旧是同一个值；而绝对位置方案里，“位置 3000”的词在训练时从未出现过。物理法则不认剧场大小——这正是外推的秘密。

训练推理差异

彩排受场地租金限制，只能在 1024 人的小排练厅；正式演出的大剧场却能容纳 8192 人。演员们练的不是“第几排第几座”，而是“离我越近听得越清”的法则，所以换了大场子也从容。

训练时，出于显存和算力考虑，序列长度常被截断到 512~2048：注意力矩阵是 $O(n^2)$，序列翻倍，计算量翻四倍。ALiBi 让“训练短、测试长”成为可能——训练阶段的长度只影响内容分布，位置规则本身不受长度限制。这就是论文标题 "Train Short, Test Long" 的含义：短窗口省下训练成本，长窗口享受推理红利。

当然，“外推”不等于“免费”。推理时真正的瓶颈不在位置，而在 KV 缓存：模型要把每个历史词的键和值都存下来，才能继续自回归生成。KV 缓存占用近似为：

所以“训练短、测试长”的真正含义是：位置上的规矩可以无限延用，但硬件上的账单要精打细算。窗口截断控制训练成本，推理加长享受长上下文红利，而 KV 缓存管理则是每一位部署工程师的必修课。

大模型应用

现在，BLOOM、MPT、Falcon 这几座“超级大剧院”都把这套声波衰减法则写进了建筑规范。它们不再为位置准备厚厚一摞座位牌，而是让每个注意力头自带一把“距离尺”，把剧场定律直接内建在架构里。

在真实大模型中，ALiBi 往往和另外两招配合使用：Flash Attention 把注意力计算分块，避免整张大矩阵驻留显存；Multi-Query Attention 让多个查询头共享同一份键值，进一步压缩缓存。ALiBi 管“位置”，它们管“内存”——三者不冲突，反而互补。BLOOM（176B）在预训练中直接采用 ALiBi，Falcon 也在因果注意力中加入了偏置，MPT 系列更是把 ALiBi 当作默认位置方案。

一个经常被引用的战绩是 MPT-7B：训练时上下文只有 2K，借助 ALiBi 与滑窗注意力，推理时把窗口推到 65K，用一个普通 GPU 就能写完整本童话书。若只看计算复杂度，结合滑窗后长序列的开销近似为：

从 512 词的老剧场到 65K 词的巨型舞台，演员还是那批演员，词表还是那个词表，只因为剧场多了一条“距离越远越听不清”的建筑规范，千亿参数的大模型就能在超长故事里从容地首尾呼应。ALiBi 用最简单的减法，回答了位置编码最棘手的时代问题。

AI 应用场景

Python 演示

import numpy as np  def alibi_slopes(num_heads):    # 各头斜率按几何级数递减, 8 头时得到 1/2, 1/4, ..., 1/256    return [2.0 ** (-8 * h / num_heads) for h in range(1, num_heads + 1)]  def alibi_bias(seq_len, num_heads):    # 构造偏置矩阵: bias[h, i, j] = -m_h * (i - j), 未来位置用极大负数掩码    slopes = alibi_slopes(num_heads)    bias = np.zeros((num_heads, seq_len, seq_len), dtype=np.float32)    for h, m in enumerate(slopes):        for i in range(seq_len):            for j in range(seq_len):                if j > i:                    bias[h, i, j] = -1e9                else:                    bias[h, i, j] = -m * (i - j)    return bias  def alibi_attention(q, k, v, num_heads):    # 把线性偏置加进缩放点积注意力, 返回各头输出与注意力权重    d = q.shape[-1]    scores = q @ k.T / np.sqrt(d)    seq_len = q.shape[0]    bias = alibi_bias(seq_len, num_heads)    outputs = np.zeros((num_heads, seq_len, v.shape[-1]))    probs = np.zeros((num_heads, seq_len, seq_len))    for h in range(num_heads):        logits = np.where(bias[h] < -1e8, -1e9, scores + bias[h])        exp = np.exp(logits - logits.max(axis=-1, keepdims=True))        probs[h] = exp / exp.sum(axis=-1, keepdims=True)        outputs[h] = probs[h] @ v    return outputs, probs  def main():    rng = np.random.default_rng(42)    d_model, num_heads = 16, 4    train_len, test_len = 8, 24    q = rng.normal(size=(train_len, d_model))    k = rng.normal(size=(train_len, d_model))    v = rng.normal(size=(train_len, d_model))    q2 = rng.normal(size=(test_len, d_model))    k2 = rng.normal(size=(test_len, d_model))    v2 = rng.normal(size=(test_len, d_model))     _, probs_short = alibi_attention(q, k, v, num_heads)    _, probs_long = alibi_attention(q2, k2, v2, num_heads)    near_short = float(probs_short[0, 7, 6])    far_short = float(probs_short[0, 7, 0])    near_long = float(probs_long[0, 23, 22])    far_long = float(probs_long[0, 23, 0])    print("训练长度8:  近邻权重", round(near_short, 4), "远距权重", round(far_short, 4))    print("外推长度24: 近邻权重", round(near_long, 4), "远距权重", round(far_long, 4))    assert near_short > far_short and near_long > far_long    print("线性偏置生效: 距离越远, 注意力越低, 且外推长度无需重训")  if __name__ == "__main__":    main()

1. return [2.0 ** (-8 * h / num_heads) for h in range(1, num_heads + 1)]按几何级数生成各头斜率，8 头时恰好是 1/2 到 1/256。
2. bias[h, i, j] = -m * (i - j)核心逻辑：距离每远一格，注意力分数就线性扣掉一个斜率值。
3. if j > i: bias[h, i, j] = -1e9用极大负数实现因果掩码，禁止模型看向未来。
4. logits = np.where(bias[h] < -1e8, -1e9, scores + bias[h])把偏置矩阵加进缩放点积分数，一步完成“先扣分”。
5. exp = np.exp(logits - logits.max(axis=-1, keepdims=True))减去行最大值做数值稳定的 softmax 分子，防止指数溢出。
6. probs[h] = exp / exp.sum(axis=-1, keepdims=True)归一化成和为 1 的注意力权重，近邻权重因此显著高于远距。

常见误区

面试题