正弦vs可学习：位置编码两种方案对比

可视化演示

展示正弦位置编码的多频率波形生成、可学习位置编码的嵌入矩阵训练、以及两者外推能力的关键差异。切换模式理解方案选择核心。

为何需要位置编码

电影开场前，几十位观众同时涌进放映厅，黑灯瞎火，谁也不知道该往哪儿走。只有看了票上的座号，他们才能找到自己的位置。Transformer也一样——它的Attention机制不按顺序读句子，而是把整句话的所有词一次性摊在桌上，就像一群蒙眼的观众同时站在大厅中央。

RNN这类老模型天生是按顺序读词的：读第t个词时，它的“记忆”里已经装进了前t-1个词的信息。但Transformer全靠Self-Attention并行计算，词的先后顺序没有任何天然的载体。如果不做特殊处理，“我爱你”和“你爱我”对模型来说就只是同一袋词被倒进了不同的碗里。

解决方案是在每个词的输入向量上加一个“位置向量”。设第t个词原本的词向量是 $\mathbf{x}_t$，我们生成一个位置向量 $\mathbf{p}_t$，把它们逐位相加，得到带位置信息的向量 $\tilde{\mathbf{x}}_t$。这个向量同时携带“这个词是谁”和“这个词在第几位”的信息，Attention层计算相似度时才能区分不同语序。

那么，这张“座位号牌”到底怎么印？接下来的两种方案给出了截然不同的答案。正弦位置编码像是标准座号印刷系统——管理员手里有一张公式表，无论大厅扩建到几百排，他掏出公式几秒钟就能算出新座位的编号。可学习位置编码则像手工写名牌——开工前逐个座位写号，写多了自然记住，但新座位来了就抓瞎。

正弦位置编码原理

有些电影院用的是“标准座号印刷系统”——管理员手里有一张公式表，无论大厅扩建到几百排，他掏出公式几秒钟就能算出新座位的编号。这些编号不是背下来的，是算出来的。正弦位置编码就是这样一张“公式表”。

原始Transformer论文就采用了这套公式：给定位置 $pos$ 和维度下标 $i$，位置编码的第2i维用sin、第2i+1维用cos。公式中的分母 $10000^{2i/d}$ 控制了每一维的振荡频率。

细节在于这个分母设计：维度下标i越小，分母越小，对应sin/cos的周期越短、频率越高，相邻位置的编码差异就越明显；i越大，分母越大，周期越长、频率越低，编码值随位置变化得越缓慢。每个位置的d维向量因此构成一串从“快速变化”到“缓慢变化”的波。论文还证明了一个漂亮性质：对于固定偏移k，位置 $pos+k$ 的编码可以通过位置 $pos$ 编码的线性变换得到——这让Attention天然能捕捉相对位置关系。

公式表方案唯一的“缺点”是没有学习能力——它不会根据具体任务调整座号的写法。但正因为固定，它才能在所有任务里一视同仁地提供位置信息。接下来看看另一种思路：让位置编码自己学。

可学习位置编码原理

另一种电影院不印标准座号，而是给每个座位挂一块名牌。刚开始名牌是空白的，工作人员根据每天的客流和观众反馈，一点点改名牌上的字，改到顺手为止。可学习位置编码就是这套“手写名牌”。

在实现上，可学习位置编码是一张可训练的参数表 $\mathbf{P}$，行数等于预设最大长度 $T_{\max}$，列数等于模型维度 $d$。训练开始时 $\mathbf{P}$ 随机初始化，之后和模型其他参数一起反向传播更新，直到收敛。这个过程相当于工作人员每天写一点、改一点，最终把座号“背”了下来。

使用时直接“查表”：取第t行的向量作为位置t的编码。相比正弦，它不受任何手工公式的约束，理论上可以拟合出任务最需要的位置模式。BERT预训练就采用了这套方案，位置表大小固定为512×768，约39万个参数。缺点也很明显：表的大小直接给序列长度设了天花板——新座位没有名牌可挂。

名牌方案在训练时好用，可一旦电影院扩建，问题就来了。这两种方案在外推新位置时，表现天差地别。

长度外推能力对比

有一天电影院扩建了200个座位。标准座号系统的工作人员掏出公式表，几分钟就把新座位号算好了；手写名牌的工作人员却傻了眼——新座位根本没有准备名牌。这就是“外推能力”的差异。

正弦编码的公式对任意位置都成立，只要pos是正整数，就能算出它的编码，训练长度不会形成硬边界。可学习编码则不同，位置表只覆盖了训练时见过的长度范围，一旦输入超过 $T_{\max}$，就是“查无此座”。

在实际框架里，超过 $T_{\max}$ 的位置会触发索引越界报错，或者拿到一个从未训练过的向量——它和随机初始化时几乎没有区别，喂给模型只会得到无意义的输出。即便把表设得很大，超出训练覆盖的位置也从没收到过梯度，学不到任何东西。反观正弦编码，虽然位置信息不缺，但Attention在超长序列上的表现还会受到softmax饱和、计算量增长等因素影响，所以“正弦=无限外推”是一种过度简化。

既然可学习编码多了一张参数表，那它的“仓库成本”到底有多少？这是下面要算的一笔账。

参数开销对比

手写名牌需要提前准备——仓库里得存放几万张空白名牌，写好的名牌也要占柜子。而标准座号的公式表只是墙上的一张纸，不占任何空间。参数开销的差别同样如此。

正弦编码由纯数学函数生成，模型新增参数为零。可学习编码则引入一张 $T_{\max} \times d$ 的参数表。以BERT-base为例，512×768=393,216个参数，在约1.1亿总参数里只占0.36%，看起来微不足道。

但这个比例不能一概而论。如果模型本身很小（比如几百万参数），39万的位置表就是一笔不小的开销；如果序列长度从512涨到8192，位置表的参数会线性放大16倍，超过600万。对GPT-3这种1700亿参数的庞然大物，这点参数可以忽略，但对端侧小模型、超长序列任务，位置表的存储和内存带宽都是实打实的负担。

算完这笔账，选型的天平该怎么摆？既不是“正弦永远最好”，也不是“可学习永远最强”，而是要看电影院的实际情况。

方案选型建议

电影院经理在开业前要做一道选择题：座位是固定不变，还是可能扩建？观影体验是标准统一，还是需要特殊定制？答案不同，座号方案就不同。选位置编码也一样，没有放之四海皆准的银弹。

如果你需要处理长度多变、可能超出训练长度的文本，正弦编码是稳妥的默认选择——它零参数、天然可外推，公式对任意位置都成立。如果你处理的是长度固定的预训练任务，数据量充足且训练充分，可学习编码往往能学到更贴合数据的模式，就像顶级的迎宾员能记住每一位常客的偏好座位。

现实中很多模型并不拘泥于二选一：BART对encoder用正弦、decoder用学习式；T5和RoPE干脆用相对位置编码，把“距离”直接建模进Attention。实践中的选型决策可以按一个简单的加权打分来评估：外推需求越强越偏向正弦，数据越充分越偏向可学习，参数越紧张越偏向正弦。三股力量共同决定最优方案。

AI 应用场景

Python 演示

import numpy as np  def sinusoidal_positional_encoding(max_len, d_model):    # 正弦位置编码: 任何位置都能现场算出    pos = np.arange(max_len).reshape(-1, 1)    i = np.arange(d_model).reshape(1, -1)    angle = pos / np.power(10000.0, 2 * (i // 2) / d_model)    enc = np.zeros((max_len, d_model))    enc[:, 0::2] = np.sin(angle[:, 0::2])    enc[:, 1::2] = np.cos(angle[:, 1::2])    return enc  def learned_positional_embedding(max_len, d_model, steps=500):    # 模拟可学习位置编码: 随机初始化+逐步调整    rng = np.random.RandomState(42)    P = rng.randn(max_len, d_model) * 0.1    target = sinusoidal_positional_encoding(max_len, d_model) * 0.5    lr = 0.05    for _ in range(steps):        grad = (P - target) / max_len        P = P - lr * grad    return P  train_max = 50d_model = 16test_len = 80 sin_enc = sinusoidal_positional_encoding(test_len, d_model)learned_enc = learned_positional_embedding(train_max, d_model) print("正弦编码表尺寸:", sin_enc.shape)print("可学习编码表尺寸:", learned_enc.shape) # 训练长度内的编码对比print("\n位置10的编码(前4维):")print("  正弦:", np.round(sin_enc[10, :4], 4))print("  可学习:", np.round(learned_enc[10, :4], 4)) # 外推能力对比print("\n外推能力对比:")print("  正弦: 可计算位置60的编码 ->", np.round(sin_enc[60, :4], 4))try:    print("  可学习: 位置60的编码 ->", learned_enc[60])except IndexError:    print("  可学习: 位置60超出训练长度, 查表失败(报错)") # 验证正弦的相对位置知识for k in [1, 3, 5]:    dot_k = np.dot(sin_enc[10], sin_enc[10 + k])    dot_same = np.dot(sin_enc[30], sin_enc[30 + k])    print(f"  正弦相对距离性质: dot(P10,P{10+k})={dot_k:.4f}, dot(P30,P{30+k})={dot_same:.4f}")

1. angle = pos / np.power(10000.0, 2 * (i // 2) / d_model)计算每个位置在每个维度上的角度值，分母的幂控制频率分层
2. enc[:, 0::2] = np.sin(angle[:, 0::2])偶数维填正弦值
3. enc[:, 1::2] = np.cos(angle[:, 1::2])奇数维填余弦值
4. rng = np.random.RandomState(42)固定随机种子，保证可学习编码初始状态可复现
5. P = P - lr * grad模拟梯度更新的核心步骤，逐步调整位置表
6. sin_enc = sinusoidal_positional_encoding(test_len, d_model)正弦编码直接生成80长度的表，没有长度限制
7. learned_enc = learned_positional_embedding(train_max, d_model)可学习编码只能生成50长度的表
8. np.dot(sin_enc[10], sin_enc[10 + k])用点积验证相对位置性质：相同偏移k的两个点积近似相等

常见误区

面试题