YaRN长上下文微调位置插值方法

可视化演示

动态演示YaRN长上下文微调位置插值的核心机制，通过总览/传输/转换/输出四种模式展示关键概念与交互流程。

RoPE位置编码：给地图装上旋转指针

拿到市区地图时，规划师通常用经纬线标记位置。但 RoPE（旋转位置编码）换了一种更灵巧的坐标系统：它不给每个地点画上横竖线，而是给每个“采集点”装上一根旋转指针。指针的转速不是统一的，而是由“街道级别”决定——越是靠近市中心的密集小路，指针转得越快；通往郊外的宽阔干线，指针几乎笔直延伸。这个设计让位置关系不是靠读数，而是靠“指针夹角”来体现。

在 Transformer 注意力中，这个“指针夹角”就是向量旋转的角度。设注意力头维度为 d，位置编码由 d/2 个频道的旋转指针组成，每个频道的转速由基础频率控制。第 i 个频道的基础频率定义为：

位置 m 处的 token，其编码向量会按 m·θ_i 的角度旋转，即：

为了理解“高频”“低频”的直观含义，引入波长——指针旋转一整圈需要走过的 token 数：

把地图的原始上下文长度记为 L。模型在训练时见过的最大旋转角为 (L-1)·θ_i，这就是“坐标边界”。一旦推理位置 m 超出 L-1，指针角度就会越过训练分布——这正是后续要解决的核心矛盾。城市地图的边界，由此清晰浮现。

长上下文困境：三种朴素扩图方案的瓶颈

当城市要扩建，规划师最早想到三种方案。第一种是“硬闯新区”：直接把原坐标延伸到新区域之外，不做任何处理。这相当于让车队在没画过道路的地方行驶——位置角度 m·θ_i 远超训练时的范围，模型从没见过这么大的角度，注意力机制瞬间崩溃。第二种是“等比缩放”（线性插值 PI）：把整张地图的坐标统一除以缩放比 s，让所有道路都缩进原有画布。这虽然解决了越界问题，却让小区小街（高频）被拉伸变形，门牌号之间的间距变得模糊不清。

形式化地，线性插值把位置 m 映射为 m/s，其中 s 是目标长度与原始长度的比值：

第三种方案来自 NTK 感知缩放（NTK-aware scaling）。它的观察是：与其把所有位置按比例压缩，不如把 RoPE 的 base 从 10000 放大到更大的值。放大 base 后，高频通道几乎不变，低频通道被显著拉伸，从而以更细腻的方式延展可表示的范围：

NTK 感知方案比线性插值好，但它把所有维度一视同仁地“近似处理”——高频接近不变、低频接近拉伸，中间的维度并没有被精细地分类处理。更进一步，它还遗留了一个重要的副作用：长距离 token 的注意力 logits 会随距离衰减，使得远处的道路即使被画在地图上，也很少被“看见”。这正是 YaRN 要解决的两个问题。

YaRN分段插值：小街保持密度，高速均匀拉长

一位真正资深的规划师会这样处理扩建：先把现有道路按“行驶半径”分类——车辆经常短距离穿梭的小街小巷属于高频道路，必须保持原来的密度；连接远郊的高速公路属于低频道路，可以均匀拉长；两者之间还有一片模糊地带，需要平滑过渡，不能出现断头路和突兀的急弯。

YaRN 正是采用了这种“分段插值”思路，其关键技术是：先对每个频率通道计算比值 r_i，判断它属于高频、低频还是过渡带。比值 r_i 定义为原始训练长度 L 内能容纳多少个该频率的完整波长：

有了 r_i，再引入两个阈值 α 和 β（经验上 α=1，β 视缩放需求取 8~32），计算平滑混合系数：

最终每个通道的新频率由 γ 加权混合而成：

这一步完成后，地图的“坐标系统”已经被重新绘制：高频细节完好如初，低频骨架均匀延展。但单纯改坐标还不够——就像新画好的高速路上如果没有引路信号，司机依然只敢在熟悉的小街转悠。于是需要第二步：调节注意力信号。

注意力温度缩放：让远处的路也被人看见

地图坐标改好了，但交通信号系统还是按老城区配置的。原来的信号灯系统有一个倾向：距离越远的路口，信号衰减越严重。当上下文扩大后，远端 token 即便被画进地图，注意力分数也被压得很低，模型压根不会“看向”远方的信息。这就好比高速路修好了，但没有路灯和指示牌，司机晚上依然不敢上高速。

YaRN 的解法是给注意力信号加一个温度缩放因子。注意力 softmax 的核心公式是：

温度 t 不是拍脑袋定的超参数，而是由原始长度 L、目标长度 sL 和最大通道波长 λ_base 共同推导而来：

之所以这样构造，是为了让注意力熵——也就是模型注意力分布的“均匀程度”——在缩放前后保持对齐。温度校正相当于给所有信号灯装上一个统一的灵敏度旋钮：远处车辆的灯更亮，近处车辆的灯略微调暗，从而重新平衡注意力的覆盖面。

YaRN微调流程：让居民重新试跑新路网

地图坐标改好了，信号灯灵敏度也调好了，但这张新地图还不能直接投入使用。居民们熟悉的是老路网，突然面对一条条新建成的高速路，他们需要一段适应期来重新认识路线。语言模型也一样，位置编码的分布变了，注意力参数必须通过微调来适应新的坐标系统。

微调的第一步是准备数据配比。研究者通常使用短、中、长三种长度样本的混合：短样本（接近原始上下文）用来“唤醒”模型原有的短距离能力，中等样本用来过渡，长样本（接近目标上下文）用来让模型真正学会长距离依赖。比例上，短样本不能太少，否则模型会灾难性地遗忘原有的短上下文本领。

第二步是采用渐进式上下文长度增长。训练初期先用 2k 长度的样本微调几千步，再逐步切换到 4k、8k、16k……让模型像人类学开车一样，先熟悉短途再挑战长途。这个训练过程的数学目标依然是标准的自回归语言建模损失：

第三步是学习率设计。微调 YaRN 时通常采用比预训练更小的学习率（约为预训练的 1/10），并配合少量 warmup 步骤。这就像居民学新路时，不用重新考驾照，只需在教练带领下低速试跑几圈。全量微调而非冻结部分参数，能让所有注意力头共同适应新的位置编码分布。

效果评估对比：短途不颠簸，长途能直达

一张新地图好不好，不能只听规划师的汇报，要用两把尺子实地检验：日常通勤是否顺畅（短上下文能力有没有退化），长途旅行是否可达（长序列外推能力有没有提升）。模型评估中，这两把尺子分别对应短上下文困惑度和长序列困惑度。

困惑度是语言模型最常用的度量指标，定义为测试序列上平均负对数概率的指数：

实验对比通常包括三组基线：原始未扩展模型、线性插值微调模型、NTK-aware 微调模型。在短上下文（2k 以内）上，YaRN 微调后的困惑度与原始模型几乎持平，说明高频保护策略成功守住了局部细节；在线性插值下，这一指标会有明显上升，因为它牺牲了高频分辨率。在长上下文（如 32k/64k/128k）上，YaRN 相比线性插值大幅降低困惑度，相比 NTK-aware 也有稳定提升，原因是分段插值让低频骨架延展得更均匀，温度缩放又纠正了远端注意力的衰减。

从数据质量的角度看，困惑度的改善意味着模型在处理长文档时能更准确地建立跨段落的依赖关系，减少前后矛盾，这是所有长文本数据管道在评测阶段最关心的指标。

工程实践价值：一张可靠的大地图意味着什么

当一张能覆盖全省的大地图真正投入使用，城市管理者获得的最大收益不是“看得远”，而是“基于全局数据做决策”。对数据为中心的 AI 系统而言，长上下文能力直接改变了数据处理管道的形态：过去必须把长文档切成多个小块分别处理，再额外设计拼接逻辑；现在可以一次读完整个文档，跨段落的引用、冲突、重复等信息能被完整地捕获，数据质量的评估因此更加可靠。

但工程应用需要清醒地认识边界。第一，扩展上下文是有成本的：标准注意力机制的计算量随序列长度平方增长，128k 上下文的推理显存消耗远高于 2k。第二，不是所有任务都需要长上下文——很多场景的有效依赖距离只有几百 token，强行拉长上下文只会浪费算力。合理的做法是根据业务场景的 token 依赖距离分布，选择最经济的上下文长度。

面向未来，YaRN 的思路也在持续演进。更先进的方法已经开始探索动态缩放系数（让 s 在推理时根据实际长度自适应调整）、与稀疏注意力的结合（在长序列上进一步降低计算成本），甚至直接训练支持任意长度的位置编码。定位是插值方法“家族”中的优秀代表，为后续研究者提供了高频/低频分区处理与温度缩放的经典范式。

无论技术怎样演化，YaRN 留下的核心经验始终有普适价值：处理扩展问题时，不要对所有组件一视同仁，而要区分哪些部分必须保护、哪些部分可以变形，再为它们各配一把合适的尺子。

---

AI 应用场景

Python 演示

import mathimport numpy as np  def build_rope_freqs(dim: int, base: float = 10000.0) -> np.ndarray:    """构建基础RoPE频率: 维度越靠后频率越低"""    i = np.arange(dim // 2, dtype=np.float64)    return base ** (-2 * i / dim)  def wavelength(freq: float) -> float:    """单维频率对应的波长(完成一整圈旋转需要的token数)"""    return 2 * math.pi / freq  def yarn_interpolate(freqs: np.ndarray, max_len: int, target_len: int,                     alpha: float = 1.0, beta: float = 32.0) -> np.ndarray:    """YaRN分段插值: 高频保护, 低频拉伸, 过渡带线性混合"""    scale = target_len / max_len    new_freqs = []    for theta in freqs:        r = max_len / wavelength(theta)        gamma = max(0.0, min(1.0, (r - alpha) / (beta - alpha)))        theta_new = (1 - gamma) * theta / scale + gamma * theta        new_freqs.append(theta_new)    return np.array(new_freqs)  def linear_interpolate(freqs: np.ndarray, target_len: int, max_len: int) -> np.ndarray:    """线性插值: 所有频率统一除以缩放系数"""    return freqs * max_len / target_len  def attention_temperature(freqs: np.ndarray, max_len: int, target_len: int) -> float:    """YaRN注意力温度: 校正注意力logits随距离衰减的程度"""    lam_base = (2 * math.pi / freqs)[-1]    scale = target_len / max_len    return math.log(max_len / lam_base) / math.log(scale * max_len / lam_base)  def main():    dim = 16    max_len = 4096    target_len = 131072     raw = build_rope_freqs(dim)    yarn = yarn_interpolate(raw, max_len, target_len)    linear = linear_interpolate(raw, target_len, max_len)     print("dim  原始频率          线性插值           YaRN          r_i= L/λ     分类")    for idx in range(dim // 2):        r = max_len / wavelength(raw[idx])        kind = "高频保护" if r > 32 else ("过渡带" if r > 1 else "低频拉伸")        print(f"{idx:2d} {raw[idx]:12.6f} {linear[idx]:12.6f} {yarn[idx]:12.6f} "              f"{r:10.3f}  {kind}")     t = attention_temperature(raw, max_len, target_len)    print(f"\n注意力温度 t = {t:.4f}")    print(f"说明: 原始上下文 {max_len} -> 目标上下文 {target_len}, "          f"缩放因子 s = {target_len / max_len:.0f}")  if __name__ == "__main__":    main()

1. raw = build_rope_freqs(dim)构造基础的 8 个频率通道，维度越靠后频率越低，对应波长越长。
2. r = max_len / wavelength(theta)计算每个通道的“波长比值”，这是 YaRN 判断高频/过渡/低频的核心依据。
3. gamma = max(0.0, min(1.0, (r - alpha) / (beta - alpha)))把 r 映射到 [0,1] 的混合系数，gamma 为 1 时高频原样保留。
4. theta_new = (1 - gamma) * theta / scale + gamma * theta高频保持原频率，低频除以缩放系数 s，过渡带线性混合。
5. linear_interpolate(raw, target_len, max_len)将所有频率统一除以缩放比，这是 YaRN 试图克服的朴素方案。
6. attention_temperature(raw, max_len, target_len)由最长通道波长计算温度 t，用于后续 softmax 的 logits 缩放。

常见误区

面试题