DoRA：权重分解微调方法

可视化演示

通过权重分解（W→大小m×方向V）、方向低秩适配（V+BA仅对方向做LoRA）与效果对比（DoRA r=8≈LoRA r=16）三个模式，展示DoRA如何通过权重大小与方向分离实现更精细高效的微调。

方法起源

修伞师傅发现，徒弟们拧伞骨的方式有个通病：每次只把伞骨转个角度，伞面就会跟着鼓起来或瘪下去——因为伞骨与伞面联动，方向和幅度总是绑在一起变。LoRA 微调大模型时也有同样的“通病”：它注入的低秩矩阵 B×A 会同时改变预训练权重矩阵的方向和幅度，二者耦合在同一个更新里。

这里的“方向”和“幅度”对应到数学上：权重矩阵的每一列可以看成一个向量，每个向量都有朝向（方向）和长短（幅度）。全量微调时，优化器可以自由地分别调整每个列的朝向和长短；而 LoRA 只学习一个低秩增量，这个增量一加进来，方向和幅度就得“共享同一笔预算”，没法单独控制。

于是研究者开始琢磨：能不能把权重 update 拆成两个旋钮，一个只管方向、一个只管幅度？这其实就是灵感借鉴了 AdaLoRA 等方法的思路，但 DoRA 走得更彻底——它不强加正则约束，而是从权重的几何性质出发做显式分解。注意别把它和 SVD（奇异值分解）混淆：SVD 是把矩阵拆成三个矩阵的乘积用于压缩，而 DoRA 的分解是“方向归一化 + 幅度向量”，不改变矩阵的秩结构。

回到雨伞的画面：LoRA 就像徒弟一只手同时拧伞骨和拽伞面，动作粗犷；而 DoRA 的提出，就是给师傅准备了两只手，各管一摊。

核心思想

DoRA 的核心思想简单到可以用一句话概括：先把权重 W 写成“方向 × 幅度”的形式，然后让方向部分通过低秩矩阵去适应新任务，幅度部分用一个小向量单独学习。

具体来说，方向分量是每一行（或每一列）归一化之后的矩阵，它只刻画“这个特征朝哪个方向起作用”；幅度分量则是一个与行数等长的向量，刻画“这个方向该用多大力气”。微调时，预训练权重 W₀ 先与低秩增量合并，再按列归一化得到新的方向；同时，幅度向量 m 从初始值 1 出发，自由地增大或缩小。

为什么这样分解有用？因为大量实验发现，在微调过程中权重矩阵“方向的变化”和“幅度的变化”对最终性能的影响是解耦的：某些任务主要靠调整方向（比如改变语义空间取向），某些任务主要靠调整幅度（比如放大某个特征的重要性）。LoRA 把两者绑在一起，导致每个方向的更新都被迫“顺带”改变整体尺度，可能引发所谓“促进不平衡”（promotion imbalance）——通俗地说，就是该放大的没放大，不该缩小的被一起缩小了。

这就像修伞时，如果伞面撑太大挡住了伞骨转动，你一定希望先把伞面收一下、单独调好伞骨再撑开。DoRA 正是把这个“收伞骨、调伞面”的动作拆成了两个独立的步骤。

公式原理

DoRA 的完整更新公式如下：

从直觉上看，这个公式就像一个分工明确的工作台：左边 m 是“力量旋钮”，右边 \hat{V} 是“方向罗盘”。训练时，罗盘跟着低秩矩阵逐步转向新任务需要的角度，力量旋钮则独立地决定每根伞骨撑开的力道——两者互不掣肘。

训练稳定性

DoRA 最让人惊喜的优点之一，是训练过程明显更稳定。这要从它天然消除了“幅度不平衡”说起。

在 LoRA 中，由于增量的方向和幅度耦合，初期更新时常常出现某些列的方向已经转到位了、但幅度还在被持续拉伸，或者相反。这种不同步会让损失曲线出现周期性抖动，尤其在学习率偏大时，LoRA 容易在平坦区域来回震荡。DoRA 因为把幅度抽离出来单独学，方向矩阵始终保持在单位范数上，相当于给每根伞骨加了一副“定长导轨”——无论怎么转，轨迹都在一个半径固定的球面上滑动，不会突然飞出该有的几何范围。

实测中，DoRA 在相同学习率下比 LoRA 的损失曲线更平滑，甚至在很多任务里允许使用更大的学习率而不会发散。这很直观：靠“拧伞骨”本身不会让伞面突然爆开，因为伞面已经被单独拿在手里控制住了。对工程师的实际意义是：微调时需要为“学习率是否过大”操心更少，调参的试错成本随之降低。

当然，稳定性也不全免费：方向矩阵归一化带来的梯度需要仔细处理（即上文中的梯度分离），否则把范数当作可变的分母，反而会把方向梯度和幅度梯度重新搅在一起。DoRA 用 stop-gradient（停止梯度）的方式，确保了这一点从数学上和实现上都成立。

参数效率

“多了一个 m 向量，参数量会不会暴涨？”这是初学者最常问的问题。答案恰恰相反：DoRA 的参数量几乎与 LoRA 相同。

假设一个权重矩阵形状为 d×k，LoRA 的低秩分解 B（d×r）与 A（r×k）合计参数量为 2dr（为简化忽略 k 的差异，取 d≈k 或按实际形状计算）。DoRA 除了同样的低秩矩阵 BA 之外，只额外引入一个长度等于输出维度的幅度向量 m，参数量为 d。相比之下，这通常只占 LoRA 参数的很小一部分（约 1% 量级），可以忽略不计。

更关键的是推理阶段的开销。很多人担心“归一化 + 乘 m”会拖慢推理速度，其实 DoRA 在部署前可以通过一次性的“权重合并”操作把所有部分融合回单个矩阵 W'：先算 V=W₀+BA，再逐列归一化，最后乘上 m 并写回预训练权重。合并完成后，模型结构和计算路径与普通全量微调完全一致——零额外延迟，零额外显存。

这就像修伞师傅修完之后把临时工具全收进工具箱，交给顾客的是一把干净完整的伞，而不是一堆散件。对边缘部署或大规模服务化推理场景来说，“训练时可以花哨、推理时必须朴素”是硬约束，DoRA 完美满足。

实践应用

在实际工程中，DoRA 的使用方式和 LoRA 几乎一样顺手。你只需要把注意力放在三个地方：超参数、适用场景和合并时机。

第一，超参设置。论文推荐将 LoRA 的学习率直接迁移到 DoRA 上即可，但如果想压榨性能，可以单独为幅度向量 m 设置一个稍大的学习率（例如是方向部分学习率的 1.5~2 倍），因为 m 的初始值接近 1、梯度温和，更大的步长往往能加速收敛且不易发散。秩 r 的设置与 LoRA 一致，不需要因为分解而调大，通常 8 或 16 就够。

第二，适用场景。凡是 LoRA 能用的地方 DoRA 基本都能用，尤其在指令微调、领域自适应和持续学习三类任务中受益明显。实验表明，在 Llama 系列等大模型上，DoRA 在常识推理、数学与代码等基准上的平均分可以比 LoRA 高出 1~2 个点，且在某些任务上接近甚至追平全量微调。与 QLoRA 配合时也无需特殊处理——量化的是 W₀，DoRA 的方向归一化照常工作。

第三，注意事项。若任务本身的预训练权重已经严重退化（如灾难性遗忘场景），DoRA 不会“逆天改命”，它只优化几何上调参的灵活性；此外，训练时的内存占用比 LoRA 略微增加（多存一个范数），但通常不超过 3%。合并权重后若还要继续训练，记得重新计算并保存新的基座矩阵。

修伞师傅最后叮嘱徒弟的一句话是：“好工具也要会用时机。”DoRA 就是那把好工具，在你的下一次大模型微调任务中，值得先试一版。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class DoRALayer(nn.Module):    """DoRA 核心层：方向归一化 + 可学习幅度向量"""     def __init__(self, in_features, out_features, r=8):        super().__init__()        self.W0 = nn.Parameter(torch.randn(out_features, in_features) * 0.02)        self.m = nn.Parameter(torch.ones(out_features, 1))        self.lora_a = nn.Parameter(torch.randn(in_features, r) * 0.01)        self.lora_b = nn.Parameter(torch.zeros(r, out_features))        self.scaling = 1.0 / r     def forward(self, x):        BA = (self.lora_a @ self.lora_b) * self.scaling        V = self.W0 + BA.T        col_norm = torch.linalg.vector_norm(V, dim=1, keepdim=True)        V_hat = V / col_norm.detach()        W_eff = self.m * V_hat        return x @ W_eff.T     def merge(self):        BA = (self.lora_a @ self.lora_b) * self.scaling        V = self.W0 + BA.T        col_norm = torch.linalg.vector_norm(V, dim=1, keepdim=True)        self.W0.data = self.m * (V / col_norm)        self.lora_a.data.zero_()        self.lora_b.data.zero_()  if __name__ == "__main__":    torch.manual_seed(0)    layer = DoRALayer(64, 64, r=8)    x = torch.randn(4, 64)    y = layer(x)    print("前向输出形状:", tuple(y.shape))    y.sum().backward()    print("W0 每行范数范围:",          torch.linalg.vector_norm(layer.W0, dim=1).min().item(),          "~",          torch.linalg.vector_norm(layer.W0, dim=1).max().item())    layer.merge()    print("合并后 lora_a 是否清零:", bool((layer.lora_a == 0).all()))

1. self.m = nn.Parameter(torch.ones(out_features, 1))用全 1 初始化幅度向量，保证初始时 DoRA 退化为原始权重，不破坏预训练分布。
2. V = self.W0 + BA.T把低秩增量合并进预训练权重，得到临时矩阵 V，对应公式中的 W₀ + ΔW。
3. col_norm = torch.linalg.vector_norm(V, dim=1, keepdim=True)逐行（每列）计算向量范数，dim=1 表示按行方向聚合出每个输出维度的长度。
4. V_hat = V / col_norm.detach()关键一步：用 detach() 让范数分支不参与梯度回传，实现论文中的“梯度分离”，稳定方向与幅度两个通道。
5. W_eff = self.m * V_hat用可学习幅度向量缩放方向矩阵，得到最终有效权重。
6. self.W0.data = self.m * (V / col_norm)推理前把幅度、方向、低秩增量全部融合回 W0，此后模型可按普通全量微调方式部署。
7. self.lora_a.data.zero_()合并后清零 lora_a，防止推理时再次叠加增量。

常见误区

面试题