小参数适配：LoRA与Adapter微调

可视化演示

展示PEFT小参数适配方法的核心原理：LoRA低秩分解、Adapter瓶颈结构和QLoRA量化方案。切换模式查看不同方法如何以极小参数量实现高效微调。

全量微调痛点

假设你管理一家后厨，主厨已经会做一百道招牌菜。现在你只想加一道私房菜，却让主厨把所有菜系重新进修一遍——这就是全量微调。它不是学一道新菜，而是把整本食谱都翻新，学费按全部手艺计价，甚至可能把原来的拿手菜也弄没了。

在深度学习里，全量微调意味着对预训练模型的每一个权重都做梯度更新。大模型动辄几十亿参数，每个参数都要保存权重、梯度和优化器状态，显存开销往往是参数量的好几倍。一个 7B 模型采用 Adam 优化器粗略估算，仅优化器状态就可能需要 56GB 显存，普通团队很难承受。

更麻烦的是，更新所有参数还会带来“灾难性遗忘”：模型学了新任务，却在旧任务上表现大幅下降。这就像主厨学会了你的私房菜，却把招牌菜的火候全忘了。

回到后厨：全量微调就像让主厨每学一道新菜就丢掉一部分旧菜谱，而且学费按他全部知识计算。小参数适配想解决的，正是“只在他围裙里加便签，不动已有手艺”这件事。

LoRA核心原理

LoRA 的做法更像给主厨塞一张便签，而不是让他重新上课。便签上只写“这道菜的辣度比标准高一档”；主厨的原菜谱不变，但做出的菜确实被便签影响了。LoRA 的核心思想正是“冻结原始权重，另学一个低秩增量”。

从数学上看，模型在某层有一个大权重矩阵 \(\mathbf{W}_{d \times k}\)。LoRA 假设微调所需的增量 \(\Delta \mathbf{W}\) 是低秩的，不需要 \(d \times k\) 个独立参数，只需两个小矩阵相乘就能近似表达。于是训练时原始 \(\mathbf{W}\) 保持冻结，只更新两个小矩阵。

为什么可行？因为大模型微调时，真正需要改变的“方向”通常很少，就像主厨只需要记下“少盐、多放葱、后下辣椒”几条笔记，而不是把整本菜谱重写一遍。

训练时 \(\mathbf{B}\) 通常初始化为零，这样一开始增量是零，不会让模型行为突然跑偏。推理时再把 \(\mathbf{B}\mathbf{A}\) 合并回 \(\mathbf{W}\)，模型体积不变、延迟不增加。便签不是新围裙：主厨还是同一个，只是口袋里多了几张轻飘飘的纸条。

Adapter结构设计

如果说 LoRA 是记忆便签，Adapter 就像在主厨操作台边加一个“可拆卸调料架”。做某类菜时才把调料架装上，不做时直接拆掉，原菜单完全不受影响。

Adapter 通常插在 Transformer 的注意力层或前馈层之后，内部是一个瓶颈结构：先把高维特征压到很小的维度 \(r\)，经过激活函数，再升维回原始维度。因为中间瓶颈很窄，新增参数远少于直接改原权重。

这样的设计让每个任务都能训练一套独立的小 Adapter，不同任务可以共享同一个预训练底座。训练这个任务时换 A 调料架，训练另一个任务时换 B 调料架，主厨本身不用变。

回到后厨：调料架的“接口”就是残差连接，它保证装上和拆下都不影响主厨基本功。Adapter 的本质，是给不同任务准备不同的可拆卸小模块。

QLoRA量化方案

如果厨房设备太贵，最直接的办法是把部分设备换成迷你版。QLoRA 的思路正是如此：把预训练权重量化为 4bit 来降低显存，LoRA 小矩阵仍保持较高精度更新。这就好比主厨的锅碗瓢盆都换成迷你袖珍版，但菜谱笔记仍然记得清清楚楚。

QLoRA 的工程细节包括：用 NF4 这种专门为 4bit 设计的数据类型减少精度损失；对量化常数再做一次量化，也就是“双重量化”；同时配合分页优化器，防止显存突然溢出。多项技术叠加后，7B 模型微调显存可以降到个位数 GB 级别。

量化不是无损失，但实践中发现，对微调任务来说，QLoRA 的效果仍然非常接近全量微调。原因在于真正需要高精度训练的是 LoRA 那部分小参数，而底座权重只需要“大致正确”地提供通用特征。

QLoRA 不是要取代 LoRA，而是给 LoRA 穿上一件“4bit 铠甲”。迷你厨具省了库房，但主厨的脑子依然能恢复出接近原版的菜谱。

参数效率对比

同样是做一道新菜，不同方案的成本完全不同。全量微调让主厨重新学全部手艺；LoRA 只加便签；Adapter 只加可拆卸调料架；QLoRA 再把整套厨具换成迷你版。下面从参数、显存、速度和效果四个维度做对比。

| 方法 | 可训练参数 | 显存需求 | 训练速度 | 效果 |

|---|---|---|---|---|

| 全量微调 | 100% | 很高 | 慢 | 上限最高 |

| LoRA | 通常 <1% | 低 | 快 | 接近全量 |

| Adapter | 通常 0.1%~1% | 低 | 快 | 接近全量 |

| QLoRA | <1% + 4bit底座 | 极低 | 中 | 接近全量 |

LoRA 的新增参数量近似为 \(r(d+k)\)，而全量微调要更新 \(d \times k\) 个参数。除非秩 \(r\) 设置得很大，否则 LoRA 的参数占比通常只有千分之几。

从后厨角度看，全量微调是让主厨重考厨师证；LoRA 和 Adapter 则是记便签、装调料架。前者贵而全，后者省而巧，最终做出来的菜可能只差一点点。

实战决策路线

到了真正点菜时，该怎么选？如果任务简单、数据量少，LoRA 用较小的秩 \(r=4\) 或 \(r=8\) 就足够；如果任务复杂、领域偏移大，可以加大秩或改用 Adapter 插入更宽的瓶颈。显存极度紧张时，QLoRA 是首选。

多任务场景最好的策略，是共享一个冻结底座，给每个任务训练一套 LoRA 或 Adapter。这样线上只部署一个大模型，同时服务几十个任务，每增加一个任务只需多存几个 MB 的小矩阵。工程上还可以把 LoRA 与 Adapter 组合使用，但要注意量化精度、初始化策略和超参调节。

训练时的显存主要由三部分构成：底座权重、LoRA 小参数、优化器状态。QLoRA 正是把“底座权重”这一大头从 16bit 砍到 4bit，才把大模型微调门槛压到一张消费级显卡。

回到后厨：先看冰箱有多大，再看客人点什么菜。显存小就上迷你厨具，任务多就准备多套调料架，记住“便签越轻，越容易被记住”。

AI 应用场景

Python 演示

import numpy as np  def mse_loss(y_true, y_pred):    return float(np.mean((y_true - y_pred) ** 2))  class LoRALinear:    def __init__(self, in_features, out_features, rank, alpha):        self.in_features = in_features        self.out_features = out_features        self.rank = rank        self.alpha = alpha        self.lr = 0.005        self.W = np.random.RandomState(0).normal(0, 0.1, (in_features, out_features))        self.A = np.random.RandomState(1).normal(0, 0.02, (in_features, rank))        self.B = np.zeros((rank, out_features))     def forward(self, x):        delta = self.alpha / self.rank * (x @ self.A @ self.B)        return x @ self.W + delta     def update_lora(self, x, grad_out):        scale = self.alpha / self.rank        d_B = scale * (x @ self.A).T @ grad_out        d_A = scale * x.T @ (grad_out @ self.B.T)        self.A -= self.lr * d_A        self.B -= self.lr * d_B  def main():    rng = np.random.RandomState(42)    X = rng.randn(64, 10)    y_true = (X @ np.arange(10) * 0.3).reshape(-1, 1)    layer = LoRALinear(10, 1, rank=2, alpha=4)    for epoch in range(300):        y_pred = layer.forward(X)        grad_out = 2 * (y_pred - y_true) / X.shape[0]        layer.update_lora(X, grad_out)        if epoch % 60 == 0:            print("epoch", epoch, "loss", round(mse_loss(y_true, y_pred), 6))    print("final loss", round(mse_loss(y_true, layer.forward(X)), 6))  if __name__ == "__main__":    main()

1. self.B = np.zeros((rank, out_features))把 B 初始化为零，保证训练开始时增量为零，不破坏原模型。
2. delta = self.alpha / self.rank * (x @ self.A @ self.B)计算低秩增量对输入的贡献，也就是 LoRA 的核心公式。
3. return x @ self.W + delta前向传播时在原权重上叠加增量，但原 W 不参与更新。
4. layer.update_lora(X, grad_out)只更新 A、B 两个小矩阵，模拟冻结预训练权重的效果。
5. if __name__ == "__main__": main()脚本入口，保证直接运行时才执行训练。

常见误区

面试题