持续学习：大模型怎么不断更新

可视化演示

动态演示持续学习的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

1. 遗忘原理剖析

艾师傅学日式拉面为什么会把老配方冲掉？本质在于，他只有一块黑板记配方——所有菜品的盐、糖、火候都写在同一块黑板上。学新菜必须改黑板，一改就把老菜的数字覆盖了。神经网络也是同一块黑板：模型的所有知识都藏在同一组权重里，没有“分抽屉”的自觉。当它学新任务时，新知识硬生生写进旧权重，旧知识自然被冲得七零八落。

深度学习更新参数靠的是梯度下降。训练任务 B 时，梯度会顺着让 B 正确率升高的方向推权重。可这个方向往往和任务 A 需要保持的方向不一致：改动一批对 A 至关重要的参数，A 的损失就会嗖嗖往上涨。这就是灾难性遗忘的直接成因——不是模型“不想记”，而是新旧任务在参数空间里的“势力范围”发生了正面冲突。

数学上可以这样刻画：用 \\(\mathcal{L}_A\\) 表示旧任务 A 的损失。训练 B 之前，模型在旧参数下损失很低；训练 B 之后参数变了，如果旧任务的损失暴涨，就说明旧知识正在瓦解：

艾师傅的问题不是“不能学新菜”，而是“改配方时不知道哪些数字不能动”。要解决它，得先学会分辨参数的重要性——这正好引出我们的第一味解药：EWC 弹性权重整合。

2. 弹性权重整合

面馆老板请来一位调味顾问。她的方案又简单又聪明：给每味调料贴一张“秘方标签”，写清楚这味料对每道招牌菜有多关键。学新菜时，标签上“关键度”高的调料（比如牛肉面的盐）不许大动；无关紧要的（比如摆盘的葱花）随意调整。这就是 EWC（Elastic Weight Consolidation，弹性权重整合）的直觉——给每个参数打一个“重要度分”，学新任务时，重要参数动得越多，惩罚越重。

重要度分从哪来？答案藏在任务 A 的输出对参数的敏感度里：把一个参数轻轻拨动一点，任务 A 的损失变化越大，说明这个参数对 A 越关键。这个敏感度信息在数学上就是 Fisher 信息矩阵，它的每个对角线元素 \\(F_i\\) 就是第 \\(i\\) 个参数的重要度估计。Fisher 信息大的参数，相当于咸味在牛肉面里的地位——动一克都惊天动地。

EWC 把训练目标改写成“新任务损失 + 防遗忘惩罚”两项：

艾师傅的“秘方标签”贴到位后，盐和糖被稳稳锁住，汤头不跑味，日式拉面也学得成。这就是“弹性”二字的精髓：不是锁死，而是重要参数弹性受限、次要参数自由发挥。

3. 回放重演策略

艾师傅学了日式拉面后，给自己定了个规矩：每周固定三天做老招牌牛肉面。这叫“回锅老菜”——哪怕没人教，亲手做一遍就是最好的巩固。机器学习把这招叫经验回放（Experience Replay）：训练新任务时，把旧任务的样本混进训练数据，让模型“温故而知新”。

回放怎么落地？最朴素的是样本缓冲存储：划一块固定大小的缓冲区（比如几千条旧样本），训练任务 B 时，每次迭代从缓冲区和 B 的数据里各抽一批混合训练。代价是需要额外存储，而且旧样本往往涉及用户隐私，不能随便存。于是有了更高级的生成式回放——训练一个生成模型（如 VAE、扩散模型）来“凭记忆重塑”旧样本的分布，需要时现场生成，避免直接存原始数据。

无论哪种回放，训练时新旧数据混合，损失都由两项加权组成：

面馆的“回锅日”看着笨，却是最稳的保味手段。回放也一样：不依赖花哨数学，只要旧样本以合适比例反复出现，模型就不容易把它清空。它和 EWC 是黄金搭档——一边用弹簧锁住重要参数，一边用老题复习保持手感。

4. 正则化约束

艾师傅的调味顾问又给了一条更简单的规矩：每次学新菜，任何调料的用量变化幅度不能超过 2 克。这比 EWC 的“分级锁”更省事——不管哪个调料、重不重要，整体变动都设个上限。对应到模型训练，就是正则化约束方法。

正则化方法的思路是：不单独判断哪个参数重要，而是从整体上约束参数别跑太远。最朴素的形式是 L2 参数范数约束：训练新任务时，把“参数相对旧位置的漂移量”作为惩罚项加进损失。进阶玩法是知识蒸馏：让新模型在旧任务上的输出尽量模仿旧模型（教师模型）的输出，用“软化的概率分布”把旧知识温柔地传递下来——就像老厨师手把手教徒弟“盐要分三次放”，而不是只丢一句“放 3 克”。

L2 参数约束的损失形式如下：

规矩虽粗，胜在省事。如果不知道每道菜的“秘方标签”（没算 Fisher 信息），那就先定个总则：调料变化别超过 2 克。老味道至少不会崩太多——工程上这叫“快速止血方案”，比什么都不做强得多。

5. 工程落地要点

艾师傅的后厨管理升级了：每个菜系分灶台——川菜灶台专门做川菜，粤菜灶台专门做粤菜，学新菜时先看清楚这道菜归哪个灶台。模型领域这叫任务边界识别：训练和推理时都要知道“当前是哪一个任务”，才能选择对应的保护策略或输出头。没有任务 ID 的持续学习，就像不看菜就乱开火，新旧知识在同一个灶台里打架。

工程上持续学习要迈过三道坎。第一，任务边界怎么确定：数据是自然分批次到达的（在线学习）还是明确划分的（任务增量学习），决定了用 EWC 还是回放。第二，框架和超参怎么选：EWC 的 \\(\lambda\\)、回放的缓冲大小、正则化强度，都要在验证集上调，不能拍脑袋。第三，怎么量化“有没有遗忘”：常用的评估指标叫 BWT（Backward Transfer，后向迁移），它专门衡量学完新任务后，旧任务的表现相比它刚学完时掉了多少。

BWT 的计算公式如下：

灶台分清楚、火候有监控，艾师傅的后厨才敢同时经营川粤日三种口味。工程落地也一样：任务边界、超参调优、BWT 监控三件套齐了，持续学习才有资格从论文走进生产线。

6. 前沿演进方向

后来艾师傅的店开进了米其林大饭店，后厨更气派了，可困扰没消失——大模型学新东西照样会忘。好消息是，大模型时代有了更省力的“加菜”方式：不动整本菜谱，只在关键工序上贴一张小纸条。这就是参数高效微调，LoRA（Low-Rank Adaptation，低秩适配）是其中的代表——把原本巨大的权重矩阵 \\(W\\) 冻住，只训练一个低秩增量 \\(\Delta W = BA\\)，每个新任务只是多了一张小小的“味型卡”。

LoRA 与持续学习天然契合：每个任务训练一份轻量增量，老任务的增量不删，新任务的增量互不干扰；配合回放或蒸馏，还可以进一步防止增量之间的相互污染。大模型的持续学习正在从“改全部参数”走向“只改一小撮参数 + 记忆库管理”。

LoRA 的前向计算表达式如下：

米其林后厨的“纸条哲学”是：老菜谱不动，新菜法以小博大。持续学习的终极愿景，是让大模型像艾师傅一样——开三十年馆子，学一百道新菜，招牌味道一滴都不丢。这正是终身学习（Lifelong Learning）的方向：模型不是学一次就毕业，而是用一辈子、长一辈子。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class SimpleNet(nn.Module):    def __init__(self, in_dim=64, hid_dim=32, out_dim=4):        super().__init__()        self.fc1 = nn.Linear(in_dim, hid_dim)        self.fc2 = nn.Linear(hid_dim, out_dim)     def forward(self, x):        return self.fc2(F.relu(self.fc1(x)))  def make_task(seed, shift):    torch.manual_seed(seed)    x = torch.randn(200, 64)    w = torch.randn(64, 4)    y = (x @ w + shift).argmax(dim=1)    return x, y  def train_model(model, x, y, saved=None, fisher=None, lam=0.0, steps=150):    opt = torch.optim.SGD(model.parameters(), lr=0.05)    for _ in range(steps):        opt.zero_grad()        loss = F.cross_entropy(model(x), y)        if saved is not None and fisher is not None:            reg = 0.0            for name, p in model.named_parameters():                if name in fisher:                    reg = reg + (fisher[name] * (p - saved[name]) ** 2).sum()            loss = loss + lam / 2 * reg        loss.backward()        opt.step()  def compute_fisher(model, x, y, iters=20):    fisher = {}    opt = torch.optim.SGD(model.parameters(), lr=0.01)    for _ in range(iters):        opt.zero_grad()        loss = F.cross_entropy(model(x), y)        loss.backward()        for name, p in model.named_parameters():            if p.grad is not None:                fisher[name] = fisher.get(name, 0.0) + p.grad.detach() ** 2    for name in fisher:        fisher[name] = fisher[name] / iters    return fisher  def evaluate(model, x, y):    pred = model(x).argmax(dim=1)    return (pred == y).float().mean().item()  if __name__ == "__main__":    x_a, y_a = make_task(0, 0.0)    x_b, y_b = make_task(1, 3.0)     model_naive = SimpleNet()    train_model(model_naive, x_a, y_a)    acc_before = evaluate(model_naive, x_a, y_a)    train_model(model_naive, x_b, y_b)    acc_naive = evaluate(model_naive, x_a, y_a)     model_ewc = SimpleNet()    train_model(model_ewc, x_a, y_a)    fisher = compute_fisher(model_ewc, x_a, y_a)    saved = {n: p.detach().clone() for n, p in model_ewc.named_parameters()}    train_model(model_ewc, x_b, y_b, saved=saved, fisher=fisher, lam=200.0)    acc_ewc = evaluate(model_ewc, x_a, y_a)     print("=========== 持续学习: 任务A遗忘对比 ===========")    print("朴素微调后 任务A准确率: {:.2%} -> {:.2%}".format(acc_before, acc_naive))    print("EWC训练后 任务A准确率: {:.2%} -> {:.2%}".format(acc_before, acc_ewc))

1. loss = F.cross_entropy(model(x), y)标准分类损失，驱动模型学新任务
2. reg = reg + (fisher[name] * (p - saved[name]) ** 2).sum()EWC 惩罚项：重要参数偏离旧值越大，罚得越狠
3. fisher[name] = fisher.get(name, 0.0) + p.grad.detach() ** 2用梯度平方估计 Fisher 信息，衡量参数对旧任务的重要度
4. saved = {n: p.detach().clone() for n, p in model_ewc.named_parameters()}保存任务 A 学习完毕的权重快照，作为旧知识基准
5. train_model(model_ewc, x_b, y_b, saved=saved, fisher=fisher, lam=200.0)用 EWC 训练任务 B，λ 控制保护强度
6. acc_naive = evaluate(model_naive, x_a, y_a)评估朴素微调后的旧任务准确率，直接看到遗忘的代价

常见误区

面试题