大模型多任务微调策略

可视化演示

展示多任务数据配比采样、任务冲突检测与LoRA适配器路由，含单任务vs多任务效果对比与知识共享机制。

多任务微调基础：中央厨房的一桌宴席

中央厨房拿到了十桌宴席的单。老周心里算了笔账：每道菜各开一家独门小店，是“单任务微调”——一个模型只学一个技能，部署十个模型，成本高、知识不流通；而让所有厨师共用一间厨房，菜式之间的刀工、火候、高汤能互相借鉴，这就是“多任务微调”。共享，是这间厨房的立身之本。

技术上，多任务微调把 K 个任务的数据放进同一次训练，让模型的同一组参数 θ 同时把 K 件事都做好。每个任务有一个自己的损失函数 $L_k$，模型的“总成绩”就是各科成绩的加权平均。你可能会问：凭什么让参数同时迁就这么多任务？答案很简单——因为我们相信这些任务在底层有共同的语言理解、常识和推理结构，就像不同菜系都离不开刀工和吊汤。

总损失的形式如下：

$$\displaystyle L(\theta)=\sum_{k=1}^{K}\lambda_k\,L_k(\theta)$$

其中 λ_k 是任务 k 的权重，λ 越大，训练时越优先照顾这个任务。这个公式看起来平淡无奇，但整篇多任务策略都围绕它展开——权重怎么定、损失怎么算、冲突怎么化解，全在“加权和”这三个字里。

1. 任务损失 $L_k(\theta)$：第 k 个任务用它自己的数据算出模型当前的误差，相当于每道菜当下的“火候偏差评分”。

$$\displaystyle L_k(\theta)=\frac{1}{N_k}\sum_{i=1}^{N_k}\ell\big(f_\theta(x_i^{(k)}),y_i^{(k)}\big)$$

2. 任务权重 λ_k：每个任务在总分数里的分量，权重越大，这道菜在总厨心中的优先级越高。

$$\displaystyle \lambda_k\ge 0,\quad \sum_{k=1}^{K}\lambda_k=1$$

3. 加权求和：把 K 道菜的火候偏差按各自分量加总，得到一次训练的“总评分”，梯度下降就是让这个总分不断降低。

\displaystyle \theta^{\*}=\arg\min_{\theta}\sum_{k=1}^{K}\lambda_k\,L_k(\theta)

中央厨房的好处在于知识共享，但“总评分”的设计也有陷阱：如果某道菜的权重压过了其他菜，整桌宴席就会变成“独菜秀”。权重怎么定、每道菜喂多少数据，正是下一节要解决的备料问题。

数据配比策略：备料不能只按“谁食材多”

备菜是晚宴成败的第一关。老周看着仓库：蒜蓉虾有 500 份食材，松露豆腐只有 10 份。如果“谁食材多就多备谁”，后厨一晚上都在做虾，松露豆腐还没轮到就收档了。数据配比面临的正是这个局面：大任务的数据动辄百万条，小任务可能只有几千条，直接按数据量比例来，小任务在每一轮训练中根本“吃不到几口”。

数据配比就是决定每个任务的数据在每一轮训练中占多大比例。最朴素的做法是按数据量自然比例——但大任务会刷屏，小任务“吃不饱”。业界常用的手段是给配比加一个“温度系数 α”，在自然比例和完全均分之间滑动：

$$\displaystyle p_i=\frac{N_i^{\alpha}}{\sum_{j=1}^{K}N_j^{\alpha}},\qquad \alpha\ge 0$$

α=1 就是自然比例；α=0 就是完全均分；α 取 0.2~0.5 时，可以人为把“小任务”的备料权重抬上来，同时保留大数据集的一点点规模优势。

1. 样本数 $N_i$：任务 i 拥有的数据条数，对应第 i 道菜的食材总量。

$$\displaystyle N_i=|\mathcal{D}_i|$$

2. 配比温度 α：控制配比在大户倾斜和完全均分之间滑动；α=0 时每个任务等权，α=1 时恢复自然比例。

$$\displaystyle \alpha=0\Rightarrow p_i=\dfrac{1}{K},\qquad \alpha=1\Rightarrow p_i=\dfrac{N_i}{\sum_{j=1}^{K}N_j}$$

3. 归一化分母：把各任务 α 次方后的规模加总，保证所有 p_i 加起来等于 1，成为一个合法的采样概率。

$$\displaystyle p_i\in(0,1),\quad \sum_{i=1}^{K}p_i=1$$

老周给松露豆腐偷偷加大了备料权重——数据少不要紧，只要配比照顾到位，小任务也能学到足够的火候。不过配比是“静态计划”，真到开火时，还得靠采样策略决定先炒哪锅。

采样策略：每步先抽哪一道菜

备料只是计划。晚上 6 点开火，灶只有两口，老周必须决定此刻先炒哪道菜。如果永远只炒备料最多的虾，炖了两个小时的佛跳墙就砸了；如果每道菜轮着来但不管熟没熟，菜又都是夹生的。采样策略解决的就是这个“顺序与频率”的问题。

采样策略决定每个训练 batch 从哪个任务取数据。常见做法是“按配比随机采样”——每步丢一次骰子，骰子面大小就是配比。进阶做法是“动态困难度采样”：哪个任务当前损失最大（学得最差），就临时提高它的抽取概率，相当于哪道菜生疏就多上几次灶：

$$\displaystyle R_i(t+1)\propto R_i(t)\cdot\left(\frac{\mathcal{L}_i(t)}{\bar{\mathcal{L}}(t)}\right)^{\gamma},\qquad \gamma\ge 0$$

1. 当前采样权重 $R_i(t)$：第 t 轮时任务 i 被抽中的权重，相当于总厨此刻对每道菜的“关注度”。

$$\displaystyle R_i(t)\ge 0$$

2. 相对困难度：任务 i 的当前损失除以所有任务的平均损失；大于 1 说明这道菜目前最没做好，小于 1 说明已经比较稳了。

$$\displaystyle \frac{\mathcal{L}_i(t)}{\bar{\mathcal{L}}(t)}>1$$

3. γ 与归一化更新：γ 控制补偿力度，γ=0 表示维持原配比不补偿，γ 越大越向难任务倾斜；最后除以总和做归一化。

$$\displaystyle R_i(t+1)=\frac{R_i(t)\left(\mathcal{L}_i(t)/\bar{\mathcal{L}}(t)\right)^{\gamma}}{\sum_{j=1}^{K}R_j(t)\left(\mathcal{L}_j(t)/\bar{\mathcal{L}}(t)\right)^{\gamma}}$$

动态采样让模型把“力气”花在最需要的地方。但就算配比和顺序都合理，两道菜同时抢锅时火候方向相反，还是会打架——这就是任务冲突。

冲突检测方法：谁在给模型“倒油”

后厨最怕两件事同时要做相反的火候：糖醋排骨要小火收汁，麻辣香锅要大火爆炒——同一个灶台却要推往两个方向。在模型里，这个“推力方向”叫梯度：每个任务都会算出自己希望参数往哪个方向调整，如果两个方向几乎相反，参数就会被拉扯在原地。

任务冲突的实质：更新同一组参数时，任务 i 想让参数往东偏，任务 j 想让参数往西偏。最常用的检测手段是计算两个任务梯度的余弦相似度——它衡量两个方向夹角的余弦值，跟“力度大小”无关，只关心方向是否一致：

$$\displaystyle \cos\theta_{ij}=\frac{\mathbf{g}_i\cdot\mathbf{g}_j}{\|\mathbf{g}_i\|_2\,\|\mathbf{g}_j\|_2}\in[-1,1]$$

1. 梯度向量 $g_i$：任务 i 的损失对模型参数的偏导，表示“想让参数往哪个方向调”，就像主厨推灶火的力。

$$\displaystyle \mathbf{g}_i=\nabla_{\theta}L_i(\theta)$$

2. 内积 $g_i\cdot g_j$：两个方向在同一条线上的投影乘积；同向为正、反向为负、垂直为零。

$$\displaystyle \mathbf{g}_i\cdot\mathbf{g}_j=\sum_{d}g_{i,d}\,g_{j,d}$$

3. L2 范数归一化：除以两个向量的模长，把“方向夹角”与“力度大小”解耦。余弦接近 -1 表示两个方向几乎相反，冲突严重；接近 1 表示方向一致，是理想的正迁移。

$$\displaystyle \cos\theta_{ij}\approx -1,\quad \cos\theta_{ij}\approx 1$$

检测到余弦为负只是第一步。老周知道问题的本质：不是菜不能做，而是两股力在互相抵消。化解要靠“分力”的技巧。

冲突缓解策略：把拉扯力分解开

老周的化解方法很高明：不是让两边各让一半（那就两道菜都不熟了），而是把其中一股力分解——保留它和自己垂直的分量，把与对方相反的分量卸掉。你推你的，我推我的，互不干扰。这就是梯度投影思想（PCGrad 的核心）。

若 $g_i$ 与 $g_j$ 的余弦为负，就把 $g_i$ 中与 $g_j$ 共线且相反的分量剔除，让更新只在与 $g_j$ 正交的方向进行：

$$\displaystyle \mathbf{g}_i'=\mathbf{g}_i-\frac{\mathbf{g}_i\cdot\mathbf{g}_j}{\|\mathbf{g}_j\|_2^2}\,\mathbf{g}_j$$

1. 投影分量提取：用 $g_i$ 在 $g_j$ 方向上的投影长度（带符号）得到一个系数，乘上 $g_j$ 就是“对方对我的拉扯分量”。

$$\displaystyle \mathrm{proj}_{\mathbf{g}_j}(\mathbf{g}_i)=\frac{\mathbf{g}_i\cdot\mathbf{g}_j}{\|\mathbf{g}_j\|_2^2}\,\mathbf{g}_j$$

2. 正交化剔除：从 $g_i$ 中减去这个拉扯分量，剩下的 $g_i'$ 与 $g_j$ 正交，不再逆向干扰任务 j。

$$\displaystyle \mathbf{g}_i'\perp\mathbf{g}_j$$

3. 配套缓解手段：除梯度投影外，还可以用动态任务加权、任务分组、分阶段训练来减少冲突。动态加权是让权重随损失波动：学得差的任务权重自动变大。

$$\displaystyle w_k(t)=\frac{\lambda_k\,e^{\beta\,\mathcal{L}_k(t)}}{\sum_{j=1}^{K}\lambda_j\,e^{\beta\,\mathcal{L}_j(t)}}$$

有了“错峰用力”的功夫，同一锅也能容纳几十道菜。但有些菜的味道实在太个性，老周不想为它重开厨房，只想要一个“专属调料包”——这就是 LoRA。

LoRA 适配器路由：一锅底味，一菜一味

中央厨房的底汤、刀工是共享资产，但松露汤的松露油、藤椒鸡的藤椒油各是各的。LoRA 就是这个“专属调料包”：基础大模型（共享底味）冻结不动，只为每个任务加一条极小的可训练旁路。这样既不影响其他任务，又能让每个任务拥有自己的独特风味。

LoRA 把权重的增量 $\Delta W$ 分解成低秩矩阵 A 与 B 的乘积，训练时只更新这条旁路，参数量从亿级降到百万级。多任务场景下，每个任务挂一个适配器，再用一个轻量路由按输入决定激活哪一包调料：

$$\displaystyle h=\left(W_0+\frac{\alpha}{r}\,B\,A\right)x$$

1. 冻结的基座权重 $W_0$：预训练得到的共享模型参数，训练时不更新，相当于不换底汤。

$$\displaystyle \Delta W_0=0$$

2. 低秩旁路 $B\cdot A$：A 先把输入压到 r 维，B 再升回原维度，乘积表达的增量空间秩不超过 r，参数量约 2·d·r，只有全量微调的零头。

$$\displaystyle A\in\mathbb{R}^{r\times d},\quad B\in\mathbb{R}^{d\times r},\quad \mathrm{rank}(BA)\le r$$

3. 缩放系数 α/r：控制调料包“浓度”，r 决定表达能力，α 决定加入多少增量。

$$\displaystyle \Delta W=\frac{\alpha}{r}\,B\,A$$

4. 路由混合推理：推理时根据输入学一个轻量路由权重 π(x)，把各适配器加权叠加，实现“按单取料”。

$$\displaystyle h=\left(W_0+\sum_{k=1}^{K}\pi_k(x)\,\frac{\alpha_k}{r_k}\,B_kA_k\right)x$$

老周终于实现了“一锅共用、一菜一味”：基座共享、调料独立、按单取料。最后，他得面对一个更根本的问题——中央厨房到底比独门小店强在哪？答案要看效果。

效果对比评估：中央厨房赢了没有

宴席散场，客人打分。老周不靠感觉下结论，而是把每道菜分别端到“独门小店”和“中央厨房”两组场景里对比——同样的食材、同样多的功夫，看哪边得分高。模型评估也是一样：不能只看多任务模型的绝对分数，必须和单任务基线比。

评估多任务微调的标准做法：在每个任务自己的测试集上，把多任务模型的分数与单任务基线分数比较，计算“相对提升”。提升为正叫正迁移，为负叫负迁移——负迁移意味着合起来练反而变差了。

$$\displaystyle \Delta_k=\frac{M_k^{\text{multi}}-M_k^{\text{single}}}{M_k^{\text{single}}}\times 100\%$$

1. 单任务基线 $M_k^{\text{single}}$：只用一个任务的数据、同样算力预算单独微调出来的模型在该任务上的分数。

$$\displaystyle M_k^{\text{single}}=\mathrm{Score}\big(f_{\theta_k^{\text{single}}}\big)$$

2. 多任务分数 $M_k^{\text{multi}}$：中央厨房联合训练出的模型在该任务测试集上的分数。

$$\displaystyle M_k^{\text{multi}}=\mathrm{Score}\big(f_{\theta^{\text{multi}}}\big)$$

3. 平均提升：把所有任务相对提升取平均，判断整体是赚是亏。

$$\displaystyle \bar{\Delta}=\frac{1}{K}\sum_{k=1}^{K}\Delta_k$$

4. 最差任务检查：再看提升最小的那个任务，防止为了平均分牺牲个别任务。

$$\displaystyle \Delta_{\min}=\min_{k}\Delta_k$$

经验规律：任务相关时，小样本任务受益最大——共享表示让它在“没见过的菜”上也能借力；任务八竿子打不着时，硬凑一桌反而互相拖累。老周的中央厨房，只有备料、顺序、分力、调料包都管好，才能端出比十家独门小店更好的一桌菜。

AI 应用场景

Python 演示

import numpy as np np.random.seed(7)D = 4# 任务1与任务2在前两维方向一致, 后两维方向相反, 制造梯度冲突w1 = np.array([2.0, -1.0, 1.0, -0.8])w2 = np.array([1.8, -1.2, -1.0, 0.8])w3 = np.array([0.5, 0.6, 0.7, 0.9])sizes = [2000, 1500, 120]   # 任务3是小样本任务 def make_data(w, n):    X = np.random.randn(n, D)    return X, X @ w data = [make_data(w1, sizes[0]), make_data(w2, sizes[1]), make_data(w3, sizes[2])] def loss(w, X, y):    return float(np.mean((X @ w - y) ** 2)) def grad(w, X, y):    return 2 * X.T @ (X @ w - y) / len(X) # 1) 检测冲突: 在初始参数处比较任务1与任务2的梯度方向w0 = np.zeros(D)g1, g2 = grad(w0, *data[0]), grad(w0, *data[1])cos12 = float(g1 @ g2 / (np.linalg.norm(g1) * np.linalg.norm(g2) + 1e-8))print("任务1与任务2的梯度余弦相似度:", round(cos12, 3)) # 2) 多任务训练: 每步按配比随机抽一个任务, 相当于采样策略def train(ratios, epochs=800, lr=0.05):    w = np.zeros(D)    for _ in range(epochs):        i = int(np.random.choice(3, p=ratios))        X, y = data[i]        w -= lr * grad(w, X, y)    return w natural = np.array(sizes, dtype=float) / sum(sizes)   # 小任务几乎不被抽到balanced = np.array([0.34, 0.32, 0.34])               # 均衡配比保护任务3 for name, ratios in [("自然配比", natural), ("均衡配比", balanced)]:    w = train(ratios)    m = [loss(w, *data[i]) for i in range(3)]    print(f"{name}: 任务1={m[0]:.3f} 任务2={m[1]:.3f} 任务3={m[2]:.3f}")

1. g1, g2 = grad(w0, *data[0]), grad(w0, *data[1])在初始参数处分别计算两个任务的梯度，方向对比才有意义
2. cos12 = float(g1 @ g2 / (np.linalg.norm(g1) * np.linalg.norm(g2) + 1e-8))余弦相似度公式的实现，结果接近 -1 说明冲突明显
3. i = int(np.random.choice(3, p=ratios))每个训练步按配比随机抽一个任务，这就是采样策略
4. w -= lr * grad(w, X, y)只更新一套共享参数 w，体现多任务共享模型
5. natural = np.array(sizes, dtype=float) / sum(sizes)自然配比下任务 3 仅占约 3%，会被淹没
6. balanced = np.array([0.34, 0.32, 0.34])人为抬升小任务配比，对应 α<1 的均分化思路
7. print(f"{name}: ...")对比输出三个任务最终损失，看小任务是否被“救回来”

常见误区

面试题