任务关系建模与梯度平衡：让多任务推荐模型学会统筹兼顾

可视化演示

展示多任务学习中梯度冲突与跷跷板效应、Shared-Bottom/MMoE/PLE架构对比、PCGrad梯度投影平衡策略的损失收敛效果。

多任务学习基石

天才班的“基础课”就是多任务模型的共享底层。在这所学校里，三个学生——主攻奥数的小明、练舞蹈的小红、练田径的小刚——每天早上一起上阅读、逻辑、体能训练，这些课程培养的通用能力对三人的特长都有帮助。推荐系统里的多任务模型正是这样：共享底层网络从用户行为序列、物品特征中提取通用表示，三个任务专属塔（CTR、CVR、观看时长）则像下午的特长班，各自负责输出自己的预测。这套架构最大的好处是节省参数、充分利用数据，还能让不同任务互相“借力”。

“借力”听起来很美，但校长得先明确：如何衡量三个学生的总成绩？答案是加权求和。每个任务有一个自己的“分数”（损失函数值），校长给每科打一个重视系数（任务权重），加起来就是训练的总目标。设序列推荐模型共有 $T$ 个任务，第 $i$ 个任务的损失是 $L_i$，权重是 $w_i$，总损失写作：

$$\displaystyle L_{\text{total}} = \sum_{i=1}^{T} w_i L_i$$

1. 求和累加：$\displaystyle\sum_{i=1}^{T}$ 表示把从第 1 个到第 $T$ 个任务的所有加权损失逐项相加。

$$\displaystyle\sum_{i=1}^{T}$$

2. 任务损失：$L_i$ 是第 $i$ 个任务的损失函数值，例如点击率任务常用交叉熵，值越小代表该任务预测越准。

$$\displaystyle L_i$$

3. 任务权重：$w_i$ 控制第 $i$ 个任务在总损失中的话语权，权重越大，校长在排课时就越偏向这门课。

$$\displaystyle w_i$$

可别小看这张“总分表”。如果权重一成不变，嗓门大的科目永远占上风——这正是下一节的故事：三个学生之间的关系，远没有想象中那么简单。

任务关系建模

小明学奥数锻炼的逻辑思维，对小红理解舞蹈的节奏编排有微妙帮助，这叫“正迁移”；但小明如果每天刷五小时题、拉小红陪练，小红的舞蹈基本功反而会退步，这便成了“负迁移”。任务关系建模的核心，就是回答：CTR 和 CVR 到底共享多少信息？它们可能是“兄弟任务”——点击和转化高度相关，共享特征能互相促进；也可能是“冤家任务”——有些用户爱逛不买，点击信号反而带偏转化预测。

建模方式有两种极端路线。第一种叫硬参数共享：所有任务完全共用一套网络权重，只有顶层分成多个预测头。优点简洁、参数少、泛化好；缺点是任务差异大时容易互相扯后腿，就像三个学生挤在一间教室上完全相同的课。第二种叫软参数共享：每个任务拥有独立的网络，但通过正则约束让彼此参数靠拢，保留个性的同时又可以借鉴共性——好比三人各自请家教，但家教团队定期集体备课。工程上常把核心目标作为主任务、辅助指标作为副任务，通过系数调节贡献：

$$\displaystyle L = L_{\text{main}} + \lambda L_{\text{aux}}$$

1. 主任务损失：$L_{\text{main}}$ 是模型最优先优化的目标损失，比如电商场景里的转化率损失。

$$\displaystyle L_{\text{main}}$$

2. 辅助任务损失：$L_{\text{aux}}$ 是辅助监督信号带来的额外损失，比如点击率、停留时长，它给共享层提供更多学习线索。

$$\displaystyle L_{\text{aux}}$$

3. 平衡系数：$\lambda$ 调节辅助任务的影响力，$\lambda=0$ 时模型退化为单任务，$\lambda$ 越大辅助任务话语权越强。

$$\displaystyle \lambda$$

关系建模的实质，是决定“哪些科目合并上课、哪些分开请家教”。合并省资源但可能互相干扰，分开保个性但成本更高。而无论选择哪种方案，只要共享了参数，下一节的矛盾就会浮现：梯度失衡。

梯度失衡现象

教学研讨会上，三位老师争相向校长提要求。数学老师中气十足，一开口就是“每天加三节奥数课”，声浪震得天花板嗡嗡响；舞蹈老师声音纤细，提出的建议几乎被淹没；体育老师干脆被无视。结果学生的日程表几乎全被奥数填满。这里的“音量”，就是每个任务损失对共享参数产生的梯度范数。

即使校长在总分表里给三个任务设了相等的权重，梯度失衡依然会出现，因为各任务损失函数的“尺度”天生不同。比如 CTR 的交叉熵损失可能在 0.3 左右，CVR 的损失却高达 2.0——前者梯度小而后者梯度猛，等权相加时 CVR 的实际影响力远大于 CTR。用数学语言描述，任务 $i$ 对共享参数 $\theta$ 的梯度范数是：

$$\displaystyle G_i = \left\| \nabla_{\theta} L_i \right\|$$

1. 梯度记号：$\nabla_{\theta} L_i$ 表示第 $i$ 个任务损失对共享参数 $\theta$ 求梯度，它同时给出参数更新的方向和力度。

$$\displaystyle \nabla_{\theta} L_i$$

2. 范数压缩：$\left\| \cdot \right\|$ 将梯度向量折算成非负标量，代表该任务在更新共享参数时贡献的“总能量”。

$$\displaystyle \left\| \cdot \right\|$$

3. 失衡判据：当 $G_i \gg G_j$ 时，任务 $i$ 的梯度在参数更新中占绝对主导，这就是“嗓门压过全场”的数学表达。

$$\displaystyle G_i \gg G_j$$

梯度失衡的典型症状有三个：各任务收敛速度差异明显、某个任务验证指标长期停滞、共享 Embedding 被单一任务“带偏”。好消息是，校长已经意识到问题——接下来要出台一套新的教学管理制度。

GradNorm算法

校长宣布一条新规：每科老师的“有效音量”必须跟这门课最近的进步速度挂钩——进步慢的科目，配更大的扩音器；进步快的科目，适当让一让。这就是 GradNorm（梯度归一化）的核心思想。它不再要求各任务梯度绝对相等，而是让“加权后的梯度范数”与“任务当前损失的相对大小”相匹配，从而给学得慢的任务自动加分。

GradNorm 怎么做？首先，它给每个任务增加一个可学习的任务权重 $w_i$；然后，在训练主模型的同时，额外优化一个“梯度范数损失”。设任务 $i$ 的加权梯度范数为 $G_W^{(i)}$，所有任务的梯度范数均值为 $\bar{G}_W$，任务 $i$ 的相对损失比率为 $r_i$，GradNorm 的目标是让加权梯度范数逼近目标值：

$$\displaystyle L_{GN} = \sum_{i=1}^{T} \left| G_W^{(i)} - \bar{G}_W \times r_i^{\alpha} \right|$$

1. 加权梯度范数：$G_W^{(i)} = \left\| \nabla_W \left( w_i L_i \right) \right\|$ 是任务 $i$ 在共享权重 $W$ 上实际产生的梯度大小，即“当前音量”。

$$\displaystyle G_W^{(i)} = \left\| \nabla_W \left( w_i L_i \right) \right\|$$

2. 平均基准：$\bar{G}_W = \frac{1}{T} \sum_{i=1}^{T} G_W^{(i)}$ 是所有任务加权梯度范数的均值，相当于研讨会的平均音量。

$$\displaystyle \bar{G}_W = \frac{1}{T} \sum_{i=1}^{T} G_W^{(i)}$$

3. 相对损失比率：$r_i = \frac{\tilde{L}_i}{\mathbb{E}[\tilde{L}_i]}$ 表示任务 $i$ 当前损失在所有任务中的相对高低，$\tilde{L}_i$ 需要用初始损失归一化以消除尺度差异；损失高代表学得慢，$r_i$ 就大。

$$\displaystyle r_i = \frac{\tilde{L}_i}{\mathbb{E}[\tilde{L}_i]}$$

4. 目标设定：$\bar{G}_W \times r_i^{\alpha}$ 是任务 $i$ 的目标梯度范数。$\alpha$ 是超参数，控制“拉平训练速度”的强度，$\alpha=0$ 时所有任务目标趋同，$\alpha$ 越大对学得慢的任务越照顾。

$$\displaystyle \bar{G}_W \times r_i^{\alpha}$$

5. 偏差求和：对每个任务的偏差取绝对值后求和得到 $L_{GN}$，再对权重 $w_i$ 做梯度下降，最小化这个额外损失。

$$\displaystyle \sum_{i=1}^{T} \left| G_W^{(i)} - \bar{G}_W \times r_i^{\alpha} \right|$$

GradNorm 让研讨会的沟通逐渐均衡，但它只调节“音量大小”。假如两位老师喊出的方向完全相反，光调音量还不够——还需要一套“交通规则”。

PCGrad机制

数学老师喊“往东走”，体育老师却喊“往西走”，学生站在原地左右拉扯，训练陷入剧烈抖动。方向相反的梯度在共享参数上“顶牛”的结果，轻则收敛缓慢，重则让已学好的任务指标回退。校长于是引入 PCGrad（冲突梯度投影）规则：后发言的老师要“让路”——先把要求里与先发言老师冲突的部分去掉，只留下不冲突的成分。

PCGrad 的做法非常直观。设任务 $i$ 的梯度为 $g_i$，任务 $j$ 的梯度为 $g_j$。如果两者内积为负，说明方向夹角大于 90 度，存在冲突。此时把 $g_i$ 中与 $g_j$ 方向相反的分量剔除：

$$\displaystyle g_i^{\text{proj}} = g_i - \frac{g_i \cdot g_j}{\left\| g_j \right\|^2} g_j$$

1. 冲突判断：$g_i \cdot g_j$ 是梯度向量内积，负值表示两个梯度方向相反、存在冲突。

$$\displaystyle g_i \cdot g_j < 0$$

2. 投影系数：$\frac{g_i \cdot g_j}{\left\| g_j \right\|^2}$ 计算 $g_i$ 在 $g_j$ 方向上的分量长度，用于定位“冲突部分”有多少。

$$\displaystyle \frac{g_i \cdot g_j}{\left\| g_j \right\|^2}$$

3. 分量移除：$g_i - \frac{g_i \cdot g_j}{\left\| g_j \right\|^2} g_j$ 从 $g_i$ 中减去与 $g_j$ 平行的分量，剩下的梯度不再有反向冲突成分。

$$\displaystyle g_i - \frac{g_i \cdot g_j}{\left\| g_j \right\|^2} g_j$$

4. 正交结果：投影后的 $g_i^{\text{proj}}$ 与 $g_j$ 的内积为 0，两个梯度在参数空间中正交行驶、互不干扰。

$$\displaystyle g_i^{\text{proj}} \cdot g_j = 0$$

PCGrad 的“让路”原则让矛盾从“硬碰硬”变为“错峰通行”。但规则再好，也要有人去执行和维护——这就是工程落地环节要操心的事。

工程落地实践

规则定了，真正考验校长的是日常教务管理。GradNorm 和 PCGrad 固然强大，但工程里还需要一些“土办法”配合。首先是不确定性加权：每个任务的噪声程度天然不同——CVR 样本稀疏、噪声大，CTR 样本充足、噪声小——与其手工调权，不如让模型自己学出每个任务的“可信度”。其次是损失重标定：对损失做滑动平均归一化，消除不同任务的数值尺度差异。最后是动态权重：按验证集指标的变化，人工设计权重曲线。

不确定性加权来自概率视角：假设每个任务的观测噪声服从高斯分布，那么带权重的损失可以写成：

$$\displaystyle L = \sum_{i=1}^{T} \left( \frac{1}{2\sigma_i^2} L_i + \log \sigma_i \right)$$

1. 自适应权重：$\frac{1}{2\sigma_i^2}$ 是任务 $i$ 的自动权重，$\sigma_i$ 越大代表该任务越不确定，权重越小。

$$\displaystyle \frac{1}{2\sigma_i^2}$$

2. 任务损失：$L_i$ 是第 $i$ 个任务的原始损失，没有做任何手工缩放。

$$\displaystyle L_i$$

3. 防退化项：$\log \sigma_i$ 会随着 $\sigma_i$ 增大而增大，约束噪声参数不会无限膨胀，否则权重归零就失去了学习意义。

$$\displaystyle \log \sigma_i$$

4. 逐任务累加：对所有任务求和得到最终联合损失，每个任务的权重完全由数据驱动。

$$\displaystyle \sum_{i=1}^{T} \left( \cdot \right)$$

工程实践反复验证一个道理：多任务调优没有银弹。GradNorm 管“动态均衡”，PCGrad 管“方向冲突”，不确定性加权管“置信度”。聪明的校长会把它们组合成一套完整的教务制度，并在每个学期（离线实验、线上 A/B）持续评估再调整。

AI 应用场景

Python 演示

import numpy as np  def grad_norm_sim(steps=100, alpha=1.5, lr_w=0.05, lr_theta=0.05):    """GradNorm 轻量模拟：CTR / CVR / 时长三任务共享一个标量参数 theta。"""    theta = 0.0    w = np.array([1.0, 1.0, 1.0])    init_loss = np.array([2.0, 0.5, 1.0])     def task_info(idx, x):        if idx == 0:      # CTR 任务: 损失大、梯度陡            return (x + 2.0) ** 2, 2.0 * (x + 2.0)        if idx == 1:      # CVR 任务: 损失小、梯度平缓            return 0.2 * (x - 1.0) ** 2, 0.4 * (x - 1.0)        return (x + 0.5) ** 2, 2.0 * (x + 0.5)  # 时长任务     for t in range(steps):        losses = np.array([task_info(i, theta)[0] for i in range(3)])        grads = np.array([task_info(i, theta)[1] for i in range(3)])        # 加权梯度范数及均值        wg_norms = np.abs(w * grads)        mean_norm = np.mean(wg_norms)        # 相对损失比率 (以初始损失归一, 消除尺度差异)        ratios = (losses / init_loss) / np.mean(losses / init_loss)        targets = mean_norm * (ratios ** alpha)        # GradNorm: 更新任务权重, 使有效梯度范数接近目标        w = w - lr_w * (wg_norms - targets)        w = np.clip(w, 0.1, 5.0)        w = w / w.sum() * 3.0        # 共享参数更新        theta -= lr_theta * np.sum(w * grads)        if t % 20 == 0:            print(f"step {t:3d} | w={np.round(w, 2)} | "                  f"norms={np.round(wg_norms, 2)} | theta={theta:.3f}")  if __name__ == "__main__":    grad_norm_sim()

1. wg_norms = np.abs(w * grads)计算每个任务的加权梯度范数，即“有效音量”。
2. ratios = (losses / init_loss) / np.mean(losses / init_loss)用初始损失归一化得到相对损失比率，消除任务之间的尺度差异。
3. targets = mean_norm * (ratios ** alpha)按 GradNorm 公式为每个任务设定目标梯度范数。
4. w = w - lr_w * (wg_norms - targets)让任务权重沿偏差的反方向更新，使实际音量逼近目标音量。
5. w = w / w.sum() * 3.0重新归一化权重，保持总权重不变，避免权重数值漂移。
6. theta -= lr_theta * np.sum(w * grads)用加权后的总梯度更新共享参数。

常见误区

面试题