多任务学习损失权重：GradNorm、不确定性加权完全指南

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

问题缘起：为什么权重会失衡

三个部门的 KPI 量纲完全不同：语音助手部看“识别错误率”，数字小得可怜；人脸识别部看“准确率”，介于 0 和 1 之间；智能推荐部看“转化率”，又是另一个数量级。如果 CEO 直接把三个原始数字相加作为综合绩效，错误率这项几乎不会影响总分——它在数学上被“吃掉”了。这正是多任务学习失衡的起点：损失的数值大，不代表任务重要，只是它的“计量单位”恰好更大。

多任务学习把每个任务各自的损失求和，得到总损失，目标就是让总损失最小化。但不同任务的损失天然处于不同尺度，这导致在梯度下降中，损失数值大的任务会贡献更大的梯度，从而主导共享网络的更新方向。这不是某个任务的“性格问题”，而是多任务结构里的系统性问题。

用 T 表示任务数量，第 i 个任务的损失记为 L_i，权重 w_i 表示它在总损失中的占比。总损失是所有任务加权损失的和。权重怎么定？早期做法是手动网格搜索：不断试权重组合直到验证集满意。这就像 CEO 年初拍脑袋定完 KPI 权重后一整年不管，市场变化了也毫不调整。

所以，传统“拍脑袋”定下来的静态权重，相当于一份全年不动的 KPI 合同。行业季节变了、竞品出新品了，权重却纹丝不动，结果一定是嗓门大、基数高的部门独揽公司资源。要解决这个问题，我们需要“会自动调整”的权重机制——这就是接下来要介绍的不确定性加权与 GradNorm。

不确定性加权：按业务固有波动分配

有些部门的 KPI 天然波动大：销售部受大盘影响，每月销售额上下浮动 30% 是常态；质检部按标准流程检测，合格率波动极小。若给销售部定一个刚性指标，再努力也必然频繁偏离——因为波动来自业务本身，不是团队不努力。聪明的 CEO 会把“波动大的部门”的考核权重调低一些，让它们轻装上阵。

2018 年，Kendall 等人把这种直觉带进了多任务学习，提出不确定性加权（Uncertainty Weighting）。其核心假设是：每个任务的损失自带一个“同方差不确定性”σ²，它刻画了任务标签和度量本身固有的噪声水平。任务不确定性是模型的可学习参数，在训练中和网络权重一起被优化。

不确定性加权的总损失写成下面的形式：每个任务损失前乘上 1/(2σᵢ²)，并加上 log σᵢ。当任务不确定性 σᵢ² 很大时，权重 1/(2σᵢ²) 自动变小，模型不会拼命去拟合那些不可预测的细节；log σᵢ 是正则项，防止 σᵢ 无限增大导致权重退化到零。

这就像 HR 部门为市场波动大的业务线量身定制弹性 KPI：让波动大的部门“轻装上阵”，让稳定部门“精益求精”。不确定性加权不需要人手动调权重，σ 是跟着网络一起梯度下降的可学习参数——模型在训练过程中自己摸索出每个任务的“脾气”。

GradNorm机制：季度动态体检与资源重分配

如果说不确定性加权是“年初根据业务波动定 KPI”，GradNorm 则是“每个季度做一次全员体检”。体检项目只有一个：过去这段时间，哪个部门进步最慢？进步慢的部门，下季度获得更多资源倾斜；进步快的部门，适当减少资源。几个季度拉齐后，所有部门的“改善幅度”大致同步。

GradNorm（Chen et al., 2018）把“进步幅度”具体化为“共享层上的梯度范数”。它每隔固定步数，计算每个任务在共享网络参数 W 上的梯度范数 Gᵢ，并将这些梯度范数拉向一个“平均基准 × 相对训练速度的 α 次幂”的目标。α 是一个超参数，控制拉齐的力度——α 越大，任务被拉向平均线的力度越强。

具体地，Gᵢ(t) 是第 i 个任务在共享层 W 上的梯度二范数；平均梯度范数 Ḡ(t) 是所有任务的均值；相对训练速度 rᵢ(t) 由“当前损失相对初始损失的下降比例”计算得到。GradNorm 的目标是让每个任务的梯度范数向 Ḡ × rᵢ^α 收敛：

GradNorm 的神奇之处在于，它不直接操作损失数值，而是操作梯度——就像 CEO 不看部门的绝对利润，而是看“这个季度比上个季度进步了多少”，以此决定资源分配。这避免了不同部门初始规模不同带来的偏差，是真正的“按需分配”。

梯度竞争协调：共享层上的话语权之争

公司共享技术中台的排期有限。销售部提的需求总是最急、改动量最大，中台就总是优先满足销售部，人脸识别部的小需求排到下个月。时间一长，中台的能力越来越偏科，人脸识别业务几乎得不到中台的滋养。这就是多任务学习中的“梯度竞争”：各个任务都在争夺共享层的更新方向。

在多任务网络里，共享层参数 θ 是所有任务共享的“中台”。每个任务都会产生一个梯度方向 ∇Lᵢ，而共享层实际的更新方向是各任务梯度的加权和。如果某个任务的梯度范数长期占据主导，共享层就被它“私有化”，其他任务在共享表示上的收益会持续减弱——这就是梯度竞争失衡的根源。

总梯度由各任务梯度的加权和决定。权重是各任务的“兵力人数”，梯度方向是“进攻方向”。当某个任务的权重过大，总梯度方向就会偏向它。GradNorm 所做的协调，本质上是把兵力人数调到相近水平，让各路方向都能在总方向中发声。需要说明的是，方向冲突（比如两个任务梯度的夹角大于 90 度）单靠 GradNorm 无法彻底解决，但尺度平衡是方向公平的前提。

就像 CEO 给中台定规矩：“任何部门的需求改动量，不得长期超出其他部门的平均水平太多。”这条规矩不是要消灭部门差异，而是要保证每个部门都能在共享平台上发出自己的声音。GradNorm 调控的正是这条“声音大小”的红线。

实现流程：从公式到工程的完整步骤

GradNorm 落地不是一次性改革，而是一套季度循环：季度初各部门权重均为 1；每个季度末做体检，重新分配预算；重新分配后各权重之和保持不变，整体预算不因分配产生膨胀或萎缩。理解了这个循环，工程实现就水到渠成了。

工程上，GradNorm 的操作对象是共享层参数 W 与任务权重 wᵢ。共享层通常是网络的前几层，任务头则是各家业务线专属的后置层。实现时只需在常规训练循环中插入一个周期性函数调用。

具体步骤：先把所有 wᵢ 初始化为 1；每个前向过程照常计算各任务损失；每隔 T_grad 步，用自动求导计算各任务在共享层上的梯度范数；计算平均梯度范数和相对训练速度；对权重做一步梯度下降，使其梯度范数向目标对齐；最后做权重重新归一化——把所有权重的和重新缩放为任务数 T：

这个“预算平衡”步骤看似简单，却是 GradNorm 能稳定训练的关键。它保证权重调整只改变任务间的相对关系，不改变全局优化步长的总体大小——就像公司内部重新分配预算，但总预算不增不减。

评估指标：如何判断调整好不好

公司年度股东大会要评估调权方案好不好，不能只看总利润，还要看每个部门相对“独立运营时”是否有增长——这才是共享资源的价值证明。如果某个部门比单干时还差很多，说明共享不仅没有带来知识增益，反而因为失衡产生了负迁移。

多任务模型的效果评估也需要对比“单任务模型”基线。理想情况下，每个任务在多任务模型里都应接近甚至超过单任务水平。若某个任务在多任务模型里显著退化，说明共享表示被其他任务挤占了。对此，业界常使用 Δ 指标来衡量多任务学习的整体净增益。

Δ 指标的做法是：对每个任务，计算多任务模型表现相对单任务模型表现的相对变化率，然后对所有任务取平均。正值表示大多数任务获得了正向迁移；负值表示共享带来了净损失。除了 Δ 指标，还需要考察各任务的收敛速度——好的权重方法应该让所有任务同步收敛，以及权重在训练中的稳定性（鲁棒性）。

好的多任务权重方法，应当像一份合格的董事会报告：既能看到整体利润上升，也能看到每个部门都因共享中台而变得更强，而不是“一个部门吃撑、其余部门饿倒”。评估权重方法，核心就是看这份“共享收益账本”是否每个部门都为正。

前沿展望：从多任务到多模态与通用智能

当公司从 3 条业务线扩张到 30 条、300 条，靠 HR 手工做季度体检就太累了。未来趋势是让调权自动化，让每个业务部门的声音按自身状态自动加权。多任务学习正沿着这条路，从几个任务走向多模态大模型中成百上千个子任务。

研究前沿上，损失权重正从“手工 / 半自动”走向“全自动化”。一种常见做法是 softmax 式动态权重——把每个任务的信号映射成一个和为 1 的分布，权重自然满足归一化约束。此外，元学习可以学习“权重更新的规则”，让模型自己发现最优的调权策略；不确定性建模也在与更大的模型结合。

softmax 形式的动态权重可以写成下面的形式：αᵢ(t) 是任务 i 在时刻 t 的权重，sᵢ(t) 是任务信号强度（例如损失或负不确定性）。信号越强的任务，权重会被指数压缩；所有任务的权重自动形成和为 1 的概率分布。

从一个 CEO 的三部门 KPI 困境，到通用人工智能动辄上百个子任务的自动平衡，核心依然是那个朴素的道理：让每个任务被公平看见、按需取资源。多任务损失权重，就是这套“公司治理智慧”在神经网络中的投影——它离“通用智能”的距离，恰好等于我们距离“自动而优雅地平衡所有目标”的距离。

AI 应用场景

Python 演示

import torchimport torch.nn as nn torch.manual_seed(0) N, D = 128, 8X = torch.randn(N, D)Y1 = (X.sum(dim=1) > 0).long()Y2 = ((X[:, 0] * X[:, 1]) > 0).long()  class Net(nn.Module):    def __init__(self):        super().__init__()        self.shared = nn.Sequential(nn.Linear(D, 16), nn.ReLU())        self.head1 = nn.Linear(16, 2)        self.head2 = nn.Linear(16, 2)     def forward(self, x):        h = self.shared(x)        return self.head1(h), self.head2(h)  net = Net()loss_fn = nn.CrossEntropyLoss()opt = torch.optim.Adam(net.parameters(), lr=0.01) w = torch.ones(2)alpha = 0.6lr_w = 0.01init_l = [0.0, 0.0]  def grad_norm_step(ws, alpha, shared_params, losses, init_l):    gs = []    for i in range(2):        g = torch.autograd.grad(ws[i] * losses[i], shared_params, retain_graph=True)        g_vec = torch.cat([gi.reshape(-1) for gi in g])        gs.append(g_vec.norm())    G = torch.stack(gs)    gbar = G.mean()    raw = torch.tensor([losses[i].item() / init_l[i] for i in range(2)])    r = raw / raw.mean()    target = gbar * (r ** alpha)    with torch.no_grad():        new_w = ws - lr_w * (G - target)        new_w = new_w * (2.0 / new_w.sum())        ws.copy_(new_w)    return G.detach()  for step in range(200):    logits1, logits2 = net(X)    loss1 = loss_fn(logits1, Y1)    loss2 = loss_fn(logits2, Y2)    if step == 0:        init_l = [loss1.item(), loss2.item()]    if step % 20 == 0:        G = grad_norm_step(w, alpha, list(net.shared.parameters()), [loss1, loss2], init_l)        print(f"step {step:3d} | w1={w[0].item():.3f} w2={w[1].item():.3f} | "              f"G1={G[0].item():.3f} G2={G[1].item():.3f}")    total_loss = w[0] * loss1 + w[1] * loss2    opt.zero_grad()    total_loss.backward()    opt.step()

1. g = torch.autograd.grad(ws[i] * losses[i], shared_params, retain_graph=True)单独求任务 i 在共享层上的梯度，不污染总损失的后续反向传播。
2. g_vec = torch.cat([gi.reshape(-1) for gi in g])把共享层所有参数的梯度拼接成一维向量，方便计算统一范数。
3. gs.append(g_vec.norm())计算该任务梯度向量的 L2 范数，代表任务当前的“发力大小”。
4. raw = torch.tensor([losses[i].item() / init_l[i] for i in range(2)])各任务相对初始损失的剩余比例，衡量“还有多少没降下来”。
5. r = raw / raw.mean()相对训练速度：比值大于 1 说明该任务比平均任务学得慢，需要倾斜资源。
6. target = gbar * (r ** alpha)慢任务的目标梯度范数被放大，快任务被缩小，形成差异化目标。
7. new_w = ws - lr_w * (G - target)把当前梯度范数与目标之间的差距折算成权重的步进更新。
8. new_w = new_w * (2.0 / new_w.sum())权重重新归一化，让权重和恒等于任务数 2，稳定全局学习率。

常见误区

面试题