想象你是市中心一家小餐馆的主厨。晚餐高峰一到，菜单上同时蹦出红烧肉、糖醋排骨、番茄炒蛋——你既不能开三个厨房各做各的，也不能把所有菜硬塞进一口锅乱炖。真正的大厨会共用一个灶台，先炒出一锅通用底料，再按每道菜的口味加料调味。这就是多任务强化学习（Multi-Task Reinforcement Learning）的生活原型：一个智能体同时学习多个相关任务，共享“底料”（知识），让学一个任务的经验变成学另一个任务的加速器。 当然，同时做菜也有风险——一道菜要大火爆炒，另一道要小火慢炖，火候冲突怎么办？这就像不同任务对参数的梯度方向互相打架。好厨师懂得调整顺序、按火候分组、临时改方案，对应到算法里就是梯度冲突消解、任务分组和动态调度。本文就带你从一盘菜里，看懂多任务强化学习的全部门道。

岗位关联

掌握多任务强化学习，意味着你能用一套智能体同时服务多个业务目标，大幅降低训练与部署成本，是AI从业者从“一个模型一个任务”走向“一个模型全家通用”的关键一跃。

目录
  1. 可视化演示
  2. 多任务RL概述
  3. 共享网络设计
  4. 梯度冲突解法
  5. 任务分组策略
  6. 训练调度技巧
  7. 稳定与效率
  8. 实践应用场景
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

参数共享——多任务架构 共享层：提取通用特征 任务头：特定输出 θ_shared → {θ₁,θ₂,...,θₙ} 硬共享迁移强但灵活性低

多任务RL概述

一个厨房为什么不开五个灶台？因为成本高、效率低、经验不互通。单任务强化学习就像每道菜从零备料——菜谱完全不同，连盐放多少都要重新试。当你想开第二家店时，发现之前积累的手感一点用不上。这就是单任务学习的局限：每换一个目标，就要重新采集数据、重新训练模型，浪费大量算力和时间。

多任务强化学习把多个任务放进同一个训练流程，让模型同时学抓取、放置、推开等技能。它与单任务的最大区别在于“知识迁移”：不同任务共享底层特征提取和决策习惯，学抓取时获得的视觉经验，能帮助学放置时更快定位目标。最终收益是整体性能提升和样本效率提高。

数学上，多任务RL把多个任务的目标合并成一个联合目标。设共有 $T$ 个任务，每个任务有损失 $L_i(\theta)$，总损失为：

就像把红烧肉、糖醋排骨放同一口锅，共用底料，每道菜只需加最后一步独特调味，整体出菜效率自然高出不少。多任务RL不是把模型变大，而是把经验变厚。

LMTL(θ)=∑i=1TwiLi(θ)\displaystyle L_{MTL}(\theta) = \sum_{i=1}^{T} w_i L_i(\theta)
总损失等于每个任务各自损失按权重相加。权重越大，训练时越偏心照顾那个任务。
  1. 任务损失$L_i(\theta)$ 表示第 $i$ 个任务在当前参数下表现好坏，可以理解为“这道菜还没做到位的程度”。
    Li(θ)=Eτ∼πθ[∑tγt⋅（目标−当前回报）]\displaystyle L_i(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \gamma^t \cdot（目标 - 当前回报） \right]
  2. 任务权重$w_i$ 调节各任务在联合目标中的发言权，相当于客人催单时哪道菜先做。
    wi>0,∑i=1Twi=1w_i > 0, \quad \sum_{i=1}^{T} w_i = 1
  3. 累加合并$\sum_{i=1}^{T}$ 把 $T$ 个任务的损失加权汇总成一个标量，便于梯度回传。
    LMTL(θ)=w1L1(θ)+w2L2(θ)+⋯+wTLT(θ)\displaystyle L_{MTL}(\theta) = w_1 L_1(\theta) + w_2 L_2(\theta) + \dots + w_T L_T(\theta)

共享网络设计

共享锅底有两种做法。一种叫硬共享：所有菜共用一个锅底，只有最后摆盘时各自加料——对应硬参数共享，所有任务共用一个底层网络，只在输出层分出多个任务头。另一种叫软共享：每道菜有自己的小锅，但是调味罐是公用的——对应软参数共享，每个任务有独立网络，但用正则项让各网络的参数互相靠近。

硬参数共享最容易实现，参数量小，适合任务相关性高的场景。它的结构是“共享主干 + 任务头”：底层通用特征提取层被所有任务共用，顶层每个任务独享一个输出头。软参数共享更灵活，每个任务保留自己的网络，同时通过正则惩罚把参数拉近，适合任务间差异较大的情况。还有一类混合式结构，只共享部分层，其余层各任务私有，是最常用的工程选型。

共享网络设计可以用参数集合来表示：

一个好的共享设计，就像大厨不会让每道菜都从头炒起——葱姜蒜爆香是共用的，红烧和糖醋的挂汁才是各自的。共享层越浅越通用，越深越任务化，选几层共享需要根据任务相关性定。

θ=θshared∪⋃i=1Tθi(head)\displaystyle \theta = \theta_{shared} \cup \bigcup_{i=1}^{T} \theta_i^{(head)}
模型参数分两块：所有任务共用的共享参数，加上每个任务单独的任务头参数。
  1. 共享主干$\theta_{shared}$ 是所有任务共用的那部分参数，相当于这桌菜的锅底底料。
    θshared=LayerNorm(MLP(x;Ws))\displaystyle \theta_{shared} = \text{LayerNorm}(\text{MLP}(x; W_s))
  2. 任务头$\theta_i^{(head)}$ 是任务 $i$ 独占的输出层参数，相当于每道菜最后的拼盘点缀。
    ai=MLPhead(i)(h;θi(head))\displaystyle a_i = \text{MLP}_{head}^{(i)}(h; \theta_i^{(head)})
  3. 并集合并$\cup$ 把共享参数和各任务头参数拼在一起，构成整套模型参数，训练时一起更新。
    θ=θshared∪θ1(head)∪θ2(head)∪⋯∪θT(head)\displaystyle \theta = \theta_{shared} \cup \theta_1^{(head)} \cup \theta_2^{(head)} \cup \dots \cup \theta_T^{(head)}

梯度冲突解法

火候冲突是同时做菜最大的坑：一道菜要大火爆炒，另一道要小火慢炖，同时开火就会把灶台烧糊。在训练里，这种冲突表现为“梯度方向打架”。设任务A的梯度是 $g_A$，任务B的梯度是 $g_B$，如果两者夹角大于90度（点积为负），更新 $g_A$ 时会让任务B变差，更新 $g_B$ 时又让任务A变差，训练就在原地拉锯。

这就是梯度冲突的来源。不同任务对同一共享参数提出了相反方向的更新要求，经典解法是简单求和取平均，但平均后两个方向互相抵消，收敛极慢，甚至出现“梯度主导”——奖励幅度大的任务霸占梯度方向，小任务被淹没。

PCGrad（Projected Gradient Correction，投影梯度修正）就是针对这一问题的经典方案。核心思想：当两个梯度方向冲突时，把其中一个梯度投影到另一个梯度的法平面上，去掉会互相抵消的分量：

在实现中，要对任务两两做一次这样的投影，最后得到一组“不打架”的梯度再更新参数。就像厨师遇到火候冲突时，不再两头硬拉，而是先保证主线火候，把冲突操作顺势调整——红烧肉保住了，糖醋排骨也没毁。

gi′=gi−gi⋅gj∥gj∥2gj,若 gi⋅gj<0\displaystyle g_i' = g_i - \frac{g_i \cdot g_j}{\|g_j\|^2} g_j, \quad \text{若 } g_i \cdot g_j < 0
两个任务梯度方向相反时，就把其中一个的“对抗分量”剪掉，只留下不与另一个冲突的部分。
  1. 冲突判断$g_i \cdot g_j < 0$ 表示梯度方向夹角超过90度，更新会互相拆台。
    gi⋅gj=∥gi∥∥gj∥cos⁡θ<0\displaystyle g_i \cdot g_j = \|g_i\| \|g_j\| \cos \theta < 0
  2. 投影系数$\frac{g_i \cdot g_j}{\|g_j\|^2}$ 是 $g_i$ 在 $g_j$ 方向上的分量长度（归一化后），相当于“挤进对方轨道的那部分力”。
    projgj(gi)=gi⋅gj∥gj∥2gj\displaystyle \text{proj}_{g_j}(g_i) = \frac{g_i \cdot g_j}{\|g_j\|^2} g_j
  3. 消去分量从 $g_i$ 中减掉它在 $g_j$ 方向的分量，剩下的部分与 $g_j$ 正交，冲突消失。
    gi′⋅gj=(gi−projgj(gi))⋅gj=0\displaystyle g_i' \cdot g_j = (g_i - \text{proj}_{g_j}(g_i)) \cdot g_j = 0

任务分组策略

有经验的厨师不会把麻辣火锅和清蒸鲈鱼放同一口锅——口味相冲。任务分组策略也一样：与其让所有任务挤在一个共享网络里互相干扰，不如把“口味相近”的任务放在一组，各自用一组共享参数。关键问题变成了：怎么判断两个任务是否口味相近？

答案是看梯度的余弦相似度。如果两个任务的梯度方向经常一致，说明它们对参数有相似的偏好，适合共享；如果总是相反，说明它们在互相较劲，应该分开处理。任务 $i$ 和任务 $j$ 的梯度相似度定义为：

有了相似度矩阵，就可以用聚类算法把任务自动分成若干组，每组走一条共享网络，组内共享、组间隔离。更高级的做法是动态重组：训练过程中每隔若干轮重新计算相似度，因为训练初期梯度和后期可能差异很大，就像客人口味会变，菜谱分组也要定期调整。

cos⁡(gi,gj)=gi⋅gj∥gi∥⋅∥gj∥\displaystyle \cos(g_i, g_j) = \frac{g_i \cdot g_j}{\|g_i\| \cdot \|g_j\|}
余弦值越接近 1，两个任务的梯度方向越一致，越适合放进同一组共享知识。
  1. 点积同步度$g_i \cdot g_j$ 衡量两个梯度在方向上的同步程度，正值同向，负值反向。
    gi⋅gj=∑kgi,k⋅gj,k\displaystyle g_i \cdot g_j = \sum_{k} g_{i,k} \cdot g_{j,k}
  2. 标准化缩放$\|g_i\| \cdot \|g_j\|$ 把点积缩放到 $[-1, 1]$ 区间，消除梯度大小的影响。
    ∥g∥=∑kgk2\displaystyle \|g\| = \sqrt{\sum_k g_k^2}
  3. 余弦值判据$\cos(g_i, g_j)$ 越接近 1 越适合共享，越接近 -1 越要拆开。
    cos⁡(gi,gj)≈1⇒共享；cos⁡(gi,gj)≈−1⇒分离\displaystyle \cos(g_i, g_j) \approx 1 \Rightarrow \text{共享}；\quad \cos(g_i, g_j) \approx -1 \Rightarrow \text{分离}

训练调度技巧

新厨师上岗，先做番茄炒蛋练手，再挑战红烧肉——这叫课程学习。多任务RL也讲究“先易后难”：训练初期先跑简单任务，让共享层先把基础特征学好，再逐步加入难任务，能避免一上来就在困难任务上反复震荡。

任务之间还会互相争抢计算资源。聪明的做法是给每个任务分配一个权重，让权重自动适应训练状态。经典的不确定性加权法利用每个任务的不确定性 $\sigma_i$ 来自动调节权重——不确定性大的任务说明当前回报噪声大，权重应降低，防止它干扰共享层。它的损失函数形式为：

配合优先级采样和交替训练，每个任务都能得到恰如其分的关注。就像好厨师会在高峰前准备好所有食材，根据出菜速度动态调整火候——不会为了一道催单的菜把其他菜烤糊。

Ltotal(θ)=∑i=1T(12σi2Li(θ)+log⁡σi)\displaystyle L_{total}(\theta) = \sum_{i=1}^{T} \left( \frac{1}{2\sigma_i^2} L_i(\theta) + \log \sigma_i \right)
每个任务的损失除以它自身的噪声方差，噪声大的任务自动降低权重，再加一个防止权重失效的校正项。
  1. 噪声水平$\sigma_i$ 表示任务 $i$ 的回报噪声大小，噪声大的任务梯度信号不可靠。
    σi2=Var(Giπ)\displaystyle \sigma_i^2 = \text{Var}(G_i^\pi)
  2. 自适应权重$\frac{1}{2\sigma_i^2}$ 让噪声大的任务权重自动变小，相当于“信号不好就先别抢话筒”。
    12σi2Li(θ)→σi↑权重↓\displaystyle \frac{1}{2\sigma_i^2} L_i(\theta) \xrightarrow{\sigma_i \uparrow} \text{权重} \downarrow
  3. 正则防退化$\log \sigma_i$ 防止模型把 $\sigma_i$ 无限放大导致权重归零，起到牵制作用。
    ∂∂σi(12σi2Li+log⁡σi)=0⇒σi2=Li\displaystyle \frac{\partial}{\partial \sigma_i} \left( \frac{1}{2\sigma_i^2}L_i + \log \sigma_i \right) = 0 \Rightarrow \sigma_i^2 = L_i

稳定与效率

同时做一桌菜最容易翻车：要么夹生，要么烧焦。多任务RL训练中最常见的“翻车”是灾难性遗忘——学完新任务后，共享参数被新任务的方向拉走，旧任务的表现大幅退化。还有收敛不稳定：多个任务轮流主导梯度，损失曲线像过山车一样上下颠簸。

稳定训练的核心是多目标之间的平衡。单任务优化只需一个最小值，多任务则要在多个损失之间找“帕累托最优”——一个参数点如果在不伤害任何任务的前提下已经无法改善某个任务，就称它是帕累托最优。数学上，多任务优化是在向量目标下寻找折中：

样本效率是另一个核心指标。多任务最大的优势是“一次采集、多次复用”：共享特征在多个任务上被反复训练，每个任务需要的数据就变少了。配合经验池共享和课程学习，能让整体收敛速度比单任务快上数倍。真正的高手不是把每道菜做到完美，而是保证整桌菜最均衡、最稳妥地端上桌。

θ∗=arg⁡min⁡θ(L1(θ),L2(θ),…,LT(θ))\displaystyle \theta^* = \arg\min_{\theta} \left( L_1(\theta), L_2(\theta), \dots, L_T(\theta) \right)
没有单一解能让所有任务同时最小，只能在帕累托前沿上找最均衡的折中解。
  1. 多目标向量$(L_1(\theta), L_2(\theta), \dots, L_T(\theta))$ 是一组需要同时关注的损失，没有统一的标量答案。
    L(θ)=[L1(θ),L2(θ),…,LT(θ)]⊤\displaystyle \mathcal{L}(\theta) = [L_1(\theta), L_2(\theta), \dots, L_T(\theta)]^\top
  2. 参数搜索$\arg\min_{\theta}$ 表示在全部参数空间中寻找候选解，不一定是每个任务的最小值点。
    θ∗=arg⁡min⁡θL(θ)\displaystyle \theta^* = \arg\min_{\theta} \mathcal{L}(\theta)
  3. 帕累托折中在帕累托前沿上取点，任何一个任务的损失下降必然伴随另一任务损失上升，这就是“不完美但最平衡”。
    ∄θ s.t. Li(θ)≤Li(θ∗),∀i，且至少一个严格小于\displaystyle \nexists \theta \text{ s.t. } L_i(\theta) \le L_i(\theta^*), \forall i，\text{且至少一个严格小于}

实践应用场景

主厨的终极形态是行政总厨——不再只管一道菜，而是管理整个后厨的出品。多任务RL最典型的应用就是让一个智能体同时服务多个目标。在自动驾驶中，感知层是共享的，但决策头要分别处理“跟车”“换道”“避让行人”等多个任务；在机器人控制中，一个机械臂要学会抓取、放置、推开等多个操作。

这类场景的共同点是：多个目标共享同一组传感器输入，如果分开训练，每个任务都要存一个完整模型，训练成本高、部署冗余；合在一起训练，感知特征得到复用，各任务还能互相促进。多任务回报通常是把各任务的回报加权求和：

做好一个“总厨”，意味着把机器人的多个技能、自动驾驶的多重安全目标、游戏AI的多关卡能力，全部装进一个模型里。减少部署成本、提升训练效率，还能因为任务间的知识迁移而获得更强的泛化能力——这就是“一招通吃多目标”的真正价值。

Rtotal=∑i=1Twi∑t=0Tiγtri,t\displaystyle R_{total} = \sum_{i=1}^{T} w_i \sum_{t=0}^{T_i} \gamma^t r_{i,t}
总回报等于每个任务的折扣累积回报按权重相加，权重代表任务在整体目标中的重要程度。
  1. 每步奖励$r_{i,t}$ 表示任务 $i$ 在时间步 $t$ 获得的即时奖励，是任务自己的“打分表”。
    ri,t∈R,t=0,1,2,…,Ti\displaystyle r_{i,t} \in \mathbb{R}, \quad t = 0, 1, 2, \dots, T_i
  2. 折扣因子$\gamma^t$ 让远期奖励打个折扣，避免智能体只盯着眼前的短期收益。
    0<γ<1,γt→0 (t→∞)\displaystyle 0 < \gamma < 1, \quad \gamma^t \to 0 \ (t \to \infty)
  3. 任务加权$w_i$ 决定各任务总回报在联合决策中的分量，是“行政总厨”拍板优先做哪桌菜的权力。
    Rtotal=w1R1+w2R2+⋯+wTRT\displaystyle R_{total} = w_1 R_1 + w_2 R_2 + \dots + w_T R_T

AI 应用场景

机器人多功能操作

阶段：训练与部署

解决的问题：一个机械臂往往需要同时学会抓取、放置、推门等多种操作。传统做法是为每个技能单独训练一个策略网络，训练成本高、部署时需要同时加载多个模型，且技能之间没有任何知识复用。多任务RL让一个策略网络共享底层视觉与控制特征，只在高层分支出不同操作头，抓取时学到的物体识别经验能直接加速放置任务的学习。

具体案例：某仓储物流机器人同时学习“抓取货箱”和“搬运到指定货架”两个任务，共享视觉编码器后样本效率提升约35%，面对新货箱形状的泛化鲁棒性也明显增强。

自动驾驶多目标优化

阶段：模型训练与仿真验证

解决的问题：自动驾驶需要同时优化安全、舒适、效率三个相互冲突的目标。传统方法分别训练安全驾驶模型和乘坐舒适模型再融合，两个模型各有侧重、难以调和。多任务RL将多个目标量化成不同的奖励通道，共用一个感知骨干网络提取道路特征，再用多任务损失加权统一优化。

具体案例：城区道路场景中，智能体同时学习“跟车保持安全距离”和“顺畅换道不压线”两个任务，用不确定性加权自动平衡后，乘客急刹抱怨率降低约25%，跟车时距达标率提升20%。

Python 演示

python75 行
"""多任务RL演示：共享网络 + PCGrad 梯度冲突消解"""import numpy as np  class MultiTaskAgent:    """共享策略网络 + 每个任务独立输出头的极简实现"""     def __init__(self, n_tasks: int = 2, dim: int = 4, lr: float = 0.05):        self.theta = np.random.randn(dim) * 0.1        # 共享主参数        self.heads = [np.array([1.0]) for _ in range(n_tasks)]  # 任务头        self.lr = lr     def predict(self, task_id: int, state: np.ndarray) -> float:        # 先过共享层，再过任务头        return self.heads[task_id][0] * float(np.dot(self.theta, state))     def gradient(self, task_id, state, target):        pred = self.predict(task_id, state)        err = pred - target        g_shared = 2 * err * self.heads[task_id][0] * state        g_head = np.array([2 * err * float(np.dot(self.theta, state))])        return g_shared, g_head     @staticmethod    def pcgrad(grads):        """PCGrad：把冲突梯度的互相抵消分量投影掉"""        proj = [g.copy() for g in grads]        for i, gi in enumerate(proj):            for j, gj in enumerate(grads):                if i != j:                    dot = float(np.dot(gi, gj))                    if dot < 0:                        proj[i] = gi - (dot / (np.dot(gj, gj) + 1e-8)) * gj        return proj     def train_one_step(self, tasks):        gs_all = [self.gradient(tid, s, t)[0] for tid, (s, t) in enumerate(tasks)]        # 先做PCGrad冲突消解，再平均更新共享层        gs_clean = self.pcgrad(gs_all)        self.theta -= self.lr * (sum(gs_clean) / len(gs_clean))        # 每个任务头用各自的梯度更新        for tid, (s, t) in enumerate(tasks):            gs, gh = self.gradient(tid, s, t)            self.heads[tid] -= self.lr * gh     def train(self, tasks, epochs):        total_losses = []        for _ in range(epochs):            loss = sum(                (self.predict(tid, s) - t) ** 2                for tid, (s, t) in enumerate(tasks)            )            self.train_one_step(tasks)            total_losses.append(loss)        return total_losses  def main():    # 两个"任务"：不同的输入输出映射，模拟目标差异    tasks = [        (np.array([1.0, 2.0, 3.0, 4.0]), 5.0),        (np.array([4.0, 3.0, 2.0, 1.0]), 5.0),    ]    agent = MultiTaskAgent(n_tasks=2, dim=4, lr=0.05)    losses = agent.train(tasks, epochs=200)     print("训练后共享参数 theta:", np.round(agent.theta, 3))    for tid, (state, target) in enumerate(tasks):        pred = agent.predict(tid, state)        print(f"任务{tid + 1}: 预测 {pred:.3f}, 目标 {target}, 误差 {abs(pred - target):.3f}")    print("最终总损失:", round(losses[-1], 4))  if __name__ == "__main__":    main()
目的：用极简线性网络演示多任务RL的核心流程——共享参数、多任务头、PCGrad梯度冲突消解，以及交替训练更新。
  1. self.theta = np.random.randn(dim) * 0.1初始化共享参数（锅底），多任务共用的部分。
  2. return self.heads[task_id][0] * float(np.dot(self.theta, state))预测逻辑：先共享层计算，再过任务头输出。
  3. def gradient(self, task_id, state, target)分别计算对共享参数和各任务头的梯度。
  4. proj[i] = gi - (dot / (np.dot(gj, gj) + 1e-8)) * gjPCGrad核心：冲突时投影掉对抗分量。
  5. self.theta -= self.lr * (sum(gs_clean) / len(gs_clean))用消解冲突后的平均梯度更新共享层。
  6. agent = MultiTaskAgent(n_tasks=2, dim=4, lr=0.05)创建双任务智能体，模拟两个相关但不同的任务。

常见误区

误区多任务嘛，当然是把所有能加的任务全塞进去，数据越多、任务越杂，模型学到的东西越全面，效果肯定更好。

正解任务之间相关性才是关键。就像一位川菜师傅硬要去做粤式清蒸鲈鱼，结果只会砸招牌。相关任务共享知识互相促进，无关任务强行挤在一个共享网络里，梯度冲突会让性能比单任务还差。这也是实践中需要对任务做分组、甚至主动丢弃无关任务的原因。

为何常见：因为“多任务”听起来就是“合并和扩充”，直觉上数据越多应该越好，忽视了任务间负迁移这一核心副作用。

误区多个任务的梯度加起来求平均，不就把大家的需求都照顾到了吗？多任务更新参数不就是这么简单。

正解方向冲突的梯度平均后互相抵消，就像两股相反方向的力拉绳子，结果哪边都没拉动。PCGrad的正确做法是把冲突分量投影掉，让每个任务的梯度都正交于其他任务，更新时谁都不干扰谁——这才是真正的“照顾到每个任务”。

为何常见：求和在单个任务内部是自然操作，人们容易把数学上的线性叠加脑补成策略上的协同，忽略了优化方向的几何冲突。

误区既然要共享知识，那就把网络所有层都共享吧，反正共享越多，知识复用越充分，模型越小。

正解共享层过多会阻碍任务特化。底层特征（边缘、纹理）适合共享，高层特征（任务目标、决策逻辑）差异很大，硬要共享会导致“公用地悲剧”——每个任务都想把共享层拉向自己的方向，最后谁都用不好。工程上通常底层共享、高层保留私有任务头。

为何常见：看到“共享”就联想到“节约”，忽略了任务差异需要私有表达空间，这是把参数共享的理想化等同于实现层面的简单化。

误区共享参数嘛，一个模型顶好几个模型，参数量肯定大幅减少，内存占用也小很多。

正解硬参数共享确实减少参数量，但软参数共享每个任务仍保留独立网络，参数量反而比单任务模型总和略大。共享带来的真正收益是样本效率和泛化能力——同样参数规模下学到更多、泛化更强，而不是单纯省内存。

为何常见：人们从“共享”二字直接联想到“省资源”，但多任务的核心目的是知识迁移，参数节约只是某些架构下的副产品。

面试题

Q1. 多任务强化学习的核心目的是什么？

单选题 · easy

  • A.增加模型的参数总量
  • B.学习相关任务并共享知识← 正确答案
  • C.让每个任务独立地训练
  • D.缩减训练数据的采集量

答案：B。多任务RL的核心是同时学习多个相关任务，通过共享参数和知识迁移提升整体性能与样本效率。A是错误方向，C是单任务的思路，D只是多任务带来的附带收益，不是核心定义。

Q2. 硬参数共享的结构特点是？

单选题 · easy

  • A.每个任务各有独立参数
  • B.任务共享同一底层参数← 正确答案
  • C.任务参数经正则化靠近
  • D.每个任务训练独立模型

答案：B。硬参数共享让所有任务共用底层网络参数，只在顶层分派任务头。A和C描述的是软参数共享，D是单任务方式。题干问的是“硬共享”的结构特征，B最准确。

Q3. 多任务中出现梯度冲突的直接判断依据是什么？

单选题 · mid

  • A.学习率设置得过大
  • B.梯度间夹角超过九十度← 正确答案
  • C.参数初始化不恰当
  • D.训练数据量不够充足

答案：B。梯度冲突指两个任务梯度方向夹角大于90度（点积为负），此时更新一个任务会让另一个任务变差。A和C是训练稳定性问题，不叫梯度冲突；D是数据问题。B是教科书式判据。

Q4. PCGrad解决梯度冲突的主要做法是什么？

单选题 · mid

  • A.将冲突的梯度全部丢弃
  • B.投影掉互相抵消的分量← 正确答案
  • C.所有梯度取平均再更新
  • D.在参数更新中加入随机噪声

答案：B。PCGrad的核心操作是：两个梯度方向冲突时，把一个梯度投影到另一个梯度的法平面，去掉冲突分量，更新时既不伤害对方又能保留自己的有效方向。

Q5. 判断两个任务是否适合共享知识，最常用的指标是什么？

单选题 · mid

  • A.梯度之间的余弦相似度← 正确答案
  • B.各个任务的数据量占比
  • C.每个任务的训练轮数
  • D.网络参数的总体数量

答案：A。任务间梯度的余弦相似度是衡量共享适宜度的标准：接近1说明方向一致适合共享，接近-1则适合分开训练。数据量、训练轮数和参数数量都是训练设置，不能直接反映任务相关性。

Q6. 以下哪些情况会导致多任务RL反而拖累性能？

多选题 · mid

  • A.任务彼此完全无关← 正确答案
  • B.每个任务数据独立采集
  • C.共享层过多引起干扰← 正确答案
  • D.奖励幅度差异过大← 正确答案

答案：ACD。任务无关时共享参数必然负迁移；共享层过多把不相容特征混在一起；奖励差异过大会让高奖励任务主导梯度。数据独立采集只是常规采样方式，不会拖累性能。

Q7. 课程学习的核心思想是什么？

单选题 · easy

  • A.随机打乱任务学习顺序
  • B.从简单过渡到复杂任务← 正确答案
  • C.只训练最难的单一任务
  • D.增大学习率快速训练

答案：B。课程学习模仿人类“由易到难”的学习顺序，先学简单任务建立基础特征，再逐步加入困难任务，防止模型一上来就在困难任务上震荡。随机顺序和只练难任务都违背了这个原理。

Q8. 关于软参数共享，下列说法正确的有哪些？

多选题 · hard

  • A.每个任务有独立网络← 正确答案
  • B.通过正则约束参数相近← 正确答案
  • C.所有任务共用一个网络
  • D.模型参数量会更大← 正确答案

答案：ABD。软参数共享保留各任务的独立网络（A对），用正则项约束参数彼此靠近实现间接共享（B对），因此参数量比硬共享大（D对）。C描述的是硬共享的设定，不属于软共享。

Q9. 不确定性加权在任务损失中的主要效果是什么？

单选题 · easy

  • A.自动降低高噪声任务权重← 正确答案
  • B.让所有任务的损失更均衡
  • C.直接提升各任务性能
  • D.完全消除梯度冲突

答案：A。不确定性加权利用任务噪声水平 $\sigma_i$ 自动调节权重，噪声大的任务权重变小，防止不可靠信号干扰共享层。B是近似效果但不是核心机制；C和D都无法由加权直接保证。

Q10. 多任务RL提升样本效率的原因有哪些？

多选题 · hard

  • A.任务之间相互借鉴知识← 正确答案
  • B.共享表示被多次复用← 正确答案
  • C.每个任务所需数据变少← 正确答案
  • D.模型的参数量成倍增长

答案：ABC。多任务共享的特征表示被多个任务重复利用，任务间知识迁移让单个任务只需少量数据即可学会（A、B、C均正确）。参数量成倍增长是代价而非样本效率提升的原因。