MMoE多门控专家网络：多任务学习的关键突破

可视化演示

全科医生的困境：硬参数共享

老城诊所里的王医生，就是“硬参数共享”模型的化身。所谓硬参数共享，是让所有任务共用底层的神经网络参数，只在最上层为每个任务单独接一个输出头。就像王医生的一双手和听诊器是所有人共用的，只在病历本上分别记录“内科诊断”和“骨科诊断”。这种设计的好处是参数少、训练快，底层的通用特征（比如“病人年龄”）能被所有任务复用。

但问题也随之而来。王医生在给骨折病人正骨时，脑子里还惦记着高血压的用药方案；两种优化方向在共享的参数上“拔河”，梯度信号互相冲突。结果往往是：单看每个任务，效果都不如各自训练一个独立模型。这种“多任务一起学反而变差”的现象，就叫负迁移（negative transfer）。任务之间的相关性越低，负迁移越严重。

从数学上看，共享底层参数 $\theta_{shared}$ 的更新方向，是各任务损失函数梯度的加权和。方向相反的梯度互相抵消，参数就一直在原地打转。

如果两个任务像“预测点击率”和“预测是否喜欢”这样高度相关，共享底层完全够用。但如果任务是“预测点击率”和“预测视频是否完播”，用户的口味差异巨大，全科医生就开始手忙脚乱——这正是 MMoE 登场的时机。

医院改造：MMoE 网络结构

MMoE 的改造思路，是把“一个王医生包办一切”升级为“多个专科医生 + 每个科室门口的专属分诊台”。具体结构分三层：最底层是专家池——一组共享的专家网络 $f_1, f_2, \dots, f_N$，它们像一组专科医生，各自擅长不同角度的特征变换；中间是多门控网络——每个任务 $k$ 拥有一个独立门控 $g^k$，像分诊护士；最上层是任务塔 $h^k$，把融合后的表示映射为最终预测。

输入 $\mathbf{x}$ 同时送入所有专家，每个专家都给出一个“诊断意见” $f_i(\mathbf{x})$。对任务 $k$，门控 $g^k$ 把这些意见按权重叠起来，形成该任务专属的融合特征，再交给任务塔。整个前向过程可以写成一个公式：

注意这里的门控下标：专家是全局共享的，但每个任务的门控参数完全独立。任务 A 可以把 80% 权重给专家 1，任务 B 可以把 70% 权重给专家 3——同一个专家，在不同任务眼中分量不同。

用医院来比喻：医生还是那些医生，但心内科的分诊台只关心心脏相关的检查报告，骨科的分诊台只关心骨骼影像，同一份病历在不同科室被“各取所需”地解读。这样一来，专家可以专注学各自擅长的模式，任务之间的冲突被门控隔离开，负迁移大大缓解。

分诊台如何打分：门控网络机制

门控网络的工作，本质上是回答一个问题：“面对眼前的输入 $\mathbf{x}$，我们科室应该按什么比例去请各位专家？” 分诊护士不会凭空决定，她会先给每位专家打一个“适配分”，再把分数换算成比例。这个打分和换算过程，就是门控网络的完整机制。

门控本身是一个轻量级神经网络：先对输入做线性变换，得到每个专家的原始分数 $z_i$，再通过 softmax 函数把分数变成总和为 1 的概率分布。softmax 的特点是“赢家通吃但不过分极端”——分数高的专家拿到更大的权重，但分数低的也不会完全归零。用公式表示：

门控的动态性体现在“随输入变化”。同一个任务，面对“年轻用户”和“老年用户”两种输入，门控给出的专家组合完全不同。这就像分诊护士看见咳嗽病人会多叫呼吸科医生，看见摔伤病人会多叫骨科医生——分配方案不是写死在墙上的，而是根据眼前的具体情况实时调整。

在工程上，门控网络通常只包含一个或两个全连接层，参数量远小于专家网络。这也符合直觉：分诊台不需要像专科医生那样深的专业能力，它只需要“判断该找谁”。

别让医生闲下来：训练技巧与专家坍塌

医院运行一段时间后，你发现一个尴尬现象：心内科的分诊台总是把病人推给一号医生，二号、三号医生渐渐无人问津，医术荒废，最后一号医生成了“超级全科医生”，其他专家形同虚设。这就是 MMoE 训练中最经典的专家坍塌（expert collapse）。

坍塌的机制很直白：训练初期，某个专家恰好学得稍快，门控发现它给的损失下降更快，就不断加大它的权重；权重越大，这个专家的梯度越多，学得越快；其他专家梯度越少，越学不动。正反馈循环让门控收敛到“几乎总选一个专家”，共享池退化成了单专家，负迁移问题卷土重来。

缓解坍塌可以从几个方向入手。第一是门控 Dropout：在门控输出上随机丢弃部分权重，强制模型不能过度依赖某一个专家，相当于让分诊台偶尔“看花眼”，把病人误分给冷门医生，间接给冷门医生练手机会。第二是负载均衡正则：在损失函数中加入一项惩罚，鼓励各专家的平均门控权重接近均匀分布，让“接诊量”不要过于悬殊。第三是无害初始化：门控层的偏置初始化为较小值（或均匀值），避免一开始就偏心。

训练时还有两个实用细节：专家网络可以用稍大的学习率，让冷门专家更快追上；输入特征做 LayerNorm/BatchNorm 可以稳定门控的分数尺度。这些技巧的目标只有一个——让每个医生都有活儿干，医院整体才不会垮。

医院升级：与 PLE、CGC 等变体对比

MMoE 解决了“多个任务抢共享专家”的问题，但有个残留痛点：如果任务之间差异实在太大，光靠门控分配还不够，共享专家在同时服务两个差异巨大的任务时仍然会“精神分裂”。于是工程师们设计了两种升级版结构。

CGC（Customized Gate Control，定制门控控制） 的思路是“专属 + 共享”。在 MMoE 的共享专家之外，每个任务额外分配一组任务专属专家。专属专家只服务一个任务，确保核心知识不被其他任务干扰；共享专家负责捕捉通用模式。这相当于医院在共享诊室之外，给心内科和骨科各建了一间专属诊室——常规检查用共享设备，疑难杂症回自家诊室。

PLE（Progressive Layered Extraction，渐进式分层抽取） 更进一步，把“CGC 的一层结构”扩展成多层。每一层都有共享专家和各任务专属专家，层与层之间通过抽取网络传递信息。这样不仅任务之间有共享通道，不同层之间还有“渐进抽象”——低层共享简单模式，高层抽取复杂关联。PLE 适合任务关系复杂、且数据量充足的场景，但参数量和计算量也相应增大。

怎么选？简单记三个场景：任务相关度高、资源紧张，用硬共享就够了；任务中等冲突，用 MMoE 性价比最高；任务差异明显或需要极致效果，优先试 CGC/PLE。在实际推荐系统中，MMoE 常作为基线，CGC 作为升级选项，PLE 则用在业务复杂、预算充足的头部场景。

施工蓝图：TensorFlow 工程实现

纸上谈兵结束，最后把 MMoE 变成能跑的代码。用 TensorFlow/Keras 的函数式 API，搭建一个“2 个任务、3 个专家”的 MMoE 模型，完整代码见下一节。这里先讲实现要点。

第一，专家池用列表推导式创建：每个专家是一个两层的全连接网络，它们共享同一个输入，但参数各自独立。第二步，每个任务一个门控：门控是一个 Dense(n_experts, activation='softmax') 层，输入同样是 $\mathbf{x}$，输出维度等于专家数量。第三步，加权融合：把专家输出堆叠成形状 (batch, experts, dim) 的张量，再把门控权重扩展维度后逐元素相乘、求和，得到融合特征。这对应公式里 $\sum g_i f_i$ 的向量化实现。

工程上还有几个容易踩坑的点。一是 Embedding 输入：推荐场景的特征多为稀疏 ID，需要先接 Embedding 层把高维稀疏向量压缩成稠密向量，再送入 MMoE；二是多任务 Loss：每个任务塔输出一个 sigmoid，编译时传一个损失列表，可以给不同任务分配不同权重（比如点击率权重 0.6、转化率 0.4）；三是梯度裁剪：多任务梯度叠加后容易爆炸，设置 clipnorm 是常规操作。最后，别忘记用 model.summary() 检查参数量——门控参数量应该远小于专家总量，否则分诊台比医生还复杂，就喧宾夺主了。

AI 应用场景

Python 演示

import numpy as npimport tensorflow as tffrom tensorflow.keras import layers, Model  class MMoE(Model):    """2 个任务共享 3 个专家的 MMoE 模型。"""     def __init__(self, n_experts=3, expert_dim=16, n_tasks=2):        super().__init__()        self.n_experts = n_experts        # 专家池：每个专家是一个全连接层        self.expert_net = [            layers.Dense(expert_dim, activation='relu')            for _ in range(n_experts)        ]        # 每个任务一个门控，输出维度 = 专家数量        self.gate_net = [            layers.Dense(n_experts, activation='softmax')            for _ in range(n_tasks)        ]        # 每个任务一个输出塔        self.task_net = [            layers.Dense(1, activation='sigmoid')            for _ in range(n_tasks)        ]     def call(self, inputs):        # 所有专家并行处理输入，堆叠成 (B, E, D)        exp = tf.stack([net(inputs) for net in self.expert_net], axis=1)        outs = []        for t in range(len(self.task_net)):            # 门控为当前任务计算专家权重            g = self.gate_net[t](inputs)          # (B, E)            g = tf.expand_dims(g, axis=-1)        # (B, E, 1)            # 加权融合：权重 * 专家输出，再对专家维度求和            fused = tf.reduce_sum(exp * g, axis=1)  # (B, D)            outs.append(self.task_net[t](fused))        return outs  def main():    # 模拟数据：256 个样本，8 维特征，2 个二分类任务    model = MMoE()    x = np.random.randn(256, 8).astype(np.float32)    y = [        np.random.randint(0, 2, 256).astype(np.float32),        np.random.randint(0, 2, 256).astype(np.float32),    ]    model.compile(        optimizer='adam',        loss=['binary_crossentropy'] * 2,        loss_weights=[0.6, 0.4],    )    model.fit(x, y, epochs=3, batch_size=32, verbose=1)    print('MMoE 训练完成')  if __name__ == '__main__':    main()

1. self.expert_net = [layers.Dense(...)]创建专家池，每个专家是独立的全连接网络，参数互不共享。
2. self.gate_net = [layers.Dense(n_experts, activation='softmax')]每个任务一个门控，输出是专家数量维度的概率分布。
3. exp = tf.stack([...], axis=1)把所有专家输出堆叠成 (B, E, D) 张量，便于后面按专家维度做加权。
4. g = tf.expand_dims(g, axis=-1)把门控权重从 (B, E) 扩展成 (B, E, 1)，这样才能和专家输出逐元素相乘。
5. fused = tf.reduce_sum(exp * g, axis=1)向量化实现公式 $\sum_i g_i f_i$，对专家维度求和得到融合特征。
6. model.compile(loss=[...], loss_weights=[0.6, 0.4])多任务模型需要传损失列表，并用权重平衡各任务的重要性。

常见误区

面试题