MMoE多目标排序：一次预测多个业务指标

可视化演示

动态演示MMoE多目标排序的核心机制，通过源头/管道/节点/终端四种模式展示关键概念与交互流程。

多目标排序背景

想象你是一家综合性购物平台的运营负责人。你不仅希望用户点击商品，还希望他们下单购买、收藏店铺、评价晒图。每个行为都是平台收入的增长点。过去，团队可能为每个行为分别训练一个 AI 模型：点击模型只管预测点击率，转化模型只管预测购买率，时长模型只管预测停留时长。每个模型独立部署、单独优化。这套模式在业务初期尚可运转，但随着指标增多，问题逐渐浮现：维护成本直线上升、各模型之间的知识无法共享，更致命的是——用户在一个页面只能看到有限的几个商品，你究竟该按照哪个模型排序？点击模型推荐的商品转化率不高，转化模型推荐的商品用户又不爱点击。这就是“单目标模型各管一摊”的困境。

多任务学习顺应需求登上舞台。它的核心思想是：既然这些业务指标都源于同一个用户和商品交互过程，底层一定存在共享的语义特征——比如商品的外观吸引力、价格敏感度、品牌忠诚度等。通过让多个任务共享底层表示，既能减少重复计算，又能让不同任务互相补充学习信号，就像同一批食材可以同时做出多道菜一样。于是，业界实践从“单模型单目标”走向“单模型多目标”，MMoE 正是这条演进路线上的重要里程碑。

从工程角度看，这种演进也是必然趋势。多个独立模型在线上运行时，每次请求都要分别调用，计算资源开销成倍增加，响应延迟也难以压缩。而一个多目标模型可以在一次前向传播中同时输出所有预测结果，极大地降低服务成本。

回到运营视角，多目标排序的核心价值正是“一次预测多个业务指标”——用户看到的每个商品都能同时获得点击概率、转化概率、收藏概率等多个分数，排序时可以根据业务策略灵活融合这些分数。这就像乐队指挥可以同时为三种观众调配曲目，而不必为每类观众单独安排三支乐队。

多任务学习基础

在深入 MMoE 之前，我们先回顾多任务学习的基本模式。最经典的做法是硬共享（Hard Sharing）：所有任务共享底部的若干层网络，然后在顶部为每个任务分出一个独立的输出塔。用做饭来比喻，硬共享就像所有菜共用同一个灶台，先统一切菜备料，最后分锅调味。

这种模式实现简单，在任务相关性高时效果不错。如果两个任务高度相关——比如“点击”和“点赞”，它们本质都在衡量用户对内容的认可程度，共享底层网络可以互相增强特征表达。然而，当任务相关性较低时——比如“点击”和“投诉举报”，共享层的语义可能对某一方产生干扰。这就像同一口炒锅既做麻辣火锅又做清蒸鱼，味道容易串。

为了缓解任务冲突，研究者提出了软共享（Soft Sharing）机制。它不强制共享全部底层，而是让不同任务拥有各自的网络，同时通过正则化项或注意力机制让它们相互交换知识。比如 Cross-stitch 网络在每层加入可学习的组合矩阵，让两个任务网络的特征按权重相互融合，就像两个厨师在做菜时互相借鉴对方的酱料配方，但最终各自掌勺。

在此基础上，Google 于 2018 年提出了 MMoE，它吸收了共享思想的精华，但采用更灵活的“疏密结合”模式：既不像硬共享那样完全共享单一底层，也不像软共享那样维护完全独立的网络，而是在二者之间找到平衡——多个专家网络并行存在，门控网络决定“听谁的更多一些”。理解这个平衡点是后续学习的关键。

回到做饭的比喻，多任务学习的基础知识告诉我们：共享是有智慧的，但共享需要适度。硬共享像“一锅乱炖”——所有菜一起下锅，简单省事但容易串味；软共享像“独立小灶加交流”，每道菜有自己的锅，但调料可以互通；而 MMoE 则像我们故事开头那位乐团指挥——所有乐手共享一个舞台，但指挥会根据观众口味动态调整每位乐手的演奏权重。

def hard_share_model(features):    # 共享的底部网络    shared = shared_dense(features)    click_output = task_tower_a(shared)     # 点击任务塔    purchase_output = task_tower_b(shared)  # 转化任务塔    return click_output, purchase_output

MMoE核心架构

现在我们来剖析 MMoE 的核心架构。假设我们的任务集合包含 K 个目标（如点击、转化、时长），MMoE 模型主要由三部分构成：专家网络（Expert）、门控网络（Gate）和输出塔（Tower）。

专家网络是一个由若干前馈神经网络构成的集合。每个专家本质上是一个特征变换器，擅长从输入中提取某种特定模式。在上面的动图中，三个专家各有所长：专家 1 偏向捕捉用户对价格的敏感度，专家 2 偏向识别商品的视觉吸引力，专家 3 偏向理解用户的历史兴趣。在训练开始时，这些专家的“专长”尚未定向，是梯度信号在训练中让它们自然分化。

门控网络是 MMoE 的“指挥家”。每个任务都配有一个独立的门控网络，它接收输入特征（如用户特征和物品特征），通过 Softmax 函数输出一个 K 维权重向量，表示对每个专家的信任程度。门控的关键特性是“输入条件计算”——不同输入样本会得到不同的专家组合权重。例如，一位喜欢低价商品的用户和一位追求高端品牌的用户，面对同一件商品时，门控网络会为前者更多调用价格敏感型专家，为后者更多调用品质偏好型专家。

最后，每个任务的输出塔接收来自所有专家的加权和：

其中 $E_i(x)$ 是第 i 个专家的输出，$h_k$ 是第 k 个任务的塔网络。

回到乐团比喻，专家网络就是不同风格乐手的合奏，门控网络是指挥在不同场景下对乐手比重的调配方案，输出塔则是最终呈现给观众的完整旋律。用户特征相当于观众席的构成，指挥根据观众构成实时调整方案，从而让每类观众都满意。

门控网络机制

门控网络是 MMoE 最具特色的组件。它不仅仅是简单的权重分配器，而是“因输入而异”的动态决策者。门控网络的输入通常是当前样本的特征向量（用户特征、上下文特征等），这与共享专家网络的输入保持一致，确保决策的依据充分。

Softmax 函数在门控中的作用至关重要。它把任意实数向量变成非负且和为 1 的分布。Softmax 还有一个特性：当某个得分明显大于其他得分时，其输出会趋近于 1，其他趋近于 0，这相当于“硬选择”；当各得分接近时，输出接近均匀分布，相当于“软混合”。温度参数可以控制这个特性的强弱——温度低时门控更“决断”，温度高时门控更“均衡”。

门控网络与任务一一对应是 MMoE 的设计精髓。每个任务都有独立的门控参数，意味着模型可以表达“不同任务对专家有不同的需求”。例如，在短视频推荐中，点击任务的门控可能更看重“标题吸引力”专家，而时长任务的门控更看重“内容深度”专家。如果所有任务共享同一个门控，模型就退化为一个单门控的中间形态，表达能力受限。

用指挥家来理解：Softmax 就是指挥家的决策逻辑——他迅速评估每类乐手对当前曲目的适配度，然后定下每类乐手的参与比例。温度参数则是指挥家的“风格偏好”：有的指挥喜欢突出某一种乐器（低温），有的指挥喜欢均衡和谐（高温）。而门控与任务的对应关系，好比指挥会为古典音乐会专门设计一套调配方案，为摇滚音乐会设计另一套——绝不会混用。

损失加权策略

在多任务模型中，总损失通常是各任务损失的加权和。如何设定这些权重？一个直观的想法是给每个任务相同的权重——“平等对待”。但在实际业务中，不同任务的量纲和难度差异很大。比如点击率通常在 1%-10%，转化率可能只有 0.1%-1%，停留时长可能是秒级数值。如果直接加权求和，量纲大的任务会主导梯度更新，导致模型偏向优化某一个目标。

固定权重（如简单相加或人工调节）的局限性在于：很难找到一组最优的静态权重，因为最优权重在训练不同阶段会变化。训练初期，所有任务都还没学好，简单任务（如点击）的梯度下降较快，而困难任务（如转化）的梯度下降较慢。如果固定权重，模型可能被简单任务“带偏”。

不确定性加权（Uncertainty Weighting）是一种优雅的解决方案。它基于同方差不确定性的思想，将每个任务的损失权重与模型对该任务预测的置信度相关联：

其中 $\sigma_k$ 是第 k 个任务的可学习噪声参数。当模型对某个任务预测不确定性高（$\sigma_k$ 大）时，损失权重自动降低；当模型对某个任务很确定时，权重自动升高。第二项 $\log \sigma_k$ 是正则项，防止 $\sigma_k$ 无限增大导致权重消失。

另一种常用思路是动态权重调整（Dynamic Weight Adjustment），例如 GradNorm 方法：根据任务梯度范数的相对大小，自适应地调整权重，使各任务的训练速度均衡。这就像指挥不仅根据观众组成调配乐手比例，还会在排练中观察哪一部分乐手明显跟不上节奏，给予更多练习时间（权重加大），最终实现整体的均衡提升。

回到运营场景，损失加权策略解决的是“如何平衡多个目标”的资源配置问题。固定权重好比一刀切给所有任务同样的精力投入；不确定性加权像是有经验的领导者，根据每个任务的进展动态分配团队精力；动态权重调整像小步快跑的迭代管理方式，每个阶段根据数据反馈调整优先级。

负迁移应对

负迁移（Negative Transfer）是多任务学习中一个绕不开的话题。它的含义是：共享知识不但没有帮助某个任务，反而损害了它的性能。用乐团来比喻，如果让擅长古典的乐手强制用摇滚的演奏方式，不仅发挥不出水平，还可能破坏整体演出效果。

负迁移通常发生在任务相关性较低甚至目标方向相反的场景。比如“点击”与“快速跳过”就是一对潜在冲突的任务：系统希望用户点击视频，却不希望用户点击后立即跳过。如果模型在优化的过程中过度强调点击率，可能导致推荐的内容虽然有吸引力但质量不高，与提升用户时长的目标产生冲突。

MMoE 缓解负迁移的第一道防线是专家分化。由于不同门控可以选择不同的专家组合，模型不必强迫某个专家同时服务所有任务。在训练中，某些专家可能逐渐专注于服务“点击”任务，另一些专注服务“时长”任务，这相当于让乐手们自动找到自己最适合的演奏风格，指挥只需按需调配即可。研究表明，专家数在 4-8 个时通常能实现良好的分化效果。

第二道防线是梯度干预。研究者发现，负迁移的根源之一是不同的任务梯度方向冲突——在参数空间中，任务 A 希望参数往东移动，任务 B 希望参数往西移动，二者的合力可能相互抵消甚至误导。PCGrad（Projecting Conflicting Gradients）方法通过将冲突梯度投影到正交方向，消除相互干扰：

用乐团来理解负迁移应对：乐手分化相当于每个乐手找到自己最擅长的曲风——小提琴手专注古典、鼓手专注摇滚、小号手专注爵士，指挥在此基础上灵活调配。梯度干预则更像是排练时，如果两段音乐的节奏互相冲突，导演果断调整乐谱，让不同声部在不同时间段突出，而不是让它们互相打压。

工程实践要点

理解 MMoE 的理论之后，落地部署同样关键。一位优秀的 AI 工程师不仅需要理解模型结构，还需要理解如何将它高效地应用到业务中。

特征工程首先需要考虑“保底共享”。MMoE 的多专家结构需要足够丰富的输入信息才能发挥效果。在实践中，除了常规的用户和物品特征，还应加入一些“背景知识”特征（如商品类目、用户兴趣向量、实时场景特征等），这些特征对所有任务都有信息量，就像乐团演出时舞台的灯光、音响效果，保证每位乐手都能被观众看见听见。同时，某些特征可以有针对性地增强特定任务的表达——比如用户历史购买价格区间这一特征对转化任务更重要，可以在对应的输出塔中特征拼接时显式引入。

模型部署方面，MMoE 的优势在一次前向传播中完成多任务输出。与多个独立模型相比，线上推理的时延和计算量显著降低。然而，如果专家数设置过多，计算量也随之上升。一个常用的工程优化是“低秩专家分解”：将专家网络设计为两层低秩结构，减少参数量，在服务端利用矩阵分解加速计算。

在线服务性能还需要考虑模型更新频率。推荐系统的数据分布随时间漂移，MMoE 模型需要定期增量训练。在实践中，通常使用“近端梯度优化”或者“增量专家”策略——只更新门控和塔的参数而冻结专家网络，或者定期全部重训。前者更新快但对分布变化敏感，后者效果稳定但耗时。

效果评估体系是落地多目标排序不可或缺的一环。由于 MMoE 同时优化多个指标，不能只看单一指标提升。业界常采用以下评估框架：

其中 $\alpha, \beta, \gamma$ 由业务方共同商定。除了离线指标，A/B 测试是最终验证手段。实践中还应注意“指标之间的相关性”：CTR 提升可能带来 CVR 下降（吸引来的用户质量更杂），需要综合评估 GMV 等更全局的业务指标。

回到运营场景，工程实践的核心是把 MMoE 从“模型概念”变成“生产级解决方案”。它需要工程师在特征、部署、性能、评估四个维度协同发力，如同乐团指挥不仅要懂音乐编排，还要管理排练进度、音响调试和票务策略，才能让演出大获成功。

未来演进趋势

多目标排序作为一个充满活力的研究与应用方向，仍在持续演化。理解前沿趋势能帮助从业者判断技术投资方向。

一个明确的方向是增量学习。传统 MMoE 训练是离线批量完成的，模型上线后权重固定。但推荐系统的数据分布是不断变化的——季节性因素、用户兴趣迁移、市场供需波动都会导致模型性能衰减。增量 MMoE 技术让专家或者门控能够以在线方式小步更新，例如每隔几分钟自动微调门控网络，让模型始终保持“手感”。

另一个趋势是多场景自适应。大型平台往往拥有多个业务场景：首页推荐、搜索结果、相关推荐、广告位等。为每个场景训练独立 MMoE 模型成本太高，而单一模型难以适配所有场景。共享多门控结构的“多场景 MMoE”是当前的研究热点——不同场景复用同一组基础专家，但每个场景有自己的门控网络，从而在几乎不增加模型体量的前提下实现场景自适应。

基于 Transformer 的新架构也为 MMoE 带来了改进思路。例如将专家网络升级为注意力网络，或者让门控网络基于更丰富的上下文特征（如位置信息、页面上下文）进行更精细的权重分配。此外，强化学习与 MMoE 结合做“多目标序贯决策”也是探索方向——在多轮交互中动态调整目标权重。

从乐团的未来来看，演出成功的标准也在演化——不仅要求一次演出让观众鼓掌，还要求乐团能根据之前的演出反馈实时调整演奏风格（增量学习），能在不同演出场地（多个场景）间无缝切换，甚至能与观众的实时互动展开即兴演出（强化学习）。MMoE 的长青之道，正在于这种“灵活与共享”的哲学。

AI 应用场景

Python 演示

import numpy as np def softmax(z):    """数值稳定的 softmax 函数"""    e_z = np.exp(z - np.max(z, axis=-1, keepdims=True))    return e_z / np.sum(e_z, axis=-1, keepdims=True) class Expert:    """单个专家网络: 线性变换 + ReLU 激活"""    def __init__(self, in_dim, hid_dim):        self.w1 = np.random.randn(in_dim, hid_dim) * 0.1        self.w2 = np.random.randn(hid_dim, hid_dim) * 0.1     def forward(self, x):        self.h1 = np.maximum(0, x @ self.w1)        self.h2 = np.maximum(0, self.h1 @ self.w2)        return self.h2 class Gate:    """门控网络: 对输入做线性变换后输出 softmax 权重"""    def __init__(self, in_dim, num_experts):        self.w = np.random.randn(in_dim, num_experts) * 0.1     def forward(self, x):        self.logits = x @ self.w        self.weight = softmax(self.logits)        return self.weight class MMoE:    """精简版 MMoE: 两任务、三专家"""    def __init__(self, in_dim, hid_dim, num_experts=3):        self.experts = [Expert(in_dim, hid_dim) for _ in range(num_experts)]        self.gate_1 = Gate(in_dim, num_experts)  # 任务1的门控        self.gate_2 = Gate(in_dim, num_experts)  # 任务2的门控        # 每个任务的输出塔        self.tower_1 = np.random.randn(hid_dim, 1) * 0.1        self.tower_2 = np.random.randn(hid_dim, 1) * 0.1     def forward(self, x):        expert_outs = np.stack([e.forward(x) for e in self.experts])  # [n_exp, B, H]        w1 = self.gate_1.forward(x)  # [B, n_exp]        w2 = self.gate_2.forward(x)        # 加权融合        fused_1 = np.sum(expert_outs * w1.T[:, :, None], axis=0)  # [B, H]        fused_2 = np.sum(expert_outs * w2.T[:, :, None], axis=0)        out_1 = fused_1 @ self.tower_1  # [B, 1]        out_2 = fused_2 @ self.tower_2        return np.concatenate([out_1, out_2], axis=-1)  if __name__ == "__main__":    np.random.seed(42)    # 模拟 128 个样本，每个样本 10 维特征    X = np.random.randn(128, 10)    # 模拟两个任务的标签（二分类）    y1 = (X[:, 0] + 0.3 * X[:, 1] > 0).astype(float)    y2 = (X[:, 2] - 0.2 * X[:, 3] > 0).astype(float)     model = MMoE(in_dim=10, hid_dim=16, num_experts=3)    preds = model.forward(X)     print("输入特征形状:", X.shape)    print("MMoE 输出形状:", preds.shape, "（同时输出两个任务的预测）")    print("任务1预测概率范围: [%.3f, %.3f]" % (1/(1+np.exp(-preds[:, 0])).min(),                                          1/(1+np.exp(-preds[:, 0])).max()))    print("任务2预测概率范围: [%.3f, %.3f]" % (1/(1+np.exp(-preds[:, 1])).min(),                                          1/(1+np.exp(-preds[:, 1])).max()))

1. self.experts = [Expert(...) for _ in range(num_experts)]创建一列专家网络列表，每个专家负责提取不同的特征模式。
2. self.gate_1 = Gate(in_dim, num_experts)为任务 1 创建专属门控，输入为原始特征，输出维度为专家数量。
3. expert_outs = np.stack([e.forward(x) for e in self.experts])将每个专家对当前批次样本的输出堆叠为一个三维张量。
4. fused_1 = np.sum(expert_outs * w1.T[:, :, None], axis=0)按门控权重加权求和所有专家输出，得到任务 1 的融合特征表示。
5. out_1 = fused_1 @ self.tower_1融合特征经输出塔线性变换，得到任务 1 的预测值。

常见误区

面试题