DeepFM：FM与DNN融合推荐

可视化演示

展示FM一阶二阶特征交互、DNN高阶特征学习、DeepFM共享Embedding架构及模型对比的交互式动画。

特征交互问题

老陈的待客本上密密麻麻记着各种信息：现在是深夜、外面下着雨、客人是常客、他上次点了微辣……这些信息单独看，哪一条都不足以决定“他会不会点牛肉面”。真正让老陈拍板的，是这些信息在脑子里飞快组合的结果——比如“深夜 + 下雨 + 常客”，几乎等于自动下单。推荐系统面临的处境一模一样：用户是否点击，取决于多个特征的共同作用。

CTR 预估的任务，就是根据一条样本的特征向量 \(\mathbf{x}\)，预测用户点击的概率 \(P(y=1|\mathbf{x})\)。在工业界，特征大多是类别型离散值，比如“性别=男”“时段=深夜”。为了让数学公式能处理它们，工程师会做 one-hot 编码：把每个取值展开成一个很长的向量，只有对应位置是 1，其余全是 0。这就导致特征向量极其稀疏且高维——就像一张几十万行的勾选清单，每行只有一个格子被打上勾。

如果用线性模型，模型只能学到每个特征单独的权重，“深夜”和“年轻用户”各自加一分，永远表达不出“深夜的年轻用户”这个组合的爆发力。如果人工构造所有两两组合特征，那特征数量会变成天文数字，训练与存储都不可行。于是，让模型自己学会“特征交互”，成了推荐系统的核心课题。

这就像老陈不会傻到去培训厨师把所有 200 种食材的两两组合都练一遍——人力根本不够。他需要一种更聪明的办法：让模型从数据里自动领悟，哪些组合值得重视，哪些组合只是噪音。

FM 二阶交互

面点老师傅的绝活，是“单样食材本味”与“经典搭配表”两件事。他知道牛肉的醇厚、面条的筋道，也背得下番茄炒蛋、葱爆牛肉这些两两绝配；而搭配的默契程度，只需要用一个数字打分。FM 要做的，正是把这种本事数学化。

FM 首先给每个特征 \(x_i\) 配一个一阶权重 \(w_i\)，再加上一个全局偏移 \(w_0\)——这构成了信号的“基线味道”；更重要的是，它给每个特征都学习一个低维隐向量 \(\mathbf{v}_i\)，两个特征的交叉强度就用它们隐向量的内积 \(\langle \mathbf{v}_i, \mathbf{v}_j \rangle\) 来表示。为什么不用一个独立的权重 \(w_{ij}\)？因为特征组合的数量是 O(n²) 级别，稀疏数据下绝大多数组合从未出现过，根本学不出可靠参数。把 \(w_{ij}\) 分解成两个向量内积后，参数总量降到 O(nk)，且只要单独出现过某个特征，它的隐向量就能被训练，交叉权重也随之“泛化”到从未见过的组合上。

$$\hat{y}_{FM}(\mathbf{x}) = w_0 + \sum_{i=1}^{n} w_i x_i + \sum_{i=1}^{n} \sum_{j=i+1}^{n} \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j$$

1. 全局偏差：\(w_0\) 是所有样本的基准分数，相当于“不管什么菜，先给个基础分”。

$$w_0$$

2. 一阶线性部分：每个特征单独贡献的分数之和，刻画“单样食材本身的味道”。

$$\sum_{i=1}^{n} w_i x_i$$

3. 二阶交叉部分：所有两两特征组合的贡献之和，刻画“番茄配鸡蛋”这种默契。

$$\sum_{i=1}^{n} \sum_{j=i+1}^{n} \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j$$

4. 隐向量内积：\(\langle \mathbf{v}_i, \mathbf{v}_j \rangle\) 用两个向量的内积代替一个独立权重，是参数因子分解的核心。

$$\langle \mathbf{v}_i, \mathbf{v}_j \rangle = \sum_{f=1}^{k} v_{i,f} \cdot v_{j,f}$$

老师傅的搭配表不是死记硬背 200 × 200 项，而是记住每种食材的“性格向量”：牛肉咸香、番茄酸甜、葱油提鲜……两个食材合不合拍，把向量点乘一下便知。这就是 FM 的智慧。

共享 Embedding

后厨的中央厨房里有一台切配机，把每种食材都切成统一规格的小丁。无论是面点师傅做经典搭配，还是创意主厨做融合菜，用的都是同一袋“标准牛肉丁”“标准胡萝卜丁”。口味体系完全一致，不会出现“这个菜里的牛肉是三厘米块，那个菜里是两厘米粒”的混乱。在 DeepFM 里，这台机器就是共享 Embedding 层。

每个类别型特征（比如“用户 ID=1024”“商品类目=零食”）经过 one-hot 编码后只有一个位置是 1。Embedding 层做的事情，就是按特征 ID 去查一张“向量表”：表里每一行是一个低维稠密向量（比如 32 维或 64 维），把特征 ID 映射到这一行。因为 one-hot 向量与查表矩阵相乘的结果，恰好等于“取出第 i 行”，所以这个过程也叫查表映射。

$$\mathbf{e}_i = \mathbf{v}_i \cdot x_i$$

1. 稀疏特征取值：\(x_i\) 表示第 i 个 one-hot 特征，绝大多数为 0。

$$x_i \in \{0, 1\}$$

2. 嵌入向量：\(\mathbf{v}_i\) 是特征 i 对应的稠密向量，记录了该特征的“性格”。

$$\mathbf{v}_i \in \mathbb{R}^{k}$$

3. 查表结果：\(\mathbf{e}_i\) 是取出的稠密向量——当 \(x_i=1\) 时就是 \(\mathbf{v}_i\)，相当于查表。

$$\mathbf{e}_i = \mathbf{v}_i \cdot x_i$$

共享的关键在于：FM 支路的二阶交叉用这组向量，DNN 支路的高阶学习也用这组向量。两个子网络从同一套表示中提取信息，反向传播时梯度会同时更新这份共享表，互相促进。如果两位厨师的备菜标准不一样，做出来的菜就会“打架”；共享 Embedding 保证了整个后厨说同一种语言。

DNN 高阶学习

年轻的创意主厨不满足于两两搭配——他把牛肉、番茄、泡椒、陈皮、豆瓣酱……七八种食材层层叠加、慢火浓缩，产生一种无法一一拆解的复合鲜味。这种复杂风味，用“哪个食材和哪个食材的配对”根本说不清楚。在数学上，这就是高阶特征交互。

DNN 支路做的事，是把共享 Embedding 产出的那些稠密向量拼接或加和成一个长向量，然后送进多层全连接网络。每一层网络都对上一层的输出做线性变换加非线性激活，层与层之间的组合，等价于以隐式方式让多个特征发生交互——第 2 层可能组合了第 1 层的若干输出，第 3 层又组合了第 2 层的输出。经过足够深的网络，三阶、四阶甚至更高阶的特征关系都可以被表达。

$$\mathbf{a}^{(l+1)} = \sigma\left( \mathbf{W}^{(l)} \mathbf{a}^{(l)} + \mathbf{b}^{(l)} \right)$$

1. 上一层输出：\(\mathbf{a}^{(l)}\) 是第 l 层神经元的激活向量，代表当前“半成品风味”。

$$\mathbf{a}^{(l)}$$

2. 线性变换：\(\mathbf{W}^{(l)} \mathbf{a}^{(l)} + \mathbf{b}^{(l)}\) 是仿射变换，相当于把上一层的信号重新调配比例。

$$\mathbf{W}^{(l)} \mathbf{a}^{(l)} + \mathbf{b}^{(l)}$$

3. 非线性激活：\(\sigma(\cdot)\) 通常是 ReLU 等激活函数，给模型引入非线性，否则多层网络等价于一层。

$$\sigma(z) = \max(0, z)$$

创意主厨说不出“第几克泡椒配第几克牛肉产生了什么化合物”，但当他把食材交给时间与火候——也就是网络的深度与非线性——复合鲜味自然涌现。FM 负责精确的两两搭配，DNN 负责说不清道不明的融合风味，两者互补。

DeepFM 融合

老陈做了个大胆决定：把两个厨房并成一个大开间。面点师傅和创意主厨各做各的，互不干扰，但最后把两碗合成一道招牌套餐端给客人。经典口味负责不出错，创意负责出彩——这就是 DeepFM 的架构哲学。

具体来说，DeepFM 的输入先经过共享 Embedding 层，得到所有特征的稠密向量；随后兵分两路：FM 支路计算一阶项和二阶交叉项，DNN 支路把 Embedding 展平后送入多层网络计算高阶隐式特征；两条支路的输出直接相加，再经过 Sigmoid 函数压缩到 0 到 1 之间，作为点击概率。

$$\hat{y} = \sigma\left( \hat{y}_{FM}(\mathbf{x}) + y_{DNN}(\mathbf{x}) \right)$$

1. FM 支路得分：\(\hat{y}_{FM}(\mathbf{x})\) 是 FM 的一阶加二阶输出，刻画可解释的经典搭配。

$$\hat{y}_{FM}(\mathbf{x}) = w_0 + \sum_{i=1}^{n} w_i x_i + \sum_{i=1}^{n} \sum_{j=i+1}^{n} \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j$$

2. DNN 支路得分：\(y_{DNN}(\mathbf{x})\) 是高阶隐式特征的综合输出，捕捉复杂融合风味。

$$y_{DNN}(\mathbf{x}) = \mathbf{W}^{(L)} \mathbf{a}^{(L)} + \mathbf{b}^{(L)}$$

3. 并行相加：两条支路的分数直接求和，FM 与 DNN 同时贡献、地位对等。

$$\hat{y}_{FM}(\mathbf{x}) + y_{DNN}(\mathbf{x})$$

4. Sigmoid 输出：\(\sigma(\cdot)\) 把任意实数压到 0~1 区间，输出即为点击概率。

$$\sigma(z) = \frac{1}{1 + e^{-z}}$$

这个“相加”看似简单，却体现了精心设计：FM 保底解决稀疏场景下最常见的二阶交互，DNN 负责挖掘更复杂的高阶关系。共享 Embedding 让两路从同一套表示出发，端到端地用交叉熵损失直接优化——不需要像早期 FNN 那样先预训练 FM 再训练 DNN。经典与创意同灶，成就了这道招牌菜。

对比与部署

老陈的招牌菜火了，隔壁面馆和分子料理店也来“借鉴”。隔壁面馆用“层层叠叠拉面”的方法做交叉——每一层都把面皮重新折叠、再次擀开，这就像 DCN 的 Cross 网络。分子料理店则用精密仪器，精确控制每一个食材分子的反应——这就像 xDeepFM 的 CIN 模块。

DCN 的 Cross 网络每一层都保留初始特征 \(x_0\)，再让当前状态与初始特征做“逐元素相乘”的显式交叉，叠加多层后能显式建模有限阶的特征组合。但 DCN 缺少类似 DNN 的深层隐式表达，且本质上仍是“标量级”操作。xDeepFM 提出的 CIN（Compressed Interaction Network）则更进一步：它在向量维度上做显式高阶交叉，每一层的输出都是“向量级”的交互结果，可以精确控制要交叉到几阶。DeepFM 与 xDeepFM 名字相近，但 DeepFM 的高阶交互靠 DNN 隐式完成，xDeepFM 的高阶交互是显式逐维构造的，两者并不相同。

$$\mathbf{x}_{l+1} = \mathbf{x}_0 \odot (\mathbf{W}_l \mathbf{x}_l + \mathbf{b}_l) + \mathbf{x}_l$$

1. 初始特征：\(\mathbf{x}_0\) 是交叉网络在第一层保留的原始 Embedding 拼接向量，每层都参考它。

$$\mathbf{x}_0$$

2. 线性变换：\(\mathbf{W}_l \mathbf{x}_l + \mathbf{b}_l\) 对当前状态做线性映射，产生新的交叉中间量。

$$\mathbf{W}_l \mathbf{x}_l + \mathbf{b}_l$$

3. 逐元素相乘：\(\odot\) 让初始特征与中间量逐维相乘，这就是“显式交叉”的核心操作。

$$\mathbf{x}_0 \odot (\mathbf{W}_l \mathbf{x}_l + \mathbf{b}_l)$$

4. 残差连接：加上 \(\mathbf{x}_l\) 保证信息不丢失，避免深层网络退化。

$$+ \mathbf{x}_l$$

回到现实部署：训练 DeepFM 的完整流程大致是——收集用户行为日志 → 特征工程（ID 化、分桶、构造交叉记忆）→ 构造正负样本 → 训练并评估 AUC/GAUC → 导出模型 → 上线在线推理服务。工程上要特别关注 Embedding 表的内存占用、线上推理的延迟优化（比如把 Embedding 查表结果预热到内存缓存），以及根据新日志定期增量更新模型。不同流派各有擅长，但 DeepFM 之所以成为经典，正是因为它用最简洁的“经典搭配 + 创意融合”结构，在效果与工程复杂度之间找到了黄金平衡点。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.optim as optim  class DeepFM(nn.Module):    """DeepFM: FM 与 DNN 并行融合的 CTR 预估模型"""     def __init__(self, feature_size, embed_size, hidden_sizes):        super(DeepFM, self).__init__()        # 一阶线性权重（特征 ID -> 权重）        self.first_order = nn.Embedding(feature_size, 1)        # 共享 Embedding（FM 二阶与 DNN 共用）        self.shared_emb = nn.Embedding(feature_size, embed_size)        # DNN 深层网络        self.deep_layers = nn.ModuleList()        input_dim = embed_size        for hidden in hidden_sizes:            self.deep_layers.append(nn.Linear(input_dim, hidden))            input_dim = hidden        self.deep_out = nn.Linear(input_dim, 1)     def forward(self, x):        # 共享 Embedding 查表: (batch, fields, embed)        emb = self.shared_emb(x)        # FM 一阶部分        first = self.first_order(x).sum(dim=1)        # FM 二阶部分: 0.5 * ((sum v)^2 - sum(v^2))        sum_sq = emb.sum(dim=1) ** 2        sq_sum = (emb ** 2).sum(dim=1)        second = 0.5 * (sum_sq - sq_sum).sum(dim=1)        # DNN 高阶部分        deep_in = emb.reshape(emb.size(0), -1)        for layer in self.deep_layers:            deep_in = torch.relu(layer(deep_in))        dnn_out = self.deep_out(deep_in).squeeze(1)        # FM 与 DNN 并行相加, 再经 sigmoid 输出 CTR        logits = first + second + dnn_out        return torch.sigmoid(logits)  def main():    # 模拟 8 个特征, 每条样本有 3 个特征字段    torch.manual_seed(42)    model = DeepFM(feature_size=8, embed_size=4, hidden_sizes=[8, 8])    optimizer = optim.Adam(model.parameters(), lr=0.01)    x = torch.randint(0, 8, (64, 3))    y = torch.randint(0, 2, (64,)).float()    for epoch in range(50):        optimizer.zero_grad()        pred = model(x).squeeze(1)        loss = nn.functional.binary_cross_entropy(pred, y)        loss.backward()        optimizer.step()        if epoch % 10 == 0:            print("epoch", epoch, "loss", round(loss.item(), 4))  if __name__ == "__main__":    main()

1. self.shared_emb = nn.Embedding(feature_size, embed_size)建立共享 Embedding 表，FM 与 DNN 都从这里取特征向量，这是 DeepFM 的关键枢纽。
2. first = self.first_order(x).sum(dim=1)用 Embedding 查表取出每个特征的一阶权重并求和，得到 FM 的一阶项。
3. second = 0.5 * (sum_sq - sq_sum).sum(dim=1)利用数学恒等变换把 O(n²) 的二阶交叉化简为 O(nk) 的向量运算，代码里不出现任何双层循环。
4. deep_in = emb.reshape(emb.size(0), -1)把多个字段的 Embedding 展平拼接，作为 DNN 部分的输入向量。
5. logits = first + second + dnn_outFM 支路与 DNN 支路并行相加，体现 DeepFM 的融合方式。
6. return torch.sigmoid(logits)Sigmoid 把融合分数压到 0~1，输出 CTR 点击概率。

常见误区

面试题