DIN/DIEN：深度兴趣推荐模型

可视化演示

\u5C55\u793ADIN\u6CE8\u610F\u529B\u673A\u5236\u4E0EDIEN\u5174\u8DA3\u6F14\u5316\u7684\u5BF9\u6BD4\uFF1A\u884C\u4E3A\u5E8F\u5217\u901A\u8FC7\u6CE8\u610F\u529B\u6216GRU\u751F\u6210\u7528\u6237\u5174\u8DA3\u8868\u793A\u3002

1. 推荐系统难题

假设你走进一家商场，一位资深导购迎面走来。她手里有你厚厚一沓购物小票：上周的猫粮、昨天的机械键盘、上个月的洋娃娃、去年的钓鱼竿……这些记录是你五花八门的兴趣，可导购该如何从一堆混杂的“旧账”里读出你此刻想要什么？这正是推荐系统每天都在面对的“读心”困局。

传统推荐模型（比如曾经很流行的 DeepFM）的做法很粗暴：把这堆记录取个平均，把“平均后的你”当作独一无二的你。于是“爱钓鱼的程序员”被平均成一个模糊的“普通上班族”，推荐结果不咸不淡——既不够懂钓鱼，也不够懂键盘。问题出在数学根源上：模型用一个固定的用户向量表示你，不管候选商品是什么，你的“画像”都不变。

推荐的本质是估计用户 \(u\) 对候选商品 \(i\) 的点击概率，传统模型的预测形式可以简写为：

好在用户的历史行为序列是一座金矿。DIN 与 DIEN 正是来挖这座金矿的：它们撕掉“平均滤镜”，让导购看懂每一张小票背后的真实兴趣。

2. 行为序列处理

导购决定认真看小票，可小票上有中文、有数字、有模糊的店名。她得先把每一条记录翻译成自己能理解的标准语言——在模型里，这个“翻译”动作叫 Embedding（嵌入）。

每个商品 ID 都是离散的编号（比如“猫粮=10034”、“钓鱼竿=20331”），编号之间没有语义距离。Embedding 层把每个 ID 映射为一个稠密向量，比如“猫粮”→\((0.2, 0.8, -0.3)\)，“钓鱼竿”→\((-0.5, 0.9, 0.4)\)。这样一来，模型就能用向量之间的夹角和距离来衡量“兴趣相似度”。

用户的点击、购买、收藏记录按照时间排列，就构成行为序列 \(S(u) = [b_1, b_2, \ldots, b_n]\)。经过 Embedding 层，每条行为变成一个向量 \(\mathbf{e}_j\)。因为不同用户的行为长度不一样，传统模型通常用平均池化把整个序列压成一个固定维度的向量：

平均池化显然配不上“资深导购”的称号。于是 DIN 登场，它要解决的核心问题就一句话：如何让模型在“翻旧账”时，对不同的小票分配不同的关注度。

3. DIN 注意力激活

聪明的导购在推荐鱼饵时，会重点翻“钓鱼竿、渔网”这些和鱼相关的小票，把“猫粮”轻轻带过。这种“看人下菜碟”的翻账功夫，就是 DIN 的注意力机制。

DIN（Deep Interest Network，深度兴趣网络）的直觉非常朴素：用户历史行为对当前候选商品的影响，应该由历史行为与候选商品的相关度决定。相关度高的行为权重高，相关度低的行为权重低。而且这个权重不是固定的——换一个候选商品，权重要重算。

具体做法是：对于候选商品向量 \(\mathbf{v}_A\) 和每条历史行为向量 \(\mathbf{v}_j\)，用局部激活单元（Local Activation Unit）打一个相关分，再经过 Softmax 归一化成注意力权重：

其中局部激活单元 \(f\) 把两向量及它们的逐元素乘积拼接后送入两层 MLP。得到权重后，用加权池化把历史行为融合成兴趣向量：

DIN 让导购学会了“看人下菜碟”，但它还有个盲区：它把行为序列当作一堆没有先后顺序的散票。然而用户的兴趣是会流动的——今天爱钓鱼，明天可能迷上露营。谁来看懂这条“兴趣河流”？DIEN 接过了接力棒。

4. DIEN 兴趣演化

想想追剧的你：去年爱看悬疑，今年转粉甜宠，下个月可能迷上综艺。导购光知道你昨天买了什么还不够，还得看出你兴趣的演化趋势。这就是 DIEN（Deep Interest Evolution Network，深度兴趣演化网络）要做的事。

DIEN 在 DIN 的基础上引入时间维度，用 GRU（门控循环单元）按时间顺序读行为序列，把“离散小票”串成“故事线”。GRU 像一位带着小本本的导购，每读一张新小票，就在本子上更新一次对顾客的印象。它有两个关键“闸门”——重置门和更新门，决定忘掉多少旧印象、吸收多少新信息：

GRU 的计算细节如下：

光有 GRU 还不够。为了让每一步兴趣状态都有“标准答案”，DIEN 引入辅助损失（auxiliary loss）：在第 \(t\) 步，用当前兴趣状态 \(\mathbf{h}_t\) 去预测第 \(t+1\) 步的真实行为。这就是导购的“随堂测验”——每读一条小票就自测一下：“我猜的下一步对不对？”

DIEN 还在兴趣演化层用 AUGRU（注意力更新的 GRU）替代普通 GRU，让注意力权重直接嵌入更新门，避免兴趣在演化中被平均掉。训练完成之后，这位导购才算真正出师——但上岗之前，她还得经历一套完整的“培训与考核”。

5. 训练与优化

就像导购要经过岗前培训才能上岗，DIN/DIEN 也要通过一套“考试题”反复操练。这套考试的标准答案来自用户的真实点击行为：点击了的商品是正样本，没点击的是负样本。

DIN/DIEN 是监督学习模型，核心训练目标是最小化交叉熵损失——它衡量模型的预测概率与真实标签之间的差距，相当于考试的“扣分标准”：

其中 \(\hat{y}_i = \sigma(\text{MLP}([\mathbf{v}_U,\, \mathbf{v}_A,\, \mathbf{v}_U \odot \mathbf{v}_A]))\)。DIEN 的最终损失是主损失与辅助损失的加权组合：

训练数据中负样本远比正样本多。工业界的做法是负采样：对每个正样本随机抽取一定数量的未交互商品作为负样本，而不是把全量商品都塞进去。这样既控制了计算量，又让模型学会了“什么样算不像”。训练完成后，这位“导购”被派往真实柜台服务亿万用户——她的实战表现如何？

6. 应用与对比

培养好的导购终究要上岗。DIN/DIEN 在电商推荐、广告 CTR 预估里就是那位“上岗导购”，用点击率（CTR，用户点击广告或商品的占比）和转化率作为“客户满意度”指标。

与传统模型相比，DIN 的突破在于用户表征随候选商品自适应变化。DeepFM 这类模型把用户兴趣压缩成一碗静态的“平均糊”，无论推荐什么都用一个固定的用户向量；DIN 则让用户向量在每次推荐时都重新计算——推鱼饵时你是“钓鱼人”，推猫粮时你是“铲屎官”。DIEN 更进一步，用 GRU + 辅助损失把兴趣的演化轨迹建模出来，让推荐不只是“猜你现在想要什么”，而是“预判你下一步想要什么”。在阿里妈妈展示广告场景中，DIN 相比当时的基线模型带来约 20% 的 CTR 相对提升。

工程上也有代价：DIN 的注意力打分要对每条历史行为单独计算，序列越长开销越大。实际部署时通常采取三类手段：对行为序列做截断（只保留最近 50~100 条）、对行为做采样（随机或按时间加权抽样）、以及用向量检索先粗筛候选商品缩小打分范围。另外，并非所有场景都需要 DIEN——如果用户行为本身缺乏时间规律（比如偶尔才逛一次的低频用户），DIN 的静态注意力已经够用，强行上 DIEN 反而增加训练成本。

这里不是“更复杂就一定更好”，而是像挑选导购一样：DIN 是懂得“看人下菜碟”的普通导购，DIEN 是能“预测顾客心思”的金牌导购。大型电商平台流量大、行为密，DIEN 的演化建模能带来稳定增益；中小型业务行为稀疏，DIN 的性价比更高。选择哪一位，取决于你的商场里有多少顾客、顾客留下了多长的“购物小票”。

AI 应用场景

Python 演示

import numpy as np  def softmax(scores):    """把任意实数数组转成和为 1 的概率分布(注意力权重)"""    exp_scores = np.exp(scores - np.max(scores))    return exp_scores / exp_scores.sum()  class SimpleDIN:    """简化版深度兴趣网络: 用两层 MLP 实现局部激活单元"""     def __init__(self, embed_dim, hidden_dim):        self.embed_dim = embed_dim        self.w1 = np.random.randn(embed_dim * 2, hidden_dim) * 0.1        self.b1 = np.zeros(hidden_dim)        self.w2 = np.random.randn(hidden_dim, 1) * 0.1        self.b2 = np.zeros(1)     def local_activation(self, behavior_vec, target_vec):        """候选商品与单个历史行为的打分函数"""        concat = np.concatenate([behavior_vec, target_vec])        hidden = np.tanh(concat @ self.w1 + self.b1)        return hidden @ self.w2 + self.b2     def predict(self, behavior_seq, target_vec):        """输入行为序列与候选商品, 返回加权兴趣向量和注意力权重"""        scores = np.array([            self.local_activation(b, target_vec)[0] for b in behavior_seq        ])        weights = softmax(scores)        interest_vec = np.sum(            weights.reshape(-1, 1) * np.array(behavior_seq), axis=0        )        return interest_vec, weights  if __name__ == "__main__":    np.random.seed(42)    model = SimpleDIN(embed_dim=8, hidden_dim=16)    # 5 条历史行为: 鱼竿, 猫粮, 渔网, 运动鞋, 鱼饵盒    behaviors = [np.random.randn(8) for _ in range(5)]    target = np.random.randn(8)  # 候选商品    interest, attn = model.predict(behaviors, target)    print("兴趣向量:", np.round(interest, 3))    print("注意力权重:", np.round(attn, 3))

1. exp_scores = np.exp(scores - np.max(scores))减去最大值再取指数，防止数值上溢，这是 Softmax 的标准稳妥写法。
2. concat = np.concatenate([behavior_vec, target_vec])把历史行为与候选商品向量拼在一起，作为局部激活单元的输入。
3. hidden = np.tanh(concat @ self.w1 + self.b1)一层带 tanh 激活的线性变换，让模型学习历史行为与候选商品之间的非线性交互。
4. weights = softmax(scores)把 5 个行为的打分归一化成和为 1 的注意力权重，对应 DIN 公式里的 Softmax 步骤。
5. interest_vec = np.sum(weights.reshape(-1, 1) * np.array(behavior_seq), axis=0)加权求和，把历史行为按注意力权重融合成“此刻的用户兴趣向量”。

常见误区

面试题