自注意力与多头注意力在推荐中应用

可视化演示

展示自注意力机制中Query-Key权重矩阵的softmax归一化过程，以及多头注意力并行捕获不同维度特征的模式，揭示推荐系统中序列建模的核心原理。

序列推荐背景

小明开始记干饭日记时，只写“今天吃了火锅”。后来他发现，单看这一顿根本解释不了为什么凌晨三点会点麻辣烫。真正有用的信息藏在顺序里：加班 → 想吃重口 → 深夜火锅；沙拉 → 心里委屈 → 奶茶安慰。每一顿饭的含义，都要放在它前面的故事里读。

推荐系统也是一样。传统推荐模型（协同过滤、矩阵分解）把用户抽象成一袋静态偏好——“喜欢辣、偶尔吃草、甜口七分”，却看不到“上周连喝三天奶茶，今天该换清爽的”这种趋势。于是研究者把用户交互记录当作“行为日记”来建模，这就是序列推荐（Sequential Recommendation）。

在数学上，序列推荐把用户最近的交互序列记为 $s_1, s_2, \ldots, s_t$，每个物品先经过嵌入（Embedding）变成一个稠密向量，再按时间顺序堆叠成矩阵，作为后续自注意力层的输入：

有了这本“数字日记”，模型就有了复盘的基础。但更关键的问题是：怎么让每一顿饭在“所有其他饭”的背景下被重新理解？这正是自注意力要解决的事。

自注意力原理

小明开始真正地复盘日记。想预测下一顿，他不会傻盯最后一顿，而是先问自己：现在的处境是什么？加班到崩溃、周末放松、还是刚运动完？这个“当前状态发出的问题”，就是自注意力里的查询（Query）。

序列中的每个物品，也都随身带着“键”（Key）和“值”（Value）：键是日记的关键词——菜系、时间、场景；值才是日记正文。模型把问题 Q 与每篇日记的键 K 做匹配打分，分数高说明这篇日记对预测下一顿很有参考价值，然后按分数高低决定“重点读哪几篇”。

打分用的是点积 $\mathbf{Q}\mathbf{K}^\top$，再除以 $\sqrt{d_k}$ 防止数值过大导致 softmax 梯度消失，之后用 softmax 归一化成权重，最后对值 V 做加权求和。每一步都可微，可以端到端训练：

自注意力让每个行为都不再是孤立记录，而是在全部历史中被重新解读。但这只是“一位顾问”的复盘——如果口味顾问和场景顾问看法冲突怎么办？这就引出了多头注意力。

多头注意力机制

一位美食顾问容易有盲区，小明于是请了三位：时间顾问盯着“加班 → 深夜 → 重口”的节奏，口味顾问盯着“辣 → 甜 → 辣”的搭配，场景顾问盯着“工作日便当、周末大餐”的切换。三位各看各的，互不干扰，最后汇总成一份综合判断。

多头注意力就是这个思路：把 Q、K、V 分别通过不同的线性投影矩阵（$\mathbf{W}_i^Q, \mathbf{W}_i^K, \mathbf{W}_i^V$）映射到不同的子空间，在每个子空间里独立做一次自注意力，得到第 i 个头 $\mathbf{head}_i$。不同头捕捉不同类型的关系模式。

所有头的结果拼接起来，再乘一个输出投影矩阵 $\mathbf{W}^O$ 完成融合。注意：多头并不增加网络层数，它是在同一层内并行展开多个“视角”：

多头就像让三位顾问分别写下观察，最后由小明汇总判断。工程上它还带来一个意外好处：所有头可以并行计算，速度远快于串行展开的 RNN。

位置编码设计

日记如果丢了日期，顺序就全乱了。自注意力有一个数学上的“盲点”——它把序列当集合处理，打乱顺序后算出的注意力一模一样，这叫做置换不变性（Permutation Invariance）。“先火锅后沙拉”和“先沙拉后火锅”，在它眼里没有区别。

为了解决顺序问题，Transformer 系模型会给每个位置加上“位置编码”（Positional Encoding）：要么用正弦余弦函数生成固定编码，要么把位置向量作为可学习参数随模型一起训练。编码加到物品向量上，模型就知道“这是第几个行为”。

正弦位置编码的巧妙之处在于：不同维度拥有不同频率，整体类似二进制编码的“低位/高位”，且可以外推到训练时没见过的更长序列：

有了日期戳，自注意力才分得清“先火锅后沙拉”和“先沙拉后火锅”是两段完全不同的故事。可学习位置编码在数据充足时效果更好，相对位置编码则在长序列上更稳健，工业界按场景取舍。

掩码因果约束

预测未来有个前提——不能偷看未来。小明预测周五晚饭时，绝不会参考周五之后才发生的日记。但自注意力默认能看到序列的全部位置，如果训练时让它“偷看”，预测时就露馅了，这就是信息泄露（Label Leakage）。

因果掩码（Causal Mask）的做法很直接：在注意力得分矩阵上，把所有“未来位置”对应的分数设为负无穷大。经过 softmax 后，这些位置的权重会变成 0，第 i 个位置就只能看到前 i 个位置的信息。

掩码矩阵 M 是一个上三角为负无穷的矩阵。加上掩码后，模型变成自回归式：每一步输出只依赖过去。这也是 GPT 和 SASRec 的标准做法；而 BERT4Rec 这类模型预测被 mask 的物品时故意用双向注意力，两类模型的本质区别就在这里：

掩码保证了推荐系统不“作弊”：训练时怎么预测，线上就怎么预测。它和位置编码一起，把“无序的集合”重新变成“有序且守规矩的日记本”。

推荐模型实战

把前面所有零件组装起来，就是一台能读日记的机器。经典代表是 SASRec（Self-Attentive Sequential Recommendation）：先把用户行为序列的嵌入加上位置编码，送入若干层“带掩码的多头自注意力”，再用最后一个位置的输出预测下一项交互。

SASRec 的每一层都包含多头自注意力、残差连接（Residual Connection）和层归一化（Layer Normalization），结构类似 Transformer 的编码器块。层数越多，模型越能提炼“偏好语义”——从单顿饭的偏好，到“深夜+重口+独食”这种高层次模式。

训练时用交叉熵损失：序列中每个位置都预测“下一个是谁”，共享同一套参数。预测时取最后时间步的输出 $\mathbf{F}_t$，与全部物品嵌入做点积，再 softmax 得到各物品的概率：

SASRec 本质上就是“反复复盘日记 + 严格不看未来 + 预测下一页”。它用自注意力替代 RNN，既支持并行又擅长捕捉长期依赖，是目前序列推荐的事实标准之一。

多任务多目标

现实世界没有单一标准。小明在觅食 app 里考虑“下一顿吃什么”时，同时要权衡三个目标：健康吗？买得起吗？做起来快吗？推荐系统同样要同时优化点击率、加购率、转化率等多个目标。

多任务学习（Multi-Task Learning）让一个模型主干同时服务多个目标。最朴素的做法是共享底层编码参数，顶部接多个任务输出头；更进一步用门控（Gating）机制，让不同任务动态地“借用”不同比例的专家子网络，这就是 MMoE（Mixture-of-Experts）的思路。

训练时，总损失是各任务损失的加权和，权重 $\lambda_k$ 可以人工设定，也可以用不确定性加权自动学习：

多任务就像一位主厨同时管理“好吃、快、便宜”三条标准：共享同一套食材（底座参数），但不同目标按需调配不同厨师（专家）。而自注意力与多头注意力，正是这套复杂决策中读懂用户历史的“眼睛”。

AI 应用场景

Python 演示

import numpy as np np.random.seed(42)  def softmax(x, axis=-1):    e = np.exp(x - x.max(axis=axis, keepdims=True))    return e / e.sum(axis=axis, keepdims=True)  class MiniAttention:    """迷你多头自注意力，演示前向计算。"""     def __init__(self, d_model=16, num_heads=2):        self.d_model = d_model        self.num_heads = num_heads        self.d_head = d_model // num_heads        self.WQ = np.random.randn(d_model, d_model) * 0.05        self.WK = np.random.randn(d_model, d_model) * 0.05        self.WV = np.random.randn(d_model, d_model) * 0.05        self.WO = np.random.randn(d_model, d_model) * 0.05     def split_heads(self, x):        B, T, D = x.shape        x = x.reshape(B, T, self.num_heads, self.d_head)        return x.transpose(0, 2, 1, 3)     def forward(self, x, mask=None):        q = x @ self.WQ        k = x @ self.WK        v = x @ self.WV        qh = self.split_heads(q)        kh = self.split_heads(k)        vh = self.split_heads(v)        scores = qh @ kh.transpose(0, 1, 3, 2) / (self.d_head ** 0.5)        if mask is not None:            scores = scores + mask        weights = softmax(scores)        out = weights @ vh        B, H, T, Dh = out.shape        out = out.transpose(0, 2, 1, 3).reshape(B, T, self.d_model)        return out @ self.WO, weights  class MiniSASRec:    def __init__(self, num_items=20, d_model=16, num_heads=2):        self.num_items = num_items        self.d_model = d_model        self.item_emb = np.random.randn(num_items, d_model) * 0.1        self.pos_emb = np.random.randn(20, d_model) * 0.1        self.attn_layer = MiniAttention(d_model, num_heads)     def predict(self, seq):        e = self.item_emb[seq] + self.pos_emb[:len(seq)]        mask = causal_mask(len(seq))        out, _ = self.attn_layer.forward(e[np.newaxis, :, :], mask=mask)        logits = out[0, -1] @ self.item_emb.T        return softmax(logits)  def causal_mask(length):    m = np.zeros((1, 1, length, length))    for i in range(length):        m[0, 0, i, i + 1:] = -1e9    return m  if __name__ == "__main__":    model = MiniSASRec(num_items=20)    seq = [3, 7, 12, 18, 5]    probs = model.predict(seq)    top5 = np.argsort(probs)[::-1][:5]    print("历史行为序列:", seq)    print("预测下个交互 Top-5 物品:", top5.tolist())    print("对应概率:", [round(float(probs[i]), 4) for i in top5])

1. qh = self.split_heads(q)把 Q 矩阵切分成 num_heads 个子空间，对应多位“美食顾问”。
2. scores = qh @ kh.transpose(0, 1, 3, 2) / (self.d_head ** 0.5)缩放点积打分，衡量每个历史行为与当前问题的相关度。
3. weights = softmax(scores)把原始分数归一化成非负且和为 1 的注意力权重。
4. out = weights @ vh按权重对值向量加权求和，完成“按相关度记忆”。
5. m[0, 0, i, i + 1:] = -1e9构造因果掩码，把未来位置全部屏蔽。
6. e = self.item_emb[seq] + self.pos_emb[:len(seq)]物品嵌入加位置编码，恢复序列顺序信息。
7. logits = out[0, -1] @ self.item_emb.T取最后位置输出与全物品库做点积，生成候选打分。
8. top5 = np.argsort(probs)[::-1][:5]按概率降序取 Top-5，模拟线上召回结果。

常见误区

面试题