特征交叉：推荐模型的调味魔法

可视化演示

展示推荐系统中显式特征笛卡尔积交叉、FM隐式二阶交叉的点积参数化、DeepFM联合FM与DNN的高阶交叉架构。

交叉核心认知

土豆丝单独吃很普通，配上醋和辣椒就成了让人上头的酸辣土豆丝——食材没变，变的是搭配。推荐系统也一样：单看“时间=23 点”，系统猜不出你想吃什么；单看“品类=奶茶”，也未必会下单；但“深夜 + 奶茶 + 外卖”三个特征同时出现，订单概率就直线上升。这种“组合起来才有意义”的模式，就是特征交叉。交叉的本质，是把多个原始特征揉成一个新的语义信号，交给模型去打分。

推荐模型的预测目标通常是 CTR（点击率），而用户是否点击几乎总是由多个因素共同决定的：一个 20 岁的男大学生在深夜看到手游广告，和一位 40 岁的家庭主妇看到同一广告，反应截然不同。如果模型只看“广告是手游”这一个特征，就永远学不到这种差异。交叉特征捕捉的正是这种非线性关系，因此交叉质量往往直接决定 CTR 预估的上限。

如果把“是否点击”写成数学表达式，一阶项是每个特征单独打分，二阶交叉项则是两个特征共同出现时额外加分：

理解交叉的核心认知后会发现：不同的“搭配方式”对应了不同的模型范式。显式交叉像写死的菜谱，隐式交叉像自由发挥的手感，二者各有利弊，而后续要讲的 DeepFM 正是要把两者端上同一张餐桌。

显式交叉范式

有些餐厅把经典搭配明明白白写进菜单：“番茄炒蛋”——番茄必须配鸡蛋，这是厨师们验证过无数次的黄金组合。显式交叉就是这个思路：在模型里明确指出哪些特征要组合，把 $x_i \times x_j$ 这样的乘积项作为新特征放进去。它的好处是直白、可控、可解释，但推荐场景的特征往往经过 one-hot 编码后有上亿维度，两两组合会膨胀到 $n^2$ 量级，绝大多数组合在样本里压根没出现过，根本学不动。

FM（因子分解机）解决了这个难题。它的巧思是：不再为每对特征单独学一个权重 $w_{ij}$，而是给每个特征学一个低维隐向量 $\mathbf{v}_i$，任意两个特征的交叉权重用两个隐向量的点积 $\langle \mathbf{v}_i, \mathbf{v}_j \rangle$ 来近似。这样参数从 $O(n^2)$ 降到 $O(nk)$，而且相似的食材（特征）会共享调料（隐向量），即使某个组合从未在训练数据中出现，也能借助各自隐向量的相似性推出合理的交叉权重。FM 的完整预测式如下：

DeepFM 则更进一步：它把 FM 作为“显式交叉”模块，同时并联一个 DNN 作为“隐式交叉”模块，两者共享同一份 embedding，最后把两路分数相加。显式交叉保证模型至少能学到可靠的二阶组合，隐式交叉则负责挖掘更复杂的模式。显式交叉像写死的菜谱，稳定但无法穷尽所有美味；隐式的加入让 DeepFM 既有了基本功，也有了想象力。

隐式交叉范式

私房菜师傅说不出精确菜谱，只告诉你“花椒一点点，盐看手感”——但人家炒出来的菜就是香。DNN 的隐式交叉就是这样一种“说不清道不明”的融合：你不需要告诉网络“年龄和品类要交叉”，它自己会在一次次前向传播中，把特征层层混合，最终形成复杂的组合模式。这就是隐式交叉：不显式指定交叉哪些特征，而是通过网络的深度和非线性变换自动完成。

多层神经网络的每一层都在做两件事：对上一层输出做加权求和（线性混合），再经过一个激活函数（引入非线性）。数学上可以证明，足够深的网络能逼近任意函数，理论上隐式交叉的表达空间极大。但理论是理论，实践有代价——在推荐这种超高维、极度稀疏的场景下，网络要学到三阶以上的高阶组合，需要非常深的层数和海量的数据，否则很多权重根本得不到有效训练。

隐式交叉的更新过程可以写成一个简洁的递推式：

隐式交叉像手感型大厨：上限很高，能做出显式菜谱想象不到的惊喜，但也可能发挥不稳定——训练难收敛、交叉模式不可解释、调参像玄学。这也是为什么业界很少单独用纯 DNN 做特征交叉，而是把它和显式方法组合起来，互相兜底。理解隐式交叉的局限，是理解高阶交叉范式出场理由的钥匙。

高阶交叉范式

水煮鱼不是简单的“鱼 + 辣椒”两两搭配，而是豆瓣酱、花椒、蒜末、姜片层层复合，每种调料在不同的烹饪阶段依次释放风味。真实的用户行为也常常需要更高的交叉阶数：“年轻 + 男性 + 学生 + 深夜 + 手游广告”——五阶交叉可能才最能说明问题。所谓高阶交叉，指三个及以上特征的组合。

但问题来了：直接枚举三阶组合，参数是 $n^3$ 量级，计算上完全不可行。Deep&Cross 提出了一种优雅的解法。它的 Cross Network 每一层都做这样一件事：拿原始输入 $\mathbf{x}_0$ 和当前层表示 $\mathbf{x}_l$ 做外积，得到交叉项，再与当前层相加。由于原始输入每一层都参与，所以每一层都在“跟原料对话”，层数越多，能表达的交叉阶数就越高。关键巧妙之处在于，每层只有一份权重向量 $\mathbf{w}_l$，参数只有 $O(d)$，不会随交叉阶数爆炸：

与 Deep&Cross 并列的还有 CIN（Compressed Interaction Network），它通过向量外积和逐位相乘来显式生成高阶特征，思路类似但计算方式不同。高阶交叉的工程要点始终是复杂度控制——用精巧的结构表达高阶组合，而不是盲目堆参数。功夫菜靠层层工序，也靠“回到原料”的初心，这正是残差连接的意义。

注意力交叉范式

美食评论家不会给每道菜打一样的分数，而是对招牌菜大书特书，对配菜一笔带过。AutoInt 的注意力交叉就是这个思路：让模型动态“评论”每一对特征，决定谁和谁的交叉值得重视、重视到什么程度。相比 FM 的固定权重，注意力交叉的权重是随输入动态变化的——同一个“奶茶”特征，在深夜和中午得到的交叉权重完全不同。

AutoInt 的核心是多头自注意力。每个特征先映射成 embedding 向量，然后所有特征两两互相“打量”：Query 代表“我想关注什么”，Key 代表“我是什么”，两者点积算出相似度，经过缩放和 softmax 归一化后变成交互权重，再乘上 Value 得到加权融合结果。多头机制让不同的“头”关注不同的语义子空间——一个头可能专注“时段 × 品类”，另一个头专注“性别 × 价格”。类似地，DIN 也通过注意力为用户行为序列加权，本质都是让重要的交互“大声说话”：

注意力交叉让模型不再是“盲人摸象”式地均匀混合所有特征，而是有主次、有重点地完成交叉，并且每个权重天然可以可视化，提供了可解释性。美食评论家点到为止，却让每道菜的价值被更多人看见——注意力交叉正是这样，让重要的组合浮出水面。

范式横向对比

选菜系要看场合：工作日晚上是快手家常菜，宴请宾客得上硬菜，追求新奇才点分子料理。特征交叉的范式选择同样是“预算与需求”的权衡。四种范式各有各的脾气，没有绝对的优劣，只有合不合适的场景。

从计算开销看，假设特征总数为 $n$，隐向量维度为 $k$，embedding 维度为 $d$，网络层数为 $L$，单次前向的计算量大致可以排序：

实践中没有哪个大厂只押注一种范式。DeepFM 就是“显式二阶 + 隐式高阶”的混合；有些团队会把 AutoInt 的注意力权重作为可解释性工具，辅助人工特征工程。选型策略可以总结为：数据稀疏选 FM，特征规模可控且要高阶选 Deep&Cross，重视可解释性和动态交互选 AutoInt，算力紧张就老老实实上 FM + DNN。没有最好的菜系，只有最合适的宴席。

自动交叉搜索

大餐厅的研发部每天都在实验新配方：罗勒配芒果？巧克力配辣椒？哪怕失败一百次，只要成功一次就能成为招牌。手动设计特征交叉就像老厨师凭经验试菜，但经验有盲区，试错成本也太高——每次都要重新训练模型验证。自动特征交叉搜索，就是让机器自己当“研发员”，在搭配空间里自动探索最有价值的交叉结构。

自动搜索的第一步是定义搜索空间：交叉几阶、哪些特征参与、用什么算子（乘法、加法、拼接还是注意力）。这个空间巨大无比，穷举不可能。于是研究者引入强化学习或进化算法：让一个“控制器”不断提出交叉方案，训练评估后把性能作为奖励反馈给控制器，逐步进化出更优的搭配。近年前沿的可微分搜索更进一步，把“选哪个算子”这种离散决策松弛成连续权重，从而可以端到端地用梯度下降优化整个结构。

自动交叉搜索的优化目标通常不是单纯追求精度，而是精度与成本的权衡：

自动交叉搜索是推荐系统的前沿方向，它把“特征工程”从手工作坊变成了自动化流水线。但要泼一盆冷水：机器再会找配方，也得有齐全的食材库和稳定的灶台——高质量的特征建设与数据治理仍是地基。让机器代找新配方，人类厨师才能腾出手来想更长远的事。

AI 应用场景

Python 演示

import numpy as np  def sigmoid(z):    z = np.clip(z, -30.0, 30.0)    return 1.0 / (1.0 + np.exp(-z))  class LR:    """逻辑回归: 只做一阶线性特征组合"""     def __init__(self, lr=0.1, epochs=100):        self.lr = lr        self.epochs = epochs        self.w = None     def fit(self, X, y):        n = X.shape[1]        self.w = np.zeros(n)        for _ in range(self.epochs):            p = sigmoid(X @ self.w)            grad = X.T @ (p - y) / len(X)            self.w -= self.lr * grad        return self     def predict(self, X):        return sigmoid(X @ self.w)  class FM:    """因子分解机: 显式二阶特征交叉, 交互权重用隐向量点积"""     def __init__(self, n_features, k=6, lr=0.05, epochs=80, reg=0.01):        self.n_features = n_features        self.k = k        self.lr = lr        self.epochs = epochs        self.reg = reg        self.w0 = 0.0        self.w = np.zeros(n_features)        self.V = np.random.normal(0, 0.1, (n_features, k))     def _interaction(self, X):        xv = X @ self.V                       # (n, k) 特征加权表示        sq = (X ** 2) @ (self.V ** 2)        return 0.5 * ((xv ** 2).sum(axis=1) - sq.sum(axis=1))     def predict(self, X):        logit = self.w0 + X @ self.w + self._interaction(X)        return sigmoid(logit)     def fit(self, X, y):        n = len(X)        for _ in range(self.epochs):            p = self.predict(X)            err = p - y            self.w0 -= self.lr * err.mean()            self.w -= self.lr * (X.T @ err / n + self.reg * self.w)            xv = X @ self.V            dV = np.zeros_like(self.V)            for f in range(self.n_features):                # 公式: x_f * (xv_k - x_f * v_fk) 对 err 加权取平均                dV[f] = (err * X[:, f] * (xv - X[:, f] * self.V[f])).mean(axis=0)            self.V -= self.lr * (dV + self.reg * self.V)        return self  def make_ctr_data(n=2000, seed=42):    """构造 CTR 数据, 标签依赖二阶交叉规律"""    rng = np.random.default_rng(seed)    X = rng.integers(0, 2, size=(n, 6)).astype(float)    logit = 0.3 - 1.5 * X[:, 0] * X[:, 2] + 1.0 * X[:, 1] * X[:, 3]    y = (rng.random(n) < sigmoid(logit)).astype(int)    return X, y  if __name__ == "__main__":    X, y = make_ctr_data()    lr = LR().fit(X, y)    fm = FM(n_features=6, k=6).fit(X, y)    lr_acc = ((lr.predict(X) > 0.5) == y).mean()    fm_acc = ((fm.predict(X) > 0.5) == y).mean()    print("LR 一阶准确率: %.3f" % lr_acc)    print("FM 二阶交叉准确率: %.3f" % fm_acc)

1. self.V = np.random.normal(0, 0.1, (n_features, k))初始化每个特征的隐向量，k 是隐向量维度，相当于给每种“食材”备好一组“调味料”。
2. xv = X @ self.V把特征矩阵与隐向量矩阵相乘，得到所有特征在隐维度上的加权表示，这是计算全部两两交叉的原料。
3. sq = (X ** 2) @ (self.V ** 2)二阶交叉公式的另一半，用来在 O(nk) 时间内一口气算出所有组合，而不是逐个枚举 n² 对。
4. return 0.5 * ((xv ** 2).sum(axis=1) - sq.sum(axis=1))用等式变换把“两两交叉求和”化简成两项之差，这是 FM 能高效处理稀疏特征的关键技巧。
5. logit = 0.3 - 1.5 * X[:, 0] * X[:, 2] + 1.0 * X[:, 1] * X[:, 3]生成数据时故意把标签规律藏在二阶交叉里，一阶模型看不到这个规律，FM 却能学到。
6. dV[f] = (err * X[:, f] * (xv - X[:, f] * self.V[f])).mean(axis=0)对每个特征的隐向量求梯度，让交叉项朝降低误差的方向更新，这是 FM 训练的“出锅调味”步骤。

常见误区

面试题