特征Embedding与哈希技巧

可视化演示

展示离散特征到稠密向量的Embedding映射、哈希技巧降维与碰撞、DeepFM共享Embedding层架构，切换模式查看推荐系统核心技术。

特征编码困境

老陈最初的做法，是给每本书单独准备一整间阅览室——书架上只放一本书，找起来一目了然，这就是 One-Hot 编码（独热编码） 的直觉：每个特征取值都拥有一个独立维度，这个维度为 1，其余全部为 0。可图书馆藏书超过一百万本时，馆内根本盖不起这么多房间。推荐系统里，用户 ID、商品 ID、类目、品牌这些特征加起来常常有几千万甚至上亿个取值，One-Hot 后的向量长达千万维，其中 99.99% 的位置都是 0。这种「高维稀疏」向量存起来费内存、算起来费算力，喂给神经网络时绝大多数乘法都在和 0 做无用功。

更棘手的是 信息孤岛 问题：One-Hot 把所有特征当作彼此无关的独立维度，「手机」和「数码」两个类目在向量空间里就像两颗离得很远的星星，模型学不到它们的相似性。而推荐系统恰恰依赖这种相似性——看过华为手机的用户，大概率也会对小米手机感兴趣。如果特征之间不能共享信息，模型的泛化能力会大打折扣。

图书馆的启示很清楚：房间再多也有上限。Feature（特征）的数量是动态增长的，而书架（存储和算力）是有限的。老陈意识到，必须在「保存信息」和「控制空间」之间找一条新路。

Embedding本质

老陈的新方案是给每本书写一张「内容摘要卡」：不存放整本书，只保存几百字的关键信息。更妙的是，内容相似的书，摘要风格也相近——《三体》和《球状闪电》的卡片上都写着「科幻、刘慈欣、宇宙」。《内容摘要卡》就是 Embedding：把高维稀疏的 One-Hot 向量，压缩成低维稠密的实数向量。原来的 1000 万维只剩下 8 到 128 维，但每一维都有实数值，承载着压缩后的语义信息。

Embedding 的本质是一张 查表字典：模型训练时，每个特征值对应表格里的「一行」向量。这张表不是人工写的，而是在训练过程中通过反向传播自动学习的。学习的目标是让「语义相近」的特征在向量空间里距离更近：看过「华为 Mate60」的用户行为，会带动「小米 14」和「iPhone 15」的向量向相似方向聚拢，因为它们常在同一批用户的历史中出现。这正是 Embedding「端到端可学习」的强大之处——不需要人工设计相似度规则，数据自己就会把相似的东西摆在一起。

摘要卡片解决了「一间房一本书」的空间浪费，但老陈又遇到了新问题：书还在源源不断地进馆，每来一本新书都得重新编号、重新安排位置。有没有一种办法，不管什么书来了都能立刻找到它的卡片？

哈希映射技巧

老陈的第二个妙招，是准备一排固定数量的储物柜，再立一条铁规矩：任何新书到馆，不用找人登记，而是用一本「字典」当场算出它该进哪个柜门。这本字典就是 哈希函数：输入特征名或 ID，输出一个整数。再对这个整数取模，就得到 0 到 L-1 之间的槽位编号。这个编号直接作为 Embedding 表的行索引——老陈只需维护一张 L×d 的小表，就能承接无限增长的特征。

哈希技巧解决了两大痛点。第一是 OOV（新特征）问题：传统方式遇到训练时没见过的特征 ID 会直接崩溃或忽略，而哈希函数对任何输入都能算出槽位，新特征永远有位置可去。第二是 内存固定：表长 L 是预先定好的，无论特征总数涨到 1000 万还是 1 亿，Embedding 表的参数量始终是 L×d，不会跟着特征数膨胀。这正是推荐系统能支撑海量用户的工程基石。此外，哈希映射在分布式环境下天然一致——同一特征在任何机器上算出的索引都相同，训练和推理的查表结果不会错位。

老陈的储物柜法立竿见影，但他很快发现另一个问题：书的数量多了，难免有两本书被字典算出同一个柜门。柜子只有一个，书却要挤在一起——这在哈希世界里叫「碰撞」。

碰撞与多哈希

碰撞的本质是：两个不同的特征 f1 和 f2，经过哈希取模后落到同一个槽位，被迫共享同一个 Embedding 向量。老陈的储物柜里，两本毫不相干的书挤在一个格子里，取 A 书时看到的摘要其实是两本书的混合体。碰撞会稀释特征的个性化表达：如果「茅台」和「纸尿裤」撞到同一槽，模型对这两个特征的区分度就会下降。

碰撞概率可以由「生日悖论」估算：n 个特征随机落入 L 个槽位，至少一对碰撞的概率约为 1 - e^{-n²/(2L)}。工程上用 多哈希 来缓解：同时用两个独立的哈希函数，把两个结果组合后取模，相当于把原本「一条路进柜」变成「两条路交叉验证」，分布更均匀。此外还有 特征分桶 和 频率分层：高频特征（如热门商品）单独建表，保证它们的表达不被挤压；低频长尾特征（如小众商品）共享哈希表，因为它们的样本量本来就少，即使偶尔碰撞，对模型整体影响也可控。

挤一挤并不可怕，可怕的是挤爆。多哈希和分桶就像给储物柜加了隔板：同一个柜门里放几个小抽屉，重要书籍单独占一格。碰撞解决了，老陈开始琢磨更深层的问题——怎么从一堆摘要卡片里，真正读懂一位读者的口味。

DeepFM架构

老陈给自己定了个「荐书三口诀」。第一句是 单本评价：这本书本身好不好看？对应模型中的一阶项，每个特征独立打分。第二句是 搭配评价：这两本书凑在一起妙不妙？比如「悬疑 + 东野圭吾」比「悬疑 + 菜谱」合理得多，这对应 FM（因子分解机）的二阶交叉项——用两个特征向量的内积衡量它们的搭配强度。第三句是 品味脉络：整本书背后的深层逻辑、跨多个维度的复杂关联，比如「30 岁男性 + 程序员 + 深夜 + 科幻电影 + 咖啡」共同暗示了什么，这需要深层网络（DNN）来捕捉。

DeepFM 把三句口诀合在一起：一阶项（w0 + Σwixi）负责单独打分，FM 二阶项负责两两交叉，DNN 负责高阶非线性交互，最后联合训练、一起优化。与纯 FM 相比，DeepFM 多了深度网络的表征能力；与纯 DNN 相比，它多了显式的二阶交叉，让模型在数据稀疏时也能学得稳。这也是它成为工业界 CTR 预估标配的原因——既能快速捕捉低阶规律，又能深度挖掘高阶模式。

三句口诀让老陈像个合格的荐书员了，但还不够贴心。一位老读者明明只看科幻，为什么系统总是推荐言情？因为模型没有抓住「最近反复借的那几本」才是兴趣的关键。

DIN兴趣网络

老陈发现，给老读者荐书时，不能把他十年来的借阅记录一视同仁。他上个月借了七本《三体》相关书籍，最近又借了两本《流浪地球》——当推荐新科幻书时，这些近期记录应该被「重点盯住」；而他五年前借的一本言情小说，此时完全可以忽略。这种「盯着关键历史行为」的能力，就是 注意力机制，也是 DIN（深度兴趣网络） 的核心思想。

DIN 具体怎么做？把候选商品（比如《球状闪电》）当作「探照灯」，逐一扫描用户历史行为中的每个商品（《三体》《流浪地球》《甄嬛传》……）。探照灯的光束强度由打分函数 g 计算——候选与历史行为越相关，得分越高。得分经过 softmax 归一化成权重 α，再对历史商品的 Embedding 做 加权求和，得到用户的 兴趣向量。这个兴趣向量是动态的：换一个候选商品，探照灯的角度变了，兴趣向量也跟着变。这正是 DIN 胜过「把所有历史行为平均一下」的关键——平均是「一碗水端平」，注意力是「重点关照」。

老陈的推荐越来越准了，但图书馆的经费有限。摘要卡片该写多长？储物柜该准备几排？机器学习的「钱」——内存和算力，必须花在刀刃上。

工程性能调优

最后一个问题是资源配比。第一，Embedding 维度 d：卡片写得太短（如 2 维），信息装不下；写得太长（如 1024 维），柜子占地方、训练也慢。推荐场景的经验区间是 8 到 128 维，特征基数越大、样本量越足，可以适当取高。第二，哈希表长 L：表越大碰撞越少，但内存线性增长。工程经验是取原始特征总数的 1% 到 10%，并把碰撞率控制在 5% 以内——超过这个阈值再考虑加表或加分桶。参数与内存可以精确估算：参数量 = L × d，每个 float32 参数占 4 字节。

第三，分布式训练分片：亿级特征的哈希表不可能塞进单机内存，要按哈希索引切分到多台机器上。分片时要注意热点特征均衡——把「双十一爆款」这类超高访问特征分散到不同节点，避免单机成为瓶颈，同时减少跨机通信。第四，线上部署优化：推理时 Embedding 查表要走缓存（如 Redis 或本地 hashmap），哈希计算本身是 O(1) 的，要把算力留给 DNN 的矩阵运算。这些调优手段，最终目标都是让推荐系统在有限的资源下跑得更快、更准。

至此，老陈的图书馆体系完整了：One-Hot 是旧时代的单间，Embedding 是摘要卡，哈希技巧是储物柜，DeepFM 是荐书三口诀，DIN 是探照灯。理解了这套逻辑，你就掌握了工业级推荐系统的核心骨架。

AI 应用场景

Python 演示

"""特征Embedding与哈希技巧演示: 哈希Embedding + 极简DeepFM前向传播"""import numpy as np  class HashEmbedding:    """用哈希技巧把大规模稀疏特征压缩到固定尺寸的Embedding表"""     def __init__(self, table_size, dim):        self.table_size = table_size        self.dim = dim        # 哈希表: table_size x dim 的稠密矩阵        self.table = np.random.randn(table_size, dim) * 0.1        self.free_lists = {}        self.gc_count = 0     def _hash(self, key):        return hash(key) % self.table_size     def lookup(self, key):        return self.table[self._hash(key)]     def group_lookup(self, keys):        return np.vstack([self.lookup(k) for k in keys])  class DeepFM:    """极简DeepFM: 一阶线性 + 二阶FM交叉 + 单层DNN高阶"""     def __init__(self, table_size, dim):        self.emb = HashEmbedding(table_size, dim)        self.w0 = 0.0        self.w1 = np.random.randn(dim) * 0.1        self.W_dnn = np.random.randn(dim, 8) * 0.1     def forward(self, keys):        vecs = self.emb.group_lookup(keys)          # N x d        # 一阶项: 对每个特征向量做加权求和 (简化)        linear = float(np.sum(vecs))        # 二阶FM: 两两内积交叉        fm = 0.0        for i in range(len(keys)):            for j in range(i + 1, len(keys)):                fm += float(np.dot(vecs[i], vecs[j]))        # DNN高阶: 均值池化后过一层非线性        pooled = vecs.mean(axis=0)        high = float(np.tanh(np.dot(pooled, self.W_dnn).sum()))        return self.w0 + linear + fm + high  if __name__ == "__main__":    model = DeepFM(table_size=64, dim=16)    features = ["user:10001", "item:8899", "cate:手机", "brand:华为"]    score = model.forward(features)    print("CTR预估分:", round(score, 4))    print("哈希表参数量:", model.emb.table.size, "(远小于原始特征数x维度)")

1. self.table = np.random.randn(table_size, dim) * 0.1初始化一张固定大小的哈希 Embedding 表，全部参数可学习。
2. return hash(key) % self.table_size核心哈希技巧：对任意特征名取模，映射到固定槽位。
3. def group_lookup(self, keys)把多个特征一次查表并堆叠成矩阵，模拟真实模型中的批量特征嵌入。
4. fm += float(np.dot(vecs[i], vecs[j]))FM 二阶交叉项：所有特征两两内积求和，衡量搭配强度。
5. high = float(np.tanh(np.dot(pooled, self.W_dnn).sum()))DNN 高阶项：均值池化后过一层带 tanh 激活的线性变换。
6. features = ["user:10001", "item:8899", "cate:手机", "brand:华为"]真实推荐特征的简化形式：字段名加冒号拼 ID，哈希函数直接作用于字符串。

常见误区

面试题