物品协同过滤(ItemCF)与共现矩阵

可视化演示

展示共现矩阵构建与相似度计算、ItemCF与UserCF对比、及基于物品相似度的推荐生成流程。

共现矩阵构建

老王收银时养成了一个习惯：每来一位顾客，他就在小本子上画一个小格子，记下购物篮里有哪几样。晚上关门，他对着格子发愣，渐渐看出门道——咖啡和奶精总是成对出现，啤酒和尿布也常一起露面。他把这些“成对出现”的次数填进一张货架×货架的表格里：横轴一种货，纵轴一种货，交叉的格子就是“这对商品同时被买走的次数”。这张表格，就是推荐系统里的“共现矩阵”。

在真实的推荐系统里，老王的“小本子”就是用户行为日志——点击、收藏、加购、下单，每一条行为都是一个虚拟“购物篮”。所谓构建共现矩阵，就是把日志翻译成一张物品×物品的计数表：co[i][j] 表示“同一用户对物品 i 和物品 j 都产生过行为”的人数。构建过程分三步：第一步，把日志按用户聚合，得到每人一个行为物品集合；第二步，对每位用户集合里的物品两两配对，在矩阵对应格子加 1（顺便也给自己加 1，于是对角线记录了每个物品自身的流行度）；第三步，汇总所有用户，得到完整的 M×M 矩阵。M 是物品总数，真实系统里可能有千万级，矩阵必然稀疏，通常用字典或稀疏矩阵存储。

老王后来把本子换成了大号表格纸，纸还是那张纸，只是格子越填越多。他心里明白：这本“观察本”是一切推荐的起点——没有它，后面所有的默契度都是空中楼阁。

相似度计算

表格填满之后，老王发现一个烦恼：盐和糖几乎是“百搭王”，和谁都共现几十次；而小众的枫糖浆只和松饼共现了两次。如果直接按次数排序，那人人都买的盐会霸占所有推荐位。老王灵机一动：不能看绝对次数，要看“比例”——枫糖浆虽然只出现两次，但买它的人几乎都会拿松饼，这才是真正的默契。

这个“比例思维”在算法里就是余弦相似度。物品 i 和 j 的相似度 = 同时买过两者的用户数，除以各自购买人数的几何平均。直觉上，它衡量的是“两个物品在同一个人身上发生的重合程度”，与各自热度解耦。分母 sqrt(|N(i)|×|N(j)|) 的作用很关键：物品越热门，分母越大，即使共现次数很高，相似度也会被拉回合理水平。结果是：盐和糖虽然共现次数巨大，但相似度平平；咖啡和奶精的相似度反而登顶。该矩阵天然满足对称性 sim(i,j) = sim(j,i)，因为“共同购买者”这个概念不分方向。

老王在观察本旁边贴了一张“默契度排行表”。从此他不再数次数，只看排行——这排行，就是我们要离线算好、线上随时能查的物品相似度表。

热门物品惩罚

还有一个更隐蔽的问题。隔壁小区有个“扫货达人”李姐，每周都推着三辆购物车扫荡超市，一次买五十样东西。她只要在店里，盐、糖、酱油、纸巾统统进篮子，于是她一个人就给“盐-糖”贡献了 1 次共现，其说服力和一位只买“咖啡+奶精”的老顾客完全一样。老王觉得不公平：买得越多的人，提供的信息越廉价。

算法里对应的改进就是“活跃用户惩罚”：一个人买过的物品越多，他在共现贡献上的话语权就越小。实现方式是在累加共现时，不再加 1，而是加 1/log(1+|N(u)|)，其中 |N(u)| 是这位用户买过的物品总数。对数函数把惩罚控制得很温和：买 3 样物品的用户贡献约 0.62，买 30 样的用户贡献约 0.30，买 300 样的用户贡献约 0.18——不至于把大户一票否决，但足以让“理性小篮子”的声音更清晰。加上这个惩罚后，共现矩阵的每一格从“计数”变成“加权计数”，相似度计算结果对热闹用户不再过敏。

老王给观察本立了条新规矩：凡是推着三辆购物车的顾客，他们的篮子最多只算“半票”。规则一改，枫糖浆和松饼的默契排名嗖嗖往上涨，盐和糖彻底退出了推荐舞台。

推荐生成流程

一个周末，老顾客小丽拎着咖啡和牛奶来结账。老王扫了一眼篮子，心里立刻有了数：咖啡最默契的是奶精，牛奶最默契的是面包。他乐呵呵地说：“要不要来盒奶精？松饼今天也进货了。”小丽惊讶地问怎么知道，老王神秘一笑——他的推荐流程其实就三步：先把顾客篮子里的每件商品都当成跳板，翻“默契度排行表”找各自最匹配的候选；再给每个候选打个总分；最后按总分排个队，取前两名，并且绝不推荐已经买过的东西。

算法化之后，这个过程就是候选生成 + 打分 + 截断。给定用户 u 的历史物品集合 I_u，对每个候选物品 j，分数等于用户历史物品与 j 的相似度之和。几个工程细节：一是 j 不能是用户已经买过的，否则推荐了等于没推荐；二是在线服务时不需要现场算相似度，只需查离线预计算好的相似度表，所以响应能在毫秒级；三是 Top-N 的 N 通常取 5~20，配合重排策略决定最终展示。整个流程就是“离线算关系、在线查表打分”。

老王后来把“默契度排行表”换成了一沓厚卡片，每张卡片写着一种商品和它的 Top 名单。接客时他就翻卡片、算总分、报菜名——这就是 ItemCF 推荐服务在真实系统里每天反复上演的剧本。

双CF对比分析

超市对面开了一家小饭馆，老板娘张姐人称“活人脉”。她记性极好，记得谁和谁口味相近：小丽爱喝咖啡，那八成也爱喝张姐调的热可可。张姐的推荐逻辑是“人以群分”，而老王是“物以类聚”。两种生意都红火，但适用场景完全不同。

算法世界里的这两派，正是 ItemCF 和 UserCF（用户协同过滤）。UserCF 先找与目标用户口味最相似的“邻居”，再推荐邻居喜欢而用户没看过的东西；ItemCF 则绕开人，直接在物品之间建立关系。它们的计算成本结构差异巨大：两者的主要开销都在“两两配对”。ItemCF 是物品×物品，共 M² 对，每对要扫行为数据，记为 O(M²P)；UserCF 是用户×用户，共 U² 对，记为 O(U²P)。当物品数远小于用户数（电商：几百万商品 vs 几亿用户），ItemCF 明显更划算；反过来在新闻场景，文章每日海量新增而相对用户数少时，UserCF 更合适。推荐效果上，ItemCF 解释性强、推荐偏“相关”；UserCF 更容易发现新兴趣、推荐偏“惊奇”。时效性上，ItemCF 的相似度表可离线静默更新，UserCF 对用户新行为更敏感，也更容易被实时行为牵着走。

老王和张姐互相不服气，但最后都明白：店铺位置决定了打法。超市里货架关系稳定，老王的本子越用越灵；饭馆里熟客关系密切，张姐的人脉越攒越广。选 UserCF 还是 ItemCF，先数数自己是“货多”还是“人多”。

实际应用经验

老王的观察本出了名，连锁超市来取经。老王总结三条生意经：第一，货架关系要趁夜里人少时算好（离线计算）；第二，白天营业时直接翻卡片，不能现场算（在线查询）；第三，新上架的货没有历史，得先用试吃等活动攒人气，等有顾客买了才能进排行榜（冷启动托底）。

这三条生意经，恰好对应 ItemCF 在工业界的标准落地方式。电商的“买了又买/看了又看”、内容平台的“相关阅读”、视频网站的“看过还看”，底层往往都有 ItemCF 的身影——因为它相似度可离线算、线上延迟极低、解释成本几乎为零。工程上常用“分桶 + 增量更新”：后台任务每半小时用最近行为增量更新共现计数，再定期全量重算相似度表；推荐时按用户实时行为从表中取关联物品做召回。配合热度惩罚和类目去重，能有效避免“满屏都是爆款”和“连续推同类”两个经典翻车现场。对新品，通常先用内容相似或热度推荐过渡，积累足够行为后再进入 ItemCF 候选池。

老王最后在观察本扉页写了句话：“货架会说话，但只有听的人多了，它才说得响。”ItemCF 的价值就在于此——它把千万次沉默的购买行为，翻译成一句句成功的推荐词。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""ItemCF 物品协同过滤：基于购物篮共现的推荐演示"""import mathfrom collections import defaultdict def build_dataset():    """模拟用户-物品行为数据：每个集合代表一位用户的购物篮"""    return {        '小明': {'咖啡', '牛奶', '面包'},        '小红': {'咖啡', '啤酒', '尿布'},        '小王': {'牛奶', '面包', '尿布'},        '小丽': {'咖啡', '牛奶', '橙汁'},        '小刚': {'啤酒', '尿布', '面包'},        '小美': {'咖啡', '橙汁', '面包'},    } def item_similarity(dataset):    """计算物品相似度矩阵，含活跃用户惩罚"""    co_count = defaultdict(float)      # 物品对共现加权次数    item_freq = defaultdict(int)       # 每个物品被多少人买过    for user, items in dataset.items():        penalty = 1.0 / math.log1p(len(items))   # 活跃用户惩罚因子        for item in items:            item_freq[item] += 1        for i in items:            for j in items:                if i != j:                    co_count[(i, j)] += penalty    sim = {}    for (i, j), cnt in co_count.items():        sim[(i, j)] = cnt / math.sqrt(item_freq[i] * item_freq[j])    return sim def precompute(sim):    """把相似度对整理成 物品 -> 相似物品列表，便于查询"""    item_sim = defaultdict(list)    for (i, j), s in sim.items():        item_sim[i].append((j, s))    for i in item_sim:        item_sim[i].sort(key=lambda x: x[1], reverse=True)    return item_sim def recommend(user, dataset, item_sim, top_n=3):    """给用户推荐未买过的物品，按相似度加权总分排序"""    history = dataset[user]    scores = defaultdict(float)    for item in history:        for j, s in item_sim[item]:            if j not in history:                scores[j] += s    return sorted(scores.items(), key=lambda x: x[1], reverse=True)[:top_n] if __name__ == '__main__':    data = build_dataset()    sim = item_similarity(data)    table = precompute(sim)    print('咖啡最相似的物品:', [x[0] for x in table['咖啡'][:2]])    print('小明历史篮子:', sorted(data['小明']))    print('为小明推荐:', [x[0] for x in recommend('小明', data, table)])

1. penalty = 1.0 / math.log1p(len(items))活跃用户对数惩罚：篮子越满，这票越便宜
2. co_count[(i, j)] += penalty共现加权计数：矩阵的每一格在累加
3. sim[(i, j)] = cnt / math.sqrt(item_freq[i] * item_freq[j])余弦归一化：用热度几何平均压住爆款
4. item_sim[i].sort(key=lambda x: x[1], reverse=True)把相似物品按默契度降序排好
5. if j not in history:过滤已购物品，保证推荐的新鲜感
6. return sorted(scores.items(), key=lambda x: x[1], reverse=True)[:top_n]加权求和后取 Top-N

常见误区

面试题