用户协同过滤(UserCF)与相似度计算

可视化演示

核心原理

假设你是知味小镇的新住户，打开“食欲相通”App，第一件事不是看店铺排行，而是回答“你喜欢火锅还是甜品”。App 发现，你和镇上的小美、老周口味高度一致，于是告诉你：“这两位是难得的口味知己，他们常去的店，你大概率也喜欢。”这个逻辑听起来像社交，但它正是 UserCF 的核心思想：物以类聚，人以群分。算法不再死盯物品内容，而是把每个用户变成一串行为特征，再根据行为相似度寻找“同类人”。

在推荐系统术语里，这些“口味知己”叫做最近邻用户。UserCF 的第一步是构造用户-物品评分矩阵：每行是一个用户，每列是一个物品，单元格是用户对物品的打分或交互强度。矩阵本身不关心物品是火锅还是甜品，只看用户行为是否一致。第二步是计算用户两两之间的兴趣相似度，取出和当前用户最像的 K 个用户。第三步把这些邻居喜好的物品聚合起来，按分数排序，生成推荐清单。

如果把 UserCF 看成一场小镇聚餐，那么评分矩阵是“每个人对每道菜的评价记录”，相似度计算是“判断谁的口味和你同频”，最终推荐就是“餐桌上大多数人都说好，而你还没尝过的那几道菜”。理解了这三个角色，你就能抓住 UserCF 的骨架：先找相似的人，再借用他们的眼光完成推荐。

相似度计算

相似度计算是 UserCF 的“口味尺子”。怎么判断两位食客口味像不像？最朴素的想法是：看他俩共同去过的店占所有去过的店的比例。这就是 Jaccard 相似度，它只关心“共同评分过哪些物品”，不关心打了几分。

Jaccard 简单，但它忽略了一个信息：即使两个人去过同一家店，一个给 5 星、一个给 1 星，口味其实完全相反。因此更常用的是余弦相似度，它把每个用户对一组物品的评分看成多维空间里的一个向量，向量指向越接近，口味越一致。

余弦相似度还有个小麻烦：知味小镇里有“高分党”，见什么都给 4 星以上；也有“严苛党”，最高只给 3 星。如果直接比较原始评分，两个人的“手劲”不同就会干扰判断。于是我们需要皮尔逊相关系数：先把每个用户的评分减去自己的平均分，再计算余弦相似度，这样就能去掉个人评分习惯的偏移。

三种尺子里，Jaccard 适合行为只有“买/没买”的场景，余弦相似度适合评分数据，皮尔逊则更适合评分习惯差异明显的社区。选对尺子，推荐系统的“口味知己”才找得准。

算法流程

知味小镇的“食欲相通”App 背后，是一条像做菜一样清晰的流水线。我们可以把它拆成四步：准备食材、称量相似度、挑选同好、下锅调味。准备食材就是构建用户-物品评分矩阵；称量相似度就是计算用户两两之间的相似度，得到相似度矩阵；挑选同好是给目标用户选出相似度最高的 K 个邻居；下锅调味则是把邻居的评分加权汇总，预测目标用户对未评分物品的分数，最后排序生成 TopN 推荐。

在预测阶段，不能简单地把邻居的原始评分直接平均。因为有人偏爱打高分，有人习惯打低分，加权平均前需要先把每位用户的评分减去自己的平均分做“口味校准”，再按相似度加权，最后加回目标用户的平均分。这就是经典的预测评分公式：

最终得到预测分后，把目标用户没打过分的物品按预测分从高到低排序，去掉重复与已购，截取前 N 个，就是推荐列表。整个过程像一次小镇美食推荐：几个口味知己给出的每道菜评价，先折算成“比他们日常水平高多少”，再按亲密程度加权，最后加上你自己的基准分，得到最适合你的新尝试。

工程实现

当知味小镇从几十人扩张到几十万人，靠手工记菜谱就不现实了。工程实现要回答三个问题：数据存哪里、相似度何时算、推荐请求多快返回。首先，用户-物品矩阵极其稀疏，因为一个人不可能吃过镇上所有餐厅，更不可能给所有物品打过评分。直接用二维数组会浪费内存，一般用稀疏矩阵、键值对或分布式表来存储用户行为。

相似度计算是重活，通常放在离线阶段完成。系统定期（例如每天）扫描用户行为，计算用户两两相似度，把结果写入索引服务。到了线上，用户打开 App 时只需读取已算好的相似用户，再聚合候选物品并排序，延迟可以控制在几十毫秒内。这种“离线算邻居、在线做聚合”的架构是 UserCF 工程落地的主流方式。

数据更新也是工程重点：用户兴趣会变，每天都有新评分进来。如果每次都全量重算相似度，成本太高。常见做法是记录增量行为，周期性地对受影响用户做局部更新，再合并进在线索引。工程实现就像小镇餐厅每天打烊后统一统计“今天谁和谁吃了同一道菜并打了近似的分”，白天营业时直接用昨晚的结果服务客人，既省力又及时。

性能调优

UserCF 最大的性能瓶颈在于：如果用户数为 N，两两计算相似度是 O(N²) 级别。知味小镇从一万用户涨到一百万，直接计算所有用户对会让服务器不堪重负。常见的优化策略是倒排索引：先把“用户→评分过的物品”反转成“物品→评分过的用户”，这样只需要对出现在同一个物品上的用户对计算相似度，就能过滤掉大量完全没交集的用户对。

第二招是相似度缓存。用户的兴趣不会分钟级剧变，因此相似度结果不必实时重算。系统可以把“用户→最近邻”写入缓存，设置过期时间，只有缓存失效时才重新拉取。第三招是近似最近邻。当数据规模极大时，可以放弃精确 TopK，改用局部敏感哈希（LSH）或向量检索库，在召回阶段先圈定一个候选池，再在候选池里精确排序，用少量精度换取数量级的速度提升。

对于兴趣变化，还可以设计增量收敛：新评分先进入在线日志，离线任务每小时做一次小批量更新，而不是每天全量重建。性能调优的本质，是把“所有用户两两比较”的笨办法，变成“先大幅缩小候选集、再精准计算”的分层策略。就像餐厅不做“全镇每两个人比口味”，而是先看哪些人常在同一家店出现，再深挖他们的口味曲线。

评估指标

推荐做得好不好，不能只靠感觉说“好像挺准”。知味小镇想验证“口味知己推荐”是否靠谱，可以办一场试吃盲评。第一个指标是准确率：推荐清单里有多少物品是用户真正喜欢的；它回答“推了的东西准不准”。第二个指标是召回率：用户真正喜欢的所有物品中，有多少被系统成功捞了回来；它回答“该给的有没有漏掉”。两者往往此消彼长，需要一起观察。

除了命中情况，还要关注推荐列表的覆盖率和多样性。如果系统只推荐最火爆的几家店，准确率也许很高，但小镇冷门好店永远没人发现，用户也容易审美疲劳。覆盖率衡量推荐结果覆盖了多少物品，多样性衡量推荐结果是否足够分散。UserCF 天然容易因为相似用户扎堆而把结果局限在热门物品上，因此工程上常常在排序阶段加入多样性惩罚或品类配额。

评估指标是整个推荐系统的仪表盘。准确率和召回率决定“口味知己”靠不靠谱，覆盖率和多样性决定推荐生态健不健康。上线新算法时，团队通常会做离线评估、小流量 AB 实验，再逐步扩大范围，确保每个指标都在预期之内。

常见挑战

UserCF 并不是万能的，它最怕的第一件事就是冷启动。一个新搬进小镇的用户没有任何打分记录，系统找不到他的“口味知己”，相似度全是零。此时可以用热门物品兜底，或结合用户注册时填写的口味偏好做粗粒度匹配，等积累一定行为后再切换到 UserCF。

第二个挑战是数据稀疏。用户评过的物品往往只占全量物品的极小比例，导致余弦和皮尔逊计算的共同维度很少，相似度估计不稳定。缓解手段包括降低相似度计算维度、使用隐式反馈（浏览、收藏、停留时长）来补充信号，以及引入物品侧信息作为桥梁。

第三个挑战是扩展瓶颈与兴趣漂移。随着用户规模增长，相似度矩阵会爆炸式膨胀；同时用户口味会随时间改变，三个月前的“口味知己”现在可能已经不再同频。解决思路是用增量更新、时间衰减权重和近似索引来控制成本。冷启动、稀疏、扩展、漂移，这四座大山决定了 UserCF 不是所有场景的最优解，但也正是它们，推动着工程师不断做出更精致的取舍。

应用场景

在知味小镇之外，UserCF 的身影随处可见。电商平台里，系统通过用户的购买、加购行为计算相似度，向一位买家推荐“和你品味相似的人还买了什么”。这种策略在商品数量庞大、用户行为丰富的场景下，能有效帮助用户发现新品类，适合私域电商和垂直社区。

内容社区是 UserCF 的另一块沃土。新闻资讯、短视频、音乐电台都强调“实时兴趣”，用户今天想看的和昨天可能完全不同。UserCF 能快速捕捉相似用户当前的热门行为，把新热点扩散给同一人群，比单纯依赖内容关键词更灵活。例如音乐 App 会根据你和某位陌生乐迷的收藏重合度，向你推荐他的歌单。

社交产品则直接借用相似度来做关系推荐：系统发现你和某群用户对同样的内容点赞、关注同样的人，于是把这些人推荐为“可能感兴趣的人”，让新用户更快找到归属感。在真实案例中，推荐系统会组合多种策略：冷启动阶段用热门与物品协同过滤兜底，用户行为丰富后再叠加 UserCF；这样既保留了个性化，也规避了新用户的冷启动困境。知味小镇的口味知己，就这样演变成了互联网世界里无处不在的“兴趣纽带”。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-# 极简 UserCF: 构建矩阵, 计算余弦相似度, 预测评分并生成 TopN 推荐import math  class UserCF:    def __init__(self, ratings):        self.ratings = dict(ratings)        self.users = sorted(self.ratings.keys())        self.items = sorted({item for u in self.users for item in self.ratings[u]})        self.neighbors = {}     def score(self, user, item):        return self.ratings.get(user, {}).get(item, 0.0)     def cosine(self, u, v):        common = [i for i in self.items                  if self.score(u, i) and self.score(v, i)]        if not common:            return 0.0        dot = sum(self.score(u, i) * self.score(v, i) for i in common)        nu = math.sqrt(sum(self.score(u, i) ** 2 for i in common))        nv = math.sqrt(sum(self.score(v, i) ** 2 for i in common))        return dot / (nu * nv) if nu and nv else 0.0     def build_similarity(self):        for idx, u in enumerate(self.users):            for v in self.users[idx + 1:]:                s = self.cosine(u, v)                if s > 0:                    self.neighbors[(u, v)] = s                    self.neighbors[(v, u)] = s     def predict(self, user, item):        if self.score(user, item) > 0:            return self.score(user, item)        total = 0.0        weight = 0.0        for v in self.users:            if v == user or self.score(v, item) == 0:                continue            sim = self.neighbors.get((user, v), 0.0)            if sim <= 0:                continue            total += sim * self.score(v, item)            weight += sim        return total / weight if weight else 0.0     def recommend(self, user, top_n=3):        preds = [(item, self.predict(user, item))                 for item in self.items if self.score(user, item) == 0]        preds.sort(key=lambda x: x[1], reverse=True)        return preds[:top_n]  if __name__ == '__main__':    ratings = {        '小明': {'火锅': 5, '甜品': 4, '烧烤': 1},        '小红': {'火锅': 4, '甜品': 5, '面馆': 4},        '阿强': {'烧烤': 5, '火锅': 2, '酒吧': 4},        '小美': {'甜品': 3, '面馆': 5, '火锅': 4},        '你': {'火锅': 5, '甜品': 3},    }    cf = UserCF(ratings)    cf.build_similarity()    print('用户相似度:')    for pair, s in sorted(cf.neighbors.items()):        if pair[0] < pair[1]:            print(pair, round(s, 4))    print('给小明的预测:')    for item, p in cf.recommend('小明'):        print(item, round(p, 4))

1. self.items = sorted({item for u in self.users for item in self.ratings[u]})从所有用户评分中提取全部物品，构建统一物品轴。
2. common = [i for i in self.items if self.score(u, i) and self.score(v, i)]只保留两个用户都有评分的维度，过滤稀疏噪声。
3. dot = sum(self.score(u, i) * self.score(v, i) for i in common)计算向量点积，方向一致的评分贡献为正。
4. return dot / (nu * nv) if nu and nv else 0.0除以向量长度后得到余弦相似度，防除零。
5. for idx, u in enumerate(self.users)只对 u < v 的用户对计算一次，同时回填两个方向。
6. if self.score(user, item) > 0: return self.score(user, item)已评分的物品直接返回真实分，不再预测。
7. total += sim * self.score(v, item)用相似度做权重，累加邻居评分。
8. return total / weight if weight else 0.0除以权重总和得到最终预测分。
9. preds.sort(key=lambda x: x[1], reverse=True)按预测分从高到低排序，完成 TopN 截取。

常见误区

面试题