深入理解推荐效果评估

可视化演示

评估体系总览

阿智给小推制定考核计划时，先做了两件事：第一，把过去三个月顾客的购物小票整理成厚厚的“考卷”，让小推模拟答题——这叫离线评估；第二，让小推正式站上导购台，记录真实顾客的反应——这叫在线评估。这就像体育教练先用录像分析选手的模拟训练（离线），再让选手站上真实赛场看成绩（在线），两者缺一不可。

在推荐系统里，离线评估听上去很“实验室”，但它有个巨大优势：能在不打扰真实用户的前提下快速迭代模型。工程师把历史行为数据喂给模型，用 AUC、NDCG、HitRate 这些“试卷分数”快速筛选候选版本。而在线评估则像“真实赛场的计分牌”，观察 CTR、停留时长、留存率等真实反馈。只有把两个环节结合，才能完整回答“推荐效果到底好不好”。

完整的评估体系可以用一个加权公式来概括：把离线指标得分和在线指标得分各乘一个权重，相加得到综合评估值。权重由业务目标决定——比如新商品冷启动阶段，真实用户的在线反馈往往比历史模拟更有说服力。

阿智把模拟考成绩和真实顾客反馈按 4:6 加权，算出了小推的月度考核分。推荐系统工程师也这样做：离线指标用来定方向，在线指标用来验效果，缺一不可。

AUC计算原理

阿智很快发现小推有个绝活：它一眼就能分辨“顾客肯定会喜欢”和“顾客肯定不喜欢”的商品。这个绝活对应的指标，就是AUC。AUC 的全称是 Area Under the ROC Curve，中文常译为“ROC 曲线下面积”。简单理解，它衡量的是：随机拿一个用户喜欢的商品和一个不喜欢的商品，模型能不能把喜欢的排在前面。

在推荐系统里，用户点击过或购买过的物品被称为正样本，没有产生行为的被称为负样本。模型给每个物品打一个预测分，如果正样本分数高于负样本分数，就是一次正确的“区分”。把所有历史行为铺开，统计这个胜出比例，就得到了 AUC 值。AUC 越接近 1.0，说明模型区分好坏的能力越强；越接近 0.5，说明跟瞎猜差不多。

数学上，设正样本集合为 D⁺、负样本集合为 D⁻，规模分别为 m⁺ 和 m⁻，则 AUC 的计算公式为：

小推的眼光越好，AUC 越接近 1。但阿智很快发现，AUC 再高也说明不了推荐顺序的细微差别——比如最好的商品是不是排在第一位？这是 NDCG 的战场。

NDCG排序质量

阿智还想知道：小推推荐的顺序对不对？顾客最想要的那件商品，是不是正好排在第一位？这就像去餐厅，服务员端上五道菜，最好吃的那道放在最前面，顾客体验自然满分；如果放到最后，顾客可能早就吃撑了，再好吃的菜也失去意义。

NDCG（归一化累计折扣增益）就是衡量排序质量的指标。它给每个位置一个“折扣”：位置越靠后，折扣越狠，对总得分的贡献越小。同时，相关性越高的物品贡献越大。先计算前 K 个位置的累计折扣增益 DCG@K，再除以理想排序下的最大增益 IDCG@K，就得到 NDCG@K——值越接近 1，排序越接近理想。

$$\displaystyle DCG@K = \sum_{i=1}^{K} \frac{2^{rel_i} - 1}{\log_2(i+1)}$$

$$\displaystyle NDCG@K = \frac{DCG@K}{IDCG@K}$$

1. 第 i 位的相关性 rel_i：排在位置 i 的物品与用户的实际相关程度，值越高越相关

$$\displaystyle rel_i \in \{0, 1, 2, \dots\}$$

2. 指数增益 2^rel_i − 1：相关性越高，额外收益呈指数增长，拉大高分与低分的差距

$$\displaystyle 2^{rel_i} - 1$$

3. 位置折扣 log₂(i+1)：位置越靠后分母越大，贡献被打了折扣

$$\displaystyle \log_2(i+1)$$

4. DCG@K 求和：把前 K 个位置的加权相关性累加，得到当前排序的得分

$$\displaystyle DCG@K = \sum_{i=1}^{K} \frac{2^{rel_i} - 1}{\log_2(i+1)}$$

5. IDCG@K 归一化：用理想排序的 DCG 值消除列表长度和相关性分布的影响

$$\displaystyle NDCG@K = \frac{DCG@K}{IDCG@K}$$

小推把顾客最想要的东西摆到第一位，NDCG 就接近 1，顾客满意度爆表。有了 NDCG，阿智就能科学地评价“排序顺序”这门手艺了。

HitRate命中率

阿智还关心一个更朴素的问题：小推推荐的五件商品里，顾客会不会至少买一件？这就像药店促销员给顾客递上一个购物篮，只要顾客从篮子里拿走了哪怕一样东西，这次推销就不算白费。

HitRate@K 关注的就是“前 K 个推荐中是否至少命中一个用户感兴趣的物品”。它只在乎有没有命中，不在乎命中在第几位，也不在乎命中了几个——这与 NDCG 的精细排序评价形成鲜明对比，是一种粗粒度但非常直观的指标。

$$\displaystyle HitRate@K = \frac{1}{|U|} \sum_{u \in U} \mathbb{I}\big(\exists\, 物品 \in Rec(u, K) \ 且被用户u点击\big)$$

1. 用户集合 U：参与评估的用户全体，|U| 是用户总数

$$\displaystyle U = \{u_1, u_2, \dots, u_n\}, \quad |U| = n$$

2. 前 K 推荐 Rec(u,K)：对用户 u 生成的推荐列表截取前 K 个物品

$$\displaystyle Rec(u, K) = \{ 前K个推荐物品 \}$$

3. 存在量词 ∃：表示“至少存在一个”，强调命中一次就算成功

$$\displaystyle \exists\, 物品 \in Rec(u, K)$$

4. 指示函数与平均：命中记 1、未中记 0，最后对所有用户求平均

$$\displaystyle \frac{1}{|U|} \sum_{u \in U} \mathbb{I}(\cdots)$$

小推的“兜底能力”很强——至少能让顾客从推荐中选走一样东西。不过阿智提醒自己：命中了不代表排序最优，HitRate 只是一条及格线，想拿高分还要配合 NDCG 一起看。

在线指标监控

模拟考核顺利通过，小推正式上岗。阿智开启了实时“回访”：顾客每天有没有朝推荐货架看？看了以后有没有拿起商品？在货架前驻足了多久？这些真实环境里的数据，就是在线指标。

在线指标中最核心的是 CTR（点击率）和停留时长。CTR 反映推荐内容对用户的吸引力——曝光了 100 次，被点了 10 次，CTR 就是 10%。但如果只盯 CTR，容易掉进“标题党”陷阱：用户被夸张标题吸引点进来，发现货不对板，立刻退出，停留时长大跌。所以停留时长用来捕捉“沉浸感”，两者配合才能还原真实体验。

$$\displaystyle CTR = \frac{点击次数}{曝光次数}$$

1. 分子 点击次数：用户在推荐位上产生点击行为的次数，通常统计一个时间窗口的累计值

$$\displaystyle 点击次数 = \#\{ 用户点击推荐位的事件 \}$$

2. 分母 曝光次数：推荐内容被展示给用户的次数，是点击的“机会池”

$$\displaystyle 曝光次数 = \#\{ 推荐位被展示的事件 \}$$

3. 比值：点击与曝光的商，表示每次曝光带来的点击概率

$$\displaystyle \frac{点击次数}{曝光次数}$$

4. 百分比换算：工程上习惯乘以 100%，使其更容易阅读

$$\displaystyle CTR = \frac{点击次数}{曝光次数} \times 100\%$$

小推上岗后，CTR 稳定在 12%，顾客平均停留时长也提升了 30 秒。但阿智很快遇到新麻烦：CTR 涨了、时长跌了，指标开始打架——这意味着到了权衡决策的时刻。

矛盾权衡决策

小推曾推荐一款爆款商品，点击率很高，但顾客点进去后发现不是自己想要的，转头就走，停留时长反而下降。阿智困惑了：CTR 和停留时长，到底该信哪个？这就是推荐系统中常见的指标矛盾。

指标矛盾的本质，是不同指标优化方向不一致。提高 CTR 的模型可能靠吸引眼球的标题，牺牲了真实体验；增加停留时长的策略可能推荐了冗长内容，压低了成交转化。处理矛盾的原则只有一个：指标服务于业务目标。电商平台更关心 GMV，内容平台更关心时长，资讯 App 更关心留存。先明确业务目标，再为不同指标分配权重。

工程师通常把多个指标加权合并成统一的业务目标函数，并用小流量 A/B 实验验证决策方向：

$$\displaystyle \max \; \mathbb{E}[业务收益] = \sum_{i} w_i \times g_i(指标_i)$$

1. 数学期望 𝔼：表示平均意义下的收益，不是某一次试验的偶然结果

$$\displaystyle \mathbb{E}[\cdot]$$

2. 业务收益函数：把多个指标统一转化成业务收益，如 GMV、时长、留存

$$\displaystyle 业务收益 = f(CTR, 停留时长, 转化率, \dots)$$

3. 权重 w_i：每个指标携带的权重，数值越大代表业务上越重要

$$\displaystyle w_i \in [0, 1], \quad \sum_i w_i = 1$$

4. 求和与最大化：将所有加权收益相加，并寻找使总和最大化的策略

$$\displaystyle \max \sum_{i} w_i \times g_i(指标_i)$$

阿智最终拍板：这个月主推“既要点击又要有质量”的推荐，把时长权重调高、CTR 权重适当调低。指标打架不可怕，可怕的是没有权衡的标准——推荐工程师的工作，就是当好那个“定权重的阿智”。

AI 应用场景

Python 演示

import randomimport math def compute_auc(scores, labels):    pos = [s for s, l in zip(scores, labels) if l == 1]    neg = [s for s, l in zip(scores, labels) if l == 0]    cnt = 0    for p in pos:        for n in neg:            if p > n:                cnt += 1    total = len(pos) * len(neg)    return cnt / total if total > 0 else 0.5 def compute_ndcg(scores, labels, k=None):    if k is None:        k = len(scores)    order = sorted(range(len(scores)), key=lambda i: scores[i], reverse=True)    dcg = 0.0    for i, idx in enumerate(order[:k]):        rel = labels[idx]        dcg += (2 ** rel - 1) / math.log2(i + 2)    ideal = sorted(labels, reverse=True)[:k]    idcg = 0.0    for i, rel in enumerate(ideal):        idcg += (2 ** rel - 1) / math.log2(i + 2)    return dcg / idcg if idcg > 0 else 0.0 def compute_hit_rate(rec_ids, liked_ids, k=3):    return 1 if any(i in liked_ids for i in rec_ids[:k]) else 0 def compute_ctr(clicks, impressions):    return clicks / impressions if impressions > 0 else 0.0 def simulate_session():    real_rel = [0.95, 0.85, 0.70, 0.55, 0.30, 0.15]    items = []    for i, r in enumerate(real_rel):        pred = max(0.05, min(0.95, r + random.uniform(-0.12, 0.12)))        liked = random.random() < r        items.append({"id": i + 1, "score": pred, "liked": liked})    items.sort(key=lambda x: x["score"], reverse=True)    return items def main():    random.seed(2024)    items = simulate_session()    scores = [x["score"] for x in items]    labels = [1 if x["liked"] else 0 for x in items]    rec_ids = [x["id"] for x in items]    liked_ids = {x["id"] for x in items if x["liked"]}    auc = compute_auc(scores, labels)    ndcg = compute_ndcg(scores, labels, k=6)    hr = compute_hit_rate(rec_ids, liked_ids, k=3)    ctr = compute_ctr(sum(labels), len(items))    print("==== 推荐效果评估报告 ====")    print("AUC       :", round(auc, 4))    print("NDCG@6    :", round(ndcg, 4))    print("HitRate@3 :", hr)    print("CTR       :", round(ctr, 4))    print("推荐列表   :", rec_ids)    print("用户点击   :", liked_ids) if __name__ == "__main__":    main()

1. pos = [s for s, l in zip(scores, labels) if l == 1]从分数-标签配对中筛出正样本，用于 AUC 计算
2. for p in pos: for n in neg: if p > n: cnt += 1正负样本两两对决，统计正样本分数胜出的次数
3. order = sorted(range(len(scores)), key=lambda i: scores[i], reverse=True)按预测分降序生成排序索引，模拟推荐列表
4. dcg += (2 ** rel - 1) / math.log2(i + 2)每个位置按“相关性增益 ÷ 位置折扣”累加，体现位置重要性
5. ideal = sorted(labels, reverse=True)[:k]构造理想排序，即把相关性最高的物品排在前面
6. return any(i in liked_ids for i in rec_ids[:k])前 K 个推荐中只要有一个被点击，就记为命中
7. pred = max(0.05, min(0.95, r + random.uniform(-0.12, 0.12)))模拟预测分：真实相关度加一点随机噪声，更贴近实际模型

常见误区

面试题