NDCG与MRR：衡量排序质量的核心指标

可视化演示

对比NDCG位置折损与MRR倒数排名的计算过程，展示相关性分级、IDCG归一化及多查询场景下的指标差异，支持三种模式切换。

排序评估动机

想象书店门口挂着一块“本周好书榜”的木板，店员每天往上面贴十本书。如果一本无关的言情小说被贴在榜首，而真正契合读者口味的推理小说被挤到最底下，即便榜单上“确实有”好书，读者也会骂骂咧咧地走开——因为用户刷排序结果的耐心，比翻书页的耐心还要短。绝大多数人在搜索页面上只会看前三到五个结果，排得越靠后，被看到的概率就越低。

传统的准确率（Accuracy）只在回答“推没推对”：十本里推对了八本，准确率 80%，听起来不错。可它完全忽略了一个致命事实：推对的八本可能全排在后面，推错的两本反而霸占了前两名。对用户来说，这体验等于零。排序类指标存在的意义，正是把“位置”这个变量装进评价体系。

为了给“对不对”分级，先引入相关性分级（Relevance Grading）。不再是简单的二元对错，而是像给书打星：完全契合给 2 分，沾点边给 1 分，完全无关给 0 分。也可以细分为 0 到 4 的五档评分，档位越多，NDCG 对排序差异的敏感度越高。有了分级评分，“排序优劣”才有了可比性的地基。

一句话回扣：先确认“哪些书值得被看见”，再讨论“它们是否被排在了能被看见的位置”——这两件事，正是准确率和排序指标各自负责的环节。

NDCG原理与公式

老周教小林一个“打分心法”：每本书按契合度打分（0、1、2），但在加总时，越靠后的书要打一个折扣——因为读者翻到第三位时已经有点不耐烦，翻到第八位时可能压根没看到。用术语说，这叫位置折扣（Position Discount）。最常见的折扣因子是 \(\frac{1}{\log_2(i+1)}\)，其中 \(i\) 是位置序号（从 1 算起）。位置 1 的折扣是 1，位置 2 约 0.63，位置 4 约 0.5——呈现一条平滑衰减的“耐心曲线”。

把每个位置的“相关性得分 × 位置折扣”逐项相加，就得到折损累计增益（DCG，Discounted Cumulative Gain）。它回答的问题是：按当前这个排法，读者从头翻到尾，一共积累了多深的“好感度”？排列越靠前的好书越多，DCG 就越高。严格版本还常用 \(2^{rel}-1\) 替换原始得分，让高分档的增益呈指数放大，这里为直观起见先用原始分演示。

朋友，请记住这个心法：NDCG 的骨架就是 DCG——把“每本书的契合分”除以“它所在位置的耐心折扣”，然后全部加起来。它量化了“书单的摆法让人产生的总好感”。

IDCG归一化计算

DCG 有个老毛病：它是个绝对值，没法跨查询、跨系统比较。一本只找到 3 本相关书的查询，DCG 天然低于一本能找到 10 本相关书的查询——但这不代表后者排得更好。老周给小林出了个主意：拿“理想摆法”当尺子。假设书店店员有上帝视角，把最契合的书全部放在最前面，依次排开，这个排列下的 DCG 达到理论最大，记作 IDCG（Ideal DCG，理想折损累计增益）。

用一个 5 本候选书的例子验证：某次检索的评分列表为 \([2, 0, 1, 2, 1]\)，算得 \(\mathrm{DCG} = 2 + 0 + 0.5 + \frac{2}{\log_2 5} + \frac{1}{\log_2 5} \approx 3.79\)。若把评分降序排列成理想列表 \([2, 2, 1, 1, 0]\)，则 \(\mathrm{IDCG} = 2 + 1.26 + 0.5 + 0.43 + 0 \approx 4.19\)。两者相除，得到：

代入本例：\(\frac{3.79}{4.19} \approx 0.904\)。归一化的价值在于：不同查询、不同列表长度、不同评分尺度之间，NDCG 都可比。就像考试分数除以满分变成百分制，全校任何科目的分数都能放在同一把尺子上比。

MRR场景与局限

有时用户的需求只有一个“标准答案”，比如在对话框里问“首都机场电话是多少”，在导航 App 里查“最近的加油站”。这类场景看 NDCG 反而有点“杀鸡用牛刀”——用户只关心第一个正确结果出现在第几位，后面排得再好也意义不大。于是有了MRR（Mean Reciprocal Rank，平均倒数排名）。

它的计算极其朴素：找到第一个正确答案的排名位置 \(r\)，取它的倒数 \(\frac{1}{r}\)，再对多条查询求平均。第一名给出正确答案，得 1 分；第二名才出现，得 0.5 分；第五名才出现，只剩 0.2 分。每往后挪一位，分数就肉眼可见地掉一截。搜索界有个共识：用户对前三条结果的点击占了绝大多数，如果正确答案掉出前三，体验基本宣告失败——MMR 正是这一共识的数字化表达。

但 MRR 也有明显的“偏科”：它只盯第一个正确答案，对“后面还有大量正确答案”完全不敏感。假设查询 A 的前五位是“正确、错、错、错、正确”，查询 B 前五位是“错、正确、正确、正确、正确”，按 MRR 算，查询 B 的排名第二反而得分更低，显然不合理。因此，MRR 更适合问答、对话、导航这类“只要一个答案”的任务；对搜索、推荐这类“多个相关结果都要尽量靠前”的任务，NDCG 才是更贴切的尺子。

指标对比选型

小林的图书馆逐渐接入不同业务线，老周发现不同部门用的尺子不一样，得帮大家理清楚。先看Precision@K：只看前 K 个结果里相关结果的占比。它的优点是直观、计算快，缺点是一刀切——第二位和第十位的相关结果同样计 1 分，完全不区分位置，也不惩罚漏掉的相关结果。

再看MAP（Mean Average Precision，平均精度均值）：它把“相关结果出现的位置”揉进 Precision 的计算里，对每条查询算出“每一处相关结果的精确率”的均值，再对所有查询求平均。与 NDCG 比，MAP 天然偏爱二元相关性（相关/不相关），难以利用 0、1、2 这样的多级评分；而 NDCG 既能吃多级评分，又用对数折扣精细地模拟了用户耐心衰减，因此在搜索、推荐、RAG 评估中成为事实标准。

一句话总结选型逻辑：MRR 是“只认第一”的偏科生，Precision@K 是“只看前 K”的粗筛子，MAP 是“兼顾位置但只能二元判断”的稳健派，NDCG 是“多级评分 + 平滑折扣”的全能选手。实际项目里常把它们组合使用：NDCG 看整体排序质量，MRR 看首答体验，Precision@K 看头部流量转化——用多维标尺互相交叉验证，比单看任何一个数字都可靠。

评估实践

小林问老周：“这些指标到底在哪儿用？”老周把他带到机房，指着屏幕说：离线评测（Offline Evaluation） 阶段，算法团队用历史留出的标注数据，把新模型的排序结果与旧模型分别算 NDCG 和 MRR，谁高谁低一目了然。离线指标跑得漂亮，只是拿到了“体检合格证”。

接下来是线上 A/B 实验：把用户随机切分成实验组和对照组，实验组用新排序模型，对照组用旧模型，观察真实世界的点击率、停留时长、转化率。离线 NDCG 提升 3%，线上点击率未必跟着涨——因为离线数据有标注偏差、样本选择偏差，用户的真实行为还会受标题吸引力、配图、价格等因素干扰。业界通行做法是：先离线把 NDCG 刷到位，再小流量 A/B 验证，逐步放量。

老周特别叮嘱几个坑：一是排名位置靠后的评测数据要打折看待——很多用户根本没看到后面，不代表后面的结果没人喜欢；二是不要只报 NDCG@10 而不报 NDCG@3，不同截断位置的口径要统一；三是在 RAG 系统里，检索模块的排序质量直接影响生成答案的正确率，通常用 NDCG 评估检索、用命中率评估召回、用人工打分评估生成，三阶段各用各的尺子，切忌一把尺子量到底。

AI 应用场景

Python 演示

import math def dcg_at_k(rel_scores, k):    """计算前 k 个位置的 DCG（折损累计增益）。    rel_scores: 按排名顺序排列的相关性评分列表    """    s = 0.0    for i in range(min(k, len(rel_scores))):        s += rel_scores[i] / math.log2(i + 2)    return s def ndcg_at_k(rel_scores, k=5):    """NDCG = DCG / IDCG，取值范围 [0, 1]，越接近 1 越好。"""    dcg = dcg_at_k(rel_scores, k)    ideal = sorted(rel_scores, reverse=True)    idcg = dcg_at_k(ideal, k)    return dcg / idcg if idcg > 0 else 0.0 def mrr(ranked_lists):    """MRR：对每条查询，找到第一个正确结果的排名并取倒数，再对所有查询求平均。"""    total = 0.0    for hits in ranked_lists:        for rank, is_correct in enumerate(hits, start=1):            if is_correct:                total += 1.0 / rank                break    return total / len(ranked_lists) def precision_at_k(rel_scores, k=3):    """Precision@K：只看前 k 个结果，相关结果（分数>0）占比。"""    head = rel_scores[:k]    return sum(1 for x in head if x > 0) / k def map_at_k(rel_scores_list):    """MAP：每条查询算平均精度，再对所有查询取平均（二元相关性）。"""    ap_sum = 0.0    for rels in rel_scores_list:        hits = 0        prec_sum = 0.0        for i, r in enumerate(rels[:20], start=1):            if r > 0:                hits += 1                prec_sum += hits / i        ap_sum += prec_sum / max(hits, 1)    return ap_sum / len(rel_scores_list) if __name__ == "__main__":    ex = [2, 0, 1, 2, 1]    print("DCG@5 =", round(dcg_at_k(ex, 5), 3))    print("IDCG@5 =", round(dcg_at_k(sorted(ex, reverse=True), 5), 3))    print("NDCG@5 =", round(ndcg_at_k(ex, 5), 3))    print("Precision@3 =", precision_at_k(ex, 3))    print("MRR on 2 queries =", round(mrr([[True, False, False], [False, True, True]]), 3))    print("MAP on 2 queries =", round(map_at_k([[1, 0, 1, 0, 1], [0, 1, 1, 1, 0]]), 3))

1. s += rel_scores[i] / math.log2(i + 2)位置从 1 计数，所以索引 i 要加 1 后再进对数；这一步正是“位置折扣”的代码化身。
2. ideal = sorted(rel_scores, reverse=True)把真实相关性评分降序排列，得到理论上的理想排序，它就是 IDCG 的分母基础。
3. return dcg / idcg if idcg > 0 else 0.0若所有结果都不相关，IDCG 为 0，直接返回 0 分，避免除零错误。
4. for rank, is_correct in enumerate(hits, start=1)遍历每条查询的命中序列，一旦遇到 True 就取倒数并跳出循环，体现 MRR“只认第一个正确结果”的偏科性格。
5. prec_sum += hits / i每当遇到一个相关结果，就累计当前位置的查准率，最后除以总命中数求平均，这就是平均精度（AP）的核心。

常见误区

面试题