PR曲线与AP评估指标

可视化演示

精确率与召回率

深夜酒吧门外，保安老周有个“VIP 准入判断器”——来一个人，他根据对方衣着、谈吐、有没有会员卡打个分数，分数超过某个门槛就放进 VIP 区。可他很快发现，两个数字必须同时记：第一，放进 VIP 区的人里，真正是 VIP 的有几个？第二，今晚真正的 VIP 中，他又放进来几个？前者怕混进闲人，后者怕漏掉贵宾。这两个数字，就是精确率与召回率的雏形。

在机器学习里，VIP 被称为“正例”，普通客人被称为“负例”。模型做出的每一次判断，都会落入一张四格登记表：真 VIP 被放进（TP）、普通客人被放进（FP）、真 VIP 被拦下（FN）、普通客人被拦下（TN）。这张表叫混淆矩阵。精确率回答的是“放进的人里有多少是真 VIP”，召回率回答的是“真 VIP 里有多少被放进”。它们分别用两个公式刻画：

$$\displaystyle Precision = \frac{TP}{TP+FP}, \qquad Recall = \frac{TP}{TP+FN}$$

1. TP 的含义：True Positive，即“预测为正、实际也为正”的样本——登记表第一格，真 VIP 被保安请进门的次数。

$$TP$$

2. FP 的含义：False Positive，即“预测为正、实际为负”的样本——普通客人混进 VIP 区的次数。

$$FP$$

3. 精确率（Precision）：把 TP 除以“所有被放进 VIP 区的人数（TP+FP）”，得到“放进的人中真 VIP 占比”。分子越高，误拦越少。

$$\frac{TP}{TP+FP}$$

4. 召回率（Recall）：把 TP 除以“所有真 VIP 的人数（TP+FN）”，得到“真 VIP 中被放进的比例”。分子越高，漏掉越少。

$$\frac{TP}{TP+FN}$$

老周看了一眼登记表恍然大悟：精确率高，说明他眼光毒、不放进闲人；召回率高，说明他尽职、不放过一个贵宾。可惜这两个目标天然冲突——VIP 区都挤不下了，闲人自然也会混进去；一个都不放，自然也不可能漏掉 VIP。这正是接下来要讲的权衡故事。

PR曲线构建

老周决定把“准入分数门槛”做成一个旋钮。旋钮拧到最高，只有分数 97 分以上的“绝对贵宾”能进——精确率接近 100%，可绝大多数 VIP 被挡在门外，召回率惨不忍睹。旋钮慢慢往下拧，放进的人越来越多，VIP 也被放进来一些，可普通客人跟着混进来，精确率开始下滑。老周每拧一格，就在一张坐标纸上记一个点：横轴是召回率，纵轴是精确率。把所有点连起来，就得到一条从左上角伸向右下角的曲线——这就是 PR 曲线。

在实际建模中，模型对每个样本输出一个“VIP 程度分数”（通常在 0 到 1 之间）。把所有测试样本按分数从高到低排队，然后像老周拧旋钮一样，从队首开始逐个“放行”。每放行一个人，就重新算一次当前的精确率和召回率。这个扫描过程用一个累加公式描述：

$$\displaystyle R_k = \frac{\sum_{i=1}^{k} y_i}{N_{pos}}, \qquad P_k = \frac{\sum_{i=1}^{k} y_i}{k}$$

1. 排序后的样本序列：把所有样本按模型分数降序排列，下标 i 从 1 到 N，分数高的人排在前面。

$$i = 1, 2, \ldots, N$$

2. 指示变量 yᵢ：当第 i 个样本是真的 VIP 时取 1，否则取 0。这是一串由真实标签组成的 0/1 序列。

$$y_i \in \{0, 1\}$$

3. 前 k 个放行：阈值扫到第 k 个位置时，前 k 个人全部放进 VIP 区。分子是前 k 人里真 VIP 的数量。

$$\sum_{i=1}^{k} y_i$$

4. 召回率与精确率：召回率用真 VIP 总数 N_pos 做分母；精确率用已放行的 k 人做分母。k 越大，放进的人越多，召回率必然上涨，而精确率视混入闲人的情况波动下滑。

$$R_k = \frac{\sum_{i=1}^{k} y_i}{N_{pos}}, \quad P_k = \frac{\sum_{i=1}^{k} y_i}{k}$$

老周看着渐渐成形的曲线笑了：左上角是“谁都不放”的极端，右下角是“来者不拒”的极端，而现实中的每一次调门，都落在这条权衡曲线上。一条优秀的 PR 曲线，像一条贴着天花板走的滑梯——在召回率还很低时精确率就能保持很高，直到快要全放行时才愿意低头。

AP与面积

现在问题来了：两个夜店都有保安，老周和新来的小李，谁更靠谱？只看某一个旋钮位置不公平——老周在严格档位表现好，小李在宽松档位表现好。要公平比较，就得看两个人在“从最严调到最松”的整条路上，综合表现谁更优秀。PR 曲线下方的面积，正是这样一个综合打分：面积越大，说明保安在更多档位下都能同时保住房客准确度与贵宾覆盖率。

这个面积在学术上叫平均精确率（Average Precision，简称 AP）。因为 PR 曲线是一条锯齿状折线，不方便直接算积分，工程上常用“梯形法”或“矩形法”把它切成很多竖直小条，逐条求面积再累加。用公式表达，就是把积分拆成离散求和：

$$\displaystyle AP = \int_{0}^{1} P(r)\,dr \approx \sum_{k=1}^{n} (R_k - R_{k-1}) \cdot P_k$$

1. P(r)：把召回率记为 r，P(r) 表示“召回率刚好等于 r 时的精确率”。PR 曲线本质上就是函数 P(r) 的图形。

$$r \mapsto P(r)$$

2. 积分 ∫₀¹：从召回率 0 到 1，把每一个可能档位上的精确率都扫一遍。精确率曲线上方和横轴围成的区域，就是要算的面积。

$$\int_{0}^{1} P(r)\,dr$$

3. 离散化：实际操作中我们只有有限个档位，取第 k 个档位，前一个档位召回率为 Rₖ₋₁，当前为 Rₖ。

$$R_k - R_{k-1}$$

4. 累加求和：用每个小段的召回率增量作为“宽度”、该段精确率 Pₖ 作为“高度”，所有小矩形面积相加，就得到 AP 的近似值。

$$\sum_{k=1}^{n} (R_k - R_{k-1}) \cdot P_k$$

老周的成绩单出来了：AP 是 0.92，小李是 0.78。这意味着在绝大多数“严格程度”下，老周放进 VIP 区的人里真 VIP 的比例都更高。一个只会“全放行”的菜鸟保安，他的 PR 曲线几乎是一条水平线，高度恰好等于 VIP 在全场客人中的占比——因为全放行时精确率就等于先验比例。AP 这枚金币，把整个权衡过程浓缩成了一个可排序的分数。

不平衡数据

假设老周所在的夜店其实是个高端会所，一晚来 10000 个客人，真 VIP 只有 10 个。这时来了个偷懒的保安小赵，他干脆把门一关，谁都不放。你拿准确率去考核他：10000 个客人里他拦住了 9990 个普通客人，准确率高达 99.9%！老板差点给他发年终奖，可第二天 VIP 客户集体投诉——10 个贵宾全被挡在门外。准确率这座“好评率”，被海量的普通客人（负样本）绑架了。

用公式看更清楚。准确率的分母包含所有样本，而负样本天生占绝对多数：

$$\displaystyle Accuracy = \frac{TP + TN}{TP + FP + FN + TN}$$

1. 分子 TP+TN：判断对的两种情况加起来——真 VIP 被放进，普通客人被拦下。

$$TP + TN$$

2. 分母四格总和：所有来到门口的人，无论 VIP 还是闲人、放行还是拦截，全部相加。

$$TP + FP + FN + TN$$

3. 负样本膨胀：当普通客人占 99.9% 时，TN 这一格巨大无比，即使 TP 为 0，准确率也能逼近 100%。

$$TN \gg TP + FP + FN$$

PR 曲线就没有这个问题，因为它的两个公式里根本没有 TN 出现过。无论是精确率的分母 TP+FP，还是召回率的分母 TP+FN，都只关心“VIP 相关”的样本和“被放进的人”。所以当正样本稀少、而负样本铺天盖地时，PR 曲线是唯一不会装睡的保安——它逼着你看清：你到底有没有接住那 10 个 VIP。

阈值选择

老周终于明白了 PR 曲线的妙处：它不是一块挂在墙上的奖状，而是一张标满了“严格程度”的地图。同一个模型，今晚是明星私密派对，VIP 区容不得半点闲人，他就把阈值调高，往曲线左上角走；明晚是开业大酬宾，老板说宁可多放几个闲人也不能让贵宾等太久，他就把阈值调低，往曲线右下角走。阈值不是死的 0.5，而是生意策略的旋钮。

为了帮老周找一个“既不冤枉闲人、又不怠慢贵宾”的折中档位，工程师发明了 F1 分数——精确率和召回率的调和平均：

$$\displaystyle F1 = \frac{2 \times Precision \times Recall}{Precision + Recall}$$

1. 两个指标相乘：把精确率和召回率放在分子相乘。只要有一个趋近 0，乘积就被拖垮，F1 立刻变低。

$$Precision \times Recall$$

2. 两者相加作分母：分母是两者之和，起到归一化作用，让 F1 始终落在 0 到 1 之间。

$$Precision + Recall$$

3. 系数 2：乘以 2 是为了把 F1 拉到两者算术平均值附近。它是“严格版平均”——只有两者都高，F1 才高，不像算术平均那样可以让一个高分的指标给另一个低分指标“拉票”。

$$\frac{2 \times P \times R}{P + R}$$

沿着 PR 曲线滑动，F1 像一个平衡探测器，会告诉你哪个档位兼顾了两者的利益。但老周心里清楚：最终选哪个档位，从来不是数学说了算，而是老板的业务账本说了算。医疗筛查宁可错杀不可漏诊，就走高召回；金融放贷宁可少赚不愿坏账，就走高精确。PR 曲线把决策权交还给业务，而不是让模型替你拍板。

对比ROC

在保安培训手册里，还有另一张地图叫 ROC 曲线。如果说 PR 曲线关注的是“VIP 有没有被接住”，那 ROC 曲线关注的是“普通客人被冤枉的比例”。ROC 的横轴是假阳性率，纵轴是真阳性率。和老周的记分方式相对照，真阳性率 TPR 恰好就是召回率；而假阳性率 FPR 则是“被误拦的普通客人占所有普通客人的比例”：

$$\displaystyle TPR = \frac{TP}{TP+FN} = Recall, \qquad FPR = \frac{FP}{FP+TN}$$

1. TPR 等于召回率：真阳性率的分子分母与召回率完全一致，所以 ROC 的纵轴就是 PR 曲线的横轴。

$$\frac{TP}{TP+FN} = Recall$$

2. FPR 的含义：False Positive Rate，指“所有普通客人里，被冤枉地放进 VIP 区的比例”。它与精确率看问题的角度正好相反。

$$\frac{FP}{FP+TN}$$

3. 分母差异的本质：FPR 分母含 TN。当普通客人海量时，TN 巨大，FPR 会被稀释得很小，ROC 曲线看起来“光滑漂亮”。

$$FP + TN \to \text{非常大}$$

回到那个 10000 人的会所：普通客人有 9990 个，即使模型瞎放 500 个闲人进来，FPR 也只有 5%，ROC 曲线依然漂漂亮亮；可在 PR 曲线上，这 500 个闲人会让精确率直接崩盘。所以选型规则很明确：正样本稀少、你只关心 VIP 抓没抓住时，用 PR 曲线；类别基本均衡、你想看整体判别力时，用 ROC 曲线。老周把两张地图叠在桌上——ROC 是给“不怕闲人多”的场合看的，PR 是给“VIP 才是命根子”的场合看的。数据不均衡的夜里，他只信 PR。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.metrics import precision_recall_curve as sk_prfrom sklearn.metrics import average_precision_score as sk_apfrom sklearn.metrics import accuracy_score rng = np.random.default_rng(42) n_samples = 10000pos_ratio = 0.05y_true = (rng.random(n_samples) < pos_ratio).astype(int) score_pos = rng.beta(8, 2, size=y_true.sum())score_neg = rng.beta(2, 5, size=(n_samples - y_true.sum()))y_score = np.concatenate([score_pos, score_neg]) def custom_pr(labels, scores):    order = np.argsort(-scores)    labels_sorted = labels[order]    tp = np.cumsum(labels_sorted)    fp = np.cumsum(1 - labels_sorted)    total_pos = labels_sorted.sum()    recall = tp / total_pos    precision = tp / (tp + fp)    precision = np.r_[1.0, precision]    recall = np.r_[0.0, recall]    return precision, recall def custom_ap(labels, scores):    precision, recall = custom_pr(labels, scores)    ap = 0.0    for i in range(1, len(recall)):        ap += (recall[i] - recall[i - 1]) * precision[i]    return ap precision, recall, thresholds = sk_pr(y_true, y_score)sklearn_ap = sk_ap(y_true, y_score)custom_ap_value = custom_ap(y_true, y_score) acc_all_negative = accuracy_score(y_true, np.zeros_like(y_true))acc_default_thr = accuracy_score(y_true, (y_score >= 0.5).astype(int))pos_rate = y_true.mean() print("正样本占比: {:.2%}".format(pos_rate))print("sklearn AP: {:.4f}".format(sklearn_ap))print("custom  AP: {:.4f}".format(custom_ap_value))print("全预测为负类时的准确率: {:.4f}".format(acc_all_negative))print("默认阈值0.5时的准确率: {:.4f}".format(acc_default_thr))tar_idx = np.argmin(np.abs(recall - 0.8))print("在召回率约80%时的精确率: {:.2%}".format(precision[tar_idx]))

1. y_true = (rng.random(n_samples) < pos_ratio).astype(int)按 5% 概率生成真实标签，模拟 VIP 稀少的夜店。
2. score_pos = rng.beta(8, 2, ...)给正样本分配偏高的分数，让模型大体上能把 VIP 和非 VIP 区分开。
3. order = np.argsort(-scores)所有候选人按 VIP 程度分数从高到低排序，相当于老周的准入名单。
4. tp = np.cumsum(labels_sorted)前缀累加：每放行 k 人，统计其中真 VIP 的累计数量。
5. fp = np.cumsum(1 - labels_sorted)前缀累加：已放行的 k 人里，混入的普通客人数量。
6. precision = tp / (tp + fp)每个阈值得分档位上的精确率序列。
7. recall = tp / total_pos每个档位上的召回率序列。
8. ap += (recall[i] - recall[i-1]) * precision[i]矩形法累加每个召回率增量与对应精确率的乘积，近似积分得到 AP。
9. acc_all_negative = accuracy_score(y_true, np.zeros_like(y_true))一个什么都不做的模型，靠“谁都不放”也能拿到的虚假高准确率。
10. target_idx = np.argmin(np.abs(recall - 0.8))找到召回率最接近 80% 的档位，查看该业务点上的精确率。

常见误区

面试题