手把手绘制ROC与PR评估曲线

可视化演示

展示ROC与PR评估曲线的绘制原理：阈值遍历计算TPR/FPR与Precision/Recall，梯形法求AUC面积，可视化模型评估全过程。

混淆矩阵四象

安检主管的工作台上摆着一本厚厚的记录本，每天清晨都要翻看前一晚的值班数据。这本记录本只有四类记录：拦住一个坏人，是抓到真凶；拦住一个好人，是误伤无辜；放走一个坏人，是重大事故；放走一个好人，则是正常放行。四类事件看似简单，但它们的数量组合起来，恰恰能完整刻画安检仪的性能。

机器学习的术语表给这四种情况起了专门的名字：真阳性（TP）、假阳性（FP）、假阴性（FN）和真阴性（TN）。这里的“阳性”可以理解成“被模型选中”——在安检场景里就是被拦下检查，“阴性”就是被放行。真实情况同样有两种：真是坏人（正例）或真是好人（负例）。把“真实情况”放在行上，“模型判断”放在列上，就得到一张2×2表格，这就是混淆矩阵。它是所有后续指标的源头。

$$\displaystyle M = \begin{bmatrix} \mathrm{TP} & \mathrm{FP} \\ \mathrm{FN} & \mathrm{TN} \end{bmatrix}$$

1. 行代表真实标签：第一行是真实为正（确实有问题的旅客），第二行是真实为负（没问题的旅客），两个数字加起来就是全部旅客总数。

$$\displaystyle \text{真实} = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$$

2. 列代表预测标签：第一列表示模型判定为正（拦下），第二列表示模型判定为负（放行），每一列也都覆盖全部旅客。

$$\displaystyle \text{预测} = \begin{bmatrix} 1 & 0 \end{bmatrix}$$

3. 四格相加等于总数：TP、FP、FN、TN四个格子彼此互斥且覆盖所有情况，因此它们的和等于样本总数。

$$\displaystyle \mathrm{TP}+\mathrm{FP}+\mathrm{FN}+\mathrm{TN}=N$$

从记录本回到机器学习：你训练完一个分类器后，第一件事就是把测试集上的预测结果整理成这种四格表。后续要算的TPR、FPR、精确率、召回率、AUC，全都从这四个数字中生长出来。所以机器学习领域常说，混淆矩阵是模型评估的第一块基石。

核心指标计算

有了记录本，安检主管要回答两个最关键的问题：坏人到底抓到了几成？好人又被误拦了几成？这两个问题的答案，就是ROC曲线的两个坐标轴。第一个叫真阳性率（TPR），也叫召回率，描述的是“所有坏人中被成功拦下的比例”；第二个叫假阳性率（FPR），描述的是“所有好人中被错误拦下的比例”。

在公式里，TPR计算被抓到的坏人占全部坏人的比例。全部坏人的数量等于“被抓到的坏人”加上“跑掉的坏人”，也就是TP加上FN。FPR类似，分母是全部好人数，分子是“被误拦的好人数”。如果TPR接近1，说明坏人几乎一网打尽；如果FPR接近0，说明好人极少被骚扰。理想安检仪当然是TPR越高越好、FPR越低越好。

$$\displaystyle \mathrm{TPR}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}, \qquad \mathrm{FPR}=\frac{\mathrm{FP}}{\mathrm{FP}+\mathrm{TN}}$$

1. TPR的分子：TP代表被拦截且确实是坏人的旅客数量，分子越大，说明抓到的真凶越多。

$$\displaystyle \mathrm{TP}$$

2. TPR的分母：TP加FN是所有坏人的总数，因为坏人的下场无非两种——被拦住或者跑掉。

$$\displaystyle \mathrm{TP}+\mathrm{FN}$$

3. FPR的构成：FP是误拦好人的数量，FP加TN是全部好人的数量，二者之比就是“误伤率”。

$$\displaystyle \frac{\mathrm{FP}}{\mathrm{FP}+\mathrm{TN}}$$

回看安检台：TPR是“坏人抓获率”，FPR是“好人误伤率”。一个好的安检模型，应该在同一个阈值下同时拥有高TPR和低FPR。但现实往往是在这两个目标之间拉扯——抓得越多，误伤也越多。如何兼顾，就要看下一节的“阈值拧旋钮”了。

阈值遍历原理

安检仪上有一个灵敏度旋钮，旋转它会改变拦人标准。拧到最紧，几乎没有旅客能通过，TPR和FPR都趋近于0；拧到最松，所有人都被拦下，TPR和FPR都变成1。你真正关心的是中间那段：有没有某个档位，能在抓到大部分坏人的同时，把误伤控制得很低？为了找到答案，你可以把旋钮从最紧到最松逐格扫一遍，每扫一格记录一条TPR和FPR。

技术上的做法是：先拿到模型对每个样本的输出分数，把所有分数从高到低排序，然后让阈值θ从这个序列的高端滑向低端。对每个θ，判断规则很简单——分数不小于θ的样本判为正例，否则判为负例。每滑动一个位置，就得到一个新的混淆矩阵，进而算出一组（FPR，TPR）坐标。把这些坐标按顺序连成折线，这条线就是ROC曲线。

$$\displaystyle \hat{y} = \begin{cases} 1, & s \ge \theta \\ 0, & s < \theta \end{cases}$$

1. 模型输出分数 s：模型给每个样本的原始打分，分数越高代表模型越认为它是正例，通常取值在0到1之间。

$$\displaystyle s \in [0,1]$$

2. 阈值 θ：你人为设定的拦截线，可以取所有候选分数中的任意一个，它决定了哪些人会被拦下。

$$\displaystyle \theta \in (0,1)$$

3. 决策结果：当分数不小于阈值时预测为正，否则预测为负；遍历全部阈值，就生成一整串坐标点。

$$\displaystyle (\mathrm{FPR}_\theta,\ \mathrm{TPR}_\theta)$$

从旋钮到曲线，不过是一个“扫描”动作。你会发现，ROC曲线上的每一个点，都对应安检仪上的一档灵敏度。后续用sklearn画图时，库里做的正是这件看似繁琐但逻辑清晰的事——把阈值从头到尾扫一遍，自动计算每一档的坐标。

PR曲线权衡

机场安检的另一个棘手问题是：真正的坏人非常少，上千名旅客中可能只有一两个。这时候，光看“坏人抓获率”（TPR）还不够，因为你拦下的100个人里可能一大半都是被冤枉的好人。主管需要换一个视角：拦下的10个人里，几个是真正的坏人？这就是精确率（Precision）；而“所有坏人中有几个被拦下”就是召回率（Recall），它和TPR是同一个数，只是名字不同。

精确率和召回率天然存在博弈：想抓到更多坏人，就会降低标准，拦下更多人，精确率随之下降；想提高拦截质量，就要提高标准，漏掉坏人的风险又上升。把阈值从高到低扫描一遍，用召回率做横轴、精确率做纵轴画点连线，就得到PR曲线。在正负样本严重不均衡时，PR曲线比ROC曲线更能反映模型的真实检索能力——它把注意力集中在正样本这个小圈子里。

$$\displaystyle \mathrm{Precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}, \qquad \mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}$$

1. 精确率的分子：TP是被拦下且确实是坏人的数量，它衡量你拦截行动的命中质量。

$$\displaystyle \mathrm{TP}$$

2. 精确率的分母：TP加FP是你一共拦下的所有旅客，分子除以分母得到“命中率”。

$$\displaystyle \mathrm{TP}+\mathrm{FP}$$

3. 召回率即TPR：Recall的公式与TPR完全一致，它刻画的是对正样本的覆盖完整度。

$$\displaystyle \mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}$$

回到安检语境：如果你是在做“重点人员排查”，PR曲线就是你的作战地图。曲线越靠近右上角，说明拦截质量和覆盖能力兼顾得越好；当坏人极其罕见时，它比ROC曲线更能一针见血地暴露模型的短板。

AUC面积求解

两张曲线画完之后，主管还想给模型打个总评：光看一条忽高忽低的折线，很难直接说出“这个模型到底有多好”。这时候需要一个数字来概括整条ROC曲线的水平，它就是AUC——曲线下方的面积。AUC越接近1，说明模型把正样本排在负样本前面的能力越强；AUC等于0.5，说明模型和抛硬币猜没有区别。

曲线下面积通常没法写成一个简单的闭式公式，工程上最常用的办法是数值积分中的梯形法：把曲线下方的区域切成一个个窄条，每个窄条近似看成一个梯形，把所有梯形面积累加起来。相邻的两个FPR坐标构成梯形的底，两个TPR坐标构成梯形的上边和下边，逐块求和即可逼近真实面积。

$$\displaystyle \mathrm{AUC} \approx \sum_{i=1}^{n} \frac{(\mathrm{FPR}_i-\mathrm{FPR}_{i-1})(\mathrm{TPR}_i+\mathrm{TPR}_{i-1})}{2}$$

1. 横坐标差：相邻两个采样点的FPR之差就是梯形的高，它表示在这一段阈值范围内横轴前进的距离。

$$\displaystyle \Delta \mathrm{FPR}_i=\mathrm{FPR}_i-\mathrm{FPR}_{i-1}$$

2. 纵坐标均值：相邻两个TPR取平均，作为这个梯形的上下底之和的一半。

$$\displaystyle \bar{y}=\frac{\mathrm{TPR}_i+\mathrm{TPR}_{i-1}}{2}$$

3. 累加求和：每个窄条的梯形面积等于高乘均值，所有窄条加起来就是ROC曲线下的总面积。

$$\displaystyle \mathrm{AUC} \approx \sum_{i=1}^{n} \Delta \mathrm{FPR}_i \cdot \bar{y}$$

AUC的另一个通俗解释是：随机抽一个正样本和一个负样本，模型给正样本打更高分的概率。这个概率视角让AUC成为排序类模型的通用“总分”——不管业务场景多复杂，先比AUC，再谈阈值调优。

代码实操

画图的目的不是炫技，而是把前面所有推理落成可复用的代码。在Python生态中，sklearn已经封装好了最核心的计算，而matplotlib负责把结果绘成漂亮的图。整个过程像写一份安检流程菜谱：先准备食材（模拟数据），再下锅翻炒（调用库函数计算指标），最后装盘（绘制并保存图表）。

在sklearn中，roc_curve只要传入真实标签和预测分数，就会自动完成阈值遍历，返回三组值：FPR序列、TPR序列和对应的阈值序列。auc函数对FPR和TPR做梯形积分，一行算出AUC。PR曲线的计算由precision_recall_curve完成。得到数据后，用plt.plot描点连线，再配上网格、图例和标签，一张专业论文级别的评估图就完成了。如果要亲手实现阈值遍历来加深理解，本质就是写一个循环：对每个阈值计算四个混淆矩阵数字，再换算成对应坐标。

$$\displaystyle \mathrm{AP}=\sum_{k=1}^{n}(R_k-R_{k-1})P_k$$

1. 召回率差分：相邻两个采样点的召回率之差，作为该段横轴宽度。

$$\displaystyle \Delta R_k=R_k-R_{k-1}$$

2. 当前精确率：本段对应的精确率值，作为矩形的高度。

$$\displaystyle P_k$$

3. 累加所有矩形：将每段的宽度乘高度求和，得到PR曲线下的总面积。

$$\displaystyle \mathrm{AP}=\sum_{k=1}^{n}\Delta R_k \cdot P_k$$

从这节开始，你不再需要手动计算每一个阈值坐标——一行roc_curve就能搞定。可视化是实验报告的最后一步，也是说服读者的关键一环：清晰标注AUC数值、填充曲线下面积、用不同颜色区分曲线，这些细节会让你的汇报瞬间提升一个档次。

AI 应用场景

Python 演示

# 手动绘制ROC与PR曲线的完整示例import numpy as npfrom sklearn.metrics import roc_curve, auc, precision_recall_curveimport matplotlib.pyplot as plt # 构造模拟样本：100个正样本和300个负样本，负样本偏多np.random.seed(42)y_true = np.array([1] * 100 + [0] * 300)scores = np.concatenate([    np.random.normal(0.72, 0.18, 100),   # 正样本得分集中在0.72附近    np.random.normal(0.30, 0.18, 300)    # 负样本得分集中在0.30附近])scores = np.clip(scores, 0.0, 1.0)  def manual_roc(y_true, scores):    """手动遍历阈值，计算每个阈值下的FPR与TPR"""    thresholds = np.sort(np.unique(scores))[::-1]    fpr_list, tpr_list = [], []    for th in thresholds:        pred = (scores >= th).astype(int)        tp = np.sum((pred == 1) & (y_true == 1))        fp = np.sum((pred == 1) & (y_true == 0))        fn = np.sum((pred == 0) & (y_true == 1))        tn = np.sum((pred == 0) & (y_true == 0))        fpr_list.append(fp / (fp + tn) if fp + tn else 0)        tpr_list.append(tp / (tp + fn) if tp + fn else 0)    return np.array(fpr_list), np.array(tpr_list)  # 手动方式计算ROC曲线与AUCfpr_manual, tpr_manual = manual_roc(y_true, scores)auc_manual = np.trapz(tpr_manual, fpr_manual) # sklearn一行版fpr_sk, tpr_sk, _ = roc_curve(y_true, scores)auc_sk = auc(fpr_sk, tpr_sk) # 将两条曲线绘制在同一张图上对比plt.figure(figsize=(7, 5))plt.plot(fpr_manual, tpr_manual, "b-o", ms=3, label="manual")plt.plot(fpr_sk, tpr_sk, "r--", lw=2, label="sklearn")plt.plot([0, 1], [0, 1], "k--", alpha=0.4, label="random")plt.xlabel("FPR")plt.ylabel("TPR")plt.title("ROC Curve  AUC=%.3f" % auc_manual)plt.legend()plt.grid(alpha=0.3)plt.tight_layout()plt.savefig("roc_curve.png", dpi=120) # 使用sklearn绘制PR曲线prec, rec, _ = precision_recall_curve(y_true, scores)plt.figure(figsize=(7, 5))plt.plot(rec, prec, "g-", lw=2, label="PR")plt.xlabel("Recall")plt.ylabel("Precision")plt.title("Precision-Recall Curve")plt.legend()plt.grid(alpha=0.3)plt.tight_layout()plt.savefig("pr_curve.png", dpi=120) print("Manual AUC: %.4f" % auc_manual)print("sklearn AUC: %.4f" % auc_sk)print("Positive: %d, Negative: %d" % (sum(y_true), len(y_true) - sum(y_true)))

1. y_true = np.array([1] * 100 + [0] * 300)构造400个样本，其中只有100个正样本，刻意模拟类别不均衡的场景
2. np.random.normal(0.72, 0.18, 100)模拟好模型给正样本打高分、负样本打低分的效果
3. thresholds = np.sort(np.unique(scores))[::-1]把候选分数去重后从高到低排序，得到待遍历的阈值序列
4. pred = (scores >= th).astype(int)用当前阈值把所有分数转成0/1预测标签
5. fpr_list.append(fp / (fp + tn) if fp + tn else 0)计算当前阈值的FPR坐标，并处理分母为零的边界情况
6. np.trapz(tpr_manual, fpr_manual)用梯形法对FPR和TPR做数值积分，得到手动AUC
7. fpr_sk, tpr_sk, _ = roc_curve(y_true, scores)sklearn自动完成阈值遍历和坐标计算，返回FPR、TPR和阈值
8. precision_recall_curve(y_true, scores)一行拿到PR曲线的精确率和召回率序列

常见误区

面试题