代价敏感学习：让模型关注少数类的三种方法

可视化演示

展示线性回归模型通过梯度下降算法逐步拟合数据的过程，实时显示权重、偏置和损失变化，支持学习率调节。

代价矩阵设计：急诊室主任的打分表

急诊科主任把实习医生叫到办公室，给他看了一张表格。表格上有两行两列：一行写着“实际是危重病人”，一行写着“实际是普通感冒”；一列写着“判断为危重”，一列写着“判断为感冒”。主任在格子里填上数字——判断正确填0，误判感冒填10，把感冒误判为危重填1。“以后考核你，就看这张表的总分。”主任说，“漏掉一个危重病人扣10分，误收一个感冒患者只扣1分。你愿意多收几个感冒的，也不许漏掉一个胸痛的。”

这就是代价敏感学习的起点——代价矩阵（Cost Matrix）。普通机器学习模型在训练时只关心“对错”，把每个错误都看成等价的；但现实中，把恶性肿瘤说成良性，和把良性说成恶性，后果天差地别。代价矩阵就是一张“错误代价打分表”，告诉模型：哪种错误最致命。

为什么模型天生会忽视少数类？因为模型是个“考试机器”，它只追求总错误数量最小。如果全班100人里90个学霸、10个学渣，它只要照抄学霸的答案就能对90题，根本不关心那10个学渣有没有学会。但当学渣的“错误”代价是学霸的10倍时，聪明的做法就变了——哪怕多错几道学霸题，也要把学渣的题做对。代价矩阵，就是给模型换一张“加权考卷”。

形式上，设类别集合为\{0,1\}，代价矩阵 $C$ 中 $C_{ij}$ 表示“真实类别为 $i$ 却预测为 $j$”的代价。总代价是所有误分类代价的总和：

有了这张“打分表”，下一步就是让各种机器学习算法学会按这个标准行事。正如主任把打分表贴在了分诊台的墙上，每个医生都必须照着执行。

代价敏感决策树：给分诊流程装上秤

老主任又做了一件事：他把分诊台的流程也改了。原来的分诊护士只看体温，超过38度就送发热门诊，不够38度就让人排队——但那个胸闷的危重病人，体温只有36.5度，就这么被漏掉了。新流程里，护士手里多了一把“秤”：每个来就诊的人，先按“是否像危重病人”加权——胸痛、大汗、家族心脏病史的，权重直接乘以10。分诊时不看人数多少，而是看“加权后的总分”来做判断。

这把“秤”，就是代价敏感决策树（Cost-Sensitive Decision Tree）。普通决策树在选特征时，用的是信息增益——哪个特征能把样本分得“最纯”就用哪个。但“纯”的定义是平均数视角：多数类样本多，把多数类分开就能获得很高的纯度。代价敏感决策树的改造，就是在计算纯度时给每个样本称重，让少数类的样本在“投票”时拥有更大的话语权。

具体做法是在计算信息增益之前，给每个训练样本赋予一个与代价相关的权重。若少数类（正类）与多数类（负类）的误分类代价比为 $\lambda = C_{10}/C_{01}$，则正类样本的权重为 $\lambda$，负类样本权重为 1。分裂时使用加权的熵来衡量纯度：

除了分裂和叶子标记，剪枝阶段同样用加权代价来评估——如果剪掉某个子树后加权总代价更小，就允许剪枝。这把“秤”从头到尾都在称，每一个环节都不被多数类的数量优势绑架。分诊台的新流程，就这样生效了。

MetaCost重加权：资深医生的二次会诊

改完分诊流程后，老主任还是不放心。他安排了一场“二次会诊”：每天下班后，让三位资深医生把所有被诊断为“感冒”的病历重新看一遍。三位医生各自独立判断，投票得出“这个病人有多大概率是真的危重”。然后按那张打分表算：如果按“危重”处理导致的期望代价更小，就把这个病人的标签改成“危重”，重新收治。一整个月下来，所有标签都被“按代价重新洗过”，然后把这些修正后的结论贴回病历库，让新医生照着学。

这就是MetaCost，一种与具体模型无关的包装方法（Wrapper Method）。它不要求你换掉分类器，而是分三步走：第一步，用集成模型（通常用Bagging训练多个同类模型）估计每个样本属于各类别的概率；第二步，按代价矩阵计算每个样本被划分为各类的期望代价，选取期望代价最小的类别作为它的新标签；第三步，用修正后的数据集重新训练一个分类器。

MetaCost的核心思想可以用一句话概括：“既然模型分不清，那就先算出'分错到底要赔多少'，然后让每个样本的标签自己去选那个最不赔钱的类别。”它的关键在于那步概率估计——为什么要用多个模型投票？因为单个模型估计的概率不够稳，容易因训练集的小扰动而剧烈变化。

$$\displaystyle R(i|x) = \sum_{j=1}^{K} P(y=j|x) \times C_{ij}, \qquad \hat{y}(x) = \arg\min_{i} R(i|x)$$

1. 估计类别概率：用 $T$ 个Bagging模型的平均来估计 $P(y=j|x)$，相当于三位资深医生独立判断后投票

$$P(y=j|x) = \frac{1}{T}\sum_{t=1}^{T} P_t(y=j|x)$$

2. 计算期望代价：把 $x$ 判为第 $i$ 类时，遭遇各类真实情况的代价加权求和，就是期望代价

$$R(i|x) = \sum_{j=1}^{K} P(y=j|x) \times C_{ij}$$

3. 选取最小代价类：在所有类别中挑期望代价最小的当作新标签，为 $x$ “重新画一条诊断结论”

$$\hat{y}(x) = \arg\min_{i} R(i|x)$$

4. 重训练模型：把所有样本的新标签拼成修正后的数据集 $D' = \{(x_1,\hat{y}_1),\dots,(x_m,\hat{y}_m)\}$，在其上训练最终模型

$$D' = \{(x_i, \hat{y}(x_i))\}_{i=1}^{m}$$

MetaCost的优点是“百搭”——无论你原本用的是决策树、SVM还是逻辑回归，都可以套上这层外壳；缺点也显而易见，它需要训练多轮模型，计算开销较大。但这就像每天的二次会诊虽然辛苦，却能救回那个被漏掉的胸痛病人——值了。

阈值移动技术：调整收治标准的艺术

一个月后，老主任发现了一件有意思的事。新来的医生虽然接受了新流程，但遇到“疑似危重但概率不到一半”的病人时，还是容易犹豫——因为学校里教的规矩是“概率超过50%才收治”。于是主任干脆把这条规矩改了：从现在起，只要病人有30%的可能是危重，就收进抢救室观察。结果那个月，漏诊率下降了一半，虽然误收人数变多了，但总代价反而降到了历史最低。

这个操作，就是阈值移动（Threshold Moving）。在很多分类模型里，模型输出的不是一个类别，而是一个概率，比如 $P(y=1|x)=0.7$。默认情况下，我们把 0.5 当作分界线：大于等于0.5判正类，小于0.5判负类。但这条0.5的分界线，其实是“假装两类错误代价相等”时的最优解。当代价不对称时，分界线就该移动。

阈值移动要做的事极其简单：在模型训练完之后，把决策阈值从0.5往左挪一点（或往右），让更多（或更少）的样本被分到少数类。难的是，阈值到底挪到哪？当模型输出的概率 $p = P(y=1|x)$ 校准良好时，理论最优阈值由代价比决定：

在实际项目中，理论阈值依赖“概率校准良好”这个前提，所以更稳妥的做法是：在验证集上把阈值从0到1遍历一遍，选使F1-score或总代价最小的那个值——这个过程叫验证集搜索。阈值移动的最大好处是“零成本”：模型不用重新训练，只需要在预测时拧一下旋钮，简直是算法界的“免费午餐”。

Focal Loss损失：把查房时间留给疑难杂症

急诊室的故事还没完。老主任发现，即便改了收治标准，医生查房时还是有个坏习惯：碰到感冒患者，两分钟就看完；碰到危重患者，却因为症状不典型，反而草草处理。于是主任想了一个“奖惩制度”：每个医生的绩效，不再按“处理了多少病人”算，而是按“处理好了多少难病人”算。一个被轻松处理的感冒患者，绩效权重几乎归零；一个被盯住的危重患者，哪怕最后没能救回来，只要你尽心了，绩效也照算不误。

在深度学习中，这个“奖惩制度”就是Focal Loss。标准的交叉熵损失（CE）有个问题：那些已经被模型分对、且预测概率很高的“易样本”，每错一点点也会贡献不小的损失，于是大量易样本的梯度累积起来，把“难样本”的梯度给淹没掉了。Focal Loss做的，就是给每个样本的损失乘上一个调制因子 $(1-p_t)^\gamma$——$p_t$ 是模型对真实类别的预测概率，如果 $p_t$ 接近1（易样本），调制因子接近0，损失被压得很低；如果 $p_t$ 很小（难样本），调制因子接近1，损失被完整保留。

$$\displaystyle FL(p_t) = -\alpha_t \,(1-p_t)^{\gamma} \,\log(p_t)$$

1. 定义真实类别的预测概率：$p_t$ 表示模型分配给真实标签的那个概率。真实为1时 $p_t=p$，真实为0时 $p_t=1-p$

$$p_t = \begin{cases} p & y=1 \\[4pt] 1-p & y=0 \end{cases}$$

2. 调节因子：$(1-p_t)^\gamma$ 对易样本（$p_t\to 1$）赋予接近0的权重，对难样本（$p_t\to 0$）赋予接近1的权重

$$(1-p_t)^{\gamma} \in (0,1]$$

3. 平衡因子：$\alpha_t = \alpha$（当 $y=1$）或 $1-\alpha$（当 $y=0$），缓解类别不平衡的初始差异

$$\alpha_t = \begin{cases} \alpha & y=1 \\[4pt] 1-\alpha & y=0 \end{cases}$$

4. 梯度特性：Focal Loss对模型参数的梯度，相当于把交叉熵的梯度乘上 $(1-p_t)^\gamma$，难样本在总梯度中的占比因此显著提升

$$\frac{\partial FL}{\partial \theta} = (1-p_t)^{\gamma} \cdot \frac{\partial CE}{\partial \theta}$$

Focal Loss 最早出自目标检测领域的RetinaNet，它把“正负样本极度不均”和“易难样本混杂”两大难题一网打尽。现在，几乎所有处理不平衡数据的深度学习任务——从医学影像到欺诈检测——都可以默认试一版 Focal Loss。它就像那个奖惩制度，逼着模型把有限的“查房时间”留给真正棘手的病人。

方法对比评估：不同科室的用人之道

急诊室改革之后，老主任给全院做了个总结。他发现，不同的科室适合不同的策略：急诊室病人情况紧急来不及反复训练，就用阈值移动，立竿见影；住院部需要精确分诊，就用MetaCost，多花些功夫做二次会诊；ICU里设备先进（GPU资源充足），模型得盯着监护仪上的每一帧数据，就用Focal Loss。这个“用人之道”，就是我们在实际项目里选型时的决策框架。

三种方法各有优劣。代价敏感决策树把代价内嵌到树的学习过程中，适合处理表格数据、可解释性要求高的场景（如信贷审批）；MetaCost是模型无关的包装方法，任何分类器都可以套用，但需要训练多个基模型，计算开销大；阈值移动是三者中成本最低的，模型训练完后再调一个参数即可，但它要求模型能输出较好的概率估计；Focal Loss则是深度学习的不二之选，尤其在图像、文本等高维数据上效果显著，但引入了 $\gamma$ 和 $\alpha$ 两个超参数，需要调参经验。

评估时不能只看准确率——在不平衡数据上，模型把所有样本都判成多数类也能拿到很高的准确率，却毫无用处。要用对少数类敏感的指标：

选择策略可以记住一条口诀：表格数据、要解释，选代价敏感决策树；模型任意、能等训练，选MetaCost；概率输出、求快速，选阈值移动；深度学习、大数据，选Focal Loss。 三者不是互斥的——你完全可以用MetaCost重标注数据，再训练一棵代价敏感决策树，最后用阈值移动微调。就像医院里，分诊流程、二次会诊、收治标准完全可以同时升级。重要的是，先想清楚那张代价矩阵——它是一切策略的源头。

AI 应用场景

Python 演示

import numpy as np def cross_entropy(p, y):    # p: 模型预测正类的概率(0到1), y: 真实标签(0或1)    p = np.clip(p, 1e-12, 1 - 1e-12)    p_t = np.where(y == 1, p, 1 - p)    return -np.log(p_t) def focal_loss(p, y, alpha=0.25, gamma=2.0):    p = np.clip(p, 1e-12, 1 - 1e-12)    p_t = np.where(y == 1, p, 1 - p)    alpha_t = np.where(y == 1, alpha, 1 - alpha)    return -alpha_t * (1 - p_t) ** gamma * np.log(p_t) y = np.array([1, 0, 1, 0])p = np.array([0.9, 0.1, 0.45, 0.55]) ce = cross_entropy(p, y)fl = focal_loss(p, y) print("样本: 易正类 易负类 难正类 难负类")print("交叉熵:", ce)print("Focal: ", fl)print("总损失: CE=%.4f  FL=%.4f" % (ce.sum(), fl.sum())) ce_easy = ce[:2].sum()ce_hard = ce[2:].sum()fl_easy = fl[:2].sum()fl_hard = fl[2:].sum()print("难/易损失比: CE=%.2f  FL=%.2f" % (ce_hard / ce_easy, fl_hard / fl_easy))

1. def cross_entropy(p, y):定义标准交叉熵函数，输入模型预测概率和真实标签，输出逐样本损失
2. p_t = np.where(y == 1, p, 1 - p)提取“模型给真实标签的概率”：标签为1取p，标签为0取1-p
3. alpha_t = np.where(y == 1, alpha, 1 - alpha)按真实类别分配平衡因子，正类用α，负类用1-α
4. (1 - p_t) ** gamma调制因子：(1-p_t)越接近0（易样本）权重越小，p_t越小（难样本）权重越大
5. ce[:2].sum() / fl[:2].sum()对比4个样本中前两个易样本与后两个难样本的损失占比，验证Focal Loss是否把“注意力”转移到了难样本上

常见误区

面试题