主动学习中的不确定性采样

可视化演示

核心原理：模型为什么也要挑食

小林最初的规则很简单：每次训练完，他把所有待研究菜谱都在心里“预演”一遍，然后挑最没底的几道去问大师傅。这套“预演→排序→请教→复盘”的循环，就是主动学习的主干。在机器学习里，它有个正式名字叫基于池的主动学习（pool-based active learning）：模型对一批未标注样本做预测，按查询策略给每个样本打分，把分数最高的送去人工标注，标注结果再并入训练集重新训练。

主动学习要解决的问题很直白：高质量标注很贵。请大师傅教一道菜要耗费他的时间，所以每一道请教机会都得花在刀刃上。所谓查询策略（query strategy），就是模型决定“先问哪些样本”的规则，而不确定性采样正是其中最常用的一类——用模型自己的困惑当向导。

给定未标注池 \( U \)，模型先给每个候选样本 \( x \) 算一个“困惑程度”得分 \( \mathcal{S}(x) \)，然后挑得分最高的优先标注：

对小林而言，\( \mathcal{S}(x) \) 就是“这道菜让我多没底”。每一轮主动学习都是一次“让最困惑的菜谱优先得到真答案”的取舍。接下来的三位主力选手，就是三种计算“没底”的具体方式。

置信度采样：最拿得出手的猜测都没底气

小林面对菜谱时心里会打赌：六成把握是咸的，三成是甜的，一成是辣的。他最强项的猜测也不过六成——这道菜值得问。置信度采样就是这个思路：把模型对每个类别的预测概率排成一排，看最大的那个有多大。

分类模型输出的 softmax 概率可以通俗理解为“对每个类别的把握程度”，其中最大的那个概率就叫最高类别概率，也就是模型的置信度（confidence）。如果连最自信的猜测都很小，说明模型对这个样本整体没底气。置信度采样专门挑这类样本：

置信度采样简单高效，但有个盲区：它只盯着“最高”这一个数，忽略了第二名、第三名的分布信息。比如 \( [0.40, 0.35, 0.25] \) 和 \( [0.40, 0.30, 0.30] \) 的最高概率都是 0.40，可后者显然更纠结——模型在三个类别间摇摆得更厉害。置信度采样对这两个样本一视同仁。小林后来也发现了：只看最强的赌注有几成胜算，会漏掉其他选项在暗搓搓冒头的情况，于是就有了边缘采样。

边缘采样：前两名咬得越紧越值得问

小林学精了：比起最高的那个把握，他更关心“咸”和“甜”是不是在打架。如果咸有 52%、甜有 48%，那这道菜他根本分不清，必须问；如果咸有 98%、甜只有 1%，那基本不用纠结。边缘采样就是量这个“打架程度”。

边缘采样取前两个最高类别的概率之差，这个差叫边缘（margin）。差距越小，模型在这两个类别之间越犹豫，说明样本越靠近决策边界——也就是模型划分类别的分界线附近。边界附近的样本最容易被分错，对提升模型帮助也最大：

边缘采样有个漂亮的特例：二分类时两个类别概率加起来等于 1，边缘 \( = |2P(y_1 \mid x) - 1| \)，挑最小边缘等价于挑最高概率最小的样本，所以此时边缘采样和置信度采样的排序完全一致。边缘采样抓住了“最强的两个候选在打架”这一关键信号，比只看老大的置信度采样多看了一眼老二。

熵采样：思路越乱越值得问

小林还会遇到一种菜谱：尝了一口，咸甜辣鲜全都冒出来，脑子里同时浮现五六种做法，没有哪个特别突出。这种“整体乱成一锅粥”的程度，在信息论里叫熵。熵采样专挑这种思路最乱的样本。

熵（entropy）是信息论里度量不确定性的标准工具。对样本 \( x \) 的类别概率分布求熵，分布越均匀、越分散，熵越大，模型越没底。熵采样把所有类别的概率都纳入计算，信息最完整：

熵有两个标志性性质：当预测完全确定（某个类别概率为 1）时，熵为 0；当预测均匀分布时，熵最大，等于 \( \log_2 K \)。二分类时熵和置信度采样排序等价；多分类时，熵能识别出置信度看不到的“第二第三名也在抢戏”的情况。如果说置信度采样盯着“最强的猜测有多强”，边缘采样盯着“前两名差多少”，那熵采样就是后退一步，看整道菜的思路有多混乱——它是信息量最完整的不确定性度量。

流程配合：从挑菜到上桌

小林不可能为一道菜就跑一趟大师傅那儿，他得一次性凑一批最值得问的菜谱，列好优先级，再统一请教。这就是不确定性采样在实际标注流程中的位置：它不是终点，而是流水线的入口。

实际项目里，每一轮主动学习都要选定两个参数：批量大小 \( B \)（每轮最多送标多少个）和阈值 \( \tau \)（不确定度低于多少就不值得标）。流程是：先对未标注池全部样本打分排序，把分数达不到阈值的放一放，再取分数最高的 \( B \) 个去人工标注，标完并入训练集重训：

完整的迭代循环可以拆成五步：

小林的流程从此变成：先随机学几道基础菜→每周批量挑最没把握的菜谱→请教师傅→把答案记进菜谱本→下轮再挑。每轮都有明确节奏，标注效率大幅提升。

采样偏差：越采越偏的坑

小林很快发现一个问题：他总挑最难做的菜谱去问师傅，三个月后菜谱本里全是刁钻的分子料理，家常小炒反而没几道。真上手做家常菜时，反而生疏了。这就是“越采越偏”。

采样偏差指主动学习选出的标注子集在分布上严重偏离真实数据分布。不确定性采样天然偏好模型难以分类的样本，这些样本往往集中在决策边界附近，甚至本身就是噪声。多轮迭代后，边界难例在训练集中越堆越多，模型被“带偏”，简单区域的泛化能力反而下降。我们可以用指示函数统计本批选中样本的类别占比，直观检查是否失衡：

缓解手段有四个常用方向：

小林吸取教训后，每批菜谱里固定塞几道普通家常菜，再去问大师傅——既练难题也保基本功。采样偏差提醒我们：不确定性要选，但不能让“不确定性”独裁。

策略对比：不止一种挑菜哲学

后厨里不同师傅有不同挑菜哲学：有的专挑没把握的（不确定性采样）；有的要求每类菜都得问（多样性采样）；有的让几个徒弟同时试做、意见分歧最大的才去问师傅（委员会查询）；还有的会先估算“问完这道菜后整体手艺能进步多少”（期望误差减少）。不确定性采样只是主动学习查询策略的一种，实战中常与以下策略组合使用。

多样性采样（如 Coreset、基于聚类）要求每批样本覆盖特征空间的不同区域，防止冗余和偏置。委员会查询（Query-by-Committee, QBC）训练多个模型组成“委员会”对样本投票，分歧越大越值得标注。期望误差减少（Expected Error Reduction）模拟“标注后误差降多少”，效果上限高但计算贵。混合策略（如 BADGE）同时考虑不确定性和多样性，兼顾效率与均衡。

QBC 里有一个与熵长得几乎一样的度量——投票熵：

没有放之四海而皆准的策略。不确定性采样快而锐利，适合标注预算紧张、追求快速提升的场景；委员会查询稳健但开销大；实践老手通常按业务场景组合出招，就像大师傅选菜，荤素搭配才营养均衡。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-# 不确定性采样演示: 对比随机采样与置信度采样import numpy as npfrom sklearn.datasets import make_classificationfrom sklearn.linear_model import LogisticRegression X, y = make_classification(n_samples=600, n_features=2,                           n_informative=2, n_redundant=0,                           n_clusters_per_class=1, random_state=42) def run_pipeline(strategy, n_rounds=10, batch=5, n_init=10):    rng = np.random.RandomState(0)    train_idx = rng.choice(len(X), n_init, replace=False)    for _ in range(n_rounds):        model = LogisticRegression(max_iter=1000)        model.fit(X[train_idx], y[train_idx])        pool = np.setdiff1d(np.arange(len(X)), train_idx)        if strategy == 'random':            pick = rng.choice(pool, batch, replace=False)        else:            probs = model.predict_proba(X[pool])            scores = 1 - probs.max(axis=1)   # 置信度采样: 最高概率越低越不确定            pick = pool[np.argsort(scores)[::-1][:batch]]        train_idx = np.concatenate([train_idx, pick])    model = LogisticRegression(max_iter=1000)    model.fit(X[train_idx], y[train_idx])    return model.score(X, y) if __name__ == '__main__':    acc_random = run_pipeline('random')    acc_al = run_pipeline('uncertainty')    print('随机采样   准确率: {:.4f}'.format(acc_random))    print('不确定性采样 准确率: {:.4f}'.format(acc_al))

1. X, y = make_classification(...)生成 600 个带真实标签的合成样本，用于模拟“标注池”。
2. train_idx = rng.choice(len(X), n_init, replace=False)冷启动：先随机标 10 个样本，让初版模型“入门”。
3. pool = np.setdiff1d(np.arange(len(X)), train_idx)构造未标注池：所有还没被标注的样本下标。
4. probs = model.predict_proba(X[pool])让模型对每个未标注样本输出各类别概率。
5. scores = 1 - probs.max(axis=1)置信度采样打分：最高概率越低，分数越高，越不确定。
6. pick = pool[np.argsort(scores)[::-1][:batch]]挑分数最高的 5 个样本下标，送去“人工标注”。
7. train_idx = np.concatenate([train_idx, pick])把新标注样本并入训练集，进入下一轮迭代。

常见误区

面试题