主动学习：多样性采样

可视化演示

展示主动学习多样性采样：随机vs多样性采样对比（分散选点vs集中选点）、聚类代表点选择（KMeans分簇+每簇最近中心点）、不确定性+多样性融合策略（加权组合分数），通过模式切换理解采样算法差异。

核心概念：多样性采样初印象

想象你正拼一幅一千块的风景拼图。如果只盯着画面左上角，来回翻找同一片天空的碎片，一小时后你得到的只是几排重复的蓝块，整幅图依然迷雾重重。聪明的拼图者会先做“布局侦察”：从各个角落、每个色块区域各挑几块，拼出大框架后再深入细节。这种“均匀拿取、避免重复”的直觉，就是多样性采样在主动学习中的灵魂。

主动学习是一种“让模型主动提问”的训练方式：模型从大量未标注数据里，拣出最值得交给人标注的样本，再迭代训练。这里的拣选规则叫查询策略。多样性采样认为，最值得标注的是那些特征空间中彼此分散、能覆盖大片“空白区域”的样本，而不是那些和已标注样本高度相似的冗余样本。形式化地看，假设已选样本集合为 $S$，我们希望集合内任意两个样本的距离都不要太小。多样性可定义为集合内两两样本的最小距离，并让它尽量大：

回到拼图场景，这个标准相当于要求：你选出的每一块拼块，在画面位置上都不能紧挨着另一块已选拼块。距离越远，覆盖的新区域就越大——这正是多样性采样的初心。

采样原理：特征空间与覆盖度

拼图块不仅能按颜色区分，还能按纹理、边缘走向归类：同一种天空蓝的碎片聚在一起，复杂建筑线条的碎片又是另一簇。如果把这些属性看成坐标轴，每块拼图就落在“特征空间”里一个位置。位置越近的碎块，画面内容越相似；位置越远，差异越大。多样性采样要做的，就是在这个空间里均匀布点。

在机器学习中，每个样本都能表示成一个向量 $x$，例如一张图片的像素强度、一段文本的词频，甚至是神经网络学到的抽象特征。把这些向量放在同一个空间里，距离或相似度就成了判断“是否重复”的标尺。多样性采样选择彼此距离较远的样本，减少标注冗余，使有限的标注预算覆盖更多数据分布区域。

最常用的距离是欧氏距离。两个样本 $x_i$ 和 $x_j$ 之间，如果特征有 $m$ 维：

拼图的特征空间就像一张地图，距离远等于画面上相隔很远的两块区域。只有当选中点在地图上彼此散开，才说明这些拼块能带我们看到整幅图的不同部分。

关键算法：最远点、聚类与代表

拼图高手有一种“跳房子”策略：先随便放一块，然后每次都跳到离所有已放拼块最远的位置。这样几步下来，几块拼图就围住了画面的四个角，整个轮廓迅速浮现。这个策略在采样算法里有个名字——最远点采样（Farthest Point Sampling, FPS）。

最远点采样从已选集合出发，每一步从未标注池中挑一个样本，使它与已选集合中“最近的样本”的距离最大。数学上，第 $t$ 轮选择：

其中 $U$ 是未标注池，$S$ 是已选集合。除了 FPS，还有 K-Means 聚类采样：把未标注数据聚成 $k$ 簇，再从每簇里挑一个“代表”；代表性采样则结合密度，优先选择既位于高密度区域又能覆盖新角落的样本。这些算法都可看作对“多样性最大化”这一目标的不同贪心近似。

这就是拼图中“永远跳到最空的地方”的数学版本。先搭出轮廓，后续再填补细节，能保证每一轮新增的拼块都带来新的画面信息。

性能特性：省标注与费计算

先拼轮廓能让你五步就看清整幅画的结构，这是多样性采样最迷人的地方：标注效率高，尤其在完全没有初始模型的冷启动阶段，它比随机采样更稳定。原因很简单，随机采样可能连续抽中同一片天空的拼块，而多样性采样天然避开了这种扎堆。

但这份“全局视野”有代价。每一轮选样本都要计算候选样本与已选集合之间的距离，最远点采样的一轮复杂度是：

其中 $N$ 是未标注池大小，$M$ 是已选样本数，$m$ 是特征维数。当数据池达到百万级、特征上千维时，这个开销会变得可观。同时，极端离群点因为“离谁都远”容易被误选，引入噪声。性能特性上的权衡，决定了我们后面要谈的优化策略。

拼图时每次跳向最远位置都要环顾整个桌面，桌面越大、已拼块越多，环顾就越费眼神。理解这个代价，才能在真实项目里平衡效率与效果。

优化策略：混合与批量

资深拼图玩家不会只机械地“跳最远”。他会先扫一眼哪些区域还没覆盖，再掂量哪块最难认——既看覆盖度，也看信息量。多样性采样的工程优化，走的正是这条混合路线。

最常用的优化是把不确定性采样和多样性采样组合成一个评分函数：模型对样本 $x$ 越不确定，$u(x)$ 越大；样本离已选集合越远，多样性项越大。二者加权求和：

$Q(x)$ 越高的样本越优先标注。批量采样时，为确保一整批样本之间也互不拥挤，通常用贪心方法或子模函数逐步挑选。如果特征距离本身不可靠，还可以用自监督学习先训练一个好用的特征表示，让“距离”更有意义。

这个混合策略在工程上几乎成了标准做法：既要拼得广，也要拼得准。多样性负责“看到全貌”，不确定性负责“攻下要塞”。

应用场景：各行各业的拼图

每个行业都有自己的一幅大拼图。自动驾驶团队要拼出道路百态，医院要拼出病灶影像，客服中心要拼出工单类型。多样性采样在这里的任务，是用最少的人工判别次数看见最全的画面。

在图像分类标注中，团队从数百万张街景图里用 FPS 按特征距离挑选样本，确保光照、天气、障碍物类型都被覆盖，再用专家标注训练检测模型。文本分类中，客服工单按语义特征做聚类采样，每一类选几条典型工单，避免标注人员反复处理相似投诉。医疗影像标注里，X 光片按病变特征分散选样，让放射科医师的每次判读都能碰到一种新情况。

衡量这些场景的收益，常用标注节省率：

其中 $L_{AL}$ 是使用主动学习达到目标精度所需的标注数，$L_{random}$ 是随机采样所需的标注数。$R$ 越接近 1，省下的标注预算越多。

无论是道路、工单还是病灶，多样性采样都在帮从业者用最少的拼块看清最全的画面。它不保证每一块都关键，但保证每一块都不多余。

常见问题：离群点与数据偏差

拼图盒里偶尔会混进几块受潮变形的碎片，或者根本不属于这幅画的杂块。它们离所有正常拼块都“很远”，用最近距离衡量反而最容易被选中，但标完才发现毫无价值。离群点干扰是多样性采样的第一道暗坑。

更棘手的是类别不平衡。多样性采样只看空间覆盖，可能忽略样本的类别分布：稀有类别样本在特征空间里本来就少，可能被更有“面积优势”的普通类别挤掉。特征表示偏差同样会污染距离，比如用未清洗的原始像素算距离时，“背景颜色”可能比“物体结构”权重更大。

一个修正思路是给距离加上密度权重：

分母是样本到 $k$ 个近邻的平均距离，衡量局部密度；分子仍然是想覆盖新区域的驱动力。比值越大，说明样本又远离已选集合又处于合理密度区，值得标注。

工程上还可以直接过滤低密度区域、按类别配额选择样本。拼图前先清理碎屑，之后每一块才能拼得有意义。

实践指南：从理论到流水线

把多样性采样落地，就像把拼图这项手艺变成一条流水线。先按颜色把碎块分篮，再设定每轮挑几块、按什么顺序拼，最后记录每一步用了哪些块、效果如何，保证整个过程可复现。

工具层面，Python 生态已经有 modAL、ALiPy、libact 等主动学习库，封装了最远点采样、聚类采样等常见策略，几十行代码就能接入现有训练流程。评估层面，不要只看最终精度，而要在独立测试集上画“标注数量 vs 准确率”学习曲线，与随机采样基线对比，用曲线下面积衡量策略优劣。流程层面，标准循环是：初始化少量随机样本训练 → 用查询策略选一批样本 → 人工标注 → 更新模型，循环直到预算用完。

预算分配也有讲究。若总标注预算为 $B$，每轮新增 $b$ 个样本，则总轮数为：

轮数越多，模型更新越频繁，但查询与训练的计算开销也越高；轮数太少，批量选择可能不够精细。实践中常用 50~200 个样本一轮。

把工具、评估、迭代、版本管理串起来，多样性采样就不再是纸面算法，而是一条可度量、可迭代的数据标注流水线。每轮记录拼图进度，整个团队才能越拼越有底气。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.datasets import make_blobs  def farthest_point_sampling(X, batch_size):    """最远点采样：贪心地选出彼此分散的 batch_size 个样本。"""    n = X.shape[0]    seed_idx = np.random.randint(n)    selected = [seed_idx]    dists = np.full(n, np.inf)    while len(selected) < batch_size:        last = X[selected[-1]]        dist_to_last = np.linalg.norm(X - last, axis=1)        dists = np.minimum(dists, dist_to_last)        next_idx = np.argmax(dists)        selected.append(int(next_idx))    return np.array(selected)  def coverage_score(X, selected_idx):    """计算每个数据点到所选集合的最近距离均值，衡量空间覆盖度。"""    selected = X[selected_idx]    min_dists = np.min(np.linalg.norm(X[:, None, :] - selected[None, :, :], axis=2), axis=1)    return float(np.mean(min_dists))  if __name__ == "__main__":    X, _ = make_blobs(n_samples=300, centers=8, cluster_std=1.8, random_state=42)    rng = np.random.default_rng(7)    batch = 40     fps_idx = farthest_point_sampling(X, batch)    random_idx = rng.choice(X.shape[0], batch, replace=False)     print("FPS  平均最近距离:", round(coverage_score(X, fps_idx), 4))    print("随机 平均最近距离:", round(coverage_score(X, random_idx), 4))    print("FPS 覆盖度提升:", round(coverage_score(X, fps_idx) / coverage_score(X, random_idx) - 1, 4))

1. make_blobs(n_samples=300, centers=8, ...)生成 8 个簇的二维数据，模拟特征空间中聚团的样本，方便肉眼理解距离。
2. dists = np.full(n, np.inf)记录每个候选点到已选集合的最短距离，初始为无穷大，表示还没选任何样本。
3. dist_to_last = np.linalg.norm(X - last, axis=1)计算所有点离最新选中点的距离，这是增量更新距离的关键一步。
4. dists = np.minimum(dists, dist_to_last)将“到最新点的距离”与历史最近距离取较小值，维护全局最近距离。
5. next_idx = np.argmax(dists)找出离已选集合最远的样本，这正是最远点采样的核心贪心步骤。

常见误区

面试题