原型网络：如何用少量样本学会分类

可视化演示

展示Prototypical Network核心机制：embedding空间中支持集样本聚合成类别原型、查询样本按距离分类、Episodic Training训练范式，交互式探索小样本学习原理。

小样本困境

世界上确实有一种人叫“认亲小能手”。你把他领到陌生家族的聚会上，只给他看两三张照片，他转一圈就能指出谁是那个家族的人。可是传统计算机分类器完全没有这个本事。它更像一位“背菜谱的厨师”：红烧肉必须吃过三百次，才能信誓旦旦地说出“这是红烧肉”；如果只给他尝三口，他立刻就语塞了。这种“必须靠大量重复才能学会”的困境，就是小样本学习的出发点。

在真实工作中，标注数据往往贵得吓人：罕见病影像、新型号零件的缺陷照片、冷门物种的野外抓拍，能凑出几十张干净样本就算万幸。如果沿用传统深度学习的思路，用几十张图训练一个几十层深的神经网络，模型会进入“死记硬背”模式——它把训练样本的细节当作规律，测试时稍微有点变化就认错，这就是过拟合。

小样本学习换了一个思路：不再要求模型“从很多样本中总结规律”，而是要求模型“从任务结构中获得能力”。就像“认亲小能手”并不是背下了每个家族的全部成员照片，而是通过长期锻炼，学会了如何快速抓住家族气质。这种“学习如何学习”的框架，就是元学习。原型网络正是元学习家族里最直观、最优雅的一员。

把“背菜谱”换成“练味觉”，把“记脸”换成“抓气质”，你就能理解：原型网络要学的不是某个特定类别的长相，而是怎样从少量信息里提炼出可用的归类依据。

原型核心思想

假设你只见过李家三个人：奶奶、妈妈、儿子。三个人五官各不相同，但眉眼的间距、颧骨的轮廓、笑起来的神态，总有一种说不清的共同感。你脑子里并不会存三张照片，而是会不自觉地把他们“叠”成一个平均印象——这就是原型。

原型网络的核心思想正是如此：每个类别，用它的支持样本在嵌入空间中的平均值来表示，这个平均值就叫“原型”（prototype）。分类时，查询样本不再和每一个支持样本逐一比较，而是只和每个类别的原型比较，离哪个原型最近，就属于哪个类。这样做最大的好处是：分类过程不需要任何额外的训练，也没有可调参数，直接靠距离计算就能完成。

用公式表示，第 \(k\) 类的原型 \(\mathbf{c}_k\) 就是该类所有支持样本的嵌入向量的均值：

原型是抽象的“家族脸谱”，有了它，我们不需要把每个家族成员都记在脑中，只需要记住一张合成的中心画像。这既节省了内存，也让分类规则变得极其简单、可解释。

嵌入空间

要给家族成员“量气质”，第一步是定义一套尺子。你不能直接用照片的像素比大小，因为像素是杂乱的颜色块，和“眉眼气质”没有直接关系。原型网络的做法是：训练一个神经网络作为嵌入函数，把每个样本映射成一个固定长度的特征向量，所有特征向量所在的高维空间就叫嵌入空间。

可以这样想象：在“气质空间”里，李家的三个成员虽然坐标不同，但因为共享基因，它们的坐标点会落在一个相近的区域内；王家的人则聚在另一片区域。训练得好的嵌入空间，会让同类样本像磁铁一样吸附成一簇，不同类的簇之间保持距离。这正是“语义聚类”的含义——空间的几何距离，反映了样本之间的语义相似度。

在原型网络的实现中，嵌入函数通常用卷积神经网络（CNN）承担。图片经过多层卷积和池化，被压缩成紧凑的特征表示。在小样本场景里，这个嵌入网络往往先在大型数据集上预训练，再通过情节训练微调。它学到的特征具有“空间迁移”能力：在新类别上即使只见过几个样本，也能有效区分。

可以说，嵌入空间是原型网络的“风水宝地”：家族气质能不能被准确刻画，完全取决于这张特征地图画得好不好。尺子准了，后面所有的距离计算才有意义。

支撑查询集

现在我们来设计一场“认亲考试”。考卷需要两部分材料：一部分是参考资料，告诉你李家、王家、赵家各有哪几位代表成员；另一部分是考题，让你判断一个陌生面孔属于哪一家。在原型网络的术语里，参考资料叫支撑集（support set），考题叫查询集（query set）。

支撑集的构造规则是：从若干个类别中，每类抽取少量带标签样本。这些样本专门用来计算原型。查询集则从同样的类别中抽取另一批样本，它们不参与原型计算，只用来检验分类效果并计算损失。这种把数据按“支撑/查询”划分的方式，就是任务划分。

任务规模通常用 \(N\)-way \(K\)-shot 来描述：\(N\) 表示任务中有几个类别，\(K\) 表示每个类别提供几个支撑样本。比如 5-way 3-shot，就是每次考试有 5 个家族、每家给你看 3 位代表成员，总共 15 个参考样本。查询样本的数量一般也是固定的，比如每类 3 个。

把支撑集想象成“家族代表合影”，查询集就是“需辨认的陌生人”：考试时，模型先通过合影算出每家的原型，再用距离判断每个陌生人该回哪个家。支撑集和查询集的任务结构必须一致，这样模型在训练时练什么，考试时就考什么。

距离度量

有了家族脸谱，接下来需要一把好用的“相似度尺子”。最自然的做法是：把陌生人和每家的原型都放到嵌入空间里，然后量一量它们之间的直线距离。距离越小，说明这个陌生人越像这一家的人。这把尺子就是欧氏距离。

给定查询样本的特征向量 \(f_{\phi}(\mathbf{x})\) 和原型 \(\mathbf{c}_k\)，欧氏距离的计算公式为：

为什么原型网络偏爱欧氏距离而不是余弦相似度？关键原因有两点：第一，欧氏距离在嵌入空间中对应着“到中心的直线长度”，几何含义直观稳定；第二，当特征向量做过归一化后，欧氏距离和余弦相似度其实是单调相关的——距离小等价于方向更接近，但欧氏距离的计算更简单，梯度的数值也更平稳。所谓“空间校准”，就是让距离数值真正反映语义差异。

在分类时，模型会计算查询样本到所有原型的距离，然后选择最近的那个原型作为预测类别。这个规则简洁、无参数，还非常便于调试——如果预测错了，你可以看到它究竟是被哪个家族“拐走”的。

选对尺子，认亲才准。一把经过校准的欧氏距离尺子，能让原型网络在嵌入空间里画出清晰的决策边界。

情节训练

人类认亲能手不是天生的。他大概经历过无数次“遇到陌生家族→观察几个成员→下次认出他们”的循环。原型网络也采用类似的训练方式，这就是情节训练（episodic training）。普通深度学习把数据分成一个个 batch 来优化分类器；原型网络则把每一次迭代变成一个完整的“小型认亲任务”，行业黑话叫 episode。

每一个 episode 的流程是：先从训练集中随机抽取 \(N\) 个类别，再从每个类别中随机抽取支撑样本和查询样本，搭建成一个 \(N\)-way \(K\)-shot 的小任务。模型在这个小任务上计算原型、预测查询样本、得到损失，然后反向传播更新嵌入网络。下一次迭代，再重新抽取一批类别，重复同样的流程。

这种训练范式的高明之处在于：训练时经历的“考题结构”和测试时完全一致。模型从来不会面对“几十万张图同时分类”的宏大任务，它每次只需要应对一个 5-way 3-shot 的小关卡。反复练习之后，嵌入网络学会了快速适应新类别的通用能力，而不是死记某几个类的特征。这种能力就是元学习意义上的“快速适应”与“泛化能力”。

如果把传统训练比作“一次背完整本家族图鉴”，情节训练就是“每天换一批临时家庭做角色扮演”。练多了，模型自然成了认亲老手。

数学原理

现在我们把“认亲比赛”的完整计分流程写成数学公式。整个过程分为三步：先求每家的原型，再算陌生人和每个原型的距离，最后把距离转成概率并计算损失。

第一步已经介绍过原型公式。第二步，把距离转化为“属于某个家族”的概率，使用的是 softmax：距离越近，概率越大。设查询样本为 \(\mathbf{x}\)，它属于第 \(k\) 类的概率为：

第三步，训练目标是让正确类别的概率尽可能大，因此定义损失函数为负对数概率：

公式是裁判的手账，每一步都有明确含义：相似度决定相信谁，softmax 把相信程度规范化，交叉熵告诉我们哪里做得不够好，反向传播则把“不够好”翻译成网络参数的修正方向。

应用局限

再厉害的认亲高手也有盲区：遇到同卵双胞胎、童年照片和成年照片差距巨大、或者只给一张磨皮过度的自拍时，照样会认错。原型网络同样有它的边界。它的核心假设是“每个类别的特征分布可以用一个均值点来代表”——当类内变化太大，或者支撑样本选得不巧时，平均值可能落在两拨趋势的中间，反而谁都不像，这就是原型偏差。

在应用侧，原型网络最适合那些“类别多、每类样本少”的识别任务。图像分类是它的主战场：比如区分不同动物的物种、识别不同人的笔迹风格；医学影像中，医生可能只有几十张某种罕见病变的 CT 图像，原型网络可以快速为它建立分型器；工业质检中，新生产线上某类缺陷刚出现，还没来得及攒大量照片，原型网络也能顶上。医疗影像和工业缺陷场景的核心共同点，就是标注极度稀缺、类别分布不均衡。

要缓解原型偏差，一方面可以尽量选择代表性强的支撑样本，避免极端照片；另一方面可以改进原型构造方式，比如用加权均值或子类原型来替代简单平均。说到底，原型网络给我们的启示是：小样本分类不一定要复杂的技巧，“找准每个家族的脸谱中心，然后量距离”这种朴素方法，往往比想象中更强大。

AI 应用场景

Python 演示

import torchimport torch.nn as nn torch.manual_seed(0)  def make_data(n_classes=20, dim=4, pts_per_class=100):    X, y = [], []    for c in range(n_classes):        mu = torch.randn(dim) * 2        X.append(torch.randn(pts_per_class, dim) + mu)        y.append(torch.full((pts_per_class,), c, dtype=torch.long))    return torch.cat(X), torch.cat(y)  X, Y = make_data()  class Embedder(nn.Module):    def __init__(self):        super(Embedder, self).__init__()        self.net = nn.Sequential(            nn.Linear(4, 32), nn.ReLU(),            nn.Linear(32, 16), nn.ReLU(),            nn.Linear(16, 4)        )     def forward(self, x):        return self.net(x)  model = Embedder()opt = torch.optim.Adam(model.parameters(), lr=1e-2)  def sample_task(n_way=5, k_shot=3, k_query=3):    classes = torch.randperm(Y.max().item() + 1)[:n_way]    xs, ys, xq, yq = [], [], [], []    for i, c in enumerate(classes.tolist()):        idx = (Y == c).nonzero(as_tuple=True)[0]        perm = idx[torch.randperm(len(idx))]        xs.append(perm[:k_shot])        ys.extend([i] * k_shot)        xq.append(perm[k_shot:k_shot + k_query])        yq.extend([i] * k_query)    return (X[torch.cat(xs)], torch.tensor(ys),            X[torch.cat(xq)], torch.tensor(yq))  def protos(z, y, n_way):    return torch.stack([z[y == i].mean(0) for i in range(n_way)])  for step in range(200):    xs, ys, xq, yq = sample_task()    zs = model(xs)    zq = model(xq)    p = protos(zs, ys, 5)    logits = -((zq[:, None] - p[None]) ** 2).sum(-1)    loss = nn.functional.cross_entropy(logits, yq)    opt.zero_grad()    loss.backward()    opt.step()    if step % 40 == 0:        acc = (logits.argmax(1) == yq).float().mean().item()        print("step %d loss=%.3f acc=%.2f" % (step, loss.item(), acc))

1. def sample_task(...)生成一个 5-way 3-shot 的小任务，对应“认亲考试的出题过程”。
2. xs.append(perm[:k_shot])每类取前 3 个样本作为支撑集，用来“看家族代表”。
3. xq.append(perm[k_shot:k_shot + k_query])紧接着取 3 个样本作为查询集，用来“考认人能力”。
4. model(xs)支撑集和查询集都通过同一个嵌入网络，得到特征向量。
5. protos(zs, ys, 5)对每一类的支撑特征求均值，得到 5 个原型，即“家族脸谱”。
6. logits = -((zq[:, None] - p[None]) ** 2).sum(-1)计算查询样本到 5 个原型的负欧氏距离，距离越近分数越高。
7. nn.functional.cross_entropy(logits, yq)用交叉熵计算损失，激励正确原型给出的分数最高。
8. loss.backward()反向传播更新嵌入网络，让空间逐渐“同类聚拢、异类分离”。

常见误区

面试题