小样本分类：每类几张图也能分准

可视化演示

演示Episode采样构建、距离度量与原型计算、度量型方法对比，展示少样本学习如何用极少样本完成分类。

小样本问题定义

想象你经营着一家“一人食”小餐馆，菜单上有 30 道菜，但每道菜你只吃过一口。这时来了一位顾客，端上一盘你没见过的菜，问你：“这属于哪个菜系？”你慌了——你只记得每道菜的一口味道，怎么判断？这就是小样本分类（Few-shot Classification）的核心处境。形式化地说，它要做的是：每个类别只有 K 张标注图片（K 通常为 1 或 5），面对一张全新的查询图片，判断它属于这 N 个类别中的哪一个。这就是经典的 "N-way K-shot" 任务：N 表示类别数量，K 表示每个类别给出的样本数量。

从技术视角看，小样本分类和常规分类有本质区别。常规分类是“题海战术”——ImageNet 上每类上千张图片，模型背下每一类的“标准答案”。小样本分类则是“突击考试”——每类只有 K 张图，模型必须在考试现场迅速“现学现卖”。它考验的不是“记住了什么”，而是“学得快不快”。这正是元学习（Meta-Learning）的切入点：我们希望模型学会的不是某个固定的分类函数，而是一个“快速适应新类别”的能力。

在元学习的框架下，小样本分类不再是一个单独的分类任务，而是被重构成一个“任务分布”。每个任务（Episode）从数据集中随机采样 N 个类别，每个类别取 K 张作为支持集（Support Set），再取若干张作为查询集（Query Set）。模型在每个任务上学习、预测、更新——如此反复，最终练就“看一眼就会”的本领。

模型训练后面对新的任务时，不再需要重新训练参数，而是利用支持集快速“校准”出一个分类器。这就像品鉴师尝过法国蜗牛、日本刺身、印度咖喱各一口后，就能在新菜上桌时迅速判断它属于哪个菜系——因为 TA 学会的不是某道菜的配方，而是“如何品鉴一道菜”的方法。

Episode训练策略

如果一个学生只在考前背答案，考试时遇到没见过的题目就抓瞎。少样本训练也是如此——如果你用常规方式训练模型（把所有类别的图片混在一起反复迭代），模型只会记住“见过的猫长什么样”，而遇到一个新的狗品种时照样不认识。为了让模型练出“快速适应新类别”的能力，研究者发明了 Episode 训练策略（也叫元训练）。它的精髓在于：模拟考试——用与最终测试完全一致的方式训练。

假如你现在目标是训练一个人工智能“美食评论家”，你手里有一个包含上百种菜系的大数据集，每个菜系都有几十甚至上百张图片。Episode 训练的做法是这样的：在每一轮迭代中，随机抽取 N 个菜系（比如 5 个），每个菜系随机取 K 张图（比如 5 张）组成支持集，再从这个菜系中另取若干张组成查询集。然后让模型在支持集上“学习”（比如计算原型），在查询集上“考试”（计算分类损失）。下一轮，换 5 个从没抽到一起的菜系，重复这个过程。

这样做有三大好处。第一，任务级采样让模型每次面对的都是“新菜系组合”，相当于把它扔进一场场全新的模拟考，逼它学会“如何快速适应”而不是“背下答案”。第二，训练与测试同分布——测试时也是 N-way K-shot，模型在训练时的任务形态和测试完全一致，避免了“训练用 1000 类每类 100 张、测试用 5 类每类 5 张”这种巨大的分布鸿沟。第三，避免类别记忆过拟合——因为每次采样的类别组合都在变，模型不可能记住某个固定类别的固定特征，只能被迫学习“比较样本间关系”的通用策略。

在实际工程中，Episode 的数量通常是几千到几万不等。每个 Episode 内的数据量很小（比如 5 类 × 5 张 + 15 张查询图），因此一次迭代的计算量非常轻，通常几分钟就能跑完一个 epoch。另一个常用技巧是Episode 内批大小选择——查询集图片数不宜太多，一般每类 1~15 张，否则模型会过度拟合当前任务中的支持集细节。

Episode 训练策略就像模拟考制度：每一次模拟考（Episode）都从题库中随机抽题组成新试卷，学生（模型）在不断变化的试卷中练出了“通用的解题能力”。到了真正的考场（测试任务），面对的虽然是从未见过的题目组合，但考试形式一模一样，自然能从容应对。

原型网络原理

2017 年，Snell 等人提出了原型网络（Prototypical Networks），它的核心思想只有一句话：“每个类别用所有支持样本的平均特征作为代表，查询样本离谁最近就归谁。”听起来像不像美食评委的做法？尝过三道法国菜后，在脑海中形成一个“法式风味的平均印象”；来一道新菜，尝一口，和哪个国家的平均印象最接近，就归类为哪个国家。这就是原型网络——用“平均口味”作为类别的名片。

具体来说，原型网络使用一个嵌入函数 $f_{\phi}$（通常是一个卷积神经网络）将图片映射到特征空间。对于类别 $k$ 的支持集 $\mathcal{S}_k$（包含 K 张图片），类别原型 $c_k$ 就是这些图片特征的均值向量：

得到所有类别的原型后，对于一张查询图片 $x_q$，计算其嵌入 $f_{\phi}(x_q)$ 到每个原型 $c_k$ 的距离 $d\left(f_{\phi}(x_q), c_k\right)$，然后通过 softmax 得到它属于每个类别的概率：

这里距离函数 $d$ 默认采用欧氏距离的平方（squared Euclidean distance）。你可能觉得奇怪：为什么不直接用余弦相似度？论文实验表明，在原型网络中，平方欧氏距离的表现优于余弦相似度，因为平方欧氏距离与“高斯分布假设下的对数似然”天然对应，数学上更自洽。

原型网络的训练方法完全遵循 Episode 策略：每个 Episode 中计算原型、预测查询集、用交叉熵损失更新 $\phi$。由于原型计算简单、可微，整个网络可以端到端训练。在实践中，原型网络是少样本分类中效果最稳健的基线之一，5-way 1-shot 在 miniImageNet 上能达约 49% 准确率，5-way 5-shot 能达约 68%。

原型网络的精妙之处在于它把“记忆”压缩成了“一个点”：不是记住 K 张图，而是记住一个平均向量。这就像美食评委不会刻意背诵每道菜的每个细节，而是提炼出“这个菜系的本质味道”。少即是多——一个精心提炼的原型，胜过一堆冗余的样本。

匹配网络原理

如果说原型网络是“压缩记忆”，那匹配网络（Matching Networks）就是“原样保留，按比匹配”。它由 Vinyals 等人于 2016 年提出，思路像极了一个“人肉比对机”：新菜端上来，我先回忆每一道吃过的菜，看新菜和哪道菜味道最像，再综合所有相似度决定菜系——而不是先把每道菜的平均印象提炼出来再比对。

匹配网络的核心机制是注意力机制（Attention）。给定支持集 $\mathcal{S} = \{(x_i, y_i)\}_{i=1}^{N \times K}$ 和查询图片 $x_q$，预测标签的概率为：

其中 $a(x_q, x_i)$ 是注意力权重，它由余弦相似度经过 softmax 归一化得到：

请注意公式中的两个嵌入函数：$g$ 是查询图片的编码器，$f$ 是支持图片的编码器。匹配网络采用双编码器结构，而且支持集编码不是独立的——$f(x_i)$ 的计算会用到支持集中所有图片的上下文信息（通过 Bi-LSTM 或注意力池化实现），这被称为“全上下文嵌入”（Full Context Embeddings）。这样的设计让支持集样本在编码时互相“参考”，避免孤立地理解每张图。

匹配网络与原型网络的关键差异在于：原型网络先将支持集每个类别聚合成单个原型再比对（先压缩后匹配）；匹配网络则保留每一个支持样本，让查询样本与每个样本逐一计算相似度，再加权求和（不压缩直接匹配）。这就像原型网络是“回忆菜系的平均口味”，而匹配网络是“回忆每一口吃过的味道，再综合判断”。

匹配网络在 5-way 1-shot 设置下表现尤为出色（miniImageNet 上约 43%~46%），因为它逐样本匹配的特性在样本极少时能利用“局部细节”——而原型网络在 5-shot 时更有优势，因为均值能平滑噪声。类比来说，原型网络是“抓大放小”的经验型评委，匹配网络是“锱铢必较”的细节控评委。当每类只有一张图时，细节控占优；当每类有多张时，经验型更稳。

关系网络原理

原型网络和匹配网络的距离函数都是固定的（欧氏距离或余弦相似度）——评委的“口味比对规则”是事先定死的。关系网络（Relation Networks）则更进一步：它要学习一个距离函数。Sung 等人 2018 年提出：为什么不训练一个“关系打分器”，让它自己学会评判两道菜有多像？就像新来的美食评委先尝一批菜，观察哪些菜被归为同一菜系，然后自己摸索出“评判相似度”的经验法则，而不是硬套“味道浓的就是川菜”这类先验规则。

关系网络的结构由两个模块组成：嵌入模块（Embedding Module，所有样本共享）和关系模块（Relation Module，一个可学习的打分网络）。给定支持集样本 $x_i$ 和查询样本 $x_j$，先把两者送入嵌入模块得到特征向量，然后将两个特征向量在通道维度上拼接，形成一对样本的组合表示，最后送入关系模块输出一个标量“关系分数”：

其中 $[\cdot, \cdot]$ 表示拼接（concatenation），$f_{\phi}$ 是嵌入函数，$g_{\varphi}$ 是关系函数。训练时，把同一类别的样本对标记为“匹配”（关系分数目标为 1），不同类别的样本对标记为“不匹配”（目标为 0），用均方误差（MSE）回归损失端到端训练。预测时，计算查询样本与每个支持样本的关系分数，取分数最高的类别作为预测结果。

关系网络的设计理念是“端到端度量学习”：它不在嵌入空间中预设某种几何关系，而是让网络在数据驱动下自行发现“什么样的特征距离意味着同类”。这使得关系函数可以表达非线性、非对称的相似度关系——比如“白色羽毛 + 橙色喙”才像天鹅，单独看任何一个特征都不够。这种非线性表达能力远超固定的欧氏距离或余弦相似度。

关系网络在 5-way 5-shot miniImageNet 上可超过 65% 的准确率，说明“学习的度量”确实优于“固定度量”。但代价是训练时间更长——每次预测要计算 $N \times K$ 次关系打分，比原型网络的多一次均值运算慢得多。选择模型时需要权衡：数据噪声大、特征复杂时，关系网络的学习式度量更优；对推理速度要求高时，原型网络的简洁更实用。

调参与实战

掌握了三种网络结构，真正让模型在任务上“起飞”的关键是实验调参。这就像三位美食评委虽然都懂品鉴原理，但有的擅长清淡菜系，有的偏好重口味——在实际操作中，模型组件选择和超参配置会对最终准确率产生巨大影响。本节总结几条实战中验证过的小样本分类调参经验。

骨干网络选择：在少样本场景下，网络容量并非越大越好。常用骨干是 ResNet-12 或 ConvNet-4（4 层卷积），而不是 ResNet-50 等大网络。原因是每类只有 5 张图，大数据集上表现优异的大模型极易在小样本上过拟合；适度规模的骨干网络配合在 ImageNet 上的预训练权重，往往比从头训练的深网络效果更好。简单来说——评委不是越资深越好，而是“能适应小样本评审节奏”的最佳。

距离度量选型：原型网络标配欧氏距离平方；匹配网络标配余弦相似度；关系网络则不用人工指定度量。实验表明，在原型网络上将欧氏距离替换为余弦相似度会显著掉点（约 3~5%），因为欧氏距离平方隐含了各维度同尺度的假设，恰好与平均化原型形成良性配合。调参时应当“尊重新结构的标配”，不要随意混搭。就像评审蜂蜜时不能用辣椒酱的标准——每个工具都要配它设计时适配的度量。

Episode 数量与批大小：训练时 Episode 总数通常在 1 万到 5 万之间，批次大小（每次并行处理的任务数）常见为 2~16。过大的批大小会造成内存瓶颈且收益递减；过小的批大小则梯度噪声大。5-way 5-shot 任务中，每 Episode 每类查询图一般取 5~15 张，查询图太少则训练不充分，太多则单任务过拟合。

数据增强技巧：小样本训练最怕过拟合，随机裁剪、随机翻转、颜色抖动是最常用且有效的增强手段。特别是随机裁剪（random crop）配合缩放，可利用“多尺度局部特征”让模型学到更鲁棒的表示。还可以将支持集每张图做多次增强后扩充到支持集里——比如把 5 张图裁剪成 20 张，相当于增加支持集的信息量，不少论文中这个技巧能带来 2~4% 的提升。这就好比评委在品尝一道菜时，从不同角度闻香、观察色泽，而不是只吃一口了事。

小样本分类的调参没有银弹。MiniImageNet 上表现最好的组合（ResNet-12 + 欧氏距离 + 丰富增强）到了医学影像小样本任务上未必最优。真正的做法是建立一个快速迭代的验证流程：固定一个强大基线（比如原型网络），在基准数据集上先复现论文结果，然后逐项替换组件观察增益。就像美食评委面对陌生菜系时，先按标准流程品鉴，再逐步调整自己的评判侧重点——稳扎稳打，比盲目追求花哨技巧更能带来可靠的效果。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.optim as optimimport numpy as np class ConvEmbedder(nn.Module):    """4层卷积嵌入网络，将图片映射到64维特征向量"""    def __init__(self):        super().__init__()        self.encoder = nn.Sequential(            nn.Conv2d(3, 64, 3, padding=1), nn.BatchNorm2d(64), nn.ReLU(),            nn.MaxPool2d(2),            nn.Conv2d(64, 64, 3, padding=1), nn.BatchNorm2d(64), nn.ReLU(),            nn.MaxPool2d(2),            nn.Conv2d(64, 64, 3, padding=1), nn.BatchNorm2d(64), nn.ReLU(),            nn.MaxPool2d(2),            nn.Conv2d(64, 64, 3, padding=1), nn.BatchNorm2d(64), nn.ReLU(),        )        self.fc = nn.Linear(64, 64)     def forward(self, x):        h = self.encoder(x)        h = h.mean(dim=[2, 3])  # 全局平均池化        return self.fc(h)  def euclidean_dist(a, b):    """计算查询特征到原型特征的平方欧氏距离"""    n = a.shape[0]    m = b.shape[0]    a2 = (a ** 2).sum(dim=1, keepdim=True).expand(n, m)    b2 = (b ** 2).sum(dim=1, keepdim=True).expand(m, n).T    dist2 = a2 + b2 - 2 * torch.mm(a, b.T)    return dist2.clamp(min=0)  def create_episode(features, labels, n_way, k_shot, q_query):    """从特征池中采样一个 N-way K-shot Episode"""    classes = torch.unique(labels).tolist()    selected = np.random.choice(classes, n_way, replace=False)    support_x, support_y, query_x, query_y = [], [], [], []    for i, cls in enumerate(selected):        idx = (labels == cls).nonzero().squeeze(1)        perm = torch.randperm(len(idx))        s_idx = idx[perm[:k_shot]]        q_idx = idx[perm[k_shot:k_shot + q_query]]        support_x.append(features[s_idx])        support_y.append(torch.full((k_shot,), i))        query_x.append(features[q_idx])        query_y.append(torch.full((q_query,), i))    return (torch.cat(support_x), torch.cat(support_y),            torch.cat(query_x), torch.cat(query_y))  def train_one_epoch(model, features, labels, optimizer, n_way=5, k_shot=5, q_query=15):    model.train()    total_loss = 0.0    for _ in range(100):  # 100 个 Episode 为一个 epoch        s_x, s_y, q_x, q_y = create_episode(features, labels, n_way, k_shot, q_query)        s_emb = model(s_x)        q_emb = model(q_x)         # 计算每类原型：按标签对支持集特征求均值        prototypes = torch.stack([            s_emb[s_y == c].mean(dim=0) for c in range(n_way)        ])         # 查询样本到各原型的欧氏距离 → softmax 概率        dist = euclidean_dist(q_emb, prototypes)        logits = (-dist).softmax(dim=1)         loss = nn.functional.cross_entropy(logits, q_y)        optimizer.zero_grad()        loss.backward()        optimizer.step()        total_loss += loss.item()    return total_loss / 100  # 模拟运行：随机生成 64 维特征作为"图片嵌入"（真实场景中替换为 CNN 输出的特征）if __name__ == "__main__":    torch.manual_seed(42)    np.random.seed(42)     # 模拟数据集：60 个类，每类 20 个样本，特征维度 64    n_classes = 60    features = torch.randn(n_classes * 20, 3, 32, 32)    labels = torch.repeat_interleave(torch.arange(n_classes), 20)     # 划分训练/验证类别（30 类训练，30 类验证）    train_mask = labels < 30    train_feats, train_labels = features[train_mask], labels[train_mask]    val_feats, val_labels = features[~train_mask], labels[~train_mask]     model = ConvEmbedder()    optimizer = optim.Adam(model.parameters(), lr=1e-3)     # 训练 3 个 epoch    for epoch in range(3):        loss = train_one_epoch(model, train_feats, train_labels, optimizer)        print(f"Epoch {epoch + 1}: avg loss = {loss:.4f}")     # 验证：5-way 1-shot 准确率    model.eval()    correct = total = 0    with torch.no_grad():        for _ in range(200):            s_x, s_y, q_x, q_y = create_episode(val_feats, val_labels, n_way=5, k_shot=1, q_query=5)            s_emb = model(s_x)            q_emb = model(q_x)            prototypes = torch.stack([                s_emb[s_y == c].mean(dim=0) for c in range(5)            ])            dist = euclidean_dist(q_emb, prototypes)            pred = dist.argmin(dim=1)            correct += (pred == q_y).sum().item()            total += q_y.shape[0]    print(f"5-way 1-shot validation accuracy: {correct / total:.2%}")

1. class ConvEmbedder(nn.Module)4 层卷积网络作为嵌入函数，把 32×32 图片映射为 64 维特征向量；最后一层全连接把特征压缩到可度量空间。
2. def euclidean_dist(a, b)用展开公式 $\|a-b\|^2 = \|a\|^2 + \|b\|^2 - 2ab^T$ 批量计算平方欧氏距离，避免逐对循环。
3. def create_episode(...)从特征池中随机采样 N 个类、每类 K 个支持样本和 Q 个查询样本，构造一个完整的 Episode——模拟考出题过程。
4. support_y.append(torch.full((k_shot,), i))为支持样本构造重整后的类别标签（0~N-1），而不是原始类别编号——让模型每次只关心“本任务内的类别区分”。
5. prototypes = torch.stack([...])对每类支持样本特征求均值，得到 N 个原型向量——构建每道菜的“口味名片”。
6. logits = (-dist).softmax(dim=1)欧氏距离取负后做 softmax 得到各类别概率，距离越小概率越高，这就是“离谁近归谁”。
7. loss = nn.functional.cross_entropy(logits, q_y)用查询集上的交叉熵损失回传更新嵌入网络参数——考试失分后纠正品鉴标准。

常见误区

面试题