Matching Networks小样本学习原理

可视化演示

展示Matching Networks核心机制：注意力匹配分类（支持集→嵌入→注意力加权→Softmax）、全上下文嵌入FCE（双向LSTM增强嵌入）、与原型/关系网络方法对比。

小样本困局

侦探出警时，手上的照片往往只有三五张，现场却可能有几百号人。人脸的类内差异巨大：一个嫌疑人在不同光线、不同角度下看起来很不一样。如果侦探非要等档案馆送来“每个路人各一百张照片”再破案，案早就凉了。小样本困局正是如此：类别很多，但每个类别的标注样本少得可怜。传统的深度分类器习惯于“喂几万张猫图才认得猫”，面对每类只有 1~5 张图的小样本任务，训练集太小，模型很快就陷入过拟合——把训练样本背得滚瓜烂熟，换一张稍微不一样的图就认错。

少样本学习（Few-shot Learning）要解决的就是这种“样本少、类别多、还得快”的难题。在标准的任务设定中，我们事先有一个带标签的训练集，里面有很多类别；测试时，新类别出现，每个新类别只给 K 个标记好的样本（K 通常为 1 或 5），叫作 K-shot。模型要在这些极少量样本上把新类别学明白。为了评估，通常还要附加 N 个类别的约束，构成 N-way K-shot 任务：N 个新类别、每类 K 个样本。

我们用公式定义训练集的样子：

侦探解决问题的关键，不在于手里照片够多，而在于比对方法足够聪明。Matching Networks 的思路是：不训练一个“认识全城的人”的模型，而是训练一个“会拿着照片比对”的模型。这个模型对一个陌生类别的分类能力，来自它在训练中形成的“怎么在少量样本间找相似”的经验——这正是元学习思想的核心：学会如何学习。

注意力匹配

侦探站在路口，手里举着三张照片。他先看左边那个戴帽子的路人，咦，这顶帽子和照片C里那顶很像，他在心里默默给这位路人记上一票；再看右边那个卷发的姑娘，发型和照片A有七分神似，也记上一票。每比对一张照片，侦探都会根据相似程度决定这票的分量——越像，票越重。最终，路人被归到获得票数总和最大的那个类别。注意力匹配就是这套“边比对边投票”的数学化。

形式化地，我们有一个支持集 $S = \{(x_i, y_i)\}_{i=1}^{k}$，包含 k 个已标记样本；一个待分类的查询样本 $\hat{x}$。Matching Networks 预测 $\hat{x}$ 的标签 $\hat{y}$ 时，不再使用任何全局分类器，而是直接对支持集中的标签做加权求和：

这个公式的核心组件是权重 $a$，也就是侦探手上的那杆“相似度秤”。在 Matching Networks 中，$a(\hat{x}, x_i)$ 由一个注意力函数计算得到。下一节我们就来看看这杆秤是怎么造的。

双塔嵌入

照片和真人是两个世界的东西：照片是像素，真人是现场的视觉信息，没法直接比较。侦探的做法，是在脑海里把两者都“翻译”成一组可比的线索——发型、脸型、衣着颜色、步态——然后逐条对照。在 Matching Networks 中，也有两个“翻译官”，称为嵌入函数：一个负责翻译查询样本，记作 $f$；一个负责翻译支持样本，记作 $g$。两个函数把各自的输入映射到同一个特征空间里。特征空间就像侦探脑海里的“线索表”，每一列代表某个特征维度，这样一来，照片和真人终于能在同一张表上比较。

既然有了统一的特征表示，就可以计算相似度了。Matching Networks 采用余弦相似度来衡量两个特征向量的相似程度——它只关心方向的夹角，而不受向量长度影响，这避免了样本整体明暗差异带来的干扰：

得到了相似度分数之后，还需要把它变成概率形式的权重。Matching Networks 用 softmax 完成这一步：相似度越高，指数放大越明显，最终经归一化后变成“票数”。两个嵌入函数 $f$ 和 $g$ 的参数，连同注意力计算一起，通过训练端到端地学习出来——也就是说，“翻译官”的技能不是人肉设计的，而是通过大量小任务练出来的。

全上下文

侦探比对照片时有一个容易被忽视的细节：他不仅看人像本身，还会看照片的背景和周边环境。如果三张照片都是在同一个地铁站拍的，他就会重点怀疑出现在那个地铁站附近的人。这就是上下文信息。Matching Networks 的注意力匹配虽然巧妙，但每个支持样本的特征是独立抽取的——相当于侦探孤立地看每张照片，忽略了“这三张照片都来自同一个时间段、同一个街区”这样的整体信息。

全上下文嵌入（Full Contextual Embedding, FCE）就是为了解决这个问题而设计的。核心思想很简单：在计算相似度之前，先让支持集内部的所有样本“互相打个招呼”，让每个样本的最终表示都携带整个支持集的语境信息。具体来说，支持集的样本经过基础嵌入后，送入一个双向 LSTM 进行编码。因为支持集样本之间没有天然的顺序，双向结构让每个位置都能同时看到左右两侧的信息，从而学到“自己在这个集合中的相对位置和角色”。

查询样本的嵌入同样受支持集整体影响。用公式表示，查询样本在支持集语境下的嵌入为：

有了语境感知的表示，查询样本不再是“孤零零的一张脸”，而是被置于支持集这个“人群环境”中理解的。回到侦探的故事：如果三张照片都在说明嫌疑人身穿红色外套，那么红色外套这个特征在最终判断中的权重就会被放大——这就是全上下文嵌入带来的好处。

训练策略

侦探在成为侦探之前，一定做过无数次模拟演练：教官每次给他 3 张照片、一群临时演员扮演的路人，让他快速指认。每次演练的照片和人群都不同，但“比对—打分—决策”的动作反复强化。经过几百次这样的模拟出警，侦探连“新目标长得完全陌生”也不怕了——因为他练的是比对的能力，而不是背熟某几张脸。Matching Networks 正是用类似的思路训练的，这种方式被称为情景式训练（Episodic Training）。

在训练阶段，我们不把所有数据一次性交给模型学一个分类边界，而是反复从训练集里“抽小任务”。每个任务模拟一次测试：随机挑出 N 个类别、每个类别挑出 K 个样本构成支持集，再从这 N 个类别里另外挑几个样本构成查询集。模型在支持集上做注意力匹配，预测查询样本的标签，然后计算梯度更新嵌入函数的参数。这样一来，模型练的就是“面对陌生类别的少量样本时，如何利用特征空间做出正确匹配”。

训练目标的数学形式很直接——最大化正确标签的预测概率，等价于最小化负对数似然：

训练结束后，面对全新的类别，模型不再需要任何梯度更新——直接执行“支持集比对 + 加权投票”即可完成分类。这就像侦探从警校毕业，以后每次出警都只靠那套反复锤炼的比对手法，不需要临场重新学“怎么认出每一种新衣服”。无需微调，正是小样本场景最渴求的性质。

对比原型

Matching Networks 并非元学习家族中唯一的小样本分类方法。另一类经典方法——Prototypical Networks（原型网络）——在思路上与它形成有趣的对照。简单来说，原型网络的做法是：把每个类别当作一个代表点，先对支持集中同一类别的所有样本取平均，得到该类别的“原型”，然后查询样本看自己离哪个原型最近，就归入哪个类别。

用公式表示，类别 $c$ 的原型为：

两个方法的核心差异在于粒度：Prototypical Networks 先做类内平均，丢掉个体差异，然后以类为中心判断；Matching Networks 则保留每个支持样本的个体身份，逐个算注意力。比喻一下：原型网络像一位“人像合成师”，把同一个人多张照片叠成一张模糊的标准像，再拿标准像比对现场；Matching Networks 像一位“执证侦探”，手里揣着每张原始照片，逐一对照，让最像的那张照片拥有最大发言权。

这两种风格各有胜负。原型网络的计算更轻、对噪声更有鲁棒性，在支持集样本质量较好时效果好；Matching Networks 则更能保留样本内的丰富信息，尤其在每类样本差异较大或存在多样化外观时更灵活。实际任务中应该选择哪种方法，取决于支持集中样本的一致性和任务的精细程度。

AI 应用场景

Python 演示

import numpy as np np.random.seed(42)  def generate_task(n_way=3, n_shot=5, n_query=1, dim=8):    """随机生成一个小样本分类任务。"""    means = np.random.randn(n_way, dim) * 1.5    support_x = []    support_y = []    query_x = []    query_y = []    for c in range(n_way):        for _ in range(n_shot):            support_x.append(means[c] + np.random.randn(dim) * 0.4)            support_y.append(c)        for _ in range(n_query):            query_x.append(means[c] + np.random.randn(dim) * 0.4)            query_y.append(c)    return (np.array(support_x), np.array(support_y),            np.array(query_x), np.array(query_y))  def cosine_similarity(q, support_x):    """计算查询向量与所有支持向量的余弦相似度。"""    q_norm = q / (np.linalg.norm(q) + 1e-8)    s_norm = support_x / (np.linalg.norm(support_x, axis=1, keepdims=True) + 1e-8)    return np.dot(s_norm, q_norm)  def predict(query_x, support_x, support_y, temperature=10.0):    """Matching Networks 风格的注意力加权预测。"""    n_way = len(np.unique(support_y))    sim = cosine_similarity(query_x, support_x)    exp_sim = np.exp(sim * temperature)    weights = exp_sim / exp_sim.sum()    label_scores = np.zeros(n_way)    for w, label in zip(weights, support_y):        label_scores[label] += w    return int(np.argmax(label_scores)), weights  def main():    support_x, support_y, query_x, query_y = generate_task()    correct = 0    total = len(query_x)    for i, qx in enumerate(query_x):        pred, weights = predict(qx, support_x, support_y)        print("query {} 预测类别: {} 真实类别: {} 注意力: {}".format(            i, pred, query_y[i], np.round(weights, 3)))        if pred == query_y[i]:            correct += 1    print("小样本分类准确率: {}/{} = {:.2f}".format(correct, total, correct / total))  if __name__ == "__main__":    main()

1. means = np.random.randn(n_way, dim) * 1.5为每个类别生成一个随机“中心点”，模拟不同类别在特征空间中的分布
2. support_x.append(means[c] + np.random.randn(dim) * 0.4)在每个中心点附近采样支持样本，模拟同类样本的类内波动
3. q_norm = q / (np.linalg.norm(q) + 1e-8)对查询向量做归一化，加小常数防止除零，为余弦相似度做准备
4. s_norm = support_x / (np.linalg.norm(support_x, axis=1, keepdims=True) + 1e-8)对支持矩阵按行归一化，向量化避免循环
5. sim = cosine_similarity(query_x, support_x)用归一化后的点积快速得到所有支持样本与查询样本的相似度
6. exp_sim = np.exp(sim * temperature)用温度系数放大相似度差异，让注意力更集中
7. weights = exp_sim / exp_sim.sum()softmax 归一化，把所有相似度分数变成总和为 1 的概率权重
8. label_scores[label] += w把每个支持样本的注意力权重投给它对应的类别，完成“加权投票”
9. np.argmax(label_scores)取获得总权重最大的类别作为预测结果，等价于公式里的 argmax 决策

常见误区

面试题