零样本迁移学习原理与实战

可视化演示

展示零样本迁移学习核心机制：语义嵌入空间中可见类与未见类的表示与桥梁、线性投影映射f(x)=Wx的学习过程与零样本推理、以及域偏移问题与Hubness现象的缓解策略。

问题定义：从“老员工”到“新同事”

小林上岗第一天就被告知：培训材料里只有十位老员工的工牌照片，下周要来的五位新同事一张照片都没有。传统的做法是“先见人、再认人”，可新同事根本不给这个机会。零样本迁移的出发点，就是把这种看似无解的任务变成可能：训练时见过的类别，和测试时要认的类别，完全不重叠。

在机器学习里，训练时出现过样本的类别叫“已见类别”，用 $\mathcal{S}$ 表示；只有语义描述、没有图像样本的类别叫“未见类别”，用 $\mathcal{U}$ 表示。传统分类器要求测试类别必须出现在训练集里，而零样本迁移反其道而行：测试类别一个都没见过，模型照样要给出判断。它靠的是一套两个类别群体通用的中间表示——正是小林手里那张特征卡所代表的属性体系。

这个“类别不重叠”的设定，是零样本迁移与传统分类最本质的分水岭。只要已见类别和未见类别共享可泛化的语义描述，模型就能把从老员工身上学到的“长相-描述对应规律”，平移应用到新同事身上。

所以，零样本迁移不是在“记忆长相”，而是在“学习描述与模样的对应规律”。小林真正学会的，不是“王姐长什么样”，而是“马尾辫、红卫衣这些描述词，对应眼睛能看到的哪些外观线索”——这才让他面对全新面孔时依然有底气。

属性描述：写好一张“人物特征卡”

特征卡不是随便写的。如果只写“此人中等身高”，小林根本没法区分人群；但写上“左臂有龙形纹身”“说话带东北口音”“总是背黄色双肩包”，辨识度立刻拉满。可见，描述的质量直接决定认人的上限。在零样本迁移里，这张卡叫“属性描述”（attributes），是连接两个类别世界的知识底座。

每一个属性都是一个可标注的语义概念：对动物来说可以是“有条纹”“体型大”“夜行性”；对商品来说是“材质”“风格”“功能”。一个类别的属性描述，就是把这些概念的取值拼成一个向量。比如“斑马”的属性向量可以是：有条纹=1、毛茸茸=1、夜行=0、体型大=1、温顺=0、会飞=0。

属性通常由专家标注，也可以从维基百科等文本中自动挖掘。经典数据集 AWA（Animals with Attributes）就为 50 种动物标注了 85 个属性。属性向量的意义在于：即使模型从未见过“斑马”的图像，也能通过“条纹 + 体型大”这样的描述，在语义世界里先给它占一个位置。

小林最后总结出一条经验：特征卡上写的必须是他能观察到、且有区分度的线索。属性描述同理——好的属性要“看得见、分得开、跨类别通用”，这正是零样本迁移能否成功的第一块基石。

语义嵌入：把特征写进同一坐标系

特征卡是文字，眼睛看到的是像素，两者怎么直接比对？小林的做法是心里建立一套“翻译坐标系”：把“红色卫衣”翻译成颜色、明度、质感的心理刻度，把眼前人的外貌也翻译成同一套刻度。零样本迁移的技术实现，就是这个思路的数学化：语义嵌入（semantic embedding）。

图片经过卷积神经网络，被压缩成一个向量，叫视觉特征 $\phi(x)$——相当于小林对“眼前这个人”的数字化观察。类别描述（属性向量或文本）经过编码，变成另一个向量 $\psi(y)$——相当于特征卡的数字化档案。如果这两个向量落在同一个空间里，就能直接比较远近。

但视觉空间和语义空间天生“语言不通”，需要一个映射矩阵 $\mathbf{W}$ 来对齐，就像小林手里的翻译手册。对齐之后，兼容函数 $F(x, y)$ 输出一个分数，表示“这张图 $x$ 和这个类别描述 $y$ 有多匹配”。分数越高，越像。

换句话说，零样本模型真正学到的不是“每个类别长什么样”，而是一套把“看见的”翻译成“描述的”通用坐标系。坐标系建得好，未曾谋面的新同事也能被准确安放到坐标里。

模型训练：练出一本“认人翻译手册”

小林上岗前有一周实习期，他不停地看老员工的照片、对照人事档案，心里反复校正：哦，照片上这个扎马尾的女孩，就是档案里写“马尾辫、红卫衣”的王姐。零样本模型的训练阶段也完全一样：只用已见类别的图像和属性，反复调整映射矩阵，让“档案翻译出来的位置”尽量落在“照片对应的位置”附近。

训练流程通常分四步：先用预训练网络提取图像的视觉特征 $\phi(x)$；再把每个训练样本的类别属性编码成 $\psi(y)$；然后用当前映射矩阵 $\mathbf{W}$ 把语义向量投影到视觉空间；最后计算投影结果与真实视觉特征的误差，用梯度下降更新 $\mathbf{W}$。整个过程一个未见类别都不需要出现。

误差怎么衡量？常用做法是最小二乘：希望 $\mathbf{W}\psi(y_n)$ 能尽可能还原 $\phi(x_n)$。把所有训练样本的误差加起来求最小，就得到了最终的对齐矩阵。

实习结束时，小林手里这本翻译手册已经能覆盖老员工的所有描述词。更重要的是，这些词在新同事的档案里同样适用——翻译手册练成的那一刻，跨越“已见到未见”的桥就搭好了。

匹配推理：新同事出现的那一刻

周一早上，一个扎马尾、穿红卫衣、戴圆框眼镜的女生走向闸机。小林没有她的照片，但他眼睛扫过三件事：发型、衣服、眼镜，心里快速把观察值翻译成坐标，然后与五张特征卡翻译出的坐标逐一比对距离。这就是零样本推理：查询点与所有未见类别原型比远近，选最近的那个。

正式地，模型对测试图片提取视觉特征 $\phi(x)$，对每个未见类别的语义嵌入 $\psi(y)$ 用训练好的 $\mathbf{W}$ 投影，得到“该类别的虚拟视觉中心”，然后计算 $x$ 与每个中心的兼容分数。分数最高的类别，就是预测结果。

实际工程中还有两个细节。一是搜索范围：传统 ZSL 只在未见类别集合 $\mathcal{U}$ 里找；二是阈值判定：如果最高分仍然很低，说明“来者不在任何档案里”，模型应当回答“未知”，而不是硬猜一个——这正是开放场景识别所必需的拒识能力。

推理阶段没有任何训练，是一个纯粹的“比对-选优”过程。小林扫一眼、翻档案、选最近——模型同样如此：提取、投影、打分、取最大。整个过程快、稳、无需更新任何参数，这也是零样本迁移在线上场景受欢迎的原因。

实战评估：上岗考核怎么打分

小王试岗一个月后迎来考核。园方出了两套卷子：A 卷只考五位新同事（纯零样本），B 卷把老员工和新同事混在一起考（广义零样本）。小林 A 卷拿了 95 分，B 卷却暴露了问题——他太习惯认老员工，遇到新同事反而犹豫。这说明考核协议不同，同一个模型的表现可能天差地别。

于是评估体系需要两把尺子：已见类别准确率 $A_s$ 和未见类别准确率 $A_u$。只看 $A_u$，模型可以靠“乱猜新同事”侥幸得分；只看 $A_s$，模型退化回传统分类器也能拿高分。真正公平的指标是两者的调和平均 $H$：它惩罚偏科生——老员工认得再好、新同事认不出来，$H$ 一样很低。

标准评测里常用两个协议：传统 ZSL（测试集只含未见类别）和广义 GZSL（测试集合包含两类）。基准数据集包括 AWA2、CUB（鸟类细粒度属性）、SUN（场景属性）等，它们都提供了完整的“图像 + 属性表”，方便研究者公平对比。

考核的意义在于倒逼模型“两条腿走路”。一个合格的零样本系统，不该是只认识老员工的偏科生，而要在熟悉的日常与陌生的新面孔之间保持平衡——这正是广义零样本评估存在的理由。

局限挑战：认人也有翻车时

小林上岗三个月，翻车几次：一次是新同事照片光线昏暗（特征看不清）；一次是两位新同事都“戴黑框眼镜、穿深色外套”，特征卡太模糊；还有一次，某张特征卡长得太“大众脸”，几乎每个人都跟它有点像。这三个问题，恰好对应零样本迁移的三大挑战：领域偏移、属性不完备、枢纽度。

领域偏移指已见类别和未见类别图像的采集环境不同（光线、角度、清晰度），导致视觉特征分布整体漂移。属性不完备指特征卡上的描述维度有限，区分不了长相相似的两个类。枢纽度（hubness）则更微妙：在语义空间中，某些原型向量“过于居中”，成了大量查询点的最近邻——就像班里那个“谁都像他”的同学，被反复误认。

枢纽度可以用一个计数公式刻画：统计某个语义原型 $v$ 在多少个查询点的 $k$ 近邻列表里出现过。数值越大，说明它越“大众脸”。

针对这些问题，研究者提出了不少解法：用更多未标注数据做无监督校准、为未见类别生成伪样本、借助大语言模型挖掘更丰富的属性描述、设计更均衡的嵌入空间。小林也在成长——他学会了多问一句、多看两眼、结合工牌日志去校正判断。零样本迁移同样在向“更稳健、更开放、更实用”的方向演进。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-import numpy as np np.random.seed(42) # 6 个语义属性：条纹, 毛茸茸, 夜行, 体型大, 温顺, 会飞attr_names = ["条纹", "毛茸茸", "夜行", "体型大", "温顺", "会飞"] seen_classes = {    "猫":   [0, 1, 0, 0, 0, 0],    "狗":   [0, 1, 0, 0, 1, 0],    "老鹰": [0, 0, 0, 0, 0, 1],    "熊":   [0, 1, 0, 1, 0, 0],    "金鱼": [0, 0, 0, 0, 1, 0],} unseen_classes = {    "斑马": [1, 1, 0, 1, 0, 0],    "蝙蝠": [0, 1, 1, 0, 0, 1],    "白鲸": [0, 0, 0, 1, 1, 0],}  def make_visual(attr):    # 模拟摄像头观测：属性被噪声干扰后变成视觉特征    return np.array(attr, dtype=float) + np.random.normal(0, 0.12, len(attr))  def build_dataset(class_attr, samples_per_class=40):    X, y = [], []    for name, attr in class_attr.items():        for _ in range(samples_per_class):            X.append(make_visual(attr))            y.append(name)    return np.array(X), np.array(y)  X_train, y_train = build_dataset(seen_classes) # 训练：用最小二乘学映射矩阵 W，使 W * 属性向量 ≈ 视觉特征attr_matrix = np.array([seen_classes[c] for c in y_train])W, _, _, _ = np.linalg.lstsq(attr_matrix, X_train, rcond=None) train_err = np.mean(np.linalg.norm(X_train - attr_matrix @ W, axis=1))print("训练集映射误差: {:.4f}".format(train_err))  def predict(X, candidates):    # 每个未见类别原型经 W 映射成虚拟视觉中心，查询点找最近者    prototypes = {name: W @ np.array(attr) for name, attr in candidates.items()}    preds = []    for x in X:        scores = {name: np.linalg.norm(x - proto) for name, proto in prototypes.items()}        preds.append(min(scores, key=scores.get))    return preds  X_test, y_test = build_dataset(unseen_classes, samples_per_class=20)preds = predict(X_test, unseen_classes)acc = float(np.mean(np.array(preds) == np.array(y_test)))print("零样本测试准确率: {:.2%}".format(acc))for name in unseen_classes:    mask = np.array(y_test) == name    hit = np.mean(np.array(preds)[mask] == name)    print("  {}: {:.2%}".format(name, hit))

1. attr_matrix = np.array([seen_classes[c] for c in y_train])把每个训练样本的类别名替换成对应的属性向量，构成“档案矩阵”。
2. W, _, _, _ = np.linalg.lstsq(attr_matrix, X_train, rcond=None)用最小二乘求映射矩阵 W，让“档案翻译”尽量接近“照片特征”。
3. def make_visual(attr):模拟观测过程：属性经过噪声扰动后变成视觉特征，让数据更像真实摄像头。
4. prototypes = {name: W @ np.array(attr) for name, attr in candidates.items()}把未见类别的属性卡经 W 投影成“虚拟视觉中心”。
5. scores = {name: np.linalg.norm(x - proto) for name, proto in prototypes.items()}对每个未见类别计算查询点与虚拟中心的距离，作为兼容分数。
6. preds.append(min(scores, key=scores.get))选择距离最近（分数最高）的类别作为预测结果。
7. acc = float(np.mean(np.array(preds) == np.array(y_test)))对比预测与真实标签，计算零样本准确率。

常见误区

面试题