小厨从川菜师傅那儿出师，接手了一家湘菜馆。师傅三十年川菜功夫炉火炖青，红油翻滚间皆是章法。可湘菜与川菜终究不同——同样泼辣，一个偏麻一个偏香。小厨站在灶台前，面临三条路：全盘照搬川菜做法？只借刀工火候、自己另起炉灶？还是干脆摸着黑从头自学？聪明的厨师不会拍脑袋，他会先清点两样家底：自己手头有多少湘菜菜谱（数据量），以及川菜和湘菜到底有多像（任务相似度）。这本指南要教你的，正是小厨的这套决策心法：什么时候该拜师（预训练）、什么时候该改方子（微调）、什么时候要警惕师傅的坏习惯坏了你的招牌（负迁移）。读完它，你就能系统掌握迁移学习的策略选择方法，从容应对跨领域图像分类等实战任务。

岗位关联

迁移学习是 AI 工程师的“借力打力”心法。掌握策略选择，意味着小数据项目也能站在巨人肩膀上，快速交付可靠模型——这是简历上实打实的硬通货。

目录
  1. 可视化演示
  2. 迁移学习理念
  3. 数据量评估
  4. 任务相似度
  5. 策略选型
  6. 领域自适应
  7. 负迁移规避
  8. 工程落地
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示迁移策略选择框架、领域自适应对齐、负迁移规避与跨领域特征映射。

本节配有交互动效（进入视口后自动加载，约 3KB）。

迁移学习理念

小厨拜师第一天就闹了笑话。他看见师傅颠勺，小声嘀咕：“我是来做湘菜的，练川菜颠勺干嘛？”师傅没生气，反而把勺子塞进他手里：“油盐酱醋不分家，等你练熟就知道了。”这句话点破了迁移学习最朴素的内核——两个任务表面不同，底层往往共享一套通用能力。

在机器学习里，我们把“师傅擅长的川菜”称作源域，把“小厨要搞定的湘菜”称作目标域。所谓迁移学习，就是把在源域上练出来的通用知识搬运到目标域上帮自己起步，而不是把源域的每一条规则原样照搬。专业地说：源域是有标签或无标签的旧数据分布，目标域是要解决的新数据分布，迁移学习的目标是借助源域的经验，让目标域模型更快收敛、效果更好。

按数据标签情况，常见迁移分三类：归纳式迁移（源域与目标域任务都带标签，应用最广）、直推式迁移（源域有标签而目标域无标签，典型如领域自适应）、无监督迁移（两域都没有标签）。图像分类中最常用的做法，是拿在大规模数据上预训练好的模型做初始化，继承它对边缘、纹理、形状的通用视觉先验。迁移学习的总体目标可写成在目标域损失与源目标域差异之间取平衡。

小厨这才明白，拜师不是当复印机，而是先练好基本功，再用湘菜的配方去调教这些本领。接下来的问题变成：我该照搬多少？——这正是数据量要回答的。

min⁡θ  Lt(fθ(xt),yt)+λ⋅d(Ds,Dt)\displaystyle \min_{\theta} \; \mathcal{L}_{t}(f_{\theta}(x_{t}), y_{t}) + \lambda \cdot d(\mathcal{D}_{s}, \mathcal{D}_{t})
  1. 模型参数 θ厨师掌握的技法集合，包括火候、刀工、调料的全部数值。
    θ\theta
  2. 目标域损失 L衡量小厨做出的湘菜与顾客期待之间的差距，越小越好。
    Lt(fθ(xt),yt)\mathcal{L}_{t}(f_{\theta}(x_{t}), y_{t})
  3. 分布间距 d川菜与湘菜的菜系差异，差异越大越不能盲目照搬。
    d(Ds,Dt)d(\mathcal{D}_{s}, \mathcal{D}_{t})
  4. 平衡系数 λ调整“照顾目标域”与“参考源域”的比例，λ 越大越强调两域差异。
    λ\lambda

数据量评估

小厨清点仓库时倒吸一口凉气：手头只有二十个湘菜菜谱，五斤本地辣椒。他盘算着：这点原料，能支撑多大胆的改良？数据量是迁移策略选择的第一个分水岭，它直接决定了你改动预训练模型时的“胆量”。

数据量评估要看三件事：样本规模、标注成本和增广空间。样本只有几百张时，模型能承载的信息极少，此时最稳妥的是“少动为妙”——冻结预训练特征层，只训练一个轻量分类头；样本达到几千到几万张、且标注质量可靠时，可以放开高层特征做适度微调；样本十万级以上、算力也充足时，全量微调甚至从头训练都是可选项。增广空间同样重要：如果目标域能通过裁剪、翻转、色彩抖动等方式成倍扩大有效样本，那么微调的深度可以适当加大。

数据量对精度的贡献呈边际递减规律，这解释了为什么“攒够数据再迁移”并非好策略。

小厨在账本上郑重写下第一条心得：原料越少，越要靠师傅的经验打底；原料充足，才能放开手脚创新菜式。数据量是“迁移力度”的油门和刹车。

Acc(n)=Acc∞−c⋅n−α\displaystyle \mathrm{Acc}(n) = \mathrm{Acc}_{\infty} - c \cdot n^{-\alpha}
  1. 样本数 n目标域可用的训练样本总量，相当于仓库里的湘菜菜谱数量。
    nn
  2. 精度上限 Acc数据无穷多时模型理论上能达到的最佳水平。
    Acc∞\mathrm{Acc}_{\infty}
  3. 递减项 n⁻ᵅ数据翻倍带来的收益逐级缩水，α 越大衰减越快。
    c⋅n−αc \cdot n^{-\alpha}
  4. 常数 c由任务难度决定的放缩系数，任务越难 c 越大。
    cc

任务相似度

川菜和湘菜都辣，但“辣”的配方截然不同：川菜靠花椒的麻香，湘菜靠辣椒的干香。如果小厨开的是一家粤菜馆，师傅这套红油经验就只剩“刀工火候”能用了。所以第二个分水岭是任务相似度——它决定哪些层可以借、哪些层必须换。

衡量任务相似度有三个视角：域间距离、结构相似和数据偏移。域间距离用特征分布间的统计量刻画，比如最大均值差异（MMD）和 Wasserstein 距离——想象把两拨菜的每道菜都投影到一个“色香味度量空间”，看两组点隔得多远；结构相似看任务类型是否一致，分类对分类好迁移，分类对检测就要谨慎；数据偏移则看图像分辨率、光照风格、类别组成是否一致，比如自然影像与医学影像间的鸿沟。

MMD 是实践中用得最广的分布差异度量，它的经验估计是把两域特征均值在某个特征空间中的距离算出来。

小厨把川菜和湘菜往“口味坐标轴”上一摆，发现距离适中：既有花椒和辣椒的重叠区，也有各自的独门调料。相似度高，可以大胆迁移；相似度低，只借浅层，甚至干脆放弃。这时他心里有了策略选择的第二把尺子。

MMD(Ds,Dt)=∥1ns∑i=1nsϕ(xis)−1nt∑j=1ntϕ(xjt)∥\displaystyle \mathrm{MMD}(\mathcal{D}_{s}, \mathcal{D}_{t}) = \left\| \frac{1}{n_{s}} \sum_{i=1}^{n_{s}} \phi(x_{i}^{s}) - \frac{1}{n_{t}} \sum_{j=1}^{n_{t}} \phi(x_{j}^{t}) \right\|
  1. 特征映射 φ把菜品的色香味描述映射到高维调料空间，以便比较。
    ϕ(x)\phi(x)
  2. 源域均值源域所有样本特征的平均位置，代表川菜的平均口味坐标。
    1ns∑i=1nsϕ(xis)\frac{1}{n_{s}} \sum_{i=1}^{n_{s}} \phi(x_{i}^{s})
  3. 目标域均值目标域样本的平均位置，代表湘菜的平均口味坐标。
    1nt∑j=1ntϕ(xjt)\frac{1}{n_{t}} \sum_{j=1}^{n_{t}} \phi(x_{j}^{t})
  4. 范式距离两个平均坐标间的差距，值越大说明两域越不像。
    ∥⋅∥\left\| \cdot \right\|

策略选型

小厨在墙上画了一张“决策矩阵”：横轴是湘菜数据量，纵轴是川菜相似度。左上角数据少、相似度高，就照师傅的做法微调；右下角数据多、相似度低，只借刀工火候、自己研发配方；中间地带则选用分层冻结，逐层决定借多少。

具体来看，迁移策略有三大类。特征提取法：把预训练模型当成一个冻结的特征提取器，只训练新加的分类头，适合目标域数据稀少但任务相似度尚可的场景，相当于“刀工用师傅的，配菜自己配”；全量微调：放开所有参数在目标域上继续训练，需要充足数据做支撑，相当于“把师傅的整套做法推翻重演”；分层冻结：冻结浅层、微调深层，或者从顶层开始逐层解冻并观察验证集表现，是目前工程上最稳妥的折中方案。

为了让微调不至于“忘本”，常在损失函数中加上对预训练参数的距离惩罚，防止模型改得面目全非。

小厨最终敲定方案：底料用师傅的、顶料用自己的，中间层看数据量逐层放开。策略选型不是选“最好”的方案，而是选“最匹配当前条件”的方案。

Lft=Ltask+λ2∥θ−θ0∥2\displaystyle \mathcal{L}_{\mathrm{ft}} = \mathcal{L}_{\mathrm{task}} + \frac{\lambda}{2} \left\| \theta - \theta_{0} \right\|^{2}
  1. 任务损失 L在新任务上的常规损失，比如交叉熵，代表对湘菜口味的追求。
    Ltask\mathcal{L}_{\mathrm{task}}
  2. 预训练参数 θ₀师傅传下来的原始本领，是经验的老底子。
    θ0\theta_{0}
  3. 偏离距离当前参数与师傅本领之间的距离，改得越多惩罚越重。
    ∥θ−θ0∥2\left\| \theta - \theta_{0} \right\|^{2}
  4. 权重 λ对“忘本”的容忍度，λ 大则招式更接近师傅，λ 小则敢大胆创新。
    λ\lambda

领域自适应

川菜的辣靠花椒，湘菜的辣靠辣椒。小厨聪敏地把师傅“麻婆豆腐”里的花椒换成湖南本地干辣椒，把“辣”这个抽象特征对齐到湘菜的坐标系里——这就是领域自适应的精髓：在特征层面让两个域“看齐”，让模型分不出这菜是川师傅教的还是湘师傅教的。

领域自适应的主流路线有两条。非对抗方法：通过最小化 MMD 或对齐域间特征中心，把源域和目标域的特征分布拉近，相当于“用统计方法把两种辣度校准到同一刻度”；对抗方法：引入一个域判别器，让特征提取器学出“域不变特征”，使判别器无法区分特征来自哪个域，相当于“做一道让川菜师傅和湘菜师傅都挑不出毛病的融合菜”。

在特征提取器的参数空间里，领域自适应本质上是在求解一个约束优化问题：让两个域经过同一特征映射后的分布尽量重合。

小厨端出一盘辣得恰到好处的剁椒鱼头，老顾客啧啧称奇：这菜既像川味又像湘味，其实谁都不像——特征对齐生效了，模型在目标域上不再“水土不服”。

min⁡θf  MMD(Dsϕ,Dtϕ)\displaystyle \min_{\theta_{f}} \; \mathrm{MMD}\left( \mathcal{D}_{s}^{\phi}, \mathcal{D}_{t}^{\phi} \right)
  1. 特征提取器参数 θf负责把输入变成特征的网络参数，即小厨的“做菜风格”。
    θf\theta_{f}
  2. 源域特征分布源域数据经过特征提取后形成的分布形态。
    Dsϕ\mathcal{D}_{s}^{\phi}
  3. 目标域特征分布目标域数据经过同一特征提取后的分布形态。
    Dtϕ\mathcal{D}_{t}^{\phi}
  4. 最小化 MMD不断调整做菜风格，使两拨菜的“平均口味坐标”尽量重合。
    min⁡θf\min_{\theta_{f}}

负迁移规避

某天小厨迷信师傅的每句话，给每道菜都加一大勺郫县豆瓣酱，结果湘菜被老顾客批评“不正宗”，生意冷清了好几天。这就是负迁移：借来的知识不但没帮上忙，反而把目标域的活干砸了。负迁移是迁移学习里最需要警惕的雷区，它的成因主要有三类：源域与目标域差异过大，两者之间根本不存在可共享的特征空间；源域数据本身质量差，带有噪声或有偏采样；微调时学习率过大或过拟合，导致模型忘掉通用先验、死记目标域噪声。

检测负迁移的方法朴素而有效：在目标域验证集上，对比“迁移后模型”与“从零训练模型”的表现。如果带预训练初始化反而更差，说明负迁移发生了。预防手段包括：逐层解冻配合早停、在损失中加入正则约束、加大数据增强，以及在训练损失中按置信度对样本加权，让模型少听“不靠谱经验”的指挥。

置信度加权是实用技巧之一：对每个目标域样本，如果模型预测的置信度低于阈值，就降低它对损失的贡献。

小厨从此立下规矩：师傅的话要听，但每道菜先小份试做再上桌。验证集就是他的“试菜员”，提前拦住那些会把招牌砸了的坏主意。

Ltotal=∑i=1nwi ℓ(fθ(xi),yi),wi=max⁡(0,  p^(yi∣xi)−τ)\displaystyle \mathcal{L}_{\mathrm{total}} = \sum_{i=1}^{n} w_{i} \, \ell\left( f_{\theta}(x_{i}), y_{i} \right), \quad w_{i} = \max\left(0, \; \hat{p}(y_{i} \mid x_{i}) - \tau \right)
  1. 权重 wi第 i 个样本对梯度的发言权，相当于“小厨对师傅某条建议的信任度”。
    wiw_{i}
  2. 预测置信度 p̂模型对该样本预测概率有多高，概率越高说明越有把握。
    p^(yi∣xi)\hat{p}(y_{i} \mid x_{i})
  3. 阈值 τ信任下限，低于这个把握的建议直接不听。
    τ\tau
  4. 截断函数 max(0,·)把负权重归零，保证“不靠谱样本”不会反向帮倒忙。
    max⁡(0,⋅)\max\left(0, \cdot\right)

工程落地

湘菜馆渐渐有了口碑，小厨没有因此松懈。他给每道菜建了台账，记录点单率、好评率和复购率，定期回访师傅，但每次只带一道新菜回去试验——用数据说话，而不是凭感觉拍脑袋。工程落地的本质也是这套迭代闭环。

第一步是建立评估基线：在目标域划出固定验证集，记录三个数字——从零训练的准确率、直接使用源模型的准确率、微调之后的准确率。第二步是定义核心指标“迁移增益比”，它量化了迁移带来的净收益。第三步是框架选型：PyTorch 生态的 torchvision、HuggingFace、MMPretrain 都提供丰富的预训练权重与微调工具，让策略切换成本很低。

迁移增益比的计算公式如下，它回答了一个关键问题：迁移到底比从头训练省了多少力气，又比完全不用预训练强多少。

小厨的湘菜馆越来越火，因为他把“师傅的经验”和“自己的数据”做成了持续调优的闭环：每季度复盘一次菜谱，每次只改一个变量，用数据决定保留还是回滚。工程落地从来不是一次性的选择，而是长期主义的迭代。

Rtransfer=Acctft−AcctscratchAcctsrc−Acctscratch\displaystyle R_{\mathrm{transfer}} = \frac{\mathrm{Acc}_{t}^{\mathrm{ft}} - \mathrm{Acc}_{t}^{\mathrm{scratch}}}{\mathrm{Acc}_{t}^{\mathrm{src}} - \mathrm{Acc}_{t}^{\mathrm{scratch}}}
  1. 微调准确率 Acc_ft在目标域上微调后模型在验证集上的准确率。
    Acctft\mathrm{Acc}_{t}^{\mathrm{ft}}
  2. 从零训练准确率 Acc_scratch不借助任何预训练经验，从随机初始化练出来的水平。
    Acctscratch\mathrm{Acc}_{t}^{\mathrm{scratch}}
  3. 源模型直用准确率 Acc_src预训练模型完全不改，直接拿到目标域使用的水平。
    Acctsrc\mathrm{Acc}_{t}^{\mathrm{src}}
  4. 比值 R大于 1 说明迁移收益显著，接近 0 说明迁移无效，为负则提示负迁移。
    RtransferR_{\mathrm{transfer}}

AI 应用场景

医学影像跨设备迁移

阶段：模型训练与域适配

解决的问题：不同品牌 CT 设备生成的影像在亮度、噪声、分辨率上差异明显。传统做法是给每家医院单独标注大量数据重新训练，成本极高、周期漫长。借助迁移学习，模型先在大规模公开影像（源域）上预训练，再用 MMD 对齐少量本地影像的特征分布，即可快速适配新设备。

具体案例：某三甲医院引入新品牌 CT 机后，用领域自适应方法将病灶检测模型在设备迁移场景下的准确率提升了 12%，而人工标注量仅为原来的三分之一。

自动驾驶仿真到真实环境

阶段：仿真训练与部署前验证

解决的问题：仿真器中的道路、光照、天气与真实路况存在显著偏差，直接部署仿真训练模型会出现感知失灵。运用对抗式领域自适应，训练域判别器迫使特征提取器学出“域不变特征”，把仿真知识安全地桥接到真实世界。

具体案例：某自动驾驶团队在几乎不增加真实路测数据的前提下，利用仿真→真实迁移将车辆检测平均精度从 54% 提升到 78%，显著压缩了路测成本。

电商跨品类图像分类

阶段：新品类冷启动

解决的问题：电商平台新上架鞋靴类目时没有任何标注数据，从零训练分类器既慢又差。利用服装类目（源域）的预训练模型做特征提取，再配合少量人工标注完成分层微调，是典型的“小数据借力”场景。

具体案例：某电商平台在鞋靴类目冷启动两周内，将商品类目识别的准确率做到老类目的 80%，一个月后完全追平，节省了数万元标注预算。

Python 演示

python82 行
import numpy as np  def accuracy(y_true, y_pred):    return float(np.mean(y_true == y_pred))  class SimpleNet:    def __init__(self, dim_in, dim_h, num_cls):        self.W1 = np.random.randn(dim_in, dim_h) * 0.2        self.b1 = np.zeros(dim_h)        self.W2 = np.random.randn(dim_h, num_cls) * 0.2        self.b2 = np.zeros(num_cls)     def _forward(self, X, W1, b1, W2, b2):        h = np.maximum(0, X @ W1 + b1)        return h, h @ W2 + b2     def predict(self, X):        _, logits = self._forward(X, self.W1, self.b1, self.W2, self.b2)        return np.argmax(logits, axis=1)  def train_step(net, X, y, lr, freeze_feat):    h, logits = net._forward(X, net.W1, net.b1, net.W2, net.b2)    prob = np.exp(logits - logits.max(axis=1, keepdims=True))    prob = prob / prob.sum(axis=1, keepdims=True)    y_onehot = np.eye(prob.shape[1])[y]    d_logits = (prob - y_onehot) / len(X)    d_W2 = h.T @ d_logits    d_b2 = d_logits.sum(axis=0)    if not freeze_feat:        d_h = d_logits @ net.W2.T        d_relu = (h > 0).astype(float)        d_W1 = X.T @ (d_h * d_relu)        d_b1 = (d_h * d_relu).sum(axis=0)    net.W2 -= lr * d_W2    net.b2 -= lr * d_b2    if not freeze_feat:        net.W1 -= lr * d_W1        net.b1 -= lr * d_b1    return accuracy(y, np.argmax(logits, axis=1))  def make_data(n, shift):    X = np.random.randn(n, 4) + shift    w = np.array([1.0, -1.0, 0.5, -0.5])    y = (X @ w > 0).astype(int)    return X, y  def main():    np.random.seed(0)    X_src, y_src = make_data(600, [0, 0, 0, 0])    X_tgt, y_tgt = make_data(100, [2, 0, 0, 0])     net = SimpleNet(4, 12, 2)    for _ in range(40):        train_step(net, X_src, y_src, 0.1, False)    acc_direct = accuracy(y_tgt, net.predict(X_tgt))     net_f = SimpleNet(4, 12, 2)    for _ in range(40):        train_step(net_f, X_src, y_src, 0.1, False)    for _ in range(30):        train_step(net_f, X_tgt, y_tgt, 0.02, True)    acc_freeze = accuracy(y_tgt, net_f.predict(X_tgt))     net_full = SimpleNet(4, 12, 2)    for _ in range(40):        train_step(net_full, X_src, y_src, 0.1, False)    for _ in range(30):        train_step(net_full, X_tgt, y_tgt, 0.02, False)    acc_full = accuracy(y_tgt, net_full.predict(X_tgt))     print("直接使用源模型: %.3f" % acc_direct)    print("冻结特征层微调: %.3f" % acc_freeze)    print("全量微调       : %.3f" % acc_full)  if __name__ == "__main__":    main()
目的：用极简神经网络对比三种迁移策略在“源域预训练 + 目标域小样本适配”下的表现，验证“数据量少时冻结特征层更稳”的结论。
  1. make_data(100, [2, 0, 0, 0])只生成 100 个目标域样本，并施加特征偏移，模拟湘菜与川菜的分布差异。
  2. train_step(net_f, X_tgt, y_tgt, 0.02, True)在目标域上以很小的学习率微调，并冻结特征层，这是“小数据”场景的安全牌。
  3. acc_direct = accuracy(y_tgt, net.predict(X_tgt))计算完全不微调、直接用源模型的准确率，作为负迁移风险的下界参照。
  4. d_logits = (prob - y_onehot) / len(X)计算交叉熵对 logits 的梯度，相当于小厨“试菜后调整配方的依据”。
  5. if not freeze_feat:控制是否更新底层参数，这是特征提取与全量微调两种策略的唯一区别。

常见误区

误区很多人下载一个 ImageNet 预训练模型，直接跑在自己的小数据集上，发现效果不理想，就以为预训练没用。“师傅教的本事应该直接能上灶台啊，怎么炒出来的菜不对味？”

正解预训练模型学到的是通用视觉先验，但目标域往往有独特的分布偏移（如医学影像与自然影像差异巨大）。如同川菜师傅的招式必须经过“换辣”改造才能变成湘菜，模型必须经过微调或至少对齐特征分布，才能真正适配目标域。直接用而不适配，相当于不试菜就端给顾客，失败并不意外。

为何常见：初学者混淆了“预训练”与“即插即用”，忽略了分布偏移这个关键变量。

误区有的工程师一上来就全量微调，认为参数全部更新才能学到目标域特征。“多给模型一点自由，它才能发挥最大潜力。”

正解全量放开相当于小厨把师傅的刀工、火候、配方全部推翻重学，目标域数据少时极易过拟合，把源域最有价值的通用特征毁掉。正确的姿势是分层解冻：先冻结大部分层训练分类头，观察验证集效果后再逐步放开高层。每一次放开都要有收益，否则就保持冻结。

为何常见：源自“自由度越高越好”的直觉，忽视了小样本下模型复杂度的爆炸风险。

误区看到论文里对抗训练和 MMD 的效果很惊艳，就觉得“自适应是更高级的技术，用了肯定更强”。

正解领域自适应有一个强假设——源域和目标域存在可对齐的共享特征空间。如果两域差异过大（比如拿川菜经验做日料），强行拉齐分布反而会把分类器带偏，造成负迁移。此时直接微调高层、甚至放弃迁移，都优于生搬硬套自适应。

为何常见：论文榜单上自适应方法表现亮眼，但实验数据的分布假设往往在真实场景中不成立。

误区模型在目标域上比从零训练还差时，许多人直接下结论：“这个预训练模型是个废物，调什么都救不回来。”

正解负迁移说明的是“源域与目标域的搭配方式”出了问题，而不是源模型本身没有价值。换个更接近的源域、减少冻结层数、降低学习率、加大正则，甚至改用置信度加权，都有可能扭负为正。就像小厨觉得师傅的经验没用，其实是自己没找对“换成湖南辣椒”的那一步。

为何常见：人们习惯把单次实验失败归因为全盘否定，缺少对“策略与场景匹配度”的归因分析。

面试题

Q1. 川菜师傅教湘菜徒弟，“师傅的川菜经验”在迁移学习中被称为：

单选题 · easy

  • A.徒弟手头的湘菜菜谱
  • B.源域的先验知识和数据← 正确答案
  • C.顾客对菜品的评价反馈
  • D.餐厅后厨的食材库存

答案：B。师傅的川菜经验对应源域（源数据及从中提炼的先验），是迁移学习借力的对象。湘菜菜谱属于目标域数据，顾客反馈相当于验证集，食材库存则对应原始数据而非知识。

Q2. 目标域数据很少时，最稳妥的做法是：

单选题 · easy

  • A.冻结底层特征抽取层← 正确答案
  • B.从零开始训练新网络
  • C.随机初始化全部参数
  • D.所有层一起大幅微调

答案：A。数据少时应尽量保留源域学到的通用特征，冻结特征层、只训练分类头能有效降低过拟合风险。从零训练和随机初始化都会浪费预训练先验，大幅微调容易让小模型在少量数据上“记死”噪声。

Q3. 哪个比喻最贴近“负迁移”：

单选题 · easy

  • A.把川菜花椒全换成湖南辣椒
  • B.用川菜重油配方做湘菜失败← 正确答案
  • C.用湘菜剁椒做川菜凉拌菜
  • D.把两种菜谱融合成创意菜

答案：B。负迁移是借来的知识损害了目标域效果。全盘照搬川菜重油配方做湘菜，导致菜品失败，恰是负迁移的写照。换辣椒是领域自适应，融合菜谱则可能是成功迁移。

Q4. 预训练模型做特征提取器使用时需注意：

单选题 · mid

  • A.必须重训整个网络达到最优
  • B.只训练新加的分类头即可← 正确答案
  • C.不需要任何目标任务数据
  • D.冻结层数一定越多越好

答案：B。特征提取器模式把预训练网络当作固定特征映射器，只训练新分类头，适配小数据场景。不需要目标数据会无法学习分类边界；冻结层数并非越多越好，要结合任务相似度判断哪些层值得放开。

Q5. 以下哪些属于衡量任务相似度的方法：

多选题 · mid

  • A.特征分布间的 MMD 距离← 正确答案
  • B.源域目标域样本数比例
  • C.模型在域间泛化表现← 正确答案
  • D.数据文件格式的存储差异

答案：AC。MMD 直接量化特征分布差异，模型在域间泛化表现（如在目标域验证集上的效果）也能反映任务相似度。样本比例反映数据量而非相似度，文件格式与任务语义无关，均不能衡量任务相似度。

Q6. 领域自适应的核心思想是让两个域在什么层面一致：

单选题 · mid

  • A.损失函数的具体数值大小
  • B.特征空间中的分布形态← 正确答案
  • C.训练样本的类别比例高低
  • D.网络参数的绝对数值大小

答案：B。领域自适应通过特征对齐、对抗训练或分布匹配，让源域和目标域在特征分布层面趋于一致，从而让源域学到的分类知识能直接用在目标域上。损失数值、类别比例和参数数值都不是对齐目标。

Q7. 微调时加入“偏离预训练参数惩罚项”的主要目的：

单选题 · mid

  • A.提升模型训练收敛的速度
  • B.防止彻底遗忘源域的经验← 正确答案
  • C.减少目标域数据标签缺失
  • D.增大网络服务时的吞吐量

答案：B。该项在损失中惩罚当前参数与预训练参数的欧氏距离，相当于提醒模型“别把师傅的基本功丢光”。它不直接提升速度、不解决标注问题，更与推理吞吐无关。

Q8. 关于负迁移的预防措施，正确的有：

多选题 · hard

  • A.对样本按预测置信度加权← 正确答案
  • B.逐层解冻并配合早停机制← 正确答案
  • C.全量放开并增大学习率
  • D.直接丢弃源域全部参数

答案：AB。置信度加权能降低模型对低把握样本的依赖，逐层解冻配合早停能让模型在保留通用先验的前提下逐步适配目标域。增大学习率和丢弃源域参数都会加剧遗忘与不稳定，是负迁移的推手。

Q9. 在“数据量-相似度”策略矩阵中，数据少且相似度高时应选：

单选题 · hard

  • A.全量微调所有网络层
  • B.冻结特征层加微调分类头← 正确答案
  • C.从零训练并加大正则化
  • D.直接丢弃预训练模型

答案：B。数据少但相似度高，说明源域经验高度可用，冻结特征层再加一个轻量分类头即可获得不错效果。全量微调会因数据不足而过拟合，从零训练丢弃了宝贵先验，直接丢弃模型更是浪费。

Q10. 迁移学习工程落地时，正确的迭代习惯包括：

多选题 · extreme

  • A.每次只调整一个策略变量← 正确答案
  • B.固定验证集并跟踪收益比← 正确答案
  • C.同时改动所有超参数
  • D.忽略负迁移的监控环节

答案：AB。控制变量法（每次只动一个变量）能准确归因效果变化来源，固定验证集和迁移增益比则提供可靠的量化反馈。同时改动所有超参数会让实验无法归因，忽略负迁移监控则可能让模型在不知不觉中退化。