EfficientNet v2：渐进学习与缩放

可视化演示

展示Fused-MBConv与MBConv模块的结构差异，以及渐进学习中图像尺寸与正则化强度的联合缩放策略。

渐进学习原理

健身教练的智慧在于“分段安排课表”：前几周用轻重量打磨动作细节，最后几周才上大重量冲刺。EfficientNet v2 的作者发现，以前的模型训练就像让学员一上来就举大杠铃——直接用 256px、320px 的大图从头训练。大图的计算量大，每个 epoch 耗时漫长，模型却因为“强度超标”而早早过拟合，如同学员动作还没定型就受伤休息。

于是他们提出了渐进学习（Progressive Learning）：训练初期用较小的图像（如 128px），此时计算量小、每个 epoch 跑得飞快，模型快速学到全局结构；训练后期再把图像尺寸逐步增大到 256px 甚至更高，让小图训出的“基本功”在大图上精修细节。这个思想源自“课程学习（Curriculum Learning）”——人学习也遵循从易到难的顺序，模型同样受益。

核心技术公式是训练图像尺寸 $s(\tau)$ 随训练进度 $\tau \in [0,1]$ 的分段变化：

这样安排带来两大好处：训练加速——小图阶段每个 step 的计算量小，同样时间内能看更多数据；精度提升——大图阶段在小图学到的“粗结构”上做精细微调，避免了从零在大图上训练的过拟合。教练的课表，既练得快，又练得扎实。

图像尺寸缩放

如果你让学员从 5kg 的哑铃突然换成 30kg，他的肌肉会措手不及，动作变形。同理，训练中如果图像尺寸从 128px 突然跳到 256px，模型的输入分布骤变，损失会剧烈震荡，之前学到的特征被“冲乱”。因此，EfficientNet v2 强调尺寸变化必须平滑。

最初版本的渐进学习采用两阶段：先固定小图训一定 epoch，再切到大图。作者发现，两阶段切换处仍有明显的精度掉点，于是改成逐步增大——在最后 1/4 训练时间里，图像尺寸按照线性（或带动态调整的）曲线逐 epoch 增大。这样模型每步只感受到微小的输入变化，像学员每次只加 0.5kg，肌肉在不知不觉中适应了新重量。

联合缩放的完整策略还包括训练目标的调节。训练目标（如 batch size 和正则强度）与图像尺寸同步缩放：

这种“尺寸平滑 + batch 联动”的设计，本质上是让训练的动态分布尽量平稳。实验表明，仅凭平滑的尺寸增加，就能比“突变式”切换带来约 2%-3% 的精度提升。好的教练从不突然加码，优秀的训练策略也从不“惊扰”模型。

正则化联合缩放

到这里，敏锐的你可能会问：图像尺寸在变，正则化怎么办？健身房里有个规律：动作不标准时，不要加重量；重量上来后，又要减少辅助保护。模型也有类似的规律：小图时模型容量“相对过剩”，容易死记硬背，所以需要更强的正则化来防止过拟合；大图时数据信息量增大，模型容量“相对紧缺”，如果仍用强正则，反而会过度约束，学不进去。

因此，EfficientNet v2 的正则化强度与图像尺寸呈反方向缩放：

作者在论文里强调，如果只增大图像而不调弱正则化，大图阶段会出现明显的过拟合——训练损失降了，验证精度却停滞。反过来，如果小图阶段没有强正则，模型早早就把细节背下来，后期大图也救不回来。正则化与尺寸的“镜像缩放”，让模型在整个训练过程中都保持“适度饥饿”，这就像教练随时根据学员的状态调整训练和保护装备，不多不少，恰到好处。

Fused模块设计

教练除了安排课表，还会优化动作本身。EfficientNet v2 在模型结构上也做了一处关键改良：Fused-MBConv。如果把 MBConv 比作“开放式厨房”——洗菜（1×1 扩张）、切菜（深度卷积）、炒菜（1×1 投影）分在不同台面，厨师需要来回走动；那么 Fused-MBConv 就像“一体化集成灶”——把前两步合并成一个 3×3 标准卷积，食材在一个台面上完成清洗与切配，大大减少了“走动”（内存访问）的时间。

为什么要融合 1×1 卷积和深度卷积？深度可分离卷积虽然参数量少，但逐元素操作多、内存访问不连续，在 GPU 和手机 NPU 上并没有想象中快。把前端的 1×1 扩张 + 3×3 深度卷积合并为一个 3×3 标准卷积后，FLOPs 略有增加，但内存访问量大减。这在网络浅层特别划算，因为浅层特征图尺寸大、通道少，“走动”成本占比最高。

EfficientNet v2 的具体设计是：前几个阶段（浅层）使用 Fused-MBConv，深层保留经典 MBConv：

这种“局部融合、整体保留”的策略，是结构重设计的教科书示范——不是推翻重来，而是把力气花在瓶颈上。就像教练不会让学员全套动作都改，只针对最影响成绩的薄弱环节专项强化。

训练效率分析

渐进学习最直观的收益，是训练时间的大幅缩短。EfficientNet v2 论文报告，在同等精度下，训练速度相比 EfficientNet v1 提升 3-5 倍。这个数字从何而来？假设直接以 320px 大图训练 350 个 epoch，而渐进学习只在大图阶段（约 50-90 个 epoch）用大图，其余时间在 128px-192px 的小图上快速迭代。小图的计算量约为大图的 1/4 到 1/2，总计算时间的期望为：

更关键的是，这种加速不牺牲精度。因为小图阶段模型学到的是平滑的、泛化性更强的特征，大图阶段只需在少量 epoch 内做细节精修。实验表明，甚至比全程大图训练精度更高 0.5%-1%。训练效率的提升，不是靠压缩数据，而是靠“聪明的分配”——把算力花在最需要的时候。

实战调参指南

说了这么多理论，实际工作中该怎么用？回到教练比喻：给学员排课表，你需要确定三件事——每个阶段的时长、每阶段的强度、以及如何衔接。对应到渐进学习，实战调参也围绕这三个问题。

第一，阶段时长比。EfficientNet v2 的默认比例是前 75% 小图 + 后 25% 大图渐变。如果你的数据量很大、模型较小，小图阶段可以缩短到 60%，因为小图很快就会“学完”；如果数据少、模型大，小图阶段要拉长到 80%，让小图阶段充分夯实基础，避免过早大图而过拟合。

第二，正则化衰减系数。$\alpha$（Mixup 衰减率）和 $\beta$（Dropout 衰减率）的默认范围在 0.2-0.5。一个实操建议：先用小的衰减系数（0.2）跑一轮，观察大图阶段验证精度是上升还是下降。如果大图阶段精度不升反降，说明正则化减得太快，模型开始过拟合，需要增大 $\alpha$ 让正则衰减更缓慢。

第三，数据增强配合。渐进学习与 AutoAugment、RandAugment 配合时，增强强度也应随图像尺寸增大而减弱。可以将增强强度视为另一种“正则化”，同样遵循“大图弱增强”的原则。

一个基准的配置写作如下：

值得注意的是，EfficientNet v2 从 S 到 XL 的各尺寸模型，最佳训练配置并不相同——模型越大，渐进学习的收益越明显，因为大模型在小图阶段“热身”得更充分。从 S 模型开始实验，再迁移到 L、XL，是工程上最稳妥的路线。

AI 应用场景

Python 演示

import copyimport randomimport numpy as np class ProgressiveScheduler:    """渐进式学习调度器：联合缩放图像尺寸与正则化强度."""     def __init__(self, t_total=350, s0=128, s1=256, r0=0.3, alpha=0.4):        self.t_total = t_total        self.s0 = s0        self.s1 = s1        self.r0 = r0        self.alpha = alpha     def get_size(self, t):        tau = t / self.t_total        if tau <= 0.75:            return self.s0        w = (tau - 0.75) / 0.25        return self.s0 + (self.s1 - self.s0) * w     def get_mixup(self, t):        tau = t / self.t_total        w = max(0.0, (tau - 0.75) / 0.25) if tau > 0.75 else 0.0        return self.r0 * (1 - self.alpha * w) class FusedMBConv:    """简化的 Fused-MBConv 结构（示意）."""     def __init__(self, in_ch, out_ch, stride=1):        self.in_ch = in_ch        self.out_ch = out_ch        self.stride = stride        self._scale = 1.0     def forward_steps(self):        return [self.in_ch, self.in_ch, self.out_ch]     def get_scale(self):        return self._scale     def set_scale(self, val):        self._scale = val def train_one_step(model, sched, epoch):    size = int(round(sched.get_size(epoch)))    mixup = sched.get_mixup(epoch)    return size, mixup sched = ProgressiveScheduler(t_total=350, s0=128, s1=256, r0=0.3, alpha=0.4)model = FusedMBConv(in_ch=32, out_ch=64, stride=2)accs = []for epoch in range(0, 351, 25):    size, mixup = train_one_step(model, sched, epoch)    accs.append((epoch, size, mixup))print("epoch | image size | mixup strength")for epoch, size, mixup in accs:    print(epoch, "|", size, "|", round(mixup, 3))

1. class ProgressiveScheduler调度器封装了尺寸和正则的联合缩放逻辑，是渐进学习的“课表”。
2. def get_size(self, t)核心方法：根据当前 epoch 计算图像尺寸，前 75% 固定小图，后 25% 线性增大。
3. w = (tau - 0.75) / 0.25实现线性插值的归一化权重，让尺寸平滑过渡到大图。
4. def get_mixup(self, t)计算 Mixup 强度，随尺寸增大而衰减，体现“大图弱正则”的镜像关系。
5. class FusedMBConv示意 Fused-MBConv 模块的前向维度流：输入 -> 中间 -> 输出。
6. for epoch in range(0, 351, 25)按 25 步长打印采样数据，便于观察尺寸和正则的变化规律。

常见误区

面试题