想象你常去的那家老面馆，招牌红烧牛肉面一卖就是十年。隔壁新开的西餐厅却天天排队——不是因为牛排比牛肉面高级，而是人家的菜单布局、厨房动线、出品标准全是精心设计的。老面馆老板心想：我不需要改做西餐，但可以借鉴西餐厅的“现代化管理”，保留自家的锅碗瓢盆（卷积），升级出一家新派面馆。这就是 ConvNeXt 的故事。 ConvNeXt 是卷积神经网络（CNN）写给 Transformer 的一封“情书”：它没有引入注意力机制，却把 Transformer 的设计理念——统一模块、层归一化、GELU 激活、大核卷积——一一嫁接到经典 CNN 上。它证明了“老手艺”经过现代化改造，依然能和新潮流打擂台。本文会用面馆改造的视角，拆解 ConvNeXt 的每一个关键决策。

岗位关联

学习 ConvNeXt，你不仅能看到 CNN 如何借鉴 Transformer 而重生，更能学会在实际视觉任务中判断“何时坚持卷积、何时换用注意力”——这是计算机视觉工程师最核心的架构决策力。

目录
  1. 可视化演示
  2. 设计理念：面馆老板的转行思考
  3. 深度卷积：每个厨师的独门暗号
  4. Layer Norm：统一分量的面馆规矩
  5. GELU激活：温和的试吃员
  6. 大核策略：换一口大锅炖汤
  7. 对比Swin：对面的旋转餐桌
  8. 纯卷积前景：不换厨具也能客似云来
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

设计理念：面馆老板的转行思考

老面馆老板没有冲动改卖牛排，而是先研究西餐厅为什么能持续出好菜：菜单结构清晰、厨房动线高效、每道菜出品标准统一。他决定保留自己的炒锅，但把“菜单结构”重写一遍。ConvNeXt 的设计理念正是如此——它不推翻卷积，而是把 Transformer 的宏观设计翻译成 CNN 能听懂的语言：每个阶段用一致的模块、固定的下采样位置、统一的通道宽度。

传统 ResNet 的四个阶段配置是 [3,4,6,3]，通道数从 64 翻倍到 512；而 Transformer 家族的阶段配置更均匀，结构更统一。ConvNeXt 参考 Swin Transformer 的配置，将阶段改为 [3,3,9,3]，通道数改为 [96,192,384,768]，并且让每个 block 长得完全一样。它还学习 Transformer 的“patch embedding”：用一个 4×4、步长 4 的卷积替代原来的 stem，把图片先切成小块，再进入网络。

老板发现，光升级菜单还不够，他还要统一后厨出品标准。于是 ConvNeXt 把“宏观设计”定下来：每个阶段沿用同一个 block，下采样放到阶段之间。这种整齐划一的结构，正是从 Transformer 的模块化中学来的。

H′=⌊H4⌋,W′=⌊W4⌋\displaystyle H' = \left\lfloor \frac{H}{4} \right\rfloor, \quad W' = \left\lfloor \frac{W}{4} \right\rfloor
输入图像经过 stem 的 patchify 后，高和宽都缩小到原来的四分之一。这张“缩微地图”就是网络后续理解的起点。
  1. 识别输入尺寸公式中的 H 和 W 是图片的高和宽，比如常见的 224×224 图片，H=224, W=224。
    H=224,W=224H=224, W=224
  2. 除以下采样倍数stem 使用 4×4、步长 4 的卷积，等价于把图像按 4×4 的小块打包，因此尺寸变为原来的四分之一。
    H4,W4\frac{H}{4}, \frac{W}{4}
  3. 向下取整如果 H 或 W 不能被 4 整除，就向下取整，保证卷积核能完整覆盖整个图像。
    H′=⌊H/4⌋,W′=⌊W/4⌋H' = \lfloor H/4 \rfloor, \quad W' = \lfloor W/4 \rfloor

深度卷积：每个厨师的独门暗号

新派面馆的厨房里，每位厨师不再需要同时掌勺十口锅，而是各盯一口锅，把面条、牛腩、青菜分别处理好，最后再由一位“总厨”把大家的成果浇汁融合。这套流程对应的就是深度卷积（depthwise convolution）：让每个通道独立做卷积，再用 1×1 卷积跨通道融合。

标准卷积像一个“大杂烩”：每个输出像素都要把输入的所有通道混在一起算，参数自然多。深度卷积则让每个通道只用自己的卷积核，互不干扰，参数瞬间少了一个数量级。ConvNeXt 使用的正是 7×7 深度卷积，既获得大感受野，又不必付出高昂参数代价。

面馆的“各盯一口锅”让备菜效率大增，最后总厨的 1×1 卷积再负责把各通道成果混成一道完整的菜。深度卷积与 pointwise 卷积的组合，正是现代 CNN 轻量化的核心暗号。

ParamsDW=K2⋅C,ParamsStd=K2⋅C2\displaystyle \text{Params}_{DW} = K^2 \cdot C, \quad \text{Params}_{Std} = K^2 \cdot C^2
当输入和输出通道都为 C 时，标准卷积的参数量是通道数的平方，而深度卷积只是线性关系。这就是“各盯一口锅”的效率优势。
  1. 识别卷积核边长K 表示卷积核的边长，比如 7×7 卷积中 K=7。
    K=7K=7
  2. 深度卷积参数量深度卷积对每个通道独立运算，所以参数量等于 K×K×通道数 C。
    ParamsDW=K2⋅C\text{Params}_{DW} = K^2 \cdot C
  3. 标准卷积参数量标准卷积要把 C 个输入通道映射到 C 个输出通道，每个卷积核都要处理全部输入通道，因此参数量是 K×K×C×C。
    ParamsStd=K2⋅C2\text{Params}_{Std} = K^2 \cdot C^2

Layer Norm：统一分量的面馆规矩

传统面馆调味靠老师傅手感，同一道菜今天咸明天淡；隔壁西餐厅却给每道菜定下标准分量和盐度。ConvNeXt 也引入了一套“标准化规矩”：Layer Norm。它与卷积网络常用的 Batch Norm 不同，不是看一整批客人的平均口味来调味，而是就凭当前这一碗面自己的底料来调整味道。

Batch Norm 在 batch 较小时会不稳定，因为它要依赖整批数据的统计量；Layer Norm 只对当前样本的通道维度计算均值和方差，不依赖 batch，所以训练更稳，也更容易适配 Transformer 风格的模块设计。ConvNeXt 在每个 block 中先用 Layer Norm，再接激活和线性层，顺序也和 Swin Transformer 保持一致。

面馆从此不再依赖老师傅手感，而是用“每碗自测、统一标准”的规矩让出品稳定。Layer Norm 也因此成为 ConvNeXt 训练快速收敛的重要功臣。

x^=x−μσ2+ϵ⋅γ+β\displaystyle \hat{x} = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} \cdot \gamma + \beta
对每个样本的每个通道位置，减去均值 μ、除以标准差 σ，再做一次可学习的缩放和平移。这就相当于给每碗面统一咸淡，再按客人口味微调。
  1. 当前样本均值μ 是该样本所有通道值的平均，代表这碗面自身的“咸淡基准”。
    μ=1C∑c=1Cxc\mu = \frac{1}{C}\sum_{c=1}^{C} x_c
  2. 方差与平滑项σ² 是方差，ε 是防止除零的小常数，比如 1e-6，保证归一化数值稳定。
    σ2+ϵ\sigma^2 + \epsilon
  3. 标准化后缩放平移γ 和 β 是可学习参数，允许模型在标准化后重新调整幅度和偏移，相当于“按顾客口味微调”。
    x^=x−μσ2+ϵ⋅γ+β\hat{x} = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} \cdot \gamma + \beta

GELU激活：温和的试吃员

过去的面馆试吃员有个毛病：只要菜是“负分”就一票否决，直接倒掉，这就是 ReLU 的行为——输入小于 0 全部清零。新派面馆换成一位温和的试吃员：他根据食材的新鲜程度按“概率”放行，偶尔保留一点微弱的负味，让味道层次更丰富。这个试吃员就是 GELU。

GELU 的核心想法是：给每个输入值乘一个“通过概率”，而这个概率由标准正态分布的累积函数决定。正值几乎完全通过，负值多数被过滤，但少量负值仍能保留。相比 ReLU 的硬截断，GELU 的曲线平滑、可导性更好，训练中也更稳定。

在工程实现中，GELU 常用一个 tanh 近似来加速计算，但思想不变。面馆的“温和试吃员”让每一道食材都有上桌的机会，而不是被粗暴扔掉，味道自然更有层次。

GELU(x)=x⋅Φ(x)=x⋅P(X≤x)\displaystyle \text{GELU}(x) = x \cdot \Phi(x) = x \cdot P(X \le x)
这里的 Φ(x) 是标准正态分布的累积分布函数，可以理解为一个“柔和的门控开关”：正值放行，负值按概率衰减，而不是一刀切。
  1. 输入值 xx 是神经元的输出值，可能正也可能负。
    xx
  2. 概率门控Φ(x) 表示一个标准正态随机变量小于等于 x 的概率。x 越正，概率越接近 1；x 越负，概率越接近 0。
    Φ(x)=P(X≤x)\Phi(x) = P(X \le x)
  3. 幅度与概率相乘最终的输出是 x 乘以这个概率，既保留幅度信息，又融入了软门控。
    GELU(x)=x⋅Φ(x)\text{GELU}(x) = x \cdot \Phi(x)

大核策略：换一口大锅炖汤

小灶炒面，每根面条只能沾到锅底的油；大锅炖汤，面条才能吸收整锅的鲜味。传统 CNN 爱用小卷积核（如 3×3），通过层层堆叠来间接扩大视野；ConvNeXt 却认为，与其叠很多小灶，不如直接换一口 7×7 的大锅。

从理论上看，两个 3×3 卷积堆叠可以等效为一个 5×5 感受野，但参数更多、计算更慢；一个 7×7 卷积直接覆盖 7×7 区域，配合深度卷积，参数量也不大。这就是“大核策略”：在局部建模的深度上，用更大的核一步到位，让每个位置看到更广的信息。

换了大锅之后，面汤的鲜味能渗透到每一根面条，但锅太大也费火。因此 ConvNeXt 用深度卷积来控制成本，只在大锅边缘付出线性代价，换来更广阔的感受野。

Req=n(k−1)+1\displaystyle R_{eq} = n(k - 1) + 1
n 是堆叠的卷积层数，k 是每层卷积核边长。两个 3×3 堆叠得到等效感受野 5，而一个 7×7 直接得到 7，大核更高效。
  1. 单层感受野一层 k×k 卷积的感受野是 k。
    R=kR = k
  2. 多层堆叠等效每多堆叠一层，感受野增加 (k−1)，因为新卷积会把已有特征再扩张一圈。
    Req=n(k−1)+1R_{eq} = n(k-1) + 1
  3. 代入具体值当 n=2、k=3 时，R=2×(3−1)+1=5；当 n=1、k=7 时，R=7。
    R3×3×2=5,R7×7=7R_{3×3×2}=5, \quad R_{7×7}=7

对比Swin：对面的旋转餐桌

隔壁西餐厅有一张“旋转餐桌”，客人不用起身，就能尝到全桌的菜——这就是 Swin Transformer 的移动窗口注意力：局部窗口内做自注意力，再通过窗口移动让信息跨窗流动。面馆老板发现，自家的大锅炖汤其实也能达到类似效果：每根面条吸到整锅汤的鲜味，等价于每个位置感知大范围信息。

ConvNeXt 与 Swin 在架构上有不少相似：都分四个阶段、都会先做 patch 化下采样、都采用“通道逐步翻倍”的金字塔结构。但核心差异在于：Swin 用窗口注意力建模长距离依赖，ConvNeXt 用大核深度卷积替代它。两者都遵循“局部先处理、再逐步扩大范围”的思路，只不过一个靠注意力，一个靠卷积。

旋转餐桌有它的仪式感，大锅炖汤有它的实在。ConvNeXt 用卷积做到了 Swin 能做的事，却不必引入复杂的窗口调度和相对位置编码，这让它更容易部署、也更亲民。

Ω(W-MSA)=2M2HWC\displaystyle \Omega(\text{W-MSA}) = 2 M^2 HWC
这是移动窗口注意力的近似计算量。M 是窗口边长，H、W 是特征图尺寸。窗口注意力只在 M×M 范围内计算，因此复杂度与窗口大小平方成正比，而不是整张图平方。
  1. 窗口范围M 是窗口边长，例如 7×7 窗口 M=7，只有 49 个 token 参与交互。
    M=7M=7
  2. 特征图规模H、W、C 分别表示特征图的高、宽、通道数，整张图共有 H×W 个位置。
    H,W,CH, W, C
  3. 总计算量每个位置在窗口内做自注意力，总计算量约等于窗口 token 数（M²）乘以全体位置数（HW）再乘以通道变换的常数。
    Ω=2M2HWC\Omega = 2 M^2 HWC

纯卷积前景：不换厨具也能客似云来

面馆改造完成，新菜单、新流程、新规矩一样不少，唯一没变的是“炒锅”。ConvNeXt 在 ImageNet 上达到了与 Swin 相当的成绩，却自始至终没有使用注意力机制。它告诉整个行业：CNN 不是被淘汰的老古董，而是值得被现代化的传统手艺。

ConvNeXt 的 block 非常简单：一个 7×7 深度卷积，夹在两个 1×1 普通卷积之间，再配上 Layer Norm 和 GELU。计算量主要由深度卷积和两个 1×1 卷积贡献。由于没有注意力，它不需要保存巨大的注意力矩阵，显存更省，推理更快，部署也更友好。

老面馆没有引进西餐刀叉，却靠着现代化的流程管理和一门手艺，重新赢得食客的心。ConvNeXt 的意义不是“卷积打败了注意力”，而是提醒我们：一个好思想可以跨越架构，让熟悉的工具焕发新的生命力。

FLOPsblock≈K2HWC+2HWC2\displaystyle \text{FLOPs}_{\text{block}} \approx K^2 HWC + 2 HWC^2
第一项是深度卷积的代价，与 K² 成正比；第二项是两个 1×1 卷积做通道融合的代价，与 C² 成正比。整个模块不包含注意力，纯卷积也能把效率和精度兼顾好。
  1. 深度卷积代价K² HWC 表示所有位置、所有通道经过 K×K 深度卷积的计算量。
    K2HWCK^2 HWC
  2. 1×1 卷积代价每个 1×1 卷积本质上是逐位置的通道全连接，计算量为 HWC²，block 中有两个，所以是 2HWC²。
    2HWC22 HWC^2
  3. 总计算量把两部分相加，得到一个 ConvNeXt block 的近似 FLOPs，作为纯卷积架构高效性的直观证据。
    FLOPsblock≈K2HWC+2HWC2\text{FLOPs}_{\text{block}} \approx K^2 HWC + 2 HWC^2

AI 应用场景

工业质检中的小样本缺陷检测

阶段：骨干网络选择与特征提取

解决的问题：传统 ResNet 在缺陷样本很少时泛化能力有限，而 Swin Transformer 推理成本高、部署难。ConvNeXt 既有 CNN 的部署友好性，又有接近 Transformer 的特征表达力，适合边缘设备实时质检。

具体案例：某电子厂在电路板 AOI 检测中，用 ConvNeXt-Tiny 作为骨干，在几千张标注图片上微调，缺陷检出率达到 97%，推理延迟比同精度 Swin 低约 30%。

医学影像分割中的高效编码器

阶段：特征编码与模型压缩

解决的问题：医学影像数据量小、分辨率高，使用注意力机制容易过拟合且显存开销大。ConvNeXt 的大核深度卷积能在不引入注意力的前提下获得全局上下文，适合作为 U-Net 的编码器骨干。

具体案例：在肺结节 CT 分割任务中，将 U-Net 编码器替换为 ConvNeXt，Dice 系数提升约 2%，显存占用降低 18%，且无需修改训练框架。

Python 演示

python30 行
import torchimport torch.nn as nn class ConvNeXtBlock(nn.Module):    def __init__(self, dim, kernel_size=7):        super().__init__()        self.dwconv = nn.Conv2d(dim, dim, kernel_size=kernel_size,                                padding=kernel_size // 2, groups=dim)        self.norm = nn.LayerNorm(dim, eps=1e-6)        self.pwconv1 = nn.Linear(dim, 4 * dim)        self.act = nn.GELU()        self.pwconv2 = nn.Linear(4 * dim, dim)        self.dim = dim     def forward(self, x):        identity = x        x = self.dwconv(x)        x = x.permute(0, 2, 3, 1)        x = self.norm(x)        x = self.pwconv1(x)        x = self.act(x)        x = self.pwconv2(x)        x = x.permute(0, 3, 1, 2)        return identity + x if __name__ == "__main__":    model = ConvNeXtBlock(dim=96, kernel_size=7)    x = torch.randn(2, 96, 32, 32)    y = model(x)    print(y.shape)
目的：实现一个简化版 ConvNeXt block，包含 7×7 深度卷积、Layer Norm、GELU 和两个 1×1 卷积（用 Linear 等价实现），并验证前向传播输出形状。
  1. self.dwconv = nn.Conv2d(dim, dim, kernel_size=kernel_size, padding=kernel_size // 2, groups=dim)groups=dim 表示深度卷积，每个通道独立运算。
  2. x = x.permute(0, 2, 3, 1)将通道维挪到最后一维，方便 LayerNorm 按通道归一化。
  3. self.norm = nn.LayerNorm(dim, eps=1e-6)LayerNorm 只对一个样本内的通道维度归一化，不依赖 batch。
  4. self.act = nn.GELU()使用 GELU 作为平滑激活函数。
  5. identity = x残差连接，让梯度能直接流过 block。

常见误区

误区听说 ConvNeXt 借鉴了 Transformer，就以为它在 block 里引入了 Self-Attention，甚至以为自己漏看了注意力代码。

正解ConvNeXt 是纯卷积架构，它借鉴的是 Transformer 的宏观设计、归一化方式、激活函数和训练策略，而不是注意力本身。它用 7×7 深度卷积替代多头注意力，用 Layer Norm 和 GELU 模仿 Transformer block 的结构，但核心运算仍是卷积。

为何常见：因为“借鉴 Transformer”听起来太像“加入注意力”，而学术讨论中两者常常绑定出现，容易让人产生联想。

误区看到“7×7 大卷积核”，第一反应是参数量和计算量爆炸，觉得 ConvNeXt 肯定很重。

正解深度卷积的参数量只有 K²×C，而标准卷积是 K²×C²。在 C=96 时，7×7 深度卷积的参数量只有标准 7×7 卷积的约 1/96。ConvNeXt 用深度卷积化解了大核的高成本。

为何常见：我们习惯了标准卷积的计算方式，容易忽略 groups 参数带来的线性缩放效果。

误区Batch Norm 在 CNN 中表现很好，Layer Norm 换成 CNN 后应该只是换个名字，不一定有用。

正解Layer Norm 不依赖 batch 统计量，在小 batch 或 batch 大小波动时更稳定。ConvNeXt 的实验表明，用 Layer Norm 替换 Batch Norm 后，训练和测试均表现更好，尤其配合大核卷积时数值更稳。

为何常见：多年前的 CNN 论文几乎都用 BN，惯性思维让人们低估了 LN 在卷积架构中的价值。

误区既然 7×7 比 3×3 好，那是不是用 11×11、21×21 效果更好？”

正解大核虽然带来更大感受野，但计算量随 K² 增长，且超过一定范围后收益递减。ConvNeXt 的实验对比显示 7×7 是性能和速度的平衡点，远超 3×3 的收益，但继续增大收益不大。

为何常见：“更大就是更强”是直觉反应，忽略了实际任务中感受野边际收益和部署成本的权衡。

面试题

Q1. ConvNeXt 的核心贡献是什么？

单选题 · easy

  • A.首次提出注意力机制
  • B.将 CNN 现代化并与 Transformer 竞争← 正确答案
  • C.用更多卷积核提升算力
  • D.提出全新的梯度下降算法

答案：B。ConvNeXt 的核心贡献是把 Transformer 的设计理念，如 Layer Norm、GELU、大核深度卷积等，嫁接到 CNN 上，让纯卷积架构在 ImageNet 上达到与 Swin 相当的水平。A 错在它没有引入注意力；C 和 D 与核心贡献无关。

Q2. 深度卷积中 groups 参数的含义是什么？

单选题 · easy

  • A.卷积核的边长
  • B.输入通道分成几组独立卷积← 正确答案
  • C.输出通道的数量
  • D.下采样的步长

答案：B。groups 等于输入通道数时，每个通道独立做卷积，这就是深度卷积。它让参数量从 K²C² 降为 K²C，是 ConvNeXt 用 7×7 大核却不爆炸的关键。

Q3. Layer Norm 与 Batch Norm 的核心区别是什么？

单选题 · mid

  • A.LN 需要更大 batch 才能稳定
  • B.LN 对单个样本的通道维做归一化← 正确答案
  • C.BN 不需要可学习参数
  • D.LN 只能在 Transformer 中使用

答案：B。Layer Norm 在单个样本的通道维度上计算均值和方差，不依赖 batch 统计量，因此小 batch 下更稳定。BN 则依赖整个 batch 的统计信息，也需要可学习参数。

Q4. GELU 相比 ReLU 的主要优势是什么？

单选题 · mid

  • A.计算速度更快
  • B.对所有负值都保留
  • C.曲线平滑而且可导性更好← 正确答案
  • D.不需要归一化配合

答案：C。ReLU 把负值直接截断为 0，而 GELU 用概率门控让负值可以保留微小信号，曲线更平滑，优化更容易。它并没有保留所有负值，计算也比 ReLU 慢，但收敛效果更好。

Q5. 为什么 ConvNeXt 使用 7×7 深度卷积替代注意力？

单选题 · mid

  • A.7×7 参数比注意力更少
  • B.用大核局部建模获得类似窗口注意力的效果← 正确答案
  • C.7×7 卷积可以处理文本输入
  • D.深度卷积必须搭配注意力才能用

答案：B。7×7 深度卷积提供了较大的局部感受野，在局部建模能力上接近 Swin 的窗口注意力。相比注意力，它不需要注意力矩阵，部署更友好。A 不是直接原因，C、D 本身错误。

Q6. 以下哪些是 ConvNeXt 借鉴 Transformer 的设计？

多选题 · mid

  • A.Patch Stem 式下采样← 正确答案
  • B.Layer Norm← 正确答案
  • C.GELU 激活函数← 正确答案
  • D.多头自注意力

答案：ABC。ConvNeXt 借鉴了 patch stem、Layer Norm、GELU 以及统一模块等设计。D 错在它没有使用多头自注意力，这是 ConvNeXt 与 Transformer 的根本区别。

Q7. 两个 3×3 卷积堆叠的等效感受野是多少？

单选题 · hard

  • A.5← 正确答案
  • B.7
  • C.9
  • D.6

答案：A。根据公式 R = n(k−1)+1，两层 3×3 卷积堆叠得到 2×(3−1)+1=5，小于一个 7×7 卷积的 7。这也是大核策略“一步到位”更高效的原因。

Q8. 关于 ConvNeXt 与 Swin Transformer 的对比，下列说法正确的是？

多选题 · hard

  • A.两者都采用金字塔式的四阶段结构← 正确答案
  • B.两者都能进行局部建模← 正确答案
  • C.ConvNeXt 使用了窗口注意力
  • D.Swin 通过移动窗口实现跨窗信息流动← 正确答案

答案：ABD。ConvNeXt 和 Swin 都采用四阶段金字塔结构，也都强调局部建模。Swin 用移动窗口让信息跨窗口流动；ConvNeXt 用大核卷积获得全局感受野，但它没有使用窗口注意力，因此 C 错误。

Q9. ConvNeXt block 中 1×1 卷积的作用是什么？

单选题 · hard

  • A.扩大感受野
  • B.通道间的信息融合← 正确答案
  • C.减少模型深度
  • D.替代归一化

答案：B。深度卷积只处理单通道，通道间不会交互。两个 1×1 卷积分别负责将通道信息映射到更高维再投影回来，完成跨通道融合，等价于 Transformer 中 FFN 的通道混合。

Q10. 下列哪些因素帮助 ConvNeXt 证明纯卷积仍有竞争力？

多选题 · extreme

  • A.ImageNet 性能与 Swin 相当← 正确答案
  • B.使用窗口注意力降低计算量
  • C.大核深度卷积减少参数← 正确答案
  • D.Layer Norm 和 GELU 稳定训练← 正确答案

答案：ACD。ConvNeXt 用深度卷积和现代化设计在 ImageNet 上追平 Swin，证明纯卷积依然能打。B 错在它没有使用窗口注意力；A、C、D 分别对应性能、参数效率和训练稳定性这三个关键论据。