VGG与ResNet对比：从堆叠到残差连接

可视化演示

展示正态分布、指数分布、均匀分布的概率密度函数曲线，交互调节分布参数，可视化均值、标准差与分布形状的关系。

演进背景：为什么两家建筑队都要盖高楼

在深度学习的早期城市里，CNN 还只是几栋矮楼。LeNet 用卷积核在像素地图上扫描，AlexNet 把楼盖到 8 层后，大家发现一个规律：楼越盖越高，看到的视野也越远——低层看到边缘，高层看到眼睛和轮胎。于是“盖高楼”成了硬道理，VGG 与 ResNet 就是在这股浪潮中登场的两支建筑队。

一栋卷积楼每一层的工作可以用一句话概括：拿着小窗口（卷积核）在上一层特征图上滑动，把窗口里的信息加权求和，再经过激活函数做一次非线性变形。写成公式就是：

VGG 和 ResNet 都认可“看得远要靠楼层多”这个方向，但对如何把楼盖稳有完全不同主张。下一节先看 VGG 的施工方案。

VGG堆叠设计：统一砖块盖一座深塔

VGG 队的施工风格最像“标准砖块流水线”：不用各种大核，只认准 3×3 的小砖。每层卷积都设步幅为 1、padding 为 1，这样特征图尺寸不变；只有池化层才把图缩小一半。把二到四块砖砌成一个区块，再重复几个区块，就盖成 16 层或 19 层的大楼。

为什么只用 3×3？因为两个 3×3 卷积叠起来，等效于一个 5×5 卷积的感受野，但参数量从 25 降到 18，而且中间多一次非线性激活。换句话说，砖块越小越省料，信息还能被多加工一次。控制特征图尺寸不缩小，靠的是下面的公式：

所以 VGG 是“以简单换深度”的代表，它证明了统一小卷积核堆叠能学出很好的视觉特征。但它也把问题留给了后来者：楼真的可以无限往上盖吗？

深层退化之谜：楼太高为什么反而塌

如果继续按 VGG 思路把楼盖到 30 层，奇怪的事情发生了：不仅测试误差下不去，连训练误差都比浅层高。这不是过拟合——过拟合是训练好但测试差，现在是训练本身就学不动。这个现象叫“退化”，它本质上是一个优化问题，不是模型容量不够。

为什么深了反而难优化？反向传播时，损失对第一层权重的梯度要从顶层一路乘回去。每乘一个小于 1 的导数，信号就缩小一点；层数一多，乘积趋近于 0，底层几乎收不到更新指令。把这条链写出来就是：

这就像传话员每下一层楼都要被扣掉三成体力，30 层后体力只剩原来的 0.7 的 30 次方，当然没力气继续训练。ResNet 就是为解决这个“体力透支”而设计了电梯。

残差连接原理：给每层装一部应急电梯

ResNet 的施工方案是在每个残差块旁装一部应急电梯：输入 x 先走一段正常的卷积通道 F(x)，再通过一条恒等捷径直接跳到输出端，两边做逐元素加法。于是输出不是 F 本身，而是 F(x)+x。

这样网络不需要从头学习完整映射，只需学习“还差多少”。如果卷积通道想偷懒，F(x)=0，输出仍等于 x，网络也能保住底线；当 F 学到有用信息，输出就比 x 更好。电梯的存在让前向传播和反向传播多了一条直达路线，信息可以从浅层几乎无损地冲到深层。

残差数学直觉：电梯怎么让梯度不迷路

为什么一条加法捷径有这么大魔力？因为求导时，加法会把"1"写进导数。对残差块求导，得到：

反向传播连乘时，这条恒等项相当于给每个楼层都装了一根完全不衰减的钢筋，把原来的“乘法链”拆成了“加法网”。这也解释了为什么 ResNet 可以上百层：不是每层都非得学到东西，学不到时电梯保证信息不丢；学到时则锦上添花。

综合对比：VGG 与 ResNet 的取舍

把两栋楼放在一起看：VGG 是“一砖到底”的忠实堆叠者，结构简单、范式统一、适合做特征提取骨架；ResNet 是“加电梯的革命派”，用少量额外参数换来了可训练深度。VGG-16 参数量约 1.38 亿，ResNet-50 约 0.25 亿，效果反而更好。

参数量是怎么算出来的？每一层卷积的参数等于输入通道数 × 输出通道数 × 卷积核尺寸平方：

设计哲学上，VGG 把深度当作第一性，用统一模块降低设计压力；ResNet 则意识到网络不仅要深，还要让信号传得通。两者其实不矛盾：ResNet 的残差块里依然是 3×3 卷积——VGG 的砖块没有被扔掉，而是被装进了带电梯的楼层。

影响与启发：从一条捷径到整个深度学习

残差电梯的思想很快风靡：百层以上的网络第一次变得容易训练，DenseNet 把捷径从加法变成拼接，ResNeXt 在残差块里做分组卷积，Transformer 里的残差加 LayerNorm 也沿用同一套路。可以说，今天几乎所有大模型都把残差连接当作默认配置。

多个残差块串联后，信息可以写成从浅层出发、逐层累加残差贡献的形式：

对后来者而言，最大的启发是：好的架构不是简单把层数加高，而是在关键处保留一条无损的“信息高速公路”。今天的视觉大模型和 Transformer 都从这条捷径中受益。

AI 应用场景

Python 演示

import numpy as np def transfer_plain(x, weight):    return 0.5 * np.tanh(weight * x) def transfer_res(x, weight):    return x + 0.5 * np.tanh(weight * x) def plain_grad(x, layers=12, weight=0.8):    grad = 1.0    for _ in range(layers):        grad *= 0.5 * weight * (1 - np.tanh(weight * x) ** 2)        x = 0.5 * np.tanh(weight * x)    return grad def res_grad(x, layers=12, weight=0.8):    grad = 1.0    for _ in range(layers):        grad *= 1.0 + 0.5 * weight * (1 - np.tanh(weight * x) ** 2)        x = x + 0.5 * np.tanh(weight * x)    return grad if __name__ == "__main__":    x = 0.7    for n in [6, 12, 24]:        g_plain = plain_grad(x, n)        g_res = res_grad(x, n)        print("layers=%d  plain_grad=%.4f  res_grad=%.4f" % (n, g_plain, g_res))

1. grad *= 0.5 * weight * (1 - np.tanh(weight * x) ** 2)普通网络每层的梯度都要乘一个小于 1 的导数，所以层数越深，梯度越接近 0。
2. grad *= 1.0 + 0.5 * weight * (1 - np.tanh(weight * x) ** 2)残差网络多了一个恒等项 1，即使导数很小，连乘结果也不会被清零。
3. x = x + 0.5 * np.tanh(weight * x)模拟残差块的前向计算：输出 = 输入 + 网络层学习到的变化。
4. for n in [6, 12, 24]分别测试 6、12、24 层，观察梯度随深度增加的变化趋势。

常见误区

面试题