LeNet与AlexNet经典CNN架构回顾

可视化演示

动态演示LeNet与AlexNet经的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

时代背景

在 LeNet 出现之前，AI 想识别一张 32×32 的手写数字图，最直接的办法是把 1024 个灰度值全部送给全连接网络。这在我们的城市规划故事里，相当于市长要求全城每个人都跑到市中心核对一遍“你是不是数字 7”。图像稍微大一点，参数就像人口爆炸一样失控。

Yann LeCun 没有继续堆“全城广播”，而是从生物视觉里借来灵感：人眼看东西时，一开始只关注局部边缘，而不是盯着每个像素。于是 LeCun 设计了“街区巡逻”机制——用一个固定大小的窗口在图像上滑动，每次只看一小块区域，这就是卷积。再配合“小区合并”的池化，把地图逐渐缩小。

这个阶段对应思维导图里“时代背景”的三个节点：手写识别需求催生了实用场景，算力限制逼着人们减少参数，LeCun 的卷积动机则奠定了 CNN 的核心假设——相邻像素才有意义，距离远的像素不必强行直接关联。旧工地虽然简陋，但地基已经画好了。

LeNet结构

LeNet-5 是 1998 年交付的第一份完整“城镇蓝图”。整座城市有五层可训练建筑：两层卷积、两层池化、三层全连接。输入是一张 32×32 的灰度图，相当于城市入口的大广场；之后每经过一次卷积，地图边长变小，通道数变多；每经过一次池化，地图面积减半，信息更加浓缩。

卷积层的输出尺寸由下面这个公式决定：

按这张图纸，LeNet-5 的 C1 层用 6 个 5×5 卷积核，把 32×32 变成 28×28；S2 层做 2×2 池化，变成 14×14；C3 层用 16 个卷积核变成 10×10；S4 层再池化成 5×5；最后由 C5、F6 和输出层完成分类。今天几乎所有 CNN 都能在这张图纸上找到影子。

卷积与池化

卷积层是这座小城的“街道巡逻队”。巡逻队带着一张固定大小的权重表，也就是卷积核，在图像上从左到右、从上到下扫描。每次扫到一块区域，就把区域里的像素和权重做加权求和，得到一个新数值，记录到输出特征图上。这个操作就是卷积。

为什么这套设计高效？因为它有两个关键机制：局部感受野让每个神经元只关心相邻区域；权值共享让同一个卷积核在所有位置复用。你可以理解为“同一支巡逻队用同一套标准巡逻全城”，参数从全连接的百万级降到几千级。池化层则像“小区合并”，每个 2×2 小片区只保留最大值或平均值，既缩小地图，又让模型对轻微位移更不敏感。多层卷积和池化堆叠后，网络就能从边缘、纹理逐步组合出数字的整体轮廓。

AlexNet创新

2012 年，AlexNet 建筑队决定不再盖小镇，而是直接建超级城市。它把 LeNet 的五层楼拔高到八层：5 个卷积层再加 3 个全连接层，总参数约 6000 万，训练数据是 120 万张 ImageNet 图像。这个规模如果还用老办法，普通电脑要训练到地老天荒。

AlexNet 的创新像给城市装上了三套新系统：一是快速电梯 ReLU，让信号不再堵塞在负楼层；二是逃生梯 Dropout，让某些神经元随机“轮休”，防止全城过度依赖同一条主干道；三是 GPU 高铁，用并行计算把训练时间从几个月压缩到几天。此外，它还用了重叠池化，让池化窗口之间有重叠区域，像巡逻路线适当交叉，减少信息遗漏。

如果说 LeNet 证明了“卷积+池化”这个结构可行，AlexNet 则证明了“更大、更深、更强正则化”能把 CNN 推向真实世界。超级城市的第一仗，就打出了改写 AI 历史的结果。

ReLU与Dropout

ReLU 是 AlexNet 最有名的“快速电梯”。在它之前，神经网络常用 Sigmoid 激活函数，但 Sigmoid 在输入很大或很小时会把梯度压到几乎为零，信号像堵在老旧电梯里一样传不动。ReLU 的规则极其简单：正数原样通过，负数一律归零。

ReLU 不仅缓解了 Sigmoid 的梯度消失问题，还让网络产生稀疏激活：很多神经元输出为 0，相当于城市里大部分道路暂时关闭，只有关键路线在运输信息。这种稀疏性让计算更高效，也带来一定的抗过拟合效果。

Dropout 则是配套的“逃生梯”。训练时，每个神经元以概率 p 随机失活，也就是暂时退出本次传播；预测时不再随机失活，而是把权重按比例缩放，相当于全城恢复通行，但每人只带一部分行李。这样迫使网络学会多套冗余路线，而不是把希望全压在少数几个神经元上。AlexNet 正是靠 ReLU 和 Dropout，在 6000 万参数的大工地上稳住了训练。

GPU训练与历史影响

城市规模变大了，施工速度也必须跟上。AlexNet 当时用两块 GTX 580 GPU 并行训练，把卷积运算拆分到不同处理器上同时计算。GPU 的关键优势是“很多个小工人同时干活”，特别适合卷积这种大量重复的乘加运算。

除了硬件，AlexNet 还用了数据增强：对训练图片随机裁剪、翻转、调整颜色，相当于给城市装上天气模拟器，让模型见过更多变化，从而降低过拟合。2012 年，AlexNet 在 ImageNet 图像分类比赛上把 top-5 错误率从 26% 左右大幅压到 15.3%，一举夺冠。

这个结果的意义远超一场比赛：它让学术界和工业界第一次确信，深度学习在大规模视觉任务上真的能碾压传统方法。随后深度学习进入爆发期，GPU 价格下降、框架成熟、数据变多，超级城市的版图迅速扩展到语音、文本、自动驾驶等领域。可以说，AlexNet 是深度学习进入主流视野的“竣工典礼”。

后世启发

LeNet 和 AlexNet 留下的不只是两栋楼，而是一套城市规划规范。后来的 VGG 发现，与其不断调大卷积核，不如用多个小卷积核堆叠出同样大的感受野，还能减少参数；GoogLeNet 则尝试在同一层里并行使用不同尺寸的卷积核，像同时修几条不同宽度的马路。

最著名的后续建筑是 ResNet。它发现网络太深之后，训练误差反而会上升，于是干脆在模块旁边加了一条“心跳捷径”：让输入 x 直接跳到输出，网络只需要学习残差 F(x)。

回看 LeNet 和 AlexNet，它们共同定义了 CNN 的三个设计原则：用卷积提取局部特征、用池化降低分辨率、用深层次堆叠获得更强的表达能力。今天的 EfficientNet、MobileNet 等架构，依然是在这份旧图纸上不断改进门窗和电梯，而不是另起炉灶。

AI 应用场景

Python 演示

import numpy as np  def conv2d(x, w, b, stride=1):    # x: (H, W, Cin), w: (Kh, Kw, Cin, Cout)    H, W, Cin = x.shape    Kh, Kw, _, Cout = w.shape    Oh = (H - Kh) // stride + 1    Ow = (W - Kw) // stride + 1    out = np.zeros((Oh, Ow, Cout))    for i in range(Oh):        for j in range(Ow):            patch = x[i*stride:i*stride+Kh, j*stride:j*stride+Kw, :]            out[i, j, :] = np.sum(                patch[:, :, :, None] * w,                axis=(0, 1, 2)            ) + b    return out  def max_pool(x, size=2):    H, W, C = x.shape    Oh = H // size    Ow = W // size    out = np.zeros((Oh, Ow, C))    for i in range(Oh):        for j in range(Ow):            out[i, j, :] = x[                i*size:(i+1)*size,                j*size:(j+1)*size,                :            ].max(axis=(0, 1))    return out  def relu(x):    return np.maximum(0.0, x)  def softmax(z):    e = np.exp(z - np.max(z))    return e / np.sum(e)  def lenet_forward(x):    conv1_w = np.random.randn(3, 3, 1, 6) * 0.1    conv1_b = np.zeros(6)    x = relu(conv2d(x, conv1_w, conv1_b))    print("after conv1:", x.shape)    x = max_pool(x)    print("after pool1:", x.shape)    conv2_w = np.random.randn(3, 3, 6, 16) * 0.1    conv2_b = np.zeros(16)    x = relu(conv2d(x, conv2_w, conv2_b))    print("after conv2:", x.shape)    x = max_pool(x)    print("after pool2:", x.shape)    h = x.flatten()    fc_w = np.random.randn(h.shape[0], 10) * 0.1    fc_b = np.zeros(10)    logits = h @ fc_w + fc_b    return softmax(logits)  if __name__ == "__main__":    np.random.seed(0)    x = np.random.randn(32, 32, 1)    p = lenet_forward(x)    print("prediction shape:", p.shape)    print("prob sum:", p.sum())

1. out = np.zeros((Oh, Ow, Cout))为卷积输出特征图预先分配空间，相当于在蓝图上画出新街道的宽度。
2. patch = x[i*stride:i*stride+Kh, j*stride:j*stride+Kw, :]从输入图中切出一个小块，这正是卷积“街区巡逻”的局部感受野。
3. np.sum(patch[:, :, :, None] * w, axis=(0, 1, 2)) + b把卷积核权重和像素块逐元素相乘再求和，完成一次加权检查。
4. .max(axis=(0, 1))在 2×2 小块里取最大值，对应池化层的“小区合并”操作。
5. x = relu(conv2d(x, conv1_w, conv1_b))先卷积再 ReLU，所有负数归零，正数继续向上传递。
6. logits = h @ fc_w + fc_b把展平后的特征向量与全连接权重做矩阵乘法，得到 10 个类别的原始分数。
7. if __name__ == "__main__":独立运行入口，让脚本可以直接演示一个随机 32×32 图像的前向传播。

常见误区

面试题