编码器-解码器：残差连接

可视化演示

展示Transformer残差连接如何通过快捷路径将输入直接加到子层输出，使梯度经加法路径无损传播至浅层，解决深层网络梯度退化问题。

快捷路径

登山客最怕什么？怕每道山门都强制开箱检查。检查本身是有意义的——它能确认行李（信息）有没有损坏，但耗时又费力。更重要的是，如果每道门都开一次箱，行李里的东西可能被翻乱、甚至弄丢。于是聪明的山民在每道山门旁修了一条笔直的缆车线：从山门下口的歇脚点直接通到上一个歇脚点，游客可以把一部分重要的行李交给缆车，自己轻装走盘山道处理杂事，最后到站合流。

这条「缆车线」在深度网络里就叫快捷路径（Shortcut Path），专业说法是恒等映射（Identity Mapping）。在 Transformer 的编码器和解码器里，每个子层——无论是多头自注意力、交叉注意力还是前馈网络——后面都跟着一条这样的捷径。子层做的事情再多、再复杂，都会有你的原始输入 x 从旁路直通，于是信息在每一层都不会被「翻乱」。

用公式描述这座山门的工作方式：

山门会师之后，这支队伍里既有最原始的行李，也有这一站新采买的物资。无论山路多么崎岖，那批最重要的行李从未离开过缆车——这就是残差连接让信息「永不迷路」的起点。

加法运算

两路人马在山门会师，不是把两堆行李倒进一个麻袋乱搅，而是讲究「对号入座」：每个箱子都有编号，你的 1 号位对着我的 1 号位，2 号位对着 2 号位，一一对应合并。这种合并方式精准、简单，不需要额外的规矩，也不需要新的人手。

在数学上，这个「对号入座」就是向量加法。残差连接的核心运算只有加法：把原始输入 x 和子层输出 \mathcal{F}(x) 两个向量逐元素相加。先决条件是它们维度一致——毕竟两排箱子数量不同，就没法一一对齐。好在 Transformer 设计时保证了子层输出形状与输入完全相同，所以加法永远合法。

这个加法看似朴素，却非常微妙：

加法运算教会我们一个朴素道理：保证信息不丢的最好方法，就是把它原样保留下来，再叠加上新见解。无论是编码器里的自注意力子层、解码器里的交叉注意力子层，还是前馈子层，Transformer 的每一个细节都在反复运用这个「只加不减」的策略。

梯度保真

山路徒步最难的是什么？是过每一道山门都要卸货、检查、复装，一趟下来人都虚脱了，更别说行李。反向传播就像让游客原路返回山脚，把所有行李再检查一遍——如果每道门都要扣下一部分体力（梯度），走完几十道门，游客早就瘫在路上，什么信息都传不回山脚。

这就是梯度消失的本质。而缆车的存在，让反向传播多了一条「免检通道」：游客可以从峰顶直接坐缆车下山，沿途的体力消耗为零。数学上，这条免检通道对应项是导数中的常数 1。

利用链式法则，从损失函数 \mathcal{L} 对网络某一层输入求梯度：

这就是残差连接的「磁场」所在：它并不保证山路畅通，但保证永远有一条零损耗的路可以回家。哪怕模型堆得再深，梯度也能顺着缆车一路传回最初的位置，让浅层网络不至于「失忆」。

层归一化

两路人马会师后，队伍里一阵混乱——山路来的人灰头土脸，行李大小不一；缆车来的人干干净净，物资原封不动。如果直接出发，不但走得乱，而且每个人对前方路况的感知也截然不同。于是山门出口设了一道「重整队形」的关卡：把所有行李按统一标准重新打包，让队伍的整体观感保持一致。

这道关卡在 Transformer 中就是层归一化（LayerNormalization）。实际采用的顺序是「先加后归」：先把 x 和 \mathcal{F}(x) 相加，得到 h，然后对 h 做层归一化。对比示意图中的「Add & Norm」块，可理解为一个复合操作：

层归一化让每一次会师后的队伍都重新“校准”步调，避免数值在层层累加中失控，从而让深层模型训练更加稳定、收敛更快。它与残差连接配合，一个负责保信息，一个负责稳分布。

网络加深

只有一两道山门时，缆车似乎是多余的——直接翻过去就行。但当路径长达一百道山门，每一道都要卸货检查、耗时耗力，缆车的价值就体现出来了。没有缆车，步行最多支撑三五站；有了缆车，哪怕一百站也可以连轴转。深度网络的道理一模一样：层数越多，缆车越要紧。

深层网络之所以有魅力，是因为每一层可以抽取不同层次的特征：底层关注字母和笔画，中层关注词语和短语，高层关注句法和语义。层数越深，学习到的抽象表达能力就越强。但在没有残差连接的时代，人们发现网络一旦超过十几层，训练就变得极其困难，越深反而越差。残差连接把「加深网络」变成了可能：无论叠加多少层，梯度都有捷径可走。

把残差公式递归展开，会看到一个漂亮的全局结构：

这个展开公式解释了为什么残差网络可以堆到上百层：最终输出 = 原始输入 + 所有增量的累加。每一层都在做「补充」，而不是「覆盖」，信息传递的本质是渐进式的累积，训练自然稳定得多。

退化难题

如果修路本身不科学，山门越多反而越糟糕。想象一条盘山栈道：不加规划地每走十步就设一道关卡，游客过了五十道门早已筋疲力尽；更糟的是，有些门卡只是一遍遍重复同样的检查，毫无新信息——这时候多加关卡不是帮忙，而是添乱。深度学习里，无残差的深网就面临这样的「退化」困境。

退化（Degradation）现象表现为：网络层数增加后，训练误差反而持续上升。这不是过拟合，因为在测试集上同样糟糕；而是优化器根本无法在超深层网络中搜索到好的解。理论上，只要让多余的层学成恒等映射（输出等于输入），深层网络至少不会比浅层网络差。但实践表明，让神经网络用非线性层直接拟合恒等映射非常困难，几乎不可能精确做到。

残差连接巧妙地绕开了这个难题：

由此，残差连接既解决了梯度消失，也解决了退化难题。它让每一层都站在巨人的肩膀上——不必从头学起，只需要在已有的好基础上做小幅改进。现代 AI 之所以敢用几十上百层的 Transformer 堆出 GPT、BERT，残差连接这根「缆车索道」功不可没。

AI 应用场景

Python 演示

import mathimport torchimport torch.nn as nn  class Block(nn.Module):    def __init__(self, dim, residual):        super().__init__()        self.residual = residual        self.linear = nn.Linear(dim, dim, bias=False)     def forward(self, x):        out = self.linear(x)        return x + out if self.residual else out  class DeepNet(nn.Module):    def __init__(self, dim, depth, residual):        super().__init__()        self.blocks = nn.ModuleList(            [Block(dim, residual) for _ in range(depth)]        )     def forward(self, x):        for block in self.blocks:            x = block(x)        return x  def grad_norm(model, dim):    x = torch.randn(4, dim)    y = torch.randn(4, dim)    loss = (model(x) - y).pow(2).mean()    loss.backward()    norm = 0.0    for p in model.parameters():        if p.grad is not None:            norm += p.grad.norm().item() ** 2    return round(math.sqrt(norm), 4)  if __name__ == "__main__":    torch.manual_seed(42)    dim = 32    for depth in (10, 20):        plain = DeepNet(dim, depth, False)        res = DeepNet(dim, depth, True)        print(f"depth={depth} no_residual grad_norm={grad_norm(plain, dim)}")        print(f"depth={depth} with_residual grad_norm={grad_norm(res, dim)}")

1. return x + out if self.residual else out残差连接的核心：输入与子层线性变换结果逐元素相加，f(x)=x+Wx。
2. self.blocks = nn.ModuleList([...])把多个线性块堆叠成深度网络，模块列表让 PyTorch 正确注册所有参数。
3. loss.backward()反向传播触发梯度计算，梯度从深层一路传回浅层。
4. norm += p.grad.norm().item() ** 2统计所有参数梯度范数的平方和，开根号后代表整体梯度信号强度。
5. torch.manual_seed(42)固定随机种子，保证有/无残差两组网络在相同的初始化起点上对比。

常见误区

面试题