Transformer FFN与SwiGLU激活函数：大模型车间里的“智能水龙头”

可视化演示

展示先来先服务、短作业优先和时间片轮转三种调度算法的执行甘特图，对比平均等待时间与周转时间。

1. FFN基础结构：传送带上的标准滤网工位

传送带把零件送进车间后，第一个标准工位长这样：零件先被一个升降台抬高（把维度从 d 放大到 4d，让零件有更多“加工面”），然后经过滤网（ReLU 激活函数），把负值信号全部拦截扔掉，最后再经过一个压缩台（把 4d 压回 d，还原成下游能用的尺寸）。这两个线性变换加一个激活函数，就是标准 FFN——它不认识零件之间的邻居，专心处理每一个 token 自身的特征。

形象地说，FFN 就是位于注意力层后面的“特征整形车间”：注意力负责“挑货”（哪些 token 之间有联系），FFN 负责“锻造”（每个 token 自身的特征被非线性改造）。Transformer 的每一层 block 都配有这样一个车间，且所有 token 共用同一套加工参数（逐位置共享）。

回到比喻：标准滤网工位结构简单、成本可控，但它有一个致命伤——滤网不区分零件的好坏，只要数值为负就一律扔掉。那些表达“抑制、纠偏”信息的负值信号，同样可能是重要情报。现代车间要换一种更聪明的阀门。

2. 激活函数演进：滤网是如何一步步变成水龙头的

车间工具的进化史，本质上是“如何对待负数”的观念史。最早的 Sigmoid 像一扇只能推开一半的弹簧门：输出永远压缩在 0 到 1 之间，x 很大或很小时门几乎不动，梯度趋近于零——这就是“梯度饱和”，深度网络根本练不动。ReLU 的发明相当于把弹簧门改成了滤网：x 大于 0 完全放行，小于 0 直接拦截。它在正区间梯度恒为 1，解决了饱和问题，一举成为深度学习标配。

但 ReLU 滤网有个后遗症：训练中有些神经元可能“再也没见过正输入”，于是永远输出 0，梯度为 0，彻底死掉。这叫做死神经元（dying ReLU）。业界想了很多修补方案（Leaky ReLU、ELU），但都治标不治本。

在 2017 年左右，研究者发现一个“意外产物”：把 ReLU 的硬裁剪改成一个连续平滑的软裁剪，恰好就是 Swish（$\mathrm{Swish}(x)=x\cdot\sigma(x)$）。而在另一个实验室，SiLU/Sigmoid 加权线和 GELU（高斯累积分布加权）也几乎同时被提出——它们本质上都是“内容 × 介于 0～1 的开度”，只是开度的来源不同。

回到比喻：从“弹簧门”到“滤网”再到“带概率的水龙头”，核心思路是——不要一刀切扔掉负信号，而是按概率温柔地放行。这为 SwiGLU 的出现铺好了水管。

3. Swish核心特性：老师傅的“温柔之手”

水龙头的关键零件是 Swish 函数。它把“内容 x”与“阀门开度 σ(x)”相乘：开度永远在 0 到 1 之间连续变化，既不突然全开，也不突然全关。来看看它的手指是怎么工作的：

特性一，平滑可导。Swish 处处可微，不像 ReLU 在 0 处有个尖角，梯度在 0 点附近是平滑过渡的，训练更稳。

特性二，负值带符号保留。当 x=-3 时，σ(-3)≈0.047，Swish(-3)≈-0.14；当 x=-1 时，Swish(-1)≈-0.27。负数没有被直接扔进回收箱，而是被压成尺度很小的负值继续传递——相当于老师傅对质量欠佳的零件不扔掉，而是“轻微地修整一下”再放行。

特性三，非单调性。Swish 在 x<0 时并非一直下降：它先降到 x≈-1.28 处的最小值（约 -0.28），然后回升趋近 0。这给了网络一个珍贵的调节空间：很小的负输入反而输出较大的负修正，避免了单调函数在深层网络中容易出现的梯度漂移。

回到比喻：Swish 是一只“温柔之手”，它不像滤网那样把负值零件一剪子剪掉，而是用连续的开度决定放行多少。但 Swish 只有一只手——它只能对自己身上的信号做加权。要控制“另一个信号”的流量，还需要第二个老师傅。

4. 门控机制原理：两位老师傅的默契配合

真正的 SwiGLU 车间里有两位老师傅：一位负责把原料送上传送带（up 投影），另一位负责盯着“开度指令表”拧阀门（gate 投影）。原料 $\mathbf{x}\mathbf{W}_u$ 要经过的管道，其开度不取决于原料本身，而取决于另一组线性变换后的信号——这就是门控（gating）。

这个思想最早来自 GLU（门控线性单元）：先把输入分别投影成“内容”和“门控信号”，门控信号过 sigmoid 得到 0～1 的开度，再与内容逐元素相乘。注意这里的重点是：门控信号是从输入中另外学出来的一套平行信号，它让网络学会“当输入处于某种模式时，这条通道应该放行多少”，而不是简单地看内容本身的符号。

回到比喻：两路水流在管道汇合处相遇，开度流决定“拧多大”，内容流决定“有多少水”，二者相乘才是真正流向下一工序的量。因为是逐元素相乘，所以每个特征维度都有自己的独立水龙头，互不干扰。

5. 数学公式推导：从 σ 到 Swish 的配方升级

为什么明明 GLU 的门控已经用了 sigmoid，SwiGLU 还要把门控换成 Swish？要理解这个“配方升级”，得先看两件事：β 参数和GLU 家族谱系。

带参数 β 的 Swish 写成 $f(x)=x\cdot\sigma(\beta x)$。当 β=0 时退化为 $x/2$（线性）；β→∞ 时趋近 ReLU；β≈1.702 时几乎等于 GELU。这个可调节的特性让 Swish 成为一头“可驯服的野兽”——β 可以通过反向传播学习，网络自行摸索最合适的软化程度。

GLU 家族里，决定形态的其实是两处设计：门控用什么激活函数（sigmoid 或 Swish），以及门控和内容是否共享输入或权重。SwiGLU 的配方是：内容分支保留线性变换，门控分支用 Swish。论文实验表明，Swish 门控的梯度信息更丰富——因为 $\mathrm{Swish}(z)=z\cdot\sigma(z)$ 的导数在负区间不为零，门控信号不会完全“锁死”。

回到比喻：如果 sigmoid 门控是“只看仪表盘读数（一个 0～1 的概率）”，那么 Swish 门控就是“老师傅不仅看读数，还结合了水压本身大小来拧阀门”——信息更丰富，车间控制自然更精准。

6. 性能对比分析：为什么新车间产量更高

换了 SwiGLU 水龙头的车间，产量（模型表现）为什么全面优于标准 ReLU 滤网？可以从三个层面看。

训练动态更健康。Swish 在负区间梯度非零，门控信号能持续收到有意义的梯度，减少了“死神经元”出现的概率。LLaMA 论文在同样的模型规模下对比标准 ReLU 与 SwiGLU，报告 SwiGLU 的收敛更稳定、最终困惑度（perplexity）更低；后续 PaLM、Falcon、Mistral 等模型均延续了这一配置。

信息保留更完整。ReLU 把负值直接归零，本质是“硬丢弃信息”；SwiGLU 用一个连续开度把信息压缩到很小但非零的量级，为深层网络保留了更多可用的微弱信号。

参数量设计对等。很多人误以为 SwiGLU 效果好是因为参数多，其实不然：标准 FFN 是 2 个矩阵（升维 + 降维），SwiGLU 有 3 个投影矩阵。为了公平对齐，SwiGLU 的中间维度定为 $d_{\mathrm{inter}}=\frac{8}{3}d\approx2.67d$，此时总参数量恰好等于标准 4d FFN：

回到比喻：同样的车间面积和工人数量（参数量），老车间只能做“硬裁剪”，新车间却能做“精细化流量控制”。产出更高，不是人多，而是组织方式更聪明。

7. 大模型落地实践：LLaMA 车间的改造图纸

理论讲完，来看现代大模型车间实际怎么施工。以 LLaMA 系列为例，其 FFN 改造后包含三个线性投影：gate_proj（门控投影，输出送入 Swish）、up_proj（内容投影）、down_proj（输出融合降维）。前两个投影并行计算，逐元素相乘后，再过 down_proj 压回隐藏维度。

具体数字：LLaMA-7B 的 hidden_size=4096，FFN 中间维度取 11008（≈2.69×4096，正是“三投影都要分配维度”的设计）。相比传统 4d=16384，中间维度“瘦身”了约三分之一，但由于是三个矩阵，总参数量几乎不变。另外 LLaMA 的 FFN 各投影不带偏置（bias）——省掉 bias 不仅省参数，还配合 RMSNorm 简化了数值稳定性。

回到比喻：LLaMA 的车间施工图非常清晰——两根并行的传送带（gate 与 up），中间一个乘号汇流，再经过一道压缩台（down）。PaLM、Mistral、Gemma 等主流大模型全面沿用这张图纸，SwiGLU 从此成为现代 FFN 的默认配置。理解这张图纸，你就能读懂绝大多数开源大模型的核心源码。

AI 应用场景

Python 演示

import numpy as np def swish(x):    return x / (1.0 + np.exp(-x)) def relu(x):    return np.maximum(0.0, x) class FFN:    def __init__(self, d_in, d_mid, kind, rng):        self.kind = kind        lim = 1.0 / np.sqrt(d_in)        if kind == "relu":            self.W1 = rng.uniform(-lim, lim, (d_in, d_mid))            self.W2 = rng.uniform(-lim, lim, (d_mid, d_in))        else:            d_mid = int(d_mid * 2.0 / 3.0)            self.Wg = rng.uniform(-lim, lim, (d_in, d_mid))            self.Wu = rng.uniform(-lim, lim, (d_in, d_mid))            self.Wo = rng.uniform(-lim, lim, (d_mid, d_in))     def forward(self, x):        if self.kind == "relu":            h = relu(x @ self.W1)            return h @ self.W2        gate = swish(x @ self.Wg)        up = x @ self.Wu        h = gate * up        return h @ self.Wo def zero_ratio(a):    return float((a == 0).mean()) if __name__ == "__main__":    rng = np.random.default_rng(42)    x = rng.normal(size=(8, 64))    relu_net = FFN(64, 256, "relu", rng)    swiglu_net = FFN(64, 256, "swiglu", rng)     y1 = relu_net.forward(x)    y2 = swiglu_net.forward(x)     h1 = relu(x @ relu_net.W1)    h2 = swish(x @ swiglu_net.Wg) * (x @ swiglu_net.Wu)     print("ReLU   FFN 输出标准差:", round(float(y1.std()), 4))    print("SwiGLU FFN 输出标准差:", round(float(y2.std()), 4))    print("ReLU   激活层零值占比:", round(zero_ratio(h1), 3))    print("SwiGLU 激活层零值占比:", round(zero_ratio(h2), 3))    print("结论: SwiGLU 几乎无死神经元, 信号流通更充分")

1. def swish(x): return x / (1.0 + np.exp(-x))用 sigmoid 的倒数形式实现 Swish，避免重复计算 sigmoid。
2. d_mid = int(d_mid * 2.0 / 3.0)SwiGLU 三投影的中间维度按 2/3 压缩，保证总参数量与原 4d FFN 对齐。
3. self.Wg = rng.uniform(...)gate 投影矩阵，输出经 Swish 后作为门控信号。
4. gate = swish(x @ self.Wg)计算门控信号：对投影结果做 Swish 软化，得到每个维度的“阀门开度”。
5. h = gate * up门控信号与内容流逐元素相乘，这正是 SwiGLU 的核心放行操作。
6. h1 = relu(x @ relu_net.W1)提取 ReLU FFN 的激活层输出，用于统计零值占比。
7. zero_ratio(h2)统计 SwiGLU 激活层恰好为 0 的比例，理论上应为 0（Swish 输出几乎处处非零）。

常见误区

面试题