架构变体：Mamba/SSM

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

SSM 基础

小曼送信时，随身带一个本子。本子上写的不再是某封信，而是“这条街目前最重要的摘要”。这个固定大小的摘要，就是隐藏状态。无论街道有多长，她只需维护一页笔记，这是状态空间模型（SSM）的起点：用一个紧凑向量把全部历史压缩成“工作记忆”。

在数学上，SSM 把序列建模看成连续时间系统。设状态为 \(h(t)\)，输入为 \(x(t)\)，系统如何演化由下面的状态方程决定：

在真正训练时，\(A\)、\(B\)、\(C\) 都是可学习的参数。当它们是常数时，系统是线性时不变的，这为后面把循环展开成卷积埋下伏笔。小曼的本子不贴每一封信，而是只写最新摘要，这正是“压缩历史”的含义。有了这本子，她走多远都不怕，因为她永远只需读一页摘要，而不必从头翻起。

离散化

现实世界像一条连续流动的河，邮差不能一直边走边写，而是在门与门之间“停一下、记一笔”。计算机处理数字信号也只能按固定节奏采样，这一步叫作离散化。小曼每走到一户人家门口，先停一拍，把当前输入在脑中保持一段时间，然后更新本子。

把连续方程按时间间隔 \(\Delta\) 采样，并用零阶保持做近似，就得到离散递推式。这里 \(\Delta\) 可以理解为邮差两次停歇之间的步长：

离散化让模型可以用固定步长扫描任意序列：一句话、一段音频、一条 DNA 都可以变成一串离散点。小曼每翻一页本子，都按这个递推式完成一次“回想 + 记录”的过程。

并行卷积

如果邮差的记忆规则一直固定不变，小曼其实不必真的挨家挨户走，也能提前在脑海中回放整条街：她先算好“每个门牌对应的响应模板”，然后一次放映整条街的画面。这种回放，在数学上就是卷积。

将离散递推式展开，可以发现任意时刻的输出都是历史输入的加权和，而权重只取决于时间距离 \(k\)，这与具体时刻无关。于是，整个序列可以看成一个固定卷积核的全局卷积：

由于卷积运算可以被 GPU 大规模并行加速，训练阶段不必像传统 RNN 那样一步步等待。小曼的“脑海回放”让她仿佛同时看见所有时刻。然而，这套回放只对固定规则成立；一旦她根据门口情况决定记多记少，规则就变了，于是需要引入下一节的选择性机制。

选择性机制

街上的消息并不等价：路过广告传单时，小曼不必细读；看到重要通知时，她恨不得多写几行。固定规则的 SSM 做不到这种取舍，因此 Mamba 的核心创新是让状态更新参数随当前输入动态变化，这就是选择性机制。

具体而言，模型根据当前输入 \(x_t\) 计算采样步长 \(\Delta_t\)、写入矩阵 \(\bar B_t\) 和读出矩阵 \(C_t\)。它们不再是常数，而是输入的函数：

同样，\(C_t\) 也可以由输入决定，告诉模型“现在应该从记忆里读什么”。小曼变成了一位会划重点的邮差，重要的信息记得深，无关的信息轻轻带过。这种机制不同于注意力：注意力要拿当前问题与所有历史位置两两比较，而选择性只更新自己的状态，代价不会随历史长度平方增长。

硬件感知算法

选择性虽然聪明，却打破了固定卷积的“回放能力”。现在每一步的核都在变，小曼必须真正按顺序走完街道。顺序扫描本身不贵，贵的是把状态频繁从内存中搬进搬出。GPU 有小书包（SRAM）和大仓库（HBM），如果每走一步都回仓库翻一次本子，时间全耗在路上。

Mamba 的选择扫描算法把状态更新写成下面这种简单形式，然后把状态一直放在 SRAM 中，减少对大内存 HBM 的访问：

这个可结合的更新规则让硬件扫描可以堆成树状并行，同时状态始终驻留在 SRAM。小曼把本子贴身放，走完整条街才合上一次书包，内存访问量被大幅压缩。硬件感知不改变数学表达，却决定了 Mamba 在 GPU 上能不能真正跑得快。

复杂度对比

如果街道上有 1 万人，会议室式模型要计算每个人与所有人的关系，大约是 5000 万次沟通；邮差只需要 1 万步。这就是从平方复杂度到线性复杂度的差距。当序列不断变长，这种差距会迅速拉大到无法忽视。

除了计算量，注意力还需要把 \(L \times L\) 的矩阵放进内存，而 Mamba 只需线性量的存储。长序列场景，比如数万 token 的文档、长视频、基因组，正是平方复杂度的灾难区。小曼每一步都在前进，且每一步成本恒定；街道越长，她的线性步伐优势越明显。

架构对比

回头看，RNN 像捧着固定笔记本的旧邮差：确实线性行走，但每步必须等前一步彻底写完，而且记录规则一成不变。Transformer 像全员大会：表达能力强，但沟通次数随人数平方增长。Mamba 则是升级版邮差：线性行走、按内容记笔记、硬件感知提速，把两者优点拼在了一起。

这种设计让 Mamba 在推理时使用小状态低延迟地处理流式输入，训练时借助并行扫描避免 RNN 的全串行，长序列上又绕开 Transformer 的平方开销。它也被用于文档理解、蛋白质序列、语音流等任务。当然，Mamba 是架构家族中的一员，不是万能银弹；邮差小曼的成功不在于发明了新的走路方式，而在于把“走一遍”这件事做到了极致：记该记的，忘该忘的，本子贴身，步法线性。

AI 应用场景

Python 演示

import numpy as np def discrete_ssm_scan(A, B, C, x):    h = 0.0    y = np.empty(len(x))    for t in range(len(x)):        h = A * h + B * x[t]        y[t] = C * h    return y def ssm_conv_kernel(A, B, C, L):    K = np.empty(L)    power = 1.0    for k in range(L):        K[k] = C * B * power        power *= A    return K def ssm_conv(K, x):    return np.convolve(K, x)[:len(x)] def selective_ssm_scan(A, B_base, C, x):    h = 0.0    y = np.empty(len(x))    for t in range(len(x)):        B_t = B_base * (1.0 / (1.0 + np.exp(-x[t])))        h = A * h + B_t * x[t]        y[t] = C * h    return y if __name__ == '__main__':    x = np.array([0.5, -1.2, 0.8, 2.1, -0.6, 1.3])    y_scan = discrete_ssm_scan(0.9, 0.2, 1.0, x)    K = ssm_conv_kernel(0.9, 0.2, 1.0, len(x))    y_conv = ssm_conv(K, x)    print('scan:', np.round(y_scan, 4))    print('conv:', np.round(y_conv, 4))    print('equal:', np.allclose(y_scan, y_conv))    y_select = selective_ssm_scan(0.9, 0.2, 1.0, x)    print('selective:', np.round(y_select, 4))

1. h = A * h + B * x[t]这是 SSM 的核心状态更新，相当于邮差在笔记本上让旧记忆衰减、再加入新信息。
2. K[k] = C * B * power用固定参数构造卷积核，每个历史位置对应一个记忆衰减权重。
3. np.convolve(K, x)[:len(x)]一次卷积完成所有时间步，这就是训练时并行化的数学基础。
4. np.allclose(y_scan, y_conv)验证循环扫描和卷积两种算法在 LTI 条件下结果完全一致。
5. B_t = B_base * (1.0 / (1.0 + np.exp(-x[t])))用 sigmoid 让写入权重随输入变化，模拟 Mamba 的选择性记笔记行为。

常见误区

面试题