BiLSTM序列建模：双向信息融合机制

可视化演示

展示BiLSTM前向/后向LSTM双向隐状态拼接架构、LSTM三门控机制（遗忘/输入/输出）及NER序列标注应用，切换模式理解双向上下文融合原理。

RNN的困境

想象你作为一名探险家，独自走进一条幽深的隧道。手电筒照亮脚下，你每走一步就把见闻记在笔记本上：第 1 米是碎石，第 2 米是滴水……可走到第 50 米，前方的黑暗里到底是岔路还是断崖，你只能凭直觉猜。更糟的是，笔记本越写越厚，前面几页的字迹已经开始模糊。这就是“单向行走加记忆模糊”的双重困境。

这种“走一步看一步”的结构，正是循环神经网络 RNN 的写照。RNN 从左到右逐词读取句子，把上一个时刻的隐藏状态 \(h_{t-1}\) 和当前词 \(x_t\) 一起压缩进当前状态 \(h_t\)，相当于把“已经看过的内容”摘要成一张纸条，递给下一个时刻继续加工。

用数学语言表达，RNN 的每个时间步做一次这样的变换：

探险家面对的第二个麻烦是“看不见前方”：\(h_t\) 只编码了 \(x_1\) 到 \(x_t\) 的信息，对 \(x_{t+1}\) 之后的“未来”一无所知。要解决这两个问题，探险家需要两样东西：一个能长期保存关键信息的“记忆背包”，以及一位从另一端走来的伙伴。前者是 LSTM，后者便是 BiLSTM 的后向层。

LSTM三门机制

给探险家升级装备：一个能装下重要物资的背包，外加三道闸门。遗忘门检查背包里哪些东西已经没用了，果断扔掉；输入门决定新发现的东西哪些值得装进背包；输出门则决定日记本上写什么给别人看。有了这套装置，走了 100 米后，出发时最关键的那张地图依然完好无损。

LSTM 正是这样设计的。它在 RNN 的基础上引入一条“记忆传送带”——记忆细胞 \(C_t\)，用遗忘门 \(f_t\)、输入门 \(i_t\)、输出门 \(o_t\) 三个阀门控制信息的流入、保留与流出。每个门都经过 sigmoid 激活，输出 0 到 1 之间的“开合度”：接近 1 表示完全放行，接近 0 表示彻底关闭。

$$\displaystyle f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$

$$\displaystyle C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$$

$$\displaystyle h_t = o_t \odot \tanh(C_t)$$

1. 遗忘门 \(f_t\)：看上一状态与当前输入，输出一个 0 到 1 的系数，决定旧记忆 \(C_{t-1}\) 保留多少。背包里没用的石块，就在这里被扔出去。

$$\displaystyle f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$

2. 输入门 \(i_t\) 与候选记忆：输入门决定新信息写入多少，候选记忆 \(\tilde{C}_t\) 是由当前输入提炼出的“待装包物资”。

$$\displaystyle i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i), \quad \tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$$

3. 记忆细胞更新：旧记忆乘遗忘门，新候选乘输入门，两者相加得到最新背包内容 \(C_t\)，这是 LSTM 的核心公式。

$$\displaystyle C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$$

4. 输出门 \(o_t\)：决定背包里哪些信息可以展示给外界。

$$\displaystyle o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$$

5. 隐藏状态输出：把记忆细胞的内容用 tanh 压到 -1 到 1，再乘输出门，得到传给下一步的隐藏状态 \(h_t\)。

$$\displaystyle h_t = o_t \odot \tanh(C_t)$$

三道闸门用“乘法”这种温柔的方式调节记忆：遗忘门接近 0 就清空旧记忆，输入门接近 1 就吸收新信息。于是探险家走到隧道深处时，背包里仍装着出发时的关键物资——这就是 LSTM 缓解梯度消失的秘密。

双向网络结构

现在，隧道的另一头响起了脚步声——一位伙伴从出口逆向走来。你们约定：每经过一个标记点就记下自己的观察，最终在中间会合并交换全部笔记。从此，隧道里每一段路都有两份说明：一份来自入口方向的视角，一份来自出口方向的视角。

BiLSTM 就是“两位相向而行的 LSTM”。同一个输入序列 \(x_1, x_2, \dots, x_n\) 分别用正序喂给前向 LSTM、逆序喂给后向 LSTM。前向状态 \(\overrightarrow{h}_t\) 编码“从句首到 t”的信息，后向状态 \(\overleftarrow{h}_t\) 编码“从句尾到 t”的信息。

$$\displaystyle \overrightarrow{h}_t = \overrightarrow{\mathrm{LSTM}}(x_1, x_2, \dots, x_t)$$

$$\displaystyle \overleftarrow{h}_t = \overleftarrow{\mathrm{LSTM}}(x_n, x_{n-1}, \dots, x_t)$$

$$\displaystyle h_t = [\overrightarrow{h}_t; \overleftarrow{h}_t]$$

1. 前向隐藏状态：前向 LSTM 从句子开头出发，走到位置 t 时携带的是左侧全部信息，符号 \(\overrightarrow{h}_t\) 表示“向右看”。

$$\displaystyle \overrightarrow{h}_t = \overrightarrow{\mathrm{LSTM}}(x_1, x_2, \dots, x_t)$$

2. 后向隐藏状态：后向 LSTM 从句子结尾出发，倒着走到位置 t 时携带的是右侧全部信息，符号 \(\overleftarrow{h}_t\) 表示“向左看”。

$$\displaystyle \overleftarrow{h}_t = \overleftarrow{\mathrm{LSTM}}(x_n, x_{n-1}, \dots, x_t)$$

3. 拼接操作：分号表示把两个向量首尾相接，得到新的向量 \(h_t\)。若每个方向隐藏维度是 d，拼接后维度就是 2d。

$$\displaystyle h_t = [\overrightarrow{h}_t; \overleftarrow{h}_t]$$

注意，前向和后向是两套完全独立的参数，不共享权重。拼接得到的 \(h_t\) 才是每个位置最终的“合订笔记”，也是下游任务真正使用的特征。

BiLSTM计算

两位探险家虽然相向而行，但路上并不互相牵制。前向那位照自己的节奏走，后向那位照自己的节奏走，互不等待，最后才把笔记合订。这在计算机里意味着：前向、后向两个 LSTM 可以并行计算，互不阻塞。

从计算图看，BiLSTM 的前向传播相当于跑两个独立的 LSTM：一个沿时间正向展开，一个沿时间反向展开。每个位置 t 获得两个 d 维状态，拼接后变成 2d 维向量，这个拼接向量就是下游任务看到的“完整特征”。把综合特征接到任务头上，就得到每个位置的输出：

$$\displaystyle y_t = \mathrm{softmax}(W_y \cdot [\overrightarrow{h}_t; \overleftarrow{h}_t] + b_y)$$

1. 拼接特征：位置 t 的前向与后向状态拼接成 2d 维向量，这是整个 BiLSTM 的“合订笔记”。

$$\displaystyle [\overrightarrow{h}_t; \overleftarrow{h}_t]$$

2. 线性映射：权重矩阵 \(W_y\) 把 2d 维特征映射到标签类别数，偏置 \(b_y\) 调整偏移。

$$\displaystyle W_y \cdot [\overrightarrow{h}_t; \overleftarrow{h}_t] + b_y$$

3. softmax 归一化：把每个类别的分数变成概率，所有类别概率之和为 1。

$$\displaystyle \mathrm{softmax}(\cdot)$$

4. 输出概率：\(y_t\) 中最大概率对应的标签就是该位置的预测结果，比如"B-PER"代表人名开头。

$$\displaystyle y_t$$

合订笔记的质量取决于两本原始笔记都足够好。这也是为什么工程上常用 BiLSTM 提取特征后再接任务头，既拿到双向上下文，又保持结构简洁。

单向LSTM对比

假如任务要求探险家“边走边向营地对讲机汇报当前位置”，他还能等后向伙伴吗？显然不行——后向伙伴还没走到他这段路呢！此时，单向的“因果性”反而成了优势：只能依赖已经发生的信息，绝不偷看未来。

单向 LSTM 的输出严格遵循因果约束：t 时刻的状态只依赖 \(x_1\) 到 \(x_t\)，这使它天然适配流式场景：语音识别、实时翻译、增量序列预测。而 BiLSTM 必须读完整句才能输出，属于离线模型。用偏导可以严格表达这种“未来不可见”：

$$\displaystyle \frac{\partial h_t}{\partial x_{t+k}} = 0 \quad (k > 0)$$

1. 偏导含义：\(\frac{\partial h_t}{\partial x_{t+k}}\) 衡量未来输入 \(x_{t+k}\) 变化时，当前状态 \(h_t\) 会受到多大影响。

$$\displaystyle \frac{\partial h_t}{\partial x_{t+k}}$$

2. 等于零：说明单向 LSTM 的 \(h_t\) 与未来词完全无关，这是因果模型的严格保证。

$$\displaystyle = 0$$

3. 未来位置限定：条件 \(k > 0\) 表示只看“尚未读到”的未来位置，这是单向模型的信息边界。

$$\displaystyle k > 0$$

选择单向还是双向，本质是选择“边走边报”还是“探完再报”。如果任务允许看到完整句子再输出（离线 NER、文本分类、机器翻译的编码器），双向几乎总是更好；如果必须实时流式输出，就只能在单向模型或受限延迟的双向变体中取舍。

序列标注应用

探险团进入一条布满弯道和积水的隧道，总指挥要求：给每一段路贴上一张属性标签，“入口”“弯道”“积水”“出口”。得益于两位探险家的双重笔记，每段路的判断都有了左右两侧的证据，错贴标签的概率大大降低。

序列标注是 BiLSTM 的主战场，典型任务包括命名实体识别（NER）、词性标注（POS）、分句和关键词抽取。标准做法是把 BiLSTM 每个位置的拼接状态 \(h_t\) 送入输出层，得到该位置属于各类标签的分数。但逐位置独立 softmax 会忽略标签之间的顺序约束，比如人名实体标签 I-PER 不能直接跟在地点标签 B-LOC 后面。

实践中因此常用 BiLSTM-CRF：在 BiLSTM 之上叠加一个 CRF 层，用转移矩阵 \(T\) 建模相邻标签的合法性，对整条标签序列打分：

$$\displaystyle \mathrm{score}(x, y) = \sum_{t=1}^{n} \left( \phi_t(y_t) + T_{y_{t-1}, y_t} \right)$$

1. 发射分数 \(\phi_t(y_t)\)：由 BiLSTM 的拼接状态经过线性层得到，代表位置 t 的词在特征上“像”标签 \(y_t\) 的程度。

$$\displaystyle \phi_t(y_t) = W_y h_t + b_y$$

2. 转移分数 \(T_{y_{t-1}, y_t}\)：标签从 \(y_{t-1}\) 跳到 \(y_t\) 的代价，由可学习的转移矩阵 \(T\) 提供，约束标签顺序。

$$\displaystyle T_{y_{t-1}, y_t}$$

3. 逐位置累加：把每个位置的发射分数和相邻转移分数全部加起来，得到整条标签序列的总分。

$$\displaystyle \sum_{t=1}^{n} \left( \phi_t(y_t) + T_{y_{t-1}, y_t} \right)$$

BiLSTM 负责“看”，CRF 负责“定规矩”。二者结合，标签序列既充分利用了双向上下文，又保证了全局合法性——这也是经典 NER 系统长期的主力架构。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class BiLSTMTagger(nn.Module):    def __init__(self, vocab_size, tag_size, embed_dim=16, hidden_dim=32):        super().__init__()        self.embed = nn.Embedding(vocab_size, embed_dim)        self.lstm = nn.LSTM(embed_dim, hidden_dim, bidirectional=True, batch_first=True)        self.fc = nn.Linear(hidden_dim * 2, tag_size)     def forward(self, x):        emb = self.embed(x)      # (B, T, embed_dim)        out, _ = self.lstm(emb)  # (B, T, 2 * hidden_dim)        logits = self.fc(out)    # (B, T, tag_size)        return logits  def train_step(model, x, y, optimizer, criterion):    model.train()    optimizer.zero_grad()    logits = model(x)    loss = criterion(logits.reshape(-1, logits.size(-1)), y.reshape(-1))    loss.backward()    optimizer.step()    return loss.item()  if __name__ == "__main__":    torch.manual_seed(0)    model = BiLSTMTagger(vocab_size=30, tag_size=5)    optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)    criterion = nn.CrossEntropyLoss()    x = torch.randint(0, 30, (4, 8))   # 4 句话, 每句 8 个词    y = torch.randint(0, 5, (4, 8))    # 每个词一个标签    for epoch in range(5):        loss = train_step(model, x, y, optimizer, criterion)        print("epoch", epoch + 1, "loss=%.4f" % loss)    with torch.no_grad():        pred = model(x).argmax(dim=-1)    print("预测标签序列:", pred[0].tolist())

1. self.lstm = nn.LSTM(embed_dim, hidden_dim, bidirectional=True, batch_first=True)一行代码开启双向：PyTorch 自动创建前向与后向两个独立 LSTM 并把输出拼接。
2. self.fc = nn.Linear(hidden_dim * 2, tag_size)双向拼接后维度翻倍，线性层把 2 倍隐藏维度映射到标签类别数。
3. out, _ = self.lstm(emb)返回每个时间步的拼接隐藏状态，形状为 (B, T, 2 * hidden_dim)。
4. logits.reshape(-1, logits.size(-1))把 (B, T, tag_size) 展平成 (B*T, tag_size)，以便对每个词独立计算交叉熵损失。
5. model(x).argmax(dim=-1)在标签维度上取概率最大的下标，得到每个位置的预测标签序列。

常见误区

面试题