LSTM序列分类：给序列数据贴标签

可视化演示

展示LSTM序列分类的完整流水线、池化策略对比与LSTM单元门控机制，支持序列长度调节。

序列分类：给一段话定一个类别

馆长把任务说得更清楚了：新书要贴三选一标签，而且每本书的厚薄完全不同，有的只有几页短评，有的厚达千页。你发现这里的核心矛盾是——输入的长度任意可变，输出的标签却永远只有三种。管理员需要的不是逐字背诵，而是“通读整体后做出离散判断”的能力。这正是序列分类任务的基本盘：输入一个长度可以变化的序列，输出一个来自有限候选集的类别。

用技术语言说，序列分类要解决的问题是：给定变长序列 \(X = (x_1, x_2, \ldots, x_T)\)，模型为其预测一个离散类别。它与回归有本质区别：回归输出的是一串连续数值（例如预测房价 28.5 万），而分类的输出永远是“K 选一”的硬标签。情感分析就是最典型的例子——把“这本书太好看了”映射到“积极”标签，把“看完一脸失望”映射到“消极”标签。

在实际项目中，输入可以是词编号、语音帧、传感器读数；输出是类别编号。模型学的其实是条件概率分布 \(P(y = c \mid X)\)，哪个类别的概率最高，就选哪个。于是序列分类的数学目标可以写成：

回到管理员视角：他不需要把概率一个个列给馆长看，而是让系统为每个书架打出“契合度”，最后挑最高的那个书架放上去。理解了这个“选最大”的顶层目标，后面所有环节——读书记忆、浓缩总结、贴标签——都是在为这个目标服务。

LSTM特征提取：带记忆本的细读员

明确了任务之后，馆长找来了那位细读员——LSTM。他和其他读者（普通 RNN）最大的不同，是随身带着一本大小不变的“记忆笔记本”，而且他有一套非常讲究的读书方法：每翻一页，都会先判断旧笔记里哪些过时了要擦掉（遗忘门），再决定当前页哪些新信息值得写进去（输入门），最后把自己觉得最重要的一行字念给旁边的记录员听（输出门）。本子容量固定，所以他读一万页的书和读十页的短评，消耗的“脑力”结构完全一样。

从技术上讲，这本“记忆笔记本”就是细胞状态 \(\mathbf{C}_t\)，记录员抄下的那行字就是隐藏状态 \(\mathbf{h}_t\)。在时间步 \(t\)，LSTM 读取当前输入 \(\mathbf{x}_t\) 和上一时刻的隐藏状态 \(\mathbf{h}_{t-1}\)，通过门控机制决定如何更新记忆。遗忘门决定丢弃多少旧记忆，输入门决定写入多少新记忆，输出门决定对外暴露多少记忆。核心公式如下：

细读员读完每一页后，都会留下一行“对外摘要” \(\mathbf{h}_t\)。整本书读完后，他手里攥着一串摘要 \(\mathbf{h}_1, \mathbf{h}_2, \ldots, \mathbf{h}_T\)，接下来要做的，就是把这串摘要浓缩成一句话。

池化策略：合上书之后怎么总结

细读员合上书，馆长凑过来问：“整本书的基调是什么？”细读员有三种总结习惯：第一种，只看最后一章留给他的印象，因为结局往往最接近一本书的整体情绪（最后状态）；第二种，把每一章的情绪印象加在一起取平均，避免某一章的极端情绪带偏整体判断（平均池化）；第三种，挑出全书情绪最激烈的那一章，让“最强音”代表整本书（最大池化）。三种方式都有道理，关键看书的脾性。

技术上的通用叫法是“序列池化”：把 T 个隐藏状态向量压缩成一个固定长度的向量 \(\mathbf{h}_{\text{pool}}\)。因为分类头要求输入是一个固定维度的向量，而序列长度 T 千变万化，池化正是那道“可变到固定”的桥梁。平均池化的数学形式最为直观：

实际工程中，最后状态 \(\mathbf{h}_T\) 实现最简洁，但若开头的信息更重要就会吃亏；最大池化能抓住局部最强特征，却容易丢掉整体节奏；平均池化最稳健，但要注意：如果序列做过填充（PAD 补零），填充位参与平均会稀释真实信息，所以平均池化往往要给填充位设置掩码（mask），只对真实位置取平均。管理员选哪种总结法，本质上是在回答“这本书的什么方面最能代表它的整体情绪”。

分类头设计：贴下最后一枚书架标签

总结出“一句话要点”后，最后一步就是贴标签。管理员不打“硬标签”，而是给三个书架各打一个契合度分：温暖 9 分、平淡 5 分、阴郁 1 分。为了让分数像占比一样直观，他用了一个叫 Softmax 的工具：把这三个分数换算成三个 0 到 1 之间的概率，加起来正好是 100%。这样一来，分数间的相对关系被保留，还变成了一组可以解释的置信度。

技术上，分类头由两部分组成：首先是一个全连接层，把池化向量 \(\mathbf{h}_{\text{pool}}\) 线性映射成 K 维的得分向量 \(\mathbf{z}\)；随后接一个 Softmax 层，把得分转成概率分布。完整公式如下：

概率除了给出答案，还给出了“犹豫度”：如果结果是“温暖 70%、平淡 30%”，说明模型偏向温暖但不够坚定；如果某条业务数据要求高确定性，就可以设定置信度阈值，把低置信度的样本转给人工复核。管理员靠着“打分 + Softmax”这套组合，既快又稳地给今天的第一摞书贴好了标签。

数据预处理：把乱书修整齐再读

正式开工的第一天，你发现书库的“书”乱得离谱：有的缺页（序列很短），有的页码跳号（序列长度参差），有的字迹歪歪扭扭（词的编号没有语义信息）。细读员再厉害，面对排版混乱的书也无法公平比较——他需要先有一套统一的阅读规范。于是馆长定下三条规矩：缺页的书统一补上空白页（序列填充）；每个字换成一张标准字卡，卡片上有固定厚度的特征（词嵌入）；训练用的样书还要预先贴上标准答案标签（标签编码）。

技术上的“标准字卡”，就是词嵌入层：它把离散的词编号映射成稠密的向量，向量里每个维度都携带语义信息。而“补空白页”就是在序列尾部填充一个特殊的 PAD 标记，把所有样本拉到统一长度 L。两者的数学表达如下：

除了长度和嵌入，标签编码同样关键：文本类别“积极 / 平淡 / 阴郁”要先转成整数 0/1/2，训练时再配合 one-hot 编码参与交叉熵损失计算。书修整齐后，细读员的读取效率才真正提得上来；而填充留下的“空页”，在池化阶段要用掩码避开，否则空页会稀释整本书的情绪浓度。

训练与评估：实习管理员的转正之路

新管理员上岗要先实习。馆长的带教方案很直接：给一批“已有标准答案”的样书（训练集），让管理员逐本分类；馆长拿着标准答案打分——哪里分错了，就告诉他该往哪个方向调整阅读习惯（梯度反传）；管理员据此微调自己的记笔记方式（参数更新）。每训练一阵子，馆长就来一次突击测验（验证集），连续几次测验成绩都没进步，就提前结束实习（早停）。最后到正式书库（测试集）上验收，看分类准确率。

技术上，馆长打分用的“红笔”就是交叉熵损失函数。它衡量的是模型预测的概率分布与真实标签分布之间的差异：预测越自信且越正确，损失越小。交叉熵的公式为：

评估阶段，最常用的指标是总体准确率（预测正确的样本数除以总样本数），但单看准确率可能被类别不平衡误导，所以还要配合混淆矩阵看每个类别的精确率和召回率。数据划分通常按 8:1:1 分为训练集、验证集、测试集。管理员的“手感”就是模型学到的参数，交叉熵是馆长的红笔，准确率则是转正答辩的评分表——LSTM 序列分类项目，正是在“读、总结、贴标签、改错、复考”的循环中越做越准。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class LSTMClassifier(nn.Module):    def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes):        super(LSTMClassifier, self).__init__()        self.embed = nn.Embedding(vocab_size, embed_dim, padding_idx=0)        self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True)        self.classifier = nn.Linear(hidden_dim, num_classes)     def forward(self, x):        emb = self.embed(x)        out, (h_n, c_n) = self.lstm(emb)        h_pool = out.mean(dim=1)        logits = self.classifier(h_pool)        return logits  def main():    torch.manual_seed(42)    vocab_size = 20    seq_len = 8    batch_size = 32    model = LSTMClassifier(vocab_size, embed_dim=8, hidden_dim=16, num_classes=3)    criterion = nn.CrossEntropyLoss()    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)    x = torch.randint(1, vocab_size, (batch_size, seq_len))    y = torch.randint(0, 3, (batch_size,))    for epoch in range(50):        optimizer.zero_grad()        logits = model(x)        loss = criterion(logits, y)        loss.backward()        optimizer.step()        if epoch % 10 == 0:            acc = (logits.argmax(dim=1) == y).float().mean().item()            print("epoch={} loss={:.4f} acc={:.2f}".format(epoch, loss.item(), acc))  if __name__ == "__main__":    main()

1. self.embed = nn.Embedding(vocab_size, embed_dim, padding_idx=0)词嵌入层，把单词编号变成 8 维稠密向量，padding_idx=0 表示编号 0 是填充位
2. self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True)LSTM 层，逐词读取序列并产出隐藏状态
3. out, (h_n, c_n) = self.lstm(emb)out 包含每个时间步的隐藏状态，h_n 是最后一步状态，c_n 是最后细胞状态
4. h_pool = out.mean(dim=1)对全部时间步做平均池化，把整段序列浓缩成一个向量
5. logits = self.classifier(h_pool)分类头通过全连接层输出 K 类得分
6. loss = criterion(logits, y)交叉熵损失，衡量预测分布与真实标签的差距
7. loss.backward()反向传播计算梯度，优化器随后更新参数

常见误区

面试题