LSTM序列生成：让模型学会创造序列

可视化演示

动态演示LSTM序列生成的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

序列生成概述

篝火边的故事接龙里，每个人都没有剧本，手里只有“已经讲出来的故事”。轮到谁，谁就必须接着上文往下编一句。把这个场景搬进计算机，就成了 序列生成（Sequence Generation）：模型根据已知的上下文，逐个预测下一个元素，再把这个元素拼回序列，作为新的上下文。文本是一串字符，音乐是一串音符，代码是一串 token——它们全都是“接龙”的对象。

传统的分类任务回答“这是什么”，回归任务回答“值是多少”，而序列生成回答的是“下一个该是什么”。要做对话系统，就要学会接话；要做代码补全，就要学会替程序员把后半句敲完。所有这类任务，都可以用一把统一的“数学钥匙”来打开：把整段序列出现的概率，拆成一个个条件概率的乘积。

回到篝火边：没有人能预测到故事的结局，但每个人都能做好眼前这一步——“看着已讲出的故事，接好下一句”。序列生成的第一性原理，就是这种“拆成一步接一步”的耐心。

自回归机制

故事接龙最核心的规则是“只许接，不许跳”。你说出的每句话，都必须建立在已经讲出的内容上；AI 生成时也一样——它把自己上一步的输出，当作下一步的输入。这种“用自己的过去预测未来”的结构，在机器学习里叫 自回归（Autoregressive）。注意这里的“回归”不是线性回归，而是“回头去看”的意思。

自回归的流程像一台永不停歇的织布机：LSTM 把当前已生成的前缀压缩成一个状态向量，然后从中“纺出”下一个元素的概率分布；采样得到一个新元素，把新元素接回序列末端，再送进 LSTM，开始下一轮。每一步都只往前挪一个位置，永远不能回头，也永远不能跳过。

由于每一步都要等上一步的结果，自回归生成天然无法并行——这也是为什么生成一大段文本总比训练慢得多。但正是这种“老老实实接龙”的结构，保证了语句的连贯性。篝火旁的故事越讲越完整，靠的不是某人剧透结局，而是一句接一句的耐心。

LSTM记忆状态

故事接龙玩到深夜，前面讲过什么很容易忘。于是大家会推选一个记性最好的人当“书记”，把关键情节记在本子上。LSTM 里也有这样一本“本子”——细胞状态（Cell State） $c_t$。普通 RNN 只有一条隐藏状态线，讲着讲着就把开头忘光了；LSTM 额外拉了一条细胞记忆线，像一根绳子横穿整段故事，把重要的情节一路带到最后。

这根绳子上挂了三扇门。遗忘门决定把旧记忆的哪几页撕掉；输入门决定把当前新信息写进哪几行；输出门决定把本子里多少内容“念出来”，作为给下一步看的隐藏状态。三道门都是神经网络自己学出来的，它们不看别的，只看“当前输入”和“上一步的记忆”，然后算出 0 到 1 之间的开关力度。

有了这本记忆笔记本，LSTM 在生成长文本时，既能记得“三句话前是晴天”，又不会被无关的细节打扰。篝火故事讲到最后，书记翻开本子还能准确说出第一句是谁说的——这就是 长程依赖（Long-term Dependency） 的由来。

教师强制（Teacher Forcing）

新手玩接龙，最怕说错一句，后面所有人顺着错句越编越离谱。老手带新手时会在一旁及时提醒：“不对，这句应该接那个。”训练 LSTM 时也有一位这样的老师——真实数据。如果训练时把模型上一轮自己生成的（很可能是错的）元素当作下一步输入，错误就会滚雪球，模型永远学不会正确的接法。

于是研究者发明了 Teacher Forcing（教师强制）：训练时，无论模型刚才输出什么，都强制把真实序列的元素作为下一步输入。模型的任务只有一个——专心学“看到真实前文时，该怎么预测下一个”。好处是输入永远是通顺的正常句子，训练稳定、还能并行展开；坏处是“比赛”（推理）时老师不能上场，模型只能吃自己生成的内容，训练与推理的输入分布不一致，这被称为 曝光偏差（Exposure Bias）。缓解办法是 计划采样（Scheduled Sampling）：训练初期多用真实输入，后期逐步换成模型自己的输出，让学生慢慢学会独立行走。

教练带路时学员走得稳、学得快，但真正的考试总是独自上场。读懂 Teacher Forcing，你就明白为什么训练好的模型一到生成时偶尔会“放飞自我”——那不是模型笨，而是它第一次离开老师自己走路。

采样温度控制

同样是讲接龙，不同人风格差别很大：有人照本宣科，每句话都选最稳妥的说法；有人天马行空，冷不防编出外星人登场。LSTM 生成时也有一颗调节“胆量”的旋钮——温度（Temperature） $T$。模型最后会输出一组得分（叫 logits，可以理解为每个候选元素的“底气值”），softmax 负责把得分变成概率。如果先给所有得分除以温度 T，再进 softmax，概率分布的形状就会改变。

温度调小（比如 0.5），概率分布变得尖锐，高得分元素几乎垄断概率，生成结果保守稳定、逻辑通顺，但容易一句话绕来绕去地重复；温度调大（比如 1.5），分布变得平坦，低得分元素也有机会被选中，内容多样更有惊喜，但也可能语无伦次。温度等于 1 时保持原样。实践中还会搭配 Top-k 采样：先把概率最低的一批候选直接“禁赛”，再按温度调整后的分布采样，兼顾多样与连贯。

火候是烹饪的灵魂。温度太低，故事干巴巴像白开水；温度太高，故事糊成一团听不懂。聪明的工程师会像调柴火一样调温度：写代码补全时用小温度求稳，做创意文案时用大温度求新。

文本生成实现

把故事接龙真正变成程序，最简单实用的起点是“从字开始”。字符级模型（Character-level Model） 把训练语料切开成一个个字符，建立一张字符表，然后用前 N 个字符预测第 N+1 个字符。它不依赖分词工具，字符表也小，还能自动学到“偏旁组字、字组词”的统计规律——像小学生用生字本学说话一样。

实现时通常三步走：先把语料转成索引序列并切成长度固定的片段，喂给 LSTM 训练（最后一个字符是老师给出的标准答案）；训练完成后，从任意起始字符出发，每步把刚生成的字符拼回输入，形成自回归循环。生成时的关键代码，是把隐藏状态投影到字符表维度，除以温度后用多项式分布采样，而不是永远选概率最大的那个。

字符级生成虽然不懂词义，但靠着“接龙”的统计规律，也能写出有模有样的句子。这就是序列生成最迷人的地方：模型没有剧本，没有大纲，只有一个接着一个字符的坚持，最终却能让一段全新的故事从篝火旁生长出来。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class CharLSTM(nn.Module):    def __init__(self, vocab_size, embed_size=32, hidden_size=64):        super().__init__()        self.embedding = nn.Embedding(vocab_size, embed_size)        self.lstm = nn.LSTM(embed_size, hidden_size, batch_first=True)        self.fc = nn.Linear(hidden_size, vocab_size)     def forward(self, x, state=None):        emb = self.embedding(x)        out, state = self.lstm(emb, state)        logits = self.fc(out)        return logits, state  def build_maps(corpus):    chars = sorted(set(corpus))    stoi = {c: i for i, c in enumerate(chars)}    itos = {i: c for i, c in enumerate(chars)}    return stoi, itos  def train_model(corpus, epochs=80, lr=1e-2):    stoi, itos = build_maps(corpus)    ids = [stoi[c] for c in corpus]    xs = torch.tensor(ids[:-1]).unsqueeze(0)    ys = torch.tensor(ids[1:]).unsqueeze(0)    model = CharLSTM(len(itos))    criterion = nn.CrossEntropyLoss()    opt = torch.optim.Adam(model.parameters(), lr=lr)    torch.manual_seed(0)    for _ in range(epochs):        logits, _ = model(xs)        loss = criterion(logits.reshape(-1, len(itos)), ys.reshape(-1))        opt.zero_grad()        loss.backward()        opt.step()    return model, stoi, itos  def generate(model, stoi, itos, start, length=12, temperature=0.8):    model.eval()    chars = list(start)    state = None    with torch.no_grad():        for _ in range(length):            x = torch.tensor([[stoi[chars[-1]]]])            logits, state = model(x, state)            logits = logits[0, -1] / temperature            probs = torch.softmax(logits, dim=-1)            idx = torch.multinomial(probs, 1).item()            chars.append(itos[idx])    return ''.join(chars)  if __name__ == '__main__':    corpus = '空山新雨后，天气晚来秋。明月松间照，清泉石上流。'    model, stoi, itos = train_model(corpus, epochs=80)    print(generate(model, stoi, itos, '空', length=14))

1. out, state = self.lstm(emb, state)LSTM 沿着序列逐步更新记忆并输出每个时刻的状态，相当于故事接龙的“大脑”。
2. logits = self.fc(out)把隐藏状态映射成每个字符的得分，相当于候选下一个字的“底气”。
3. loss = criterion(logits.reshape(-1, len(itos)), ys.reshape(-1))拿真实下一个字符当老师，计算交叉熵，这就是 Teacher Forcing。
4. logits = logits[0, -1] / temperature对最后一个位置的得分做温度缩放，控制“守规矩”还是“放开想象力”。
5. idx = torch.multinomial(probs, 1).item()按概率分布采样出下一个字符，而不是永远选得分最高的那个。
6. chars.append(itos[idx])把新字符拼回序列，作为下一步输入，形成自回归闭环。

常见误区

面试题