序列生成实战：从文本到音乐的创意应用

可视化演示

展示LSTM序列生成的自回归流程，对比文本、音乐、代码等不同应用场景的序列生成特点。

序列生成原理

老作曲家拿起笔，在五线谱上写下第一个音符。他不会飞笔直指乐曲结尾，只敢保证一件事：眼前这个音符，与前面所有音符“接得上”。他脑中的即兴乐感，就是一部不断更新的记忆——刚弹出的旋律还萦绕耳畔，他便依着这余音推出下一音。这就是序列生成的第一性原理：给定已知的既往序列，预测接下来最合理的符号。

在LSTM眼中，一段文本、一首曲子、一行代码、一串碱基，都只是“符号序列”。统一的任务是：计算下一个符号的条件概率。这里的“条件”就是此前所有内容。老作曲家不会一次性构思完全曲，LSTM也不会一次性计算出整篇输出，它一次只吐出一个token，把自己刚生成的token再当作新输入，循环往复直到停止符出现。

将这套机制用数学语言说清楚，就是条件概率的链式分解。老作曲家的经验不在于某个音符本身，而在于“前一串音符之后，下个音符更可能是哪个”。

这便解释了为何LSTM只做一件事——“续写”。它不需要理解全局计划，只要让每个局部音符与前面的旋律融洽即可。正是这个朴素机制，使得同一套LSTM可以写小说、谱曲子、补代码。老作曲家的智慧不在于背谱，而在于掌握了“音符之间的衔接惯性”。

数据准备

老作曲家收藏了一柜子乐谱手稿，但他不能直接把这些纸塞进大脑。他需要先把乐谱抄成统一格式的“数字谱”：每个音符用一个编号表示，每小节按固定长度切开，一册册整齐归档。数据准备阶段，就是把这个整理过程做到极致——无论输入是小说、MIDI文件还是基因序列，都得先变成整齐的、模型能读懂的数值序列。

原始文本是长短不一的字符串，需要先清洗（去掉噪声符号、统一换行），再切分。切分时有一种常用手法叫滑动窗口：拿一个固定长度 $k$ 的窗口顺着文本滑动，每次取 $k$ 个符号作为“已知前文”，紧跟其后的第 $k+1$ 个符号作为“预测目标”。老作曲家从一长段旋律中截出“前四拍，预测第五拍”的练习片段，于是柜子里多了一批工整的“习题卡”。

构建词典则是给每个唯一符号分配一个整数编号。文本中“我”是 0，“爱”是 1；音符中 C 是 0，D 是 1；DNA 中 A、T、G、C 分别赋予编号。最后，编号还要被转成向量（embedding），相当于把符号搬到一张“含义地图”的坐标上，让模型可以按向量相似度理解符号之间的远近。

数据决定了模型能力的上限，模型只是逼近这个上限。老作曲家的习题卡如果只有三首曲子，他永远写不出第四种风格。多样化、干净、配对工整的训练数据，是一切序列生成产品的基石。

文本生成

老作曲家偶尔也写歌词。他写词不用先想好整首歌，而是在纸上一个词接一个词地落笔——先写下“明月”，犹豫片刻，补上“几时有”。他能这样创作，是因为听过的诗词歌赋在他脑中形成了“词与词的接续感”。文本生成任务，就是让LSTM学习这种接续感，然后自动续写。

模型可以基于字符，也可以基于词。字符级模型把每个汉字当作一个符号，词典小、生成灵活，但需要很长的上下文才能稳住语法；词级模型把“人工智能”这种短语当作一个整体，生成更流畅，但词典庞大、容易遇到没见过的词。老作曲家可以逐笔画写字（字符级），也可以用常用词块（词级），两者各有取舍。

生成时不能每次只挑概率最大的词，否则会陷入重复。因此引入采样策略：按概率分布随机抽取，偶尔给“冷门词”一点机会。其中温度 $T$ 控制随机程度——$T$ 低则保守，$T$ 高则天马行空。

所以文本生成的产品调参核心不是改模型，而是调采样策略。想让老作曲家写公文，把 $T$ 降到 0.6；想让他写奇幻小说，把 $T$ 调到 1.2。温度旋钮，是面向用户的“创造力开关”。

对话机器人

写歌词是独自面壁，对话却是双人对唱。老作曲家有时会和另一位乐手即兴对奏：对方奏出一段乐句，他略一沉吟，回一句呼应。对话机器人做的事完全相同——读进用户的一句话，生成一句语义连贯的应答。它不是从数据库里抄回答，而是“即兴接话”。

要让模型学会接话，训练数据要组织成“提问-回复”对：把人类客服聊天记录切成 $(\text{问题}, \text{回答})$ 组合。模型结构上常用序列到序列（Seq2Seq）：一个编码器LSTM把问题整个读一遍，在结尾处拧成一个语义向量（记忆卡）；解码器LSTM从这个记忆卡出发，逐词生成回答。老作曲家在对方奏完时深吸一口气，把对方旋律的要义“压进”脑中，然后凭这股气续出下一句。

对话机器人的难点在于上下文窗口有限——老作曲家记不住三天前的对谈，只会基于最近几句话回应。实际产品需要外挂记忆系统或用更长序列模型。但核心机制不变：你一句、它一句，句句都建立在记忆之上。

音乐生成

老作曲家最拿手的还是本行——谱曲。音乐自动生成和文本生成惊人地相似：把旋律看成音符序列，模型一个音符一个音符地往后写。不同的是，“符号”变成了MIDI音符编号与时值（音符持续多长时间）。一段《生日快乐歌》可以被表示为数字序列：60（C4）、62、64、60、60、62、64……LSTM的任务就是掌握数字之间的“旋律惯性”。

MIDI是音乐数字接口的简称，它把音高、力度、时值全部转成数字。因此音乐生成的数据准备比文本多一步：把音频或人工谱曲转成MIDI格式，再拆成“音符编号 + 时值”的短序列。建模时，可以把音高和时值合并为一个token（如“60-四分音符”），也可以分开两个序列预测。

风格控制是一个有趣的问题：想让模型写出古典还是爵士？老作曲家脑中“古典”和“爵士”两套乐感，对应到模型上是风格条件向量——在生成每个音符前，额外输入一个表示风格的小向量，相当于给LSTM一个“提示”。古典派的巴赫和爵士派的格什温，用同一台LSTM就能切换。

音乐生成产品的关键不在模型多深，而在时值处理和风格数据配比。老作曲家如果把八分音符和全音符混为一谈，旋律就会失去呼吸感；把巴赫和摇滚揉在一起，生成结果也会不伦不类。

代码补全

老作曲家晚年开班授课，学生总把谱子写到一半卡住，他便接过笔，帮他们把后半段补上。代码补全就是这样一个“帮学生续谱”的场景：开发者在IDE里敲到一半，LSTM阅读前文代码，预测下一个代码token。代码也是序列，但它比自然语言更注重结构：括号要配对、函数要完整、缩进要一致。

代码需要先被令牌化。与文本按字切分不同，代码常按“语义块”切分：def、function、return 是独立token，变量名可能被切成子词。这样词典更小，也能捕捉常见代码模式。LSTM见过大量 for i in range(...) 后，模型会天然学会“写完 for 后紧跟空格和变量名”的编程惯性。

长上下文是代码补全的痛点。一首歌只有几百个音符，但一个项目文件有成百上千行代码。LSTM的记忆窗口有限，看不到文件开头的函数定义，就可能在补全时忘了返回类型。因此实用的代码补全工具会把“光标之前最近的几百个token”整体送入模型，用窗口截出一个短上下文，再逐token预测。

产品落地时，代码补全比文本生成更在意延迟和准确性。老作曲家补谱可以慢悠悠，IDE里的补全却必须在几十毫秒内返回。所以工程上常用浅层模型做首轮候选、大模型做精排，或提前把常用代码片段缓存起来。

质量与部署

老作曲家的新作写完了，如何判断好不好？不能等观众喝倒彩才改。序列生成模型需要一个“内部评审”指标——困惑度（Perplexity）。困惑度越低，说明模型对下一个token的预测越自信、越准确，相当于老作曲家落笔时毫不迟疑，否则便是抓耳挠腮。

调优生成体验，温度是最直接的旋钮：高温让老作曲家放飞自我，低温让他字斟句酌。若想追求高准确率（如代码补全、机器翻译），则用Beam搜索：同时保持多条候选路径，避免贪心算法在早期选了错误分支就一路错到底。老作曲家会先写下三种可能的后续小节，逐一推演后再选衔接最顺畅的一条。

部署阶段，序列生成的实时性挑战明显：模型要逐token生成，每生成一个都做一次前向计算。这就需要量化加速、批量缓存隐藏状态等工程优化。产品上线后还要持续监控生成质量——用困惑度指标和用户反馈来迭代。

每次调模型，老作曲家就这样对着“打分表”一遍遍试：困惑度降了，说明他能更顺滑地预料下一个音符；实际听感却未必最好——指标与主观感受之间仍需人工回归。质量体系最终是数据、采样、搜索、监控四者的共同协作。

AI 应用场景

Python 演示

import torchimport torch.nn as nn # 用一小段中文作为训练语料corpus = "床前明月光，疑是地上霜。举头望明月，低头思故乡。"chars = sorted(set(corpus))char2idx = {c: i for i, c in enumerate(chars)}idx2char = {i: c for i, c in enumerate(chars)}V = len(chars) # 用滑动窗口构造训练数据：输入4个字，预测第5个字seq_len = 4X, y = [], []for i in range(len(corpus) - seq_len):    X.append([char2idx[c] for c in corpus[i:i + seq_len]])    y.append(char2idx[corpus[i + seq_len]])X = torch.tensor(X)y = torch.tensor(y)  class CharLSTM(nn.Module):    def __init__(self):        super().__init__()        self.embedding = nn.Embedding(V, 32)        self.lstm = nn.LSTM(32, 64, batch_first=True)        self.fc = nn.Linear(64, V)     def forward(self, x, state=None):        emb = self.embedding(x)        out, state = self.lstm(emb, state)        logits = self.fc(out[:, -1, :])        return logits, state  model = CharLSTM()loss_fn = nn.CrossEntropyLoss()optimizer = torch.optim.Adam(model.parameters(), lr=0.01) for epoch in range(60):    logits, _ = model(X)    loss = loss_fn(logits, y)    optimizer.zero_grad()    loss.backward()    optimizer.step()    if epoch % 20 == 0:        print(f'epoch {epoch}, loss {loss.item():.4f}')  def generate(seed, length=8, temperature=0.8):    model.eval()    state = None    with torch.no_grad():        for _ in range(length):            x = torch.tensor([[char2idx[seed[-1]]]])            logits, state = model(x, state)            probs = torch.softmax(logits / temperature, dim=-1)            next_id = torch.multinomial(probs.squeeze(0), 1).item()            seed += idx2char[next_id]    return seed  print(generate('床前明', length=10))

1. X.append([char2idx[c] for c in corpus[i:i + seq_len]])滑动窗口取连续4个字作为输入。
2. y.append(char2idx[corpus[i + seq_len]])取窗口后紧跟的1个字作为预测目标。
3. self.lstm = nn.LSTM(32, 64, batch_first=True)输入向量32维，隐藏记忆64维，LSTM核心层。
4. out, state = self.lstm(emb, state)前向传播，返回每一步输出和最新记忆状态。
5. logits = self.fc(out[:, -1, :])只取最后一个位置的状态映射到词典大小。
6. probs = torch.softmax(logits / temperature, dim=-1)在词典上做带温度的采样分布。
7. torch.multinomial(probs, 1)按分布随机抽取一个索引，避免每次都选最可能字符而重复。

常见误区

面试题