GPT自回归预训练：语言模型生成范式

可视化演示

展示GPT三大核心机制：Next Token逐词生成、因果掩码隔离未来信息、GPT与BERT预训练范式对比，三模式交互演示。

自回归机制：逐字续写的因果链

在小蒙的猜字训练里，有一条不可违背的铁律：决定下一个字时，只能依据已经写出的字。 他不能问师父“后面是什么”，也不能偷偷翻页。这条铁律听上去简单，却把“写作”这个看似高深的行为，变成了一个可以一步步执行的机械过程——先看已写的前文，猜下一个字；揭晓后，把新字并入前文，继续猜再下一个。日复一日，小蒙就在这条铁律的牵引下，把整本书从头猜到尾。

这条铁律在数学上有一个响亮的名字：自回归（Autoregressive）。它把一段文字出现的概率，拆解成“每个字在给定前文的条件下出现的概率”之积。GPT 做的正是这件事：把语料里的每一句话都拆成一连串“给定前文、预测下一个 token”的练习题，然后让模型在亿万道练习题里磨炼。

在 GPT 的世界里，“字”不一定是汉字或英文单词，而是 token——一种把文本切分成小块的基本单位，可能是一个词、一个字，甚至一个子词。模型预测的粒度是 token，而不是整句话。

这种“每一步只依赖过去、不依赖未来”的链式分解，正是自回归的精髓。小蒙猜得越多，“只看前文”的本能就越强，整本书在他眼里不再是一个不可分割的整体，而是一串环环相扣的接龙。

预训练目标：蒙眼猜字的海量小测

小蒙的训练没有教材，只有一本又一本没有答案的书。师父的流程永远是：翻开书，挡住后文，让他猜下一个字，然后“铛”一声揭晓答案，继续往前。猜对，皆大欢喜；猜错，小蒙要在心里记下这个教训——“原来这里不该接那个词”。这种从亿万次试错里积攒语感的过程，就是 预训练（Pre-training）。

GPT 的预训练目标有一个精确的名字：下一词预测（Next Token Prediction）。模型读入一段前文，输出一个概率分布，表示“下一个 token 可能是谁”，然后与真实的 token 对比。差距越大，模型在训练中受到的“惩罚”越重；差距越小，说明模型越接近一个语感大师。

这个“惩罚”在数学上叫 负对数似然（Negative Log-Likelihood, NLL）。它的核心思想是：如果模型给真实下一个 token 的概率是 0.9，损失就很小；如果只给了 0.1，损失就很大。把所有位置的平均损失压到最低，模型的预测能力就越来越强。

为什么 GPT 用“预测下一个词”而不用“预测被挖空的任意词”？因为生成这件事本身就是“从左到右、逐个产出”。训练时猜下一个词，生成时也在猜下一个词——目标一致，训练和 inference 之间没有任何“翻译”成本。小蒙集训时的猜字练习，恰好就是出师后每日工作的翻版。

架构简化：撤掉抄写台的写作间

在早期 Transformer 里，有一类模型是“翻译员”结构：一个编码器（Encoder）负责把整句话“读”成一张全景图，另一个解码器（Decoder）再根据这张图逐词抄写出来。对小蒙来说，这相当于师父给他配了两张桌子：一张放“全文地图”，一张放“写作草稿”。但 GPT 的师父做了一个大胆的决定：撤掉地图桌，只留写作桌。

这个决定就是 移除编码器、仅保留解码器（Decoder-only）。直觉上，写书的人根本不需要一张“未来的地图”——他下一笔的依据永远是已经落笔的内容。编码器擅长理解整句，但生成任务只需要“基于前文预测下文本”，保留编码器反而让训练目标绕了一个大弯。GPT 把 Transformer 的解码器层一堆到底：每一层都包含自注意力、前馈网络和残差连接，层层堆叠，如同一摞整齐的写作参考卡。

技术上说，每一层把上一层的隐藏状态 \(\mathbf{h}^{(l-1)}\) 加工成更抽象的表达 \(\mathbf{h}^{(l)}\)。多头注意力负责从“已写内容”中挑选相关信息，前馈网络负责把信息揉成“下一词的倾向”，残差连接则保证信息在深层网络中不丢失。

这个“只留草稿本”的架构，是 GPT 系列最具辨识度的设计。翻译员手里的全景图虽然信息丰富，但生成时必须小心地把每个词“对齐”到图上；而小蒙只需要盯住自己写过的字，全神贯注地猜下一个。简化不是偷懒，而是让模型把全部能力都聚焦到“延续前文”这一件事上。

因果掩码：不能偷看后文的书签

小蒙的师父有一件法宝——一根“禁忌书签”。每当他翻开书，书签总是精准地挡在当前位置之后，把所有未来的文字遮得严严实实。小蒙不是没动过歪心思：要是能瞥见后面的字，猜起来岂不是百发百中？但师父绝不允许。这根书签在 GPT 里也有一个对应的机制：因果掩码（Causal Mask）。

在 GPT 的自注意力计算中，每个 token 都要对序列中其他 token 做“关联打分”。如果不加限制，模型的注意力分数会同时看到左侧和右侧的 token，未来的信息就“泄露”到了当前。因果掩码的做法非常直接：在注意力分数矩阵上，把“右上角”（代表当前位置看未来位置）的部分全部设为一个极大的负数，让它们在 softmax 归一化后变成零——未来 token 对当前 token 的注意力权重被彻底清零。

形式化地，注意力输出是 softmax 处理过的加权和，其中掩码矩阵 \(\mathbf{M}\) 像一个铁面无私的守门员：允许看到自己和过去（\(i \ge j\)），禁止看到未来（\(i < j\)）。

因果掩码让 GPT 在训练时就养成了“只看左边”的习惯。当小蒙练习猜字时，书签死死压住未来；到他真正生成时，他天然就不会去“等”后面的字——因为他的注意力结构里，未来从来就不在场。

生成范式：出师后的自由创作

十年功成，小蒙出师了。师父交给他一根空白的卷轴，说：“从今天起，你自己写。”小蒙深吸一口气，在纸上写下第一个字，然后——就像训练时那样——看着已写出的前文，心里默默给所有可能的下一字打分，从中挑一个写下，如此反复，直到整篇文字完成。写作，竟然就是猜字的自然延续。

GPT 的生成过程也完全一样：它把已生成的 token 序列作为输入，通过自回归解码（Autoregressive Decoding）逐步产出下一个 token。每一轮，模型输出一个 logits 向量，即每个候选 token 的原始得分；得分经过 softmax 变成概率分布；然后从这个分布中采样（Sample）出一个 token，拼接到输入末尾，进入下一轮。

为了让生成不那么“机械”，模型引入了一个旋钮：温度（Temperature, \(\tau\)）。温度越低，概率分布越尖锐，模型总挑最高分的词，输出保守稳定；温度越高，分布越平坦，低分的长尾词也有机会被选中，输出更随机、更有创造力。这就像小蒙写字时的两种状态：小心翼翼地誊抄，或者天马行空地发挥。

你可能会发现一个有趣的闭环：训练时模型在做“给定前文，预测下一个 token”，生成时模型仍在做“给定前文，预测下一个 token”。唯一的区别是，训练时下一个 token 来自真实语料，而生成时来自模型自己的采样。小蒙出师后写的每一个字，用的都是集训时练就的那块肌肉——这也是“预训练目标天然对齐生成任务”的最直观体现。

预训练流程：从书库到脑回路的训练车间

小蒙的“语感”不是凭空来的。在师父的书坊深处，有一间昼夜不熄的“训练车间”：成箱的书籍被运进来，切成一页页、一行行、一个个字；学徒们排着队，每个人手里拿着同一本“错题本”。这套流水线，对应的正是 GPT 预训练的完整流程。

第一步是数据准备：把海量互联网文本收集、清洗、切分成 token 序列，并按固定窗口长度截成训练样本。第二步是批次训练：把一批样本同时喂进模型，计算每个位置的预测损失。第三步是梯度更新：根据损失函数对模型参数的导数，沿“让损失变小”的方向调整参数——这就是梯度下降（Gradient Descent）。第四步是迭代收敛：一批又一批地重复以上步骤，直到损失稳定不再下降，模型获得稳定的“语感”。

形式化地，每一步更新都遵循同一个公式：把当前参数减去“学习率 × 梯度”。学习率 \(\eta\) 像是学徒迈步的幅度——迈大了容易错过最佳点，迈小了进步太慢。

这套流水线运转在 GPU 集群上，参数动辄数十亿上百亿，语料动辄数万亿 token。小蒙的“错题本”在真实世界里就是不断更新的模型权重——每一次猜错留下的教训，都被压缩成一连串浮点数，沉淀在数十亿个参数里。等到训练收敛，车间熄灯，一个“语感大师”就此诞生。

扩展能力：从学徒到全能文豪

小蒙成名之后，来找他写东西的人络绎不绝。有人给他看了几句童话开头，他就能接续一整个故事；有人给他几段公文范例，他就能写得像模像样。他不再是那个只会照着书猜字的学徒，而成了一个“给个例子，就能照葫芦画瓢”的全能文豪。这种能力在 GPT 身上，叫做 上下文学习（In-Context Learning），也是规模扩大后浮现出的惊人特性。

为什么小蒙能做到？关键在于“规模法则”：模型的参数量 \(N\) 越大、训练数据越多，它对语言分布的拟合就越精细。研究者发现，模型损失和参数量之间存在一个幂律关系——参数翻倍，损失虽然不会归零，但会沿着一条平滑的曲线稳定下降。这就是著名的 缩放定律（Scaling Law）。

规模带来的不只是“更会猜字”，更是推理、翻译、写代码、对话等通用能力的涌现。但这些能力的源头，依然是那个朴素的循环：看完已写的前文，猜下一个 token，再把猜出的结果接回去。小蒙从学徒到文豪的蜕变告诉我们——当“猜字”练到极致，广泛而通用的生成能力便会自然浮现，这就是 GPT 作为生成式预训练范式最迷人的地方。

AI 应用场景

Python 演示

import randomfrom collections import Counter, defaultdict  class ToyGPT:    """极简版自回归语言模型：只统计每个字后面各字出现次数。"""     def __init__(self, text, seed=42):        random.seed(seed)        self.chars = sorted(set(text))        self.trans = defaultdict(Counter)        for a, b in zip(text, text[1:]):            self.trans[a][b] += 1     def next_token_probs(self, token, temperature=1.0):        """模拟 GPT 的单步预测：依据当前 token 给出下一 token 分布。"""        counter = self.trans[token] if token in self.trans else Counter(self.chars)        logits = [(ch, cnt ** (1.0 / temperature)) for ch, cnt in counter.items()]        total = sum(w for _, w in logits)        return [(ch, w / total) for ch, w in logits]     def generate(self, prompt, length=60, temperature=0.7):        """自回归生成：每步采样一个 token 拼回输入，继续预测下一个。"""        out = list(prompt)        current = prompt[-1]        for _ in range(length):            probs = self.next_token_probs(current, temperature)            chars = [ch for ch, _ in probs]            weights = [w for _, w in probs]            current = random.choices(chars, weights=weights)[0]            out.append(current)        return ''.join(out)  if __name__ == '__main__':    corpus = ('从前有座山山里有座庙庙里有个老和尚在给小和尚讲故事'              '讲的是从前有座山山里有座庙庙里有个老和尚在给小和尚讲故事')    gpt = ToyGPT(corpus)    print('生成结果：', gpt.generate('从前', length=50, temperature=0.8))

1. self.trans[a][b] += 1在训练语料中统计字符转移频次，相当于“猜字小测”的答案本
2. counter.items()` 与 `cnt ** (1.0 / temperature)用温度指数对频次做缩放，模拟温度控制随机性
3. generate` 中的 `current = random.choices(chars, weights=weights)[0]按概率分布采样下一个 token
4. out.append(current)新 token 拼到已生成序列末尾，作为下一步输入，构成自回归闭环
5. prompt[-1]生成从提示词的最后一个 token 出发，与现实中的“输入前缀续写”一致

常见误区

面试题