文本预处理：BPE字节对编码

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

什么是BPE

你经营的乐高工厂每周要交付几百款不同的模型，一开始每款都从单颗粒拼起，老师傅们腰都直不起来。厂长发现，不同订单里“窗户+门框”“车轮+车轴”这些组合反复出现，干脆提前把最畅销的组合铸成一体化的预制件——工期缩短，返工也少了。BPE 把这套“预制件思维”带进了自然语言处理。

BPE 全称 Byte Pair Encoding（字节对编码），最早是 Gage 在 1994 年提出的数据压缩算法。2016 年，Sennrich 等人把它引入 NLP，用来构建“子词词表”。它的做法和工厂一模一样：先把语料拆成最小单位（字符或字节），统计所有相邻字符对的出现频率，把最高频的那对“预装”成一个新词元。重复这个过程，就得到一套子词预制件，也就是子词词表。

为什么需要子词？词级方案（按空格切分）词表动辄几十万，还频繁遇到词典里没有的未登录词；字符级方案不会漏词，但一个单词被拆成一串字符，序列变长、计算开销大，语义单元也太碎。BPE 在两者之间取平衡：高频词整体保留，低频词拆成常用子词，实在不认识的词还能拆到字符兜底。从压缩角度看，它把 “lowest“ 从 6 个字符压成 ”low” + "est" 两个词元，本质是一种词典压缩。

工厂只给“卖得最好”的组合开模具，BPE 只给“出现最多”的字符对合并——每一次决策都由数据说了算，这就是子词词表诞生的全部秘密。

词表与OOV

模具不是白造的：每副模具都占仓库储位、需要保养维护。厂长最头疼的是储位到底留多少——留太多，库存成本和开模费爆炸；留太少，热销件缺货，订单只能干等。BPE 的聪明之处在于，“模具数量”完全由“合并次数”这一个旋钮控制。

词表大小等于初始字符集加上合并次数。初始字符集通常只有几百个（字符或字节），每合并一次就多一个新词元。想要覆盖更复杂的文本，就多合并几轮；想要省内存，就少合并几轮，这就是词表规模与覆盖能力的平衡。OOV（Out-of-Vocabulary，未登录词）指模型词表里没有的词——传统词级方案中，专有名词、拼写变体、emoji 都会触发 OOV。而在 BPE 下，任何生词都能被切分为词表中的子词，最坏情况到单字符兜底，OOV 率趋近于零，词表却能保持在几万级别的可控范围。

老板要开多少副模具直接决定仓库多大——BPE 把词表大小变成了一个由合并轮数精确控制的旋钮，“词表预算”从此不再失控。

算法流程

铸模车间有条雷打不动的四班流程：先盘点零件，再统计销量，接着开新模具，最后更新产品图纸。第二天必须重新盘点，因为新模具诞生后，畅销组合可能变了。BPE 的训练流程正是这个循环。

具体四步：第一步，初始化——把语料的每个词拆成字符序列，并加上单词结束符 </w> 用于标记词边界。第二步，统计——扫描全部词，统计每个相邻字符对的频次，统计时乘以词频加权。第三步，合并——选出频次最高的字符对，合并成一个新词元，替换语料中所有出现的位置。第四步，停止——达到预设合并轮数后输出合并规则表。关键点在于：每轮合并后必须重新统计，因为新词元和邻居又形成了新的相邻对，最优组合会动态变化。

上周“窗+框”组合卖爆合并成预制件之后，这周“框+玻璃”可能成为新销冠——BPE 每轮都重新“看数据”，而不是抱着一张旧统计表不放。

编码与解码

有了预制件，工厂还得教会工人两件事：新图纸怎么按模具库组装（编码），退货怎么拆箱验收（解码）。组装时优先找整块预制件，找不到就找最大的局部，实在没有就用散装颗粒；验货时把所有构件按顺序拼回去，原样还原即可。

编码阶段，给定任意句子，BPE 按词表从左到右做贪心最长匹配切分——优先匹配最长的词元，匹配不到就降级到更短词元，最终一定能拆到字符级，因此永远不会遇到“拆不动”的词。输出是词元 id 序列，交给模型。解码阶段，把 id 查回词元字符串，按序拼接（去掉边界标记）即还原原词。训练得到的合并规则表（哪对合并成了哪个词元）是整个过程的“模具清单”，编码解码都要用到它，所以 BPE 是一个无损、可逆的过程。

组装工永远能找到零件——大到预制件、小到散颗粒，总能拼出图纸上的模型。这就是 BPE 面对“从未见过的新词”也毫不慌张的底气。

预训练模型

乐园要办超级城堡展，几十家参展商共用一套零件目录。游客再多、工期再紧，大家都能按统一标准生产，任意订单都不会因“缺零件”卡壳。GPT、BERT 这些大模型，就是城堡展的参展商。

GPT 系列使用 Byte-level BPE：从字节级开始建词表，固定词表大小 50,257，任何语言、任何符号（包括 emoji）都能切分。BERT 使用的是 BPE 的变体 WordPiece，词表约 3 万。Hugging Face 的 tokenizers 库把这些算法工程化，提供现成的 ByteLevelBPETokenizer 等组件，Tokenizer 生态由此成为预训练管线的标准一环。多语言混合文本（如中英混排的新闻、代码与注释混合的文件）也能被统一词表处理，不再需要每种语言各自造词表。

统一零件目录让整个乐园高效运转——统一词表让所有预训练任务复用同一套 BPE 模具，这正是 GPT 与 BERT 能处理无限多样文本的共同基石。

改进变体

隔壁积木厂觉得“光看销量”太粗放，推出了自己的决策标准；还有工厂干脆不做预切割，把整块板材直接送进车间。BPE 家族由此开枝散叶，衍生出多个改进版本。

WordPiece（BERT 采用）换了一种选择标准：不再看组合的绝对频次，而是看“绑定程度”，选择分数最高的对合并。Unigram（T5 等模型可选）则反过来做——先给出一个很大的候选词表，再用 EM 算法迭代剪枝，每步去掉对语言模型损失贡献最小的词元。SentencePiece 更激进：不做预分词，直接把整句（含空格）作为字符流，用特殊符号标记空格，天然支持中文、日语等无空格语言。它们各有取舍：BPE 简单可控，WordPiece 更讲究绑定关系，Unigram 词表质量高但训练更昂贵。

光看销量会误判：超高频的 “o“ 和 ”t“ 从不并肩出现，WordPiece 的比值打分体现了”高频共现“与”真正绑定”之间微妙的区别。

实际应用

预制件方案从城堡车间推广到主题酒店、机器人餐厅、游客纪念品店，整个乐园的供应链都围绕同一套零件目录运转。应用越广，BPE 的价值越凸显。

在机器翻译中，低资源语言（如斯瓦希里语）语料稀缺，词级分词覆盖率极差，BPE 子词让翻译模型依然能拼出绝大部分词汇。在多语言混合场景下，一套共享词表同时服务中英日阿多种语言，避免每种语言独立建表的资源浪费。在代码生成模型中，代码是自然语言、变量名、符号的混合体，BPE 天然拆解 "camelCase"、"snake_case" 这类复合词，显著提升代码补全质量。实际部署中，工程师常用压缩率来评估词表质量——分词后序列越短，说明子词切分越合理。

从单一车间到全乐园供应链，“高频复用”的思想穿透了所有生产环节。BPE 也一样——从机器翻译到代码模型，它始终是文本进入大模型前的第一道、也最关键的一道工序。

AI 应用场景

Python 演示

from collections import Counter  def get_pair_stats(vocab):    pairs = Counter()    for word, freq in vocab.items():        symbols = word.split()        for i in range(len(symbols) - 1):            pairs[symbols[i], symbols[i + 1]] += freq    return pairs  def merge_pair(pair, vocab):    bigram = ' '.join(pair)    merged = ''.join(pair)    out = {}    for word, freq in vocab.items():        out[word.replace(bigram, merged)] = freq    return out  def train_bpe(corpus, num_merges):    vocab = {}    for word, freq in corpus:        vocab[' '.join(list(word)) + ' </w>'] = freq    merges = []    for _ in range(num_merges):        pairs = get_pair_stats(vocab)        if not pairs:            break        best = max(pairs, key=pairs.get)        merges.append(best)        vocab = merge_pair(best, vocab)    return merges, vocab  if __name__ == '__main__':    corpus = [('low', 5), ('lower', 2), ('newest', 6), ('widest', 3)]    merges, vocab = train_bpe(corpus, 8)    print('Learned merge rules:')    for i, m in enumerate(merges, 1):        print('Round %d: %s -> %s' % (i, ' '.join(m), ''.join(m)))    print('Final vocab (%d entries):' % len(vocab))    for w in sorted(vocab):        print(' ', w)

1. vocab[' '.join(list(word)) + ' </w>'] = freq初始化：把每个词拆成带空格的字符序列并追加词尾标记，比如 "l o w </w>"
2. pairs[symbols[i], symbols[i + 1]] += freq统计相邻字符对时按词频加权，"l o" 在 low、lower 各出现一次，共计数 7
3. best = max(pairs, key=pairs.get)从所有相邻对中选出频次最高的那对，等价于公式里的 argmax
4. word.replace(bigram, merged)把词中所有 “e s“ 替换为合并后的词元 ”es”，完成一次合并
5. merges.append(best)把本轮合并规则记录下来，这份规则表就是编码和解码共用的“模具清单”

常见误区

面试题