WordPiece分词：BERT的##前缀与贪婪匹配

可视化演示

展示WordPiece分词的贪婪最长匹配过程(tokenization->token+##iz+##at+##ion)、与BPE的核心差异（似然值vs频率合并标准）、词汇表构建与未登录词OOV拆分机制，交互切换核心维度。

为什么 BERT 需要分词

回想那座乐高小房子：如果每个单词都必须用一块独一无二的大积木拼出来，那么世界上有多少单词，积木盒里就要准备多少块积木。英文词汇量动辄五十万甚至上百万，这会让词表变得无比庞大，模型的内存和训练时间都吃不消。更重要的是，一座从没见过的房子（生词）根本没有对应的积木可用，模型只能干瞪眼——这就是经典的“未登录词”问题。

WordPiece 的解决办法是把大积木换成小块：把单词拆成更小的子词，用有限的块数拼出无限的变化。比如 unhappiness 拆成 un、happi、ness 三块，其中每一块都能在其他单词里复用：un 出现在 unable、unfair 中，happi 出现在 happiness、unhappy 中。这样一来，词表从五十万缩到三万个 token 左右，词表大小只是原来的零头。分词也就成了 BERT 接收文本前的第一道工序：原始句子必须切成子词序列，才能变成模型能读的向量输入。

这个“拆分”的数学表达很简单：一个句子 S 就是 n 个子词依次拼接的结果。

所以，积木盒里不需要准备世界上所有房子的完整造型，只要准备一小盒常用的积木块，孩子就能拼出任何见到的房子。这就是子词分词能控制词表规模、又不怕生词的根本原因。

##前缀：子词的身份标记

乐高积木要拼得稳，每块积木的卡扣位置是有讲究的：有的积木是“底座块”，可以稳稳站在地上；有的积木是“接尾块”，必须卡在前一块的侧面上。WordPiece 用 ## 前缀来区分这两种积木。词首的子词不带任何标记，比如 un 就是“底座块”；而后面接上的子词都带 ##，比如 ##happi、##ness，它们是“接尾块”。看到 ## 你就知道：这块积木不能单独摆在句首，必须接着前面那块拼。

这个约定虽然简单，却同时解决了两件事。第一，切分结果不会产生歧义：["un", "happi", “ness“] 和 [”unh”, "appi", “ness“] 是两种完全不同的切分方式，## 明确标出了每一块的”接尾“身份。第二，还原原词很容易：BERT 把 token 序列输出后，去掉所有 ## 再直接拼接，就能找回原来的单词。所以在词表存储时，”happi“和”##happi”是两个独立的词表项，虽然共享相同的字母，但身份完全不同。

用数学语言描述这个标记规则：第 0 个子词（词首）保持原样，其余子词都加上 ## 前缀。

有了 ## 这个“卡扣标记”，积木块的拼接顺序就永远不会乱。模型看到 ## 开头的 token，就知道它的语义要依附于前一个 token，从而把“不快乐”读成完整的一个概念，而不是两个孤零零的碎片。

贪婪最长匹配算法

现在积木盒准备好了，孩子要开始拆房子了。他从左往右看单词，手里的规则只有一条：先拿最大的积木试。要切 unhappiness 时，他先看整个单词 unhappiness 在不在积木盒里——不在；缩短一点，unhappines——不在；再缩短，unhappi——不在；一路缩到 un——在！于是他切下第一块 un。接下来从 h 开始，重复同样的操作：happiness、happines、happine……最终在 happi 处命中（注意查找时对非词首要加 ## 前缀，所以实际查的是 ##happiness、##happines……直到 ##happi）。切下第二块 ##happi，最后剩下 ness 命中 ##ness。

这个策略叫“贪婪最长匹配优先”：每一步都选择“能匹配的最长子词”，而不是最短的，也不是随机长度的，并且永远从左往右单向扫描，扫描过的位置不会回头重新切。它保证切分过程是确定性的——同一个词配同一张词表，永远得到同一种切法，这对模型训练和推理非常重要。但贪婪也有代价：它只保证每一步局部最长，不保证整句的切分方案是某种全局意义下的“最优”。

把“选最长”写严格一点就是：在词表 V 中，从剩余文本 R 的所有前缀里，选长度最大的那个作为当前子词。

孩子拆乐高的手法也许不是数学家眼中的“最优拆法”—他可能看不出某块积木拆成两块能拼出更多花样—但他拆得快、拆得稳，每一刀都有明确依据。贪婪匹配就是这样一种工程上极其高效的近似方案，BERT 用了它，秒级之内就能切完一整句。

WordPiece 与 BPE 的区别

同样是“把大房子拆成小积木”，市面还有一种流行的拆法叫 BPE（Byte Pair Encoding，字节对编码）。两种方法都用贪心合并的思路从语料里长出一套子词词表，但它们的核心判据不同：BPE 看“哪两块积木经常粘在一起”，WordPiece 看“把哪两块粘起来能让语义预测更确定”。

BPE 的具体做法是从字母表开始，反复统计相邻字符对的出现频率，每次把出现频次最高的一对粘成新子词。比如 “t“ 和 ”h“ 总是紧挨着出现，粘成 ”th“ 后，词表里就多了一块”大号积木“。而 WordPiece 虽然也做类似的贪心合并，但它在决定”要不要把 a 和 b 粘起来”时，会问一个更聪明的问题：合并成 ab 之后，语言模型对文本整体的似然提升有多大？合并不只是因为它常见，还因为它能让模型更好地预测下一个词。

BPE 的合并选型可以简单地写成“选频率最高的相邻对”：

两种拆积木的策略，一个像“统计工人”一个像“语义选品师”。BPE 更简单粗暴、训练更快，在很多生成模型里用得很多；WordPiece 则更贴合 BERT 这种双向语言模型的训练目标，让切出来的子词更接近有意义的语义单元，这也是 BERT 选它而不是选 BPE 的重要原因。

WordPiece 词表训练流程

那盒积木到底是怎么造出来的？孩子不是凭空设计积木块的，而是观察了大量房子的图纸（语料），把经常一起出现的零件选出来变成标准积木。WordPiece 的训练也在做类似的事，它的完整流程分四步走。

第一步，准备初始词表：把语料里出现的所有单字符收进来，再加一些高频的完整单词，比如 "the"、"of" 这种常用词，直接以整词身份进词表。第二步，用当前词表把语料切成子词序列，统计所有相邻子词对的出现频率。第三步，对每个候选合并对，计算一个分数：合并成新子词后，相比不合并，语言模型的似然能提升多少。第四步，只保留分数最高的那一个合并，更新词表，然后回到第二步重新统计，循环往复，直到词表达到预设的大小（BERT 大约是 3 万）。

整个训练过程用一句话概括就是：语料负责提供候选，似然负责做裁判。每次合并的分数可以用合并前后概率的比值来衡量：

这就像是孩子的积木盒在一次次的拼搭中“自我进化”：每轮只增加一块最有用的新积木，其他候选统统排队等待。训练结束后，盒子里留下的每一块积木都经过语料的千锤百炼，既有细碎的单字母小块，也有像 un、ness 这样的常用“大块头”，恰好够 BERT 拼出绝大多数单词。

未登录词与稀有词处理

再坚固的积木盒也有装不下的零件。当模型遇到一个词表里完全没有的单词时，WordPiece 不会立刻放弃，而是会逐级降级：先把剩下的部分从最长子词一路缩到单个字符，如果词表覆盖了全部单字符（训练时通常都会保证这一点），那么任何词至少能切成一个个单字符 token 拼读出来。打个比方，newday 这个词如果词表里没有 new 也没有 day，它就会被切成 n、##e、##w、##d、##a、##y，虽然碎了一些，但模型还能“逐字母读出来”，不至于完全懵掉。

只有在极少数情况下——比如遇到根本无法拆分的特殊符号或者全角乱码——才会启用到最后的兜底 token：[UNK]。这个 token 相当于给一块实在没法归类的积木贴上了“未知件”标签。值得注意的是，[UNK] 的出现会带来信息损失，因为模型无法知道这块积木原来是长什么样的；所以好的预处理流程会尽量让 [UNK] 只出现在真正无法处理的噪声里，而不出现在常见单词上。

单字符降级和 [UNK] 兜底的关系可以用一个简单的规则表达：每个无法成块的字符 c，如果词表里有就单独成 token，否则标记为 [UNK]。

孩子拼房子时最怕缺件：缺一块大积木，他用几块小的也能凑合；连小积木都没有了，他才贴上“未知件”贴上去了事。WordPiece 用同样的层级设计，让 BERT 面对再偏僻的词也不会当场崩溃，而是尽可能拼出一点语义线索。

WordPiece 对模型的实际影响

最后站远一点看，换用积木拼装而不是整词搬运，对 BERT 的整体效果到底有什么影响？最直接的好处是词表大幅缩小，从整词方案的五十万量级降到三万左右，模型 embedding 层的参数因此少了九成以上。其次是 OOV 问题被大幅缓解：绝大部分生词都能通过子词组合获得一个可学习的表示，而不是一律变成信息量为零的 [UNK]。

代价也同样真实：单词被切碎后，一个句子对应的 token 数量变多了，而 Transformer 的注意力计算量随序列长度平方增长，所以序列变长会带来明显的训练和推理开销。此外，WordPiece 对英文这类“空格分词 + 词缀丰富”的语言非常友好，对中文这种字与字之间没有空格的语言就不那么直接了，通常需要配合额外的中文分词或直接按字切分。因此在工程上，是否用 WordPiece、词表定多大，都是数据预处理阶段需要反复权衡的决策。

从模型的角度看，无论子词怎么切，训练目标依然是预测完整句子的概率，子词序列只是它的另一种写法：

那座乐高房子最终拼出来的模样，和图纸上的原设计是同一座房子，只是多了一些拼接缝。WordPiece 让 BERT 用有限的积木块搭出无限种表达，也让我们明白：分词从来不只是“切一切”的琐碎工作，它决定了模型以何种粒度理解语言，是数据质量评估中不可绕过的一环。

AI 应用场景

Python 演示

class WordPieceTokenizer:    def __init__(self, vocab):        self.vocab = set(vocab)     def _longest_match(self, text, start):        end = len(text)        while end > start:            piece = text[start:end]            if start > 0:                piece = "##" + piece            if piece in self.vocab:                return end, piece            end -= 1        # 极端兜底: 单字符降级        single = text[start]        if start > 0:            single = "##" + single        return start + 1, single     def encode(self, text):        tokens = []        start = 0        while start < len(text):            start, piece = self._longest_match(text, start)            tokens.append(piece)        return tokens  def main():    vocab = [        "[UNK]", "un", "##happi", "##ness", "happy", "##birthday",        "a", "b", "d", "e", "h", "i", "n", "p", "s", "w", "y",        "##b", "##d", "##e", "##h", "##i", "##n", "##p", "##s", "##w", "##y"    ]    tokenizer = WordPieceTokenizer(vocab)     print(tokenizer.encode("unhappiness"))    print(tokenizer.encode("happybirthday"))    print(tokenizer.encode("newday"))  if __name__ == "__main__":    main()

1. self.vocab = set(vocab)词表转成集合，让每次匹配查询都是 O(1) 的哈希查找。
2. piece = text[start:end]从当前指针位置截取一段候选子串，end 从全句末尾逐渐缩短。
3. if start > 0: piece = "##" + piece不是词首时，尝试的候选都要带上 ## 前缀去查词表。
4. if piece in self.vocab: return end, piece命中词表立即返回，这就是“最长匹配优先”里的最长。
5. end -= 1没命中就把候选长度减一，继续尝试更短的子串。
6. single = text[start]所有候选都失败时，退回到单字符兜底，保证任何词都能切出来。
7. while start < len(text)主循环从左往右推进指针，直到整句话切完。

常见误区

面试题