SentencePiece无监督分词器使用指南

可视化演示

动态演示SentencePiece无的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

认识SentencePiece

中央厨房里最让总厨头疼的，不是炒菜，而是“备菜”。不同菜系对食材的定义完全不一样：中文习惯把“白菜”看作一个词，日文却经常把“白”和“菜”分开处理。如果让每个菜系都提前送一份“切菜清单”（预分词），那新来的食材、方言食材就永远进不了厨房。SentencePiece 这位“无监督切菜机器人”的做法是：我不管你们人类怎么定义词，我只观察食材在真实菜谱里一起出现的规律，自己决定哪里该下刀。它训练时只需要一个要求——给我大量原始文本，不要给我切好的词。

科学家把这种“不依赖人工分词规则，直接从字符序列学习出子词单元”的方法，叫作无监督分词。SentencePiece 是其中最著名的一个实现，它同时支持多种“刀法”（算法），但核心思想一致：把所有可能的切分方式看成一个概率空间，选最合理的那组子词。它尤其擅长处理没有标准分词器的语言，比如越南语、缅甸语，或者中英混合的社交网络文本。

在动手用它之前，先记住它的最大卖点：一步到位。输入原始文本，输出训练好的子词模型，中间不需要任何语言专家帮你先分词。这就像厨房里多了一个能自己研发刀法的机器人，而不是只会照着菜谱切菜的学徒。

$\displaystyle \text{raw text} = c_1 c_2 c_3 \dots c_n$

$\displaystyle \mathcal{V} = \{t_1, t_2, \dots, t_m\}$

$\displaystyle \text{text} \rightarrow \mathcal{V}$

一句话总结：机器人不是按菜谱切菜，而是自己发明了一套菜谱。这套菜谱的好处是，任何新食材都能找到接近的切法，而不是直接被扔进垃圾桶。

安装与快速上手

想把这个切菜机器人请进厨房，第一步很简单。打开终端，敲下 pip install sentencepiece，机器人就进厨房了。接着你需要准备一份“训练菜谱”——大量纯文本语料。注意，这份菜谱不需要任何标注，不需要分词，甚至不需要清洗得像实验室那么干净。机器人会自己从里面总结规律。

训练代码通常只有几行。核心是调用 SentencePieceTrainer.train()，传入语料文件路径、模型前缀和词表大小。训练完成后，你会得到两个文件：.model 文件是机器人的“刀法模型”，.vocab 文件是食材块的清单。之后用 SentencePieceProcessor 加载模型，就能对任意新文本做切分、还原。

举个具体例子：训练时给机器人看“我爱机器学习”这句话，它可能学到“我”“爱”“机器”“学习”这些子词。下次遇到“机器学习很有趣”，它就能自动切成熟悉的子词组合，而不是一脸茫然地把整句扔进未知垃圾箱。编码（encode）是把句子变成子词 ID 序列，解码（decode）是倒回来拼接成文本，整个过程像把食材切块再装盘一样自然。

$\displaystyle \text{encode}(x) = [\text{id}(t_a), \text{id}(t_b), \dots]$

$\displaystyle \text{decode}([\text{id}(t_a), \text{id}(t_b)]) = t_a t_b$

$\displaystyle \text{decode}(\text{encode}(x)) \approx x$

上手之后你会觉得，这比传统分词器友好太多——没有复杂的规则文件，没有“未登录词”的惊慌失措，一切都由数据说了算。

核心参数调优

机器人虽然聪明，但总厨得给它设定两件大事：冰箱冷藏格的数量（词表大小 $vocab\_size$）和对边角料的容忍度（字符覆盖率 $character\_coverage$）。冷藏格太少，食材块就得切得很碎，每个格子只能装点“字母”级别的碎末；冷藏格太多，格子倒是多了，但很多格子一年都用不上一次，白白占地方。实际经验是：中英文混合任务常用 8000 到 32000 之间的词表大小，低资源语言可以更小，比如 4000 到 8000。

字符覆盖率这个参数更有意思。如果你把覆盖率设成 1.0，意味着冰箱必须装下训练语料里出现过的每一个字符，包括各种生僻 emoji 和乱码符号。这就像要求厨房把所有奇怪食材都备一份，成本极高且没有必要。通常设为 0.9995 左右，那 0.0005 的稀有字符会被统一映射到一个特殊的 <unk>（未知）标记，相当于把实在用不上的怪食材放到“杂物间”。

除此之外，还要学会设置特殊标记：<pad>（占位符）、<unk>（未知）、<s> 和 </s>（句子开头与结尾）。这些标记像厨房里的“托盘、垃圾袋、开餐铃”，虽然不直接是菜，但整个流程离不开它们。训练语料方面，建议用领域相关的数据，并且尽量让语料有足够的多样性，否则机器人学到的刀法会偏科。

$\displaystyle \text{covered\_chars} = \sum_{t \in \mathcal{V}} \text{count}(t)$

$\displaystyle \text{total\_chars}$

$\displaystyle \text{coverage} = \frac{\text{covered\_chars}}{\text{total\_chars}}$

调参的智慧在于平衡：让机器人在“记忆一切”和“灵活应变”之间找到那个甜点。宁可让它把极少数生僻字放进杂物间，也不要把整个厨房塞满一辈子用不到一次的存货。

子词算法原理

同一个切菜机器人，其实可以换不同的“刀法”。SentencePiece 最常用的刀法是 Unigram 语言模型，它像一位品酒师：对每一种切分方式都打个分，然后选总得分最高的那套切法。具体来说，它先给每个候选子词一个出现概率，再假设句子在某个切分下的概率等于所有子词概率的乘积。由于一个句子往往有多种切法，Unigram 会把所有可能切法的概率加起来，得到句子的总概率，然后通过最大似然估计不断调整每个子词的概率。训练完成后，概率低的子词会被逐步淘汰，最终剩下精炼的词表。

另一种常见刀法是 BPE（字节对编码）。它不看概率，只看“哪些字符对总是黏在一起”。比如英文里 e 和 r 经常连着出现，er 就被合并成一个块；再继续合并 er 和 s，得到 ers。合并操作反复进行，直到词表达到目标大小。BPE 的哲学是“高频搭档就该被固定下来”。

还有 WordPiece，它和 BPE 类似，但不是单纯看频次，而是看两个符号组合后带来的信息增益有多大，也就是“这对搭档是不是比各自单干更好”。三者同属子词切分，但评估标准不同：一个看概率，一个看频率，一个看互信息。

$\displaystyle p(t) \in (0, 1), \quad \sum_{t \in \mathcal{V}} p(t) = 1$

$\displaystyle p(s) = \prod_{t \in s} p(t)$

$\displaystyle P(x) = \sum_{s \in S(x)} p(s)$

理解了这三种刀法，你就明白了为什么 SentencePiece 如此强大：它把“选刀法”和“训练刀法”解耦。你可以用同一套代码，在 Unigram、BPE、WordPiece 之间一键切换，像厨房里换一把刀柄一样方便。

多语言实战

现实世界里，总厨常常要同时处理多个菜系的食材：一段客服对话里可能混着中文、英文、颜文字和网络新词。传统分词器遇到这种“大杂烩”往往崩溃，但 SentencePiece 天生适合多语言，因为它根本不关心“词”是什么，只关心字符块怎么切最合理。很多低资源语言（比如国内少数民族语言、东南亚小语种）没有公开的分词工具，SentencePiece 却可以直接从原始语料中学习，堪称低资源场景的救命稻草。

多语言训练时，一个关键技巧是控制不同语言的语料比例。如果你把 100 份中文语料和 1 份藏语语料混在一起，机器人学到的基本是中文刀法，藏语部分只学会几个高频碎片。建议根据实际业务需求调节比例，必要时对低资源语言做上采样（重复多放几遍），让它在词表里占据合理份额。这就像做自助餐，每道菜都要给足够的品尝机会，总厨才会记得每道菜的特点。

如果业务上线后发现某些新词（比如产品名、人名）总是被切得稀碎，可以用增量训练：加载现有模型，用包含新词的语料再训练几步，让旧刀法逐渐适应当下需求。或者更直接一点，把自定义词汇预先加入词表，相当于在冰箱里专门给“招牌菜”留出固定格子，防止它们被切成莫名其妙的碎片。

$\displaystyle N_i$

$\displaystyle \sum_{j=1}^{K} N_j$

$\displaystyle R_i = \frac{N_i}{\sum_{j=1}^{K} N_j}$

多语言实战的核心心法：不追求每种语言都完美，而是让机器人对每种语言都“够用”。与其让模型把罕见语言切得天花乱坠，不如保证常见语言的切分稳定又高效。

对比与选型

当你真正开始选型时，会发现市面上的“分词流派”不止 SentencePiece 一家。最常被拿来比较的是 BPE 和 WordPiece。BPE 是 GPT 系列等模型的最爱，它简单粗暴，按相邻符号的出现频率反复合并，词表利用率高；WordPiece 则是 BERT 系列的标配，它额外引入了一个“配对收益”的概念，更倾向于合并那些能显著降低不确定性的字符对。

SentencePiece 和这两者的根本区别在于：它自带“无监督”属性，不需要你先用空格或其他规则把文本切成词。BPE 和 WordPiece 在原始设计中通常需要预分词，比如英文先把句子按空格分成单词再进一步切分。而 SentencePiece 把空格也当成一种普通字符处理，甚至会把空格转成特殊的 ▁ 记号。这对于中文、日文等没有天然空格的语言特别友好，也是它成为多语言 NLP 首选的原因之一。

那么到底怎么选？我给你一个简单的判断框架：如果你的任务是纯英文、语料干净且已有成熟分词流水线，原生 BPE 完全够用；如果你要做多语言、低资源语言或中英混合，优先选 SentencePiece 的 Unigram 模式；如果你想复现 BERT 类模型，可以参考 WordPiece，但实现上 SentencePiece 也提供了 --model_type=wordpiece 选项，方便你在同一套代码里做对比实验。选型的终点不是“哪个更先进”，而是“哪个和你厨房的食材、菜系、客人口味最匹配”。

$\displaystyle \text{coverage}_{\text{SentencePiece}}$

$\displaystyle \text{coverage}_{\text{BPE\_baseline}}$

$\displaystyle \text{cov\_ratio} > 1 \Rightarrow \text{SentencePiece 更优}$

记住，分词器只是厨房里的第一道工序。真正决定菜品好不好吃的，是后面的大厨——也就是你的模型架构和训练策略。但一把好用的刀，确实能让大厨少生很多气。

AI 应用场景

Python 演示

import sentencepiece as spm spm.SentencePieceTrainer.train(    input='corpus.txt',    model_prefix='mymodel',    vocab_size=8000,    character_coverage=0.9995,    model_type='unigram',    max_sentence_length=4192,    pad_id=0,    unk_id=1,    bos_id=2,    eos_id=3,) sp = spm.SentencePieceProcessor(model_file='mymodel.model') text = '我爱机器学习，也爱yyds美食'pieces = sp.encode(text, out_type=str)print('子词切分:', pieces) ids = sp.encode(text, out_type=int)print('子词ID:', ids) decoded = sp.decode(ids)print('还原文本:', decoded) for piece in ['yyds', '机器学习', '美食']:    sub = sp.encode(piece, out_type=str)    print(piece, '->', sub)

1. spm.SentencePieceTrainer.train(...)启动训练，输入原始语料，输出模型文件。
2. input='corpus.txt'指定训练语料路径，文件里每行一句话即可。
3. model_prefix='mymodel'模型前缀，训练后生成 mymodel.model 和 mymodel.vocab。
4. vocab_size=8000词表大小，相当于给冰箱预定的冷藏格数量。
5. character_coverage=0.9995字符覆盖率，保留极少量稀有字符给 <unk>。
6. model_type='unigram'选择 Unigram 刀法，也可换成 bpe 或 wordpiece。
7. sp = spm.SentencePieceProcessor(model_file='mymodel.model')加载训练好的模型。
8. sp.encode(text, out_type=str)把文本切分成子词字符串列表。
9. sp.encode(text, out_type=int)把文本编码成子词 ID 列表。
10. sp.decode(ids)把子词 ID 列表还原成原始文本，验证无损。

常见误区

面试题