词嵌入：子词嵌入

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

整词嵌入困境

想象你接手一座老式图书馆，管理员只认书脊上的唯一编号，每本书都单独登记。遇到一本新书，只要编号表里没有，管理员就两手一摊：查不了。Word2Vec 这类传统词嵌入就像这位管理员：它把语料里出现过的每个单词当成一个独立符号，在嵌入矩阵里给每个词分配一行向量。词与词之间没有任何内部结构可以借用，一个词就是一整块“死记硬背”的知识。

这种整词嵌入有一个明显痛点：如果某个词在训练语料中一次都没出现，也就是未登录词（OOV），模型就没有它的向量。哪怕这个词只是常见词的一个合法派生形式，比如 reader 在语料里没出现，模型也只能把它当成“陌生人”。同时，即使某个低频词出现了，由于样本太少，它的向量也学不扎实，数据稀疏效应很明显。原本 read、reader、reading 在形态上密切相关，但在整词嵌入看来，它们是三个毫无关系的编号，关于“读”的形态信息被完全丢掉了。

如果用一个数学式子描述整词嵌入，那就是把单词 \(w\) 直接映射成一个独立的稠密向量：

这就像旧词典只收完整汉字，遇到“氵”加“青”的组合字就查不到。既然整字查表有缺陷，老师们开始换一种思路：与其死背整字，不如先认偏旁部首。

子词拆解思路

小学语文老师教生字时，不会让孩子把每个字都当成一幅画硬记，而是教他们拆偏旁、认部首：看到“氵”知道和水有关，看到“木”知道和树有关。子词嵌入借鉴的正是这个方法：不把单词当整体，而是把单词拆成连续的字符片段，这些片段就是机器眼中的“偏旁部首”。

具体做法是：先在单词首尾加上边界符号，再用一个长度为 \(n\) 的滑动窗口扫过整个单词，得到一组字符 n-gram。以 reading、\(n=3\) 为例，加入边界后可以切出 <re、rea、ead、adi、din、ing、ng> 这些片段。其中 <re 和 ng> 这样的边界片段能保留词首和词尾的形态线索，让前缀、后缀也有自己的“偏旁”。

用集合语言来描述，单词 \(w\) 的所有 n-gram 子词构成集合：

当模型把 readable 拆成 rea、ead、abl、ble 等片段时，会发现这些片段在训练语料中早就见过。它就像小学生第一次看到“湖”字，虽然整字没见过，但“氵、古、月”都是老朋友，组合在一起就能猜个八九不离十。

模型聚合机制

偏旁部首有了，下一步是怎么把它们变成“字义”。每个偏旁本身并没有完整意义，但组合起来却能让人产生整体感觉：rea 让人想到“读”，ing 暗示进行时，ble 带有“可被……”的语义色彩。子词嵌入的做法类似：为子词表里的每个 n-gram 学习一个低维向量，再把一个词包含的所有子词向量逐维相加，得到这个词的向量。

这个聚合操作非常直接，公式如下：

在 FastText 的原始设计中，还会把整词向量也加进去，相当于在“偏旁组合”之外再保留一点“整字印象”。有了这套聚合机制，一个从未见过的词只要部件都熟悉，就能得到一个有意义的向量，这是整词嵌入做不到的。

FastText实现

偏旁部首识字法听起来很美，但真要大规模教给机器，还需要一套完整的“学校制度”。FastText 就是这套制度：它在 Word2Vec 的 skip-gram 框架上做了改造，让中心词不再直接查整词向量，而是先拆成 n-gram，再聚合出词向量，然后用这个聚合向量去预测上下文词。

训练时，模型会同时学习两类参数：一类是每个字符 n-gram 对应的子词向量，另一类是每个上下文词对应的输出向量。给定中心词 \(w\)，模型预测某个上下文词 \(o\) 出现的概率可以写成 softmax 形式：

词表很大时，分母要遍历所有词，计算代价太高，所以 FastText 实际使用负采样来近似训练：随机抽几个“负样本”词，让模型学会区分真正上下文和随机噪声。这套“学校制度”使得子词向量和上下文向量在训练中同步更新，最终沉淀下来的子词向量就成了机器的“偏旁部首库”。

对比整词方案

如果说整词嵌入是一本只收整字的旧字典，那么 FastText 就是一本新式偏旁字典：生僻字也能按偏旁查到。这种差异在形态丰富的语言里尤其明显。像土耳其语、芬兰语这类语言，一个动词可能有几十种词尾变化，整词嵌入几乎不可能覆盖所有词形，而子词嵌入只要掌握词干和常见后缀，就能处理大量未见变体。

在罕见词和 OOV 处理上，子词嵌入的优势也很直观：即使某个词从未出现，只要它由已见过的子词片段组成，就能生成向量，还能与已知词比较相似度。拼写相近、共享词根的一些词，向量天然会更接近，这对信息检索和文本分类都很有帮助。

不过，任何选择都有代价。子词嵌入需要额外存储一个子词表，参数量明显上升。用公式对比一下：

新词典虽然厚了一点，但查生词的能力强了很多。对于很多实际问题来说，多占一点存储换回更低的 OOV 率，是一笔很划算的买卖。

演进与挑战

偏旁部首识字法也并非完美。固定长度的 n-gram 就像“一刀切”的部首切分，有些片段切出来没有明确含义，还浪费存储空间。另一条技术路线是 BPE（Byte Pair Encoding），它不再穷举所有固定 n-gram，而是根据语料中的共现频率，反复合并最常见的字符对，逐步生成“数据驱动的偏旁部首”。SentencePiece 则进一步把空格也当作普通字符处理，让模型可以在多语言场景下统一切分。

这些演进说明：子词并不是越多越好，长度 \(n\) 和子词表大小需要仔细权衡。\(n\) 太小，部件太碎，难以表达词根语义；\(n\) 太大，子词表爆炸，部件变得过于具体而失去泛化能力。一个单词能拆出的 n-gram 数量也有简单规律：

无论是 FastText 的固定 n-gram，还是 BPE、SentencePiece 的自适应切分，本质上都是同一个思路：与其把每个词当成死记硬背的整块，不如让模型学会用可复用的“偏旁部首”去理解语言。这也是现代预训练语言模型处理海量词汇的底层智慧之一。

AI 应用场景

Python 演示

import mathimport random  class MiniFastText:    def __init__(self, dim=8, n=3, seed=42):        self.dim = dim        self.n = n        self.rng = random.Random(seed)        self.char_vec = {}        self.subword_vec = {}     def _char_vector(self, ch):        if ch not in self.char_vec:            self.char_vec[ch] = [self.rng.uniform(-0.5, 0.5)                                 for _ in range(self.dim)]        return self.char_vec[ch]     def _subword_vector(self, gram):        if gram not in self.subword_vec:            chars = gram.replace('<', '').replace('>', '')            mean = [0.0] * self.dim            for ch in chars:                cv = self._char_vector(ch)                for i in range(self.dim):                    mean[i] += cv[i]            total = max(len(chars), 1)            self.subword_vec[gram] = [v / total for v in mean]        return self.subword_vec[gram]     def ngrams(self, word):        wrapped = '<' + word + '>'        n = self.n        return [wrapped[i:i + n] for i in range(len(wrapped) - n + 1)]     def embed(self, word):        vec = [0.0] * self.dim        for gram in self.ngrams(word):            gv = self._subword_vector(gram)            for i in range(self.dim):                vec[i] += gv[i]        norm = math.sqrt(sum(v * v for v in vec))        return [v / norm for v in vec] if norm > 0 else vec     def cosine(self, a, b):        return sum(x * y for x, y in zip(a, b))  def main():    m = MiniFastText()    candidates = ["reading", "reader", "listen", "listener",                  "quick", "quicker"]    cand_vec = {w: m.embed(w) for w in candidates}    new_word = "readable"    new_vec = m.embed(new_word)     print("subword pieces:", m.ngrams(new_word))    scored = sorted(        candidates,        key=lambda w: m.cosine(new_vec, cand_vec[w]),        reverse=True    )    for w in scored:        print(w, round(m.cosine(new_vec, cand_vec[w]), 3))  if __name__ == "__main__":    main()

1. wrapped = '<' + word + '>'给单词加上边界符号，让词首和词尾也能参与 n-gram 拆分。
2. return [wrapped[i:i + n] for i in range(len(wrapped) - n + 1)]用滑动窗口生成全部字符 n-gram。
3. self.subword_vec[gram] = [v / total for v in mean]为每个子词生成一个向量，这里用字符向量的均值模拟子词向量。
4. for gram in self.ngrams(word):遍历生词的所有子词部件，这是聚合的关键入口。
5. for i in range(self.dim): vec[i] += gv[i]把每个子词向量的每一维相加，实现词向量聚合。
6. norm = math.sqrt(sum(v * v for v in vec))对最终向量做 L2 归一化，方便计算余弦相似度。
7. scored = sorted(... key=lambda w: m.cosine(new_vec, cand_vec[w]), reverse=True)按余弦相似度排序，找出最接近的已知词。

常见误区

面试题