Jieba 与 HanLP 中文分词原理对比

可视化演示

展示双向最大匹配词典分词、CRF序列标注分词及Jieba与HanLP性能对比。切换模式查看不同分词方法的核心机制。

分词任务基础

分拣站的一串快递盒要切成几段，首先取决于你如何定义“一个包裹”。在中文里，词与词之间天然没有空格，“认真学习”到底算一个词还是两个词，往往要看使用场景。分词算法就是给这串汉字装隔板的人，隔板装得好，后续的搜索、翻译、问答才能正常工作。

分词难在三件事：第一是歧义，比如“研究生命科学”可以切出“研究/生命/科学”，也可能被误解成“研究生/命/科学”；第二是未登录词，也就是词典里根本没有的新词、人名、网络词；第三是词粒度，有时需要细粒度词，有时需要粗粒度词。衡量分词质量，不能只看“看起来对不对”，还要用标准答案算精确率和召回率。

回到分拣站，F1 就像“装对的隔板数”和“应该装的隔板数”之间的平衡。隔板装得太多，会把包裹切碎；装得太少，又会让两个包裹黏在一起。Jieba 和 HanLP 的差别，正是用不同方式决定这些隔板装在哪里。

最大匹配原理

老张使用的方法是最大匹配。他手里有一本电话簿，里面记着所有见过的客户名。切包裹时，他从最左侧开始，先试着把最长的一截拿去电话簿里对，对不上就缩短一截，直到对上为止。这种方式叫正向最大匹配；反过来从右侧开始扫描，就是逆向最大匹配。两个方向都做一遍，再比较结果，就是双向最大匹配。

双向最大匹配之所以比单向稳，是因为它可以用“谁的隔板数量少”“谁的单字词更少”来消解部分歧义。它不学习，不训练，所有判断都来自词典，因此速度飞快。

老张的做法简单可靠，但电话簿再厚也有漏网之鱼。遇到“新零售”“元宇宙”这类新词，词典法很容易把它们拆成单字。这也是双向最大匹配最大的瓶颈：词典覆盖不到的地方，就是它的盲区。

Jieba 工程实现

Jieba 可以看成老张的升级版。它不再一个词一个词地死板匹配，而是先建了一本“前缀索引”，再用动态规划寻找整句最大概率路径。前缀索引能快速知道每个汉字后面可能跟着哪些词，比如“自然”后面可能有“语言”，也可能没有。这个词表让 Jieba 能高效地构建一张有向无环图，也叫 DAG。

DAG 中每个节点是一个字，每条边代表从当前位置到某个结束位置能组成一个词。Jieba 的任务是从所有路径中选一条总概率最高的切分路径。概率来自词频统计：常见词的路径得分更高，这样“自然语言”会被优先保留，而不是被切碎成“自然”“语言”或单字。

这套机制比单纯双向最大匹配更聪明，因为它综合考虑了整句的词频。Jieba 还额外用 HMM 来识别词典外的词，给未登录词一个“兜底”通道。对大部分通用场景来说，Jieba 已经足够快、足够准。

CRF 序列标注

小李的方法完全不同。他不再死记电话簿，而是看大量已经切好的历史包裹。对他来说，每个汉字不是“能不能组成词”的问题，而是“这个字在词语中的角色”问题。他给每个字贴一个标签：B 表示词首，M 表示词中，E 表示词尾，S 表示单字词。比如“自然语言”会被标成“自 B、然 M、语 M、言 E”。

CRF 的全称是条件随机场，它可以看作一群特征函数的投票。每个特征函数会检查“当前字是不是常用词首字”“上一个标签是不是 B”“当前字是否常见于词语末尾”等线索。模型学到的权重会告诉小李哪些线索更可信，最后找到一条整体得分最高的标签序列。

小李的“经验”不是天生的，而是训练出来的。他用大量标注语料让权重 λ 不断调整，再用维特比算法快速搜索最优标签链。代价是训练时间长、推理也比查词典慢，但换来的是对上下文和未登录词更强的判断力。

双方法对比

老张和小李的差异，在真实项目中非常明显。词典法像一辆轻便摩托车，启动快、油耗低，但遇到崎岖山路容易翻车；CRF 像一辆经过调校的越野车，准备时间长、成本高，但复杂路况下更稳。

| 维度 | 词典法 / Jieba | CRF / HanLP |

|---|---|---|

| 精度 | 对常见词很好，未登录词容易碎 | 对上下文敏感，未登录词更稳 |

| 速度 | 快，无需训练 | 较慢，需要特征计算 |

| 资源 | 词典小、内存低 | 需要标注语料和训练时间 |

| 词典依赖 | 强依赖词表 | 弱依赖词表 |

| 可解释性 | 高，容易排查 | 较低，特征权重不够直观 |

| 适用场景 | 日志、搜索、实时系统 | 专业文本、长尾新词多的场景 |

具体到项目里，“Jieba 一定比 HanLP 差”是不对的。如果领域词表非常全，文本又固定，Jieba 能以极低成本获得足够好的效果；如果语料开放、新词不断出现，CRF 的上下文建模能力才有用武之地。选型不是攀比算法，而是看谁更匹配当前的路况。

工程选型调优

分拣站的负责人最终要看业务需求。如果系统要求每毫秒处理大量文本，老张的查表法显然更合适；如果面对的是医疗、法律这种专业文本，宁可慢一点，也要用小李的 CRF 减少切错。更常见的做法是两者结合：先用 Jieba 快速初切，再用 CRF 对高风险片段重切。

调优也不是盲目加词典。给 Jieba 添加领域词典，能快速提升专业词召回；给 HanLP 补充领域标注语料，能让 CRF 学到更准的上下文规律。最终效果要用 F1 和延迟共同衡量。可以设计一个最简单的选择公式：在可接受的延迟范围内，选 F1 更高的模型。

老张和小李其实可以成为搭档：让老张负责快速粗切，让小李负责处理难分的长尾片段。中文分词没有银弹，只有对任务的理解、对数据的评估，以及对工具边界的清醒认识。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-class DualMaxMatcher:    def __init__(self, words, max_len=5):        self._dict = set(words)        self.max_len = max_len     def forward_match(self, text):        result = []        i = 0        n = len(text)        while i < n:            match = text[i]            for end in range(min(i + self.max_len, n), i, -1):                if text[i:end] in self._dict:                    match = text[i:end]                    break            result.append(match)            i += len(match)        return result     def backward_match(self, text):        result = []        i = len(text)        while i > 0:            match = text[i - 1]            for start in range(max(0, i - self.max_len), i):                if text[start:i] in self._dict:                    match = text[start:i]                    break            result.append(match)            i -= len(match)        return list(reversed(result))     def segment(self, text):        fwd = self.forward_match(text)        bwd = self.backward_match(text)        if len(fwd) == len(bwd):            return fwd        fwd_single = sum(1 for w in fwd if len(w) == 1)        bwd_single = sum(1 for w in bwd if len(w) == 1)        if fwd_single < bwd_single:            return fwd        if bwd_single < fwd_single:            return bwd        if len(fwd) <= len(bwd):            return fwd        return bwd  def main():    words = ["自然", "语言", "自然语言", "处理", "中文", "分词",             "学习", "深度学习", "研究"]    matcher = DualMaxMatcher(words, max_len=5)    samples = ["中文分词很有意义", "自然语言处理很有趣"]    for s in samples:        print("句子:", s)        print("正向:", " / ".join(matcher.forward_match(s)))        print("逆向:", " / ".join(matcher.backward_match(s)))        print("双向:", " / ".join(matcher.segment(s)))  if __name__ == "__main__":    main()

1. self._dict = set(words)把词表转成集合，判断“这个词在不在词典里”只需要 O(1) 时间。
2. for end in range(min(i + self.max_len, n), i, -1)从最长窗口开始往短尝试，体现“最长优先”的匹配思路。
3. if text[i:end] in self._dict命中词典就立刻切出一个词，不再继续缩短窗口。
4. return list(reversed(result))逆向是从右往左收集的，最后要反转回正常顺序。
5. if fwd_single < bwd_single:双向结果不一致时，优先选择单字词更少的方向，因为单字过多通常意味着切碎了。

常见误区

面试题