NLP词性标注入门到精通指南

可视化演示

通过编码器将输入序列逐步编码为上下文向量，再由解码器据此生成输出序列，直观展示Seq2seq模型的多步预测机制。

词性标注概述

在邮局里，老张每天面对的第一个问题是：这封信该往哪个筐里放？是他先看信的省份、城市，还是先看收件人姓名？其实他最先做的是给每一封信“定性”——是平信、挂号，还是特快专递。这一定性，决定了后续所有分拣操作。词性标注正是自然语言处理里的“第一定性”：拿到一句分词后的文本，先给每个词语贴上一个语法类别标签，比如名词、动词、形容词，然后再交给下游工序处理。

词性标注的正式任务是：给定一个由 n 个词语构成的句子，输出一个等长的词性标签序列，使得每个词都对应它在当前语境下的语法角色。这里强调“当前语境”很重要，因为同一个词在不同句子里可能是不同词性，比如“研究”在“科学研究”里是名词，在“研究算法”里却是动词。这种一词多性的现象，正是标注器最需要解决的难题。作为最小的可独立运用语言单位，词是承载词性判断的基本对象，因此工程上总是先做分词，再做词性标注，两者是流水线上的两道工序。

词性标注的应用价值贯穿整个 NLP 流水线：句法分析需要它做骨架，命名实体识别用名词短语作候选，情感分析则把“形容词+名词”组合视为重要特征。在智能客服、舆情分析、机器翻译等系统中，词性标注通常是文本预处理的第一站，堪称所有 NLP 任务的“公共地基”。可以说，没有这一道“分拣定性”，后面的每一环都会因为缺乏语法信息而寸步难行。

回到邮局的比喻：老张给信件定性的动作看似微不足道，但一旦定性错误，挂号信可能被塞进平邮筐，特快专递可能被耽误三天。词性标注也是这样——一个标签贴错了，下游任务的错误就会像多米诺骨牌一样连锁放大。因此，理解这个词性标注的“第一定性”，是走进 NLP 世界的必修课。

词性类别体系

老张的邮局里有一面墙，墙上挂满了大小不一的分拣筐：大筐装普通平信，小筐装挂号信，加锁的筐装保价快件……这些筐的划分不是随意定的，而是根据邮局业务反复磨合出来的分类体系。词性标注也一样，动手标注之前，必须先设计好“分拣筐”——也就是词性类别体系。这套体系定得好不好，直接决定了标注器能不能把词语分得又快又准。

中文的词性体系首先分为两大阵营：实词和虚词。实词像是有实际重量和内容的包裹，承载句子的核心语义，包括名词（小明、学校）、动词（喜欢、读书）、形容词（美丽、快速）、数词和量词。虚词则像信封上的封条和胶带，自身不装内容，却负责语法连接和组织结构，包括介词（在、把）、连词（和、但是）、助词（的、了）、叹词（啊、哦）等。实词决定句子“说什么”，虚词决定句子“怎么说”。

现代中文最常用的标注体系是北京大学《人民日报》标注集，定义了约 26 个词性标记，被广泛用于语料库建设和学术研究。工程工具 jieba 也提供了自己的词性标记体系，与北大标注集大体兼容又略有简化。选择多细的粒度，是一个需要权衡的工程决策：粒度太粗，“分拣筐”太少，无法区分细微语法差异；粒度太细，筐太多，标注难度和歧义都会上升，模型也更容易犯错。

在工程实战中，大家通常直接复用成熟的标注集，而不是自创一套，否则后续对接开源工具和语料资源都会遇到兼容性问题。这就像分拣筐的尺寸必须和全国邮包标准统一，否则你在自家邮局分得再开心，到了下一站也得重新倒筐。理解了词性类别体系，就理解了标注器的“世界观”——它能看到哪些类别，完全取决于墙上挂了哪些筐。

规则标注方法

老张刚入职时，师傅塞给他一本厚厚的《分拣手册》，上面写着：“见红色邮票的，进航空件筐；信封上有'密'字的，进机要件筐；重量超过五百克的，进包裹筐。”老张严格按照手册操作，虽然慢，但很少出错。这就是词性标注最早的思路——规则方法：由语言学家和工程师手工编写一系列“如果……那么……”的判断规则，机器照着执行。

规则方法的第一类线索来自词形特征。中文虽然不像英文那样有丰富的形态变化，但仍有规律可循：以“了、着、过”结尾的词通常是动词（吃了、看着、去过），以“性、度、者”结尾的词通常是名词（重要性、长度、读者），以“地”结尾的通常是副词，以“的”结尾的通常是形容词定语。这些词缀如同信封上的油墨标记，一看便知走哪个通道。英文的线索更加明显：-ing、-ed 指向动词，-ly 指向副词，-tion、-ment 指向名词。

第二类线索是上下文规则，因为很多词光看自己是分不清的。规则会写成：“如果前一个词是副词，那么当前词大概率是动词或形容词”“如果当前词跟在'把、被、在'后面，那么当前词大概率是名词”。这些规则利用前后词语的搭配关系，把单个词放入语境中判断，相当于老张不仅看信封上的油墨，还会瞄一眼这封信是从哪个省份寄来的。

规则方法最大的优点是可解释性强，出错时工程师能顺着规则追查原因，就像邮局能查到手写手册的哪一行出了问题。但它的缺点同样致命：规则覆盖面有限，无法穷举千变万化的语言现象；规则之间还可能互相冲突，需要人工排定优先级；维护成本随着规则数量急剧上升。在真实的邮局里，老张很快发现，光靠手册根本无法应对每天涌入的新地址、新邮路——规则方法注定只是标注器的一根拐杖。

统计算法基础

干了二十年的老张，后来不再逐条背手册了。他的经验变成了“感觉”：看到一封从北京寄往上海的平信，他根本不用想，手已经伸向了正确的筐。这种“感觉”从哪来？来自他过去分拣过的几十万封信——他无意中统计出了规律。统计方法正是把这种“经验”数字化：不再手写规则，而是从大规模标注语料中自动学习概率规律，靠数字说话。

统计方法的核心是把词性标注看作一个概率最优化问题：给定词语序列 W，我们要寻找概率最大的词性序列 T。根据贝叶斯公式，这个后验概率可以分解为两部分的乘积：一部分是“语言模型”，描述词性之间前后衔接的合理性；另一部分是“发射模型”，描述某个词性生成某个具体词的可能性。这样一来，分拣经验就变成了两个概率表格，机器拿着表格就能自动判邮路。

为了把概率算出来，统计方法引入了两个关键假设。第一个是一阶马尔可夫假设：当前词的词性只与紧邻的前一个词性有关，与更早的词性无关。这相当于老张判断当前信件走哪个筐时，只参考前面那一封信去了哪，而不必回忆整天的分拣历史。第二个是观测独立假设：当前词语的生成只取决于它自己的词性，与其他词无关。这两个假设都忽略了现实中复杂的长期依赖，但换来了计算上的巨大简化，让模型能够高效落地。

从规则手册到概率表格，是词性标注方法论的一次跃迁：机器不再依赖专家熬夜写规则，而是从海量标注语料中“悟”出规律。这就像老张从背手册的新手，成长为凭经验判断的老手。不过，“经验”也有盲区——统计方法虽然覆盖面广，但仍然需要一个精巧的框架把这些概率组织起来，才能最终算出整句话的最佳标注路径。这就是下一节要登场的 HMM 模型。

HMM词性标注

老张工作的第 21 年，邮局引进了一套“智能分拣看板”：天花板上的大屏幕实时显示每条传送带的状态，字母和数字在屏幕上流动，标出每封信的当前位置与去向。这套系统把老张的经验固化成了一整套可计算的框架——HMM（隐马尔可夫模型）。在 HMM 的世界里，词性序列是“隐藏状态”，我们看不到；词语序列是“可观测输出”，我们看得到。模型要做的，就是根据观测到的词语，反推出最可能的词性链。

HMM 由五个基本要素构成，常被称为五元组：状态集合 S（所有词性标签）、观测集合 O（所有词语）、初始概率 π（句子开头各词性出现的概率）、转移概率矩阵 A（词性之间跳转的概率）、发射概率矩阵 B（每个词性生成每个词的概率）。其中 A 和 B 正是上一节提到的语言模型和发射模型的具体化。这些参数怎么来？答案是极大似然估计：直接在标注语料上数次数、算比例。统计“动词后面跟名词出现了多少次，除以动词出现的总次数”，就得到了转移概率；统计“名词这个标签下'学校'出现了多少次，除以名词出现总次数”，就得到了发射概率。

有了模型参数，最后一步是解码：给定一句话，找出概率最大的词性序列。暴力穷举所有组合在计算上不可行（词性数 N 的 n 次方会爆炸），于是工程师们使用经典的维特比算法。维特比算法把问题转化为动态规划的路径搜索：它维护一个二维网格，横轴是句子中的每个词，纵轴是所有可能的词性，算法一步步向前递推，在每个网格节点上只保留到达该节点的最大概率路径，最后回溯出一条全局最优路径。

HMM 是词性标注史上最具里程碑意义的模型之一，它第一次把“分拣经验”变成了可训练、可复用的概率系统。但它也有明显的局限：一阶马尔可夫假设让模型只能看到前一个词性，类似老张只看上一封信而忽视了更多上下文线索；观测独立假设也忽略了词与词之间的深层语义关联。后来的条件随机场、双向 LSTM、BERT 等模型正是为了突破这些限制而诞生，但 HMM 作为一切序列标注模型的基石，其思路至今熠熠生辉。

工具与实践

老张所在的邮局如今设置了月度绩效考核：每月抽查一万封信，统计分拣准确率。准确率是 100%，说明一台机器都没分错；准确率是 99.2%，说明有一千封信里约有八封走错了筐。词性标注的工程评估也遵循同样的逻辑：用人工标注好的测试集，计算标注器输出与标准答案的一致程度。有了这把“考核尺子”，才能理性评估不同方法的优劣，也才能发现模型在哪些文本上系统性翻车。

在实际工程中，绝大多数 NLP 项目不会从零手写 HMM，而是直接使用成熟的工具。Python 生态里最常用的是 jieba 的 posseg 模块，一行代码就能给中文文本分词并标注词性。jieba 内部同时融入了词典规则和统计模型（HMM），对常见文本的标注准确率相当可观，开箱即用。此外，pkuseg、LTP、HanLP 等工具也提供了各具特色的标注器，有的在细分领域语料上表现更优，有的提供了更丰富的词性标记体系。选择工具时，关键是拿自己的业务语料做一次准确率评测，而不是盲目相信宣传数据。

工程实践中最需要警惕的是未知词（未登录词）问题。哪怕是再庞大的词典，也永远会有它没见过的词——网络新词、人名地名、专业术语。HMM 遇到未知词时，发射概率无法计算，只能靠平滑策略兜底，因此标注效果容易大打折扣。应对手段包括：给模型补充领域词典、对数字和英文做专门预处理、用规则正则匹配特殊格式（日期、网址）、甚至对罕见词统一按“未知词”类别处理。这就像邮局面对新出现的快递公司，总要准备一套应急分拣预案，不能因为没有记录就拒收。

词性标注的工程落地，概括起来是三件事：选好工具、定好评估、备好兜底。回想老张的邮局，选工具像是采购分拣设备，评估像是建立绩效考核，兜底则是应对陌生信件的应急预案。三者缺一不可。掌握了这些，你就可以在自己的文本处理流水线上，稳健地给每一个词语贴上正确的“邮路标签”，为下游任务铺平道路。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""用 HMM 实现一个微型中文词性标注器（教学演示版）"""from collections import defaultdict  class HmmTagger:    """基于一阶马尔可夫假设的 HMM 词性标注器"""     def __init__(self):        self.trans_map = defaultdict(lambda: defaultdict(int))        self.emit_map = defaultdict(lambda: defaultdict(int))        self.tag_set = set()        self.states = []     def train(self, corpus):        """corpus 是已标注语料，格式为 [(词, 词性), ...] 的列表"""        for sent in corpus:            prev = 'BOS'  # 句子开始标记            for word, tag in sent:                self.trans_map[prev][tag] += 1                self.emit_map[tag][word] += 1                self.tag_set.add(tag)                prev = tag            self.trans_map[prev]['EOS'] += 1  # 句子结束标记        self.states = list(self.tag_set)     def predict(self, tokens):        """用维特比算法解码最优词性序列"""        n = len(tokens)        tags = self.states        viterbi = [{} for _ in range(n)]        back_ptr = [{} for _ in range(n)]         # 初始化：第一个词 = 初始概率 × 发射概率        for tag in tags:            init_p = self.trans_map['BOS'].get(tag, 1e-6)            emit_p = self.emit_map[tag].get(tokens[0], 1e-6)            viterbi[0][tag] = init_p * emit_p         # 递推：当前最优 = 前一状态最优 × 转移概率 × 发射概率        for i in range(1, n):            for tag in tags:                best_prev = None                best_score = -1.0                emit_p = self.emit_map[tag].get(tokens[i], 1e-6)                for prev_tag in tags:                    score = viterbi[i - 1][prev_tag]                    score *= self.trans_map[prev_tag].get(tag, 1e-6)                    score *= emit_p                    if score > best_score:                        best_score = score                        best_prev = prev_tag                viterbi[i][tag] = best_score                back_ptr[i][tag] = best_prev         # 回溯：从最后一个词的最优状态倒推整条路径        best_tag = max(viterbi[n - 1], key=lambda t: viterbi[n - 1][t])        result = [best_tag]        for i in range(n - 1, 0, -1):            best_tag = back_ptr[i][best_tag]            result.append(best_tag)        result.reverse()        return [(w, t) for w, t in zip(tokens, result)]  if __name__ == '__main__':    corpus = [        [('小明', '名词'), ('喜欢', '动词'), ('读书', '动词')],        [('小红', '名词'), ('在', '介词'), ('学校', '名词'), ('读书', '动词')],        [('小猫', '名词'), ('喜欢', '动词'), ('睡觉', '动词')],        [('老师', '名词'), ('在', '介词'), ('教室', '名词'), ('讲课', '动词')],    ]    tagger = HmmTagger()    tagger.train(corpus)    sentence = ['小明', '在', '学校', '睡觉']    print('输入句子：' + ' '.join(sentence))    print('标注结果：')    for word, tag in tagger.predict(sentence):        print('  {} → {}'.format(word, tag))

1. tagger.train(corpus)让标注器进入“学徒期”，从人工标注语料中统计规律。
2. self.trans_map[prev][tag] += 1统计“前一词性→当前词性”的转移次数，对应分拣手册里“这个筐到那个筐”的衔接频率。
3. self.emit_map[tag][word] += 1统计“词性→词”的发射次数，对应“这个筐通常装哪些信”的分布。
4. viterbi[0][tag] = init_p * emit_p处理句子第一个词，先按初始概率入筐。
5. best_prev = None; best_score = -1.0每步开始都重置“最优前驱”，像老张每接待一封信都暂时忘记上一封。
6. score *= self.trans_map[prev_tag].get(tag, 1e-6)乘上转移概率，并给没见过的组合一个极小兜底值。
7. back_ptr[i][tag] = best_prev记住这一步从哪个词性来，供最后回溯整条最优路径使用。
8. best_tag = max(viterbi[n - 1], key=lambda t: viterbi[n - 1][t])在最后一个词上挑概率最大的词性作为终点，然后倒推全程。

常见误区

面试题