医学命名实体识别(NER)：让AI读懂病历的“分诊台”

可视化演示

演示医学文本NER：BIO序列标注、预训练模型实体抽取与嵌套实体识别，识别疾病、症状、药物与解剖实体。

任务定义与标注体系

分诊台护士手里有一张“登记簿”，上面有四栏：疾病、症状、药物、解剖部位。患者说话时，她每听到一个关键词，就在对应栏目里记一笔。AI 要做的事一模一样，只不过它面对的不是声音，而是电子病历里的一段段文本。比如“患者因胸痛伴咳嗽就诊，既往有高血压病史”这句话，需要被拆成最小的词，然后给每个词打上“这是症状”“这是疾病”或“这不是实体”的标签。

这个过程在技术上叫序列标注：输入一个词序列，输出一个等长的标签序列。之所以不能简单用“关键词匹配”，是因为同一个词在不同语境下类别可能不同，比如“发热”在“发热门诊”里是症状，在“发热伴寒战”里也是症状，但“发热待查”却是一个诊断名称。边界问题更棘手：“左肺上叶肺炎”中，“肺炎”是疾病，“左肺上叶”是解剖部位，两者必须被正确切分。

为了解决“切成几块、每块是什么”的问题，业界普遍采用 BIO 标注体系：B（Begin）表示实体开始词，I（Inside）表示实体中间或结尾词，O（Outside）表示非实体。于是“胸痛”被标为“B-症状”或“I-症状”，“支气管炎”被标为“B-疾病”。从数学上看，整个任务就是寻找条件概率最大的标签序列：

回到分诊台的比喻：如果把每个词看作“病人说的一个词”，那么标签就是护士在登记簿上对应的栏目。BIO 体系保证了“实体从哪开始、到哪结束”清清楚楚，不会把“左肺上叶肺炎”里的两个实体搅成一团。这个“标签语言”，就是 AI 版本的登记簿。

数据语料准备

分诊台护士再厉害，也得先看得清病历上的字。现实中的电子病历往往包含大量“噪音”：多余的空格、半角全角混杂的标点、乱码符号、医生手写输入的错误、剂量单位不规范（“5mg“写成”5 m g“）。这些噪音就像病历纸上的咖啡渍和折痕，如果不处理，AI 会学到错误的规律。数据准备阶段要做的事，就是把这些”潦草档案”誊抄成干净整齐的登记表。

第一步是数据清洗：统一字符编码、去除 HTML 标签和异常符号、把全角字符转半角、修正明显拼写错误。第二步是句子切分与分词：中文没有天然空格，需要按标点和语义把长文本切成句，再用分词工具切成词。在医学场景中，分词尤其困难——“支气管肺炎”到底是“支气管/肺炎”还是“支气管炎/肺炎”？分词错误会直接导致实体边界错误。第三步是标注质控：请医学专业人员标注，并安排双人标注、计算标注一致性，就像护士长抽查登记簿，确保每位护士的记录标准一致。

数据准备阶段是大多数项目最容易低估的一环。很多团队急着上模型，结果发现模型在测试集上表现很好、上了真实病历却崩盘，原因往往是训练数据里相似的噪音模式没有被模拟。医学实体识别对数据质量高度敏感，因为药物、剂量、解剖部位这些信息直接关系到患者安全，一个词的偏差就可能造成严重后果。所以这个“誊抄档案”的过程，不是琐碎的杂活，而是整个 NER 系统稳定性的根基。

经典基线方法

老护士有本泛黄的手册，上面记满了常见症状和药物的别名——这是词典与规则方法。给一个超大词典，文本里出现“阿司匹林”就标记为药物，简单直接。但问题也明显：医学词汇无穷无尽，新药、缩写、拼接词层出不穷，词典覆盖不全时，模型就变成“睁眼瞎”。另外，词典匹配不考虑上下文，“心衰”在病历里是疾病，在“心衰指数”里可能只是指标简称。

为了利用上下文信息，研究者引入了序列概率模型。早期的隐马尔可夫模型（HMM）把标注问题看作“状态转移”：当前标签只取决于上一个标签，且只通过当前词观察。它像一位只记性不太好的护士——只记得上一个词是什么，却看不到整句话的宏观语境。条件随机场（CRF)则聪明得多，它对整个标签序列建立条件概率模型，可以自由使用任意窗口的特征，是经典时期的“黄金标准”。CRF 的核心公式如下：

老护士的“手册”就是这么一份带权重的经验清单：看到“胸痛”且前面是动词，就倾向标记为症状；看到“疑似”后面大概率跟着疾病。CRF 的强大之处在于，这些特征可以任意组合、自动学习权重。虽然在深度学习的时代 CRF 常被当作“输出层”使用，但它依然是理解序列标注的必修课，也是低资源场景下性能可靠的基线。

预训练模型进阶

分诊台来了个新护士，她不是靠手册背词，而是真正“上过医学院”——她读过的病历、论文、教材数以亿计。这就是预训练模型的思路：先在海量通用文本上学会语言规律，再针对医学文本继续学习。BERT 通过双向 Transformer 编码每个 token，让每个词的表示同时融合左右上下文——好比护士听你说完一整句话后，才回头判断“阿司匹林”在这句话里是药物还是普通名词。

通用 BERT 虽然懂语法，却不了解“二甲双胍”是降糖药、“支气管哮喘”和“心源性哮喘”的区别。于是研究者用医学语料对 BERT 做继续预训练，得到 BioBERT 等医学专用模型。这相当于让护士先读完医学院课程（通用预训练），再去呼吸科轮转（领域继续预训练），最后到分诊台上岗（下游微调）。微调阶段，模型在标注数据上做 token 级分类——对每个词的向量输出一个标签概率分布，用交叉熵损失优化。常用公式是 softmax 分类：

实践中最常用的方案是 BERT/BioBERT + 顶层 CRF：BERT 提供丰富的上下文表示，CRF 负责约束标签转移的合法性（比如“B-疾病后面不能直接跟 I-症状”）。这就像护士先凭直觉每词打分，再根据语法规则做微调，保证输出的标签序列永远符合医学文书的书写逻辑。预训练模型把医学 NER 的 F1 值推上了新台阶，但也带来了更大的算力开销与部署成本，需要根据场景权衡。

嵌套实体处理

病历里有时会出现“俄罗斯套娃”。“左肺上叶肺炎”这个短语里，“左肺上叶”是解剖部位，而整体又指代“肺炎”这个疾病；“慢性阻塞性肺疾病急性加重期”更是嵌套了疾病、病程、状态多层语义。普通 BIO 标注是“扁平的”——每个 token 只能有一个标签，就像登记簿上每个词只能填在一个栏目里。面对嵌套结构，扁平标注会强制你丢弃信息：标“左肺上叶”就丢了“肺炎”，标“肺炎”就丢了部位。

解决嵌套实体有两大类思路。第一类是层式解码：先识别外层实体，再在外层实体内部递归识别内层实体，像剥洋葱一样一层层展开。第二类是跨度抽取：直接枚举所有可能的文本片段（span），判断每个片段是不是实体、属于什么类型。跨度抽取不依赖逐词标签，天然支持重叠结构，就像护士在登记簿上允许一行字同时出现在“疾病”和“解剖部位”两栏。

嵌套实体的难点在于边界识别。模型的训练本质上是在“哪些词必须粘连、哪些词必须断开”之间找平衡。把嵌套实体当成普通扁平实体处理，会导致召回率下降——漏掉内层实体。反过来，过度拆分又可能把“糖尿病肾病”错拆成两个无关实体，破坏临床语义。实际项目里，可以先统计语料中嵌套实体占比：如果低于 5%，用扁平 BIO + BERT 就够了；如果占比高，就要上层级解码或 span 抽取方案。没有一种方案能通吃，先看清数据再选模型，才是高效路径。

低资源适应

分诊台要扩张到一家新诊所，却没时间培训那么多资深护士——标注一份高质量病历需要医生花几十分钟，成本极高。低资源场景是医学 NER 的常态：罕见病语料少、新科室冷启动、方言或特定医院的行话不一致。解决思路有三条。

第一是迁移学习：先在通用医学语料上预训练，再在小规模目标数据上微调。这相当于把大医院护士的丰富经验移植过来，只需要几周科室培训就能上岗。第二是半监督自训练：用一个标注数据训练出的“老师模型”，去给大量无标注病历打伪标签，挑出高置信度的样本加入训练集，再训练“学生模型”。有点像护士长先培养几个骨干，再让骨干去带教新人，循环扩充团队。第三是提示学习：把 NER 改造成“填空式”任务，用大语言模型的先验知识零样本或 few-shot 抽取实体，适合快速验证场景。

低资源方法永远存在“用多少标注数据换多少精度”的权衡。迁移学习假设源域和目标域分布接近，如果新诊所的书写风格差异过大，效果会打折扣；半监督自训练可能放大伪标签中的错误，形成“自我强化偏差”；提示学习受限于大模型对医学知识的掌握程度，输出格式也不稳定。稳妥的做法是多策略组合：先用提示学习快速摸清实体分布，再用迁移学习作为主干，最后用几百条人工标注做精调。就像新诊所先请顾问评估、再派骨干驻场、最后本地护士逐步接手，循序渐进才是低成本高产出的路径。

评估与落地

护士长要考核新护士，不能只看“标了多少实体”，还要看“标得准不准”。评估指标沿用了信息检索的三板斧：精确率（Precision）、召回率（Recall）和 F1 值。精确率是“标出来的实体里有多少是对的”，对应护士没把“胸痛待查”这个诊断名错标成症状；召回率是“所有该标的实体里标出了多少”，对应护士没漏掉“阿司匹林”这个药物。两者是跷跷板，F1 是它们的调和平均：

评估时还要区分token 级和实体级。token 级只看每个词标得对不对，实体级则要求整段实体完全正确才算对——“左肺上叶”标成“左肺”就是错。绝大多数场景下我们要看的是实体级 F1，因为它直接反映“医生能否直接使用抽取结果”。工程落地上，一条完整的医学 NER 流水线通常包括：隐私去标识化、文本解析、NER 推理、实体归一化（如 ICD-10 编码）、结果回写与人工抽检。其中隐私合规是重中之重：电子病历属于受保护的健康信息，模型部署、数据存储、日志记录都必须满足医疗数据安全规范，绝不能因 AI 化而放松对患者隐私的防护。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""迷你医学NER：词典规则 + BIO标注 + F1评估（纯Python，无第三方依赖）"""from collections import defaultdict  class MiniNER:    """模拟分诊台护士：用四类词典做实体识别"""     def __init__(self):        self.disease = {"支气管炎", "肺炎", "高血压", "糖尿病"}        self.symptom = {"胸痛", "咳嗽", "发热", "头晕", "头痛"}        self.drug = {"阿司匹林", "二甲双胍", "布洛芬"}        self.anatomy = {"左肺上叶", "左肺", "心脏", "胃"}        self.free_lists = {"disease": self.disease, "symptom": self.symptom}        self.gc_count = 0     def predict(self, text):        """对句子做简单词典匹配，返回 BIO 标签列表"""        labels = ["O"] * len(text)        for i, ch in enumerate(text):            for ent_type, vocab in self.free_lists.items():                if ch in vocab:                    labels[i] = "B-" + ent_type.upper()                elif ch in vocab:  # 示例分支，便于理解结构                    labels[i] = "I-" + ent_type.upper()        return labels  class NerEvaluator:    """实体级评估：统计 TP/FP/FN 并计算各项指标"""     def __init__(self):        self.tp = 0        self.fp = 0        self.fn = 0     def add_batch(self, gold_spans, pred_spans):        gold_set = set(gold_spans)        pred_set = set(pred_spans)        self.tp += len(gold_set & pred_set)        self.fp += len(pred_set - gold_set)        self.fn += len(gold_set - pred_set)     def report(self):        precision = self.tp / (self.tp + self.fp) if (self.tp + self.fp) else 0.0        recall = self.tp / (self.tp + self.fn) if (self.tp + self.fn) else 0.0        f1 = 2 * precision * recall / (precision + recall) if (precision + recall) else 0.0        return precision, recall, f1  def naive_span_extract(text, labels):    """把 BIO 标签序列转成实体区间列表，演示边界合并逻辑"""    spans = []    start = -1    for i, lab in enumerate(labels):        if lab.startswith("B-"):            if start >= 0:                spans.append((start, i))            start = i        elif lab == "O" and start >= 0:            spans.append((start, i))            start = -1    if start >= 0:        spans.append((start, len(labels)))    return [tuple(text[s:e]) for s, e in spans]  if __name__ == "__main__":    model = MiniNER()    ev = NerEvaluator()    samples = [        ("患者胸痛咳嗽，疑似支气管炎，服用阿司匹林",         [(1, 2), (3, 4), (7, 10), (13, 14)]),        ("高血压患者左肺上叶肺炎", [(0, 2), (4, 6), (6, 7)]),    ]    for text, gold in samples:        tags = model.predict(text)        pred = naive_span_extract(text, tags)        print("原文:", text)        print("预测:", pred)        print("真实:", [tuple(text[s:e]) for s, e in gold])        print("---")        ev.add_batch([tuple(text[s:e]) for s, e in gold], pred)     p, r, f = ev.report()    print("精确率: %.2f 召回率: %.2f F1: %.2f" % (p, r, f))

1. class MiniNER:用 Python 类模拟分诊台护士，内部维护四类医学实体词典。
2. self.free_lists = {"disease": self.disease, ...}字典映射实体类型到词表，便于遍历匹配；集合用 _lists 命名避免与方法冲突。
3. labels = ["O"] * len(text)初始化全 O 标签，代表“暂不确定任何实体”。
4. for ent_type, vocab in self.free_lists.items():逐个词表匹配，最朴素的“背手册”策略。
5. naive_span_extract(text, labels)把 BIO 标签合并为实体文本区间，演示边界合并逻辑。
6. gold_set = set(gold_spans)用集合做交集/差集运算，快速统计 TP/FP/FN。
7. self.f1 = 2 * p * r / (p + r) if (p + r) else 0.0F1 计算公式，注意分母为零的保护。
8. for text, gold in samples:遍历两条例句，完成预测与评估循环。

常见误区

面试题