ES Mapping与Analyzer配置

可视化演示

动态展示Elasticsearch文本分析管道：从原始文本输入经字符过滤、分词、小写化、停用词过滤到最终索引Token的完整流程，支持切换不同Analyzer。

字段类型定义

馆长设计档案卡时，最头疼的就是“格式”：书名要能拆成标签，所以按“全文”登记；ISBN 要精确到字符，所以按“精确串”登记；价格要能比较大小，所以按“数字”登记；出版日期要能算先后，所以按“日期”登记。每一行栏位用哪种格式，就是字段类型，草率不得。

ES 的 Mapping 就是这张档案卡的蓝本，它把每个字段映射到一种类型。最常用的是 text（全文，会被 Analyzer 分词，支持模糊搜索）与 keyword（精确字符串，不分词，适合过滤、排序、聚合）。数值用 long、integer、double，日期用 date，布尔用 boolean，复杂对象用 object 或 nested。

一个常见需求是“一个字段既要搜索又要精确匹配”。比如城市字段 city，搜索时用 text，分组统计时又需要 keyword。ES 用 multi-fields（多字段）解决——给同一个字段配两个“分身”：

档案卡格式定好了，管理员才有章可循，照着登记不会出错。可如果馆长偷懒，让管理员看着书皮随手猜格式，又会闹出什么乱子？带着这个悬念，我们一起走进仓库，看看动态映射的现场发生了什么。

{ "properties": { "city": { "type": "text", "fields": { "keyword": { "type": "keyword" } } } } }

动态映射机制

新书源源不断送进图书馆，馆长来不及逐本设计档案卡，于是对管理员说：“你看着办。”管理员看到一串数字就登记成“数字”，看到像日期的就登记成“日期”。ES 的 dynamic mapping（动态映射）就是这样一位“随手猜”的管理员。

ES 默认开启 dynamic: true，收到文档后自动推断字段类型，立刻写入索引。推断规则包括：整数 → long，小数 → double，日期格式字符串 → date，其他 → text（并附带 keyword 子字段）。此外还有 date_detection 日期检测和 numeric_detection 数字检测可开关。

但自动猜测有风险：手机号一串数字会被当成 long，前导零和精度全丢；时间戳被当成 text 就没法做范围查询。更麻烦的是，字段类型一旦写入就“定型”了。生产环境通常关闭动态映射：dynamic: false 忽略新字段，dynamic: strict 直接报错，逼着开发人员显式设计。

管理员随手分类省了事，却也埋下隐患。馆长终于意识到：档案卡格式必须有人负责，而真正决定“书好不好找”的，是另一套工序——做检索标签。接下来出场的 Analyzer，才是搜索体验的灵魂。

Analyzer组成

为了读者能快速找到书，管理员每周都要给新书做一套检索标签。流水线有三道工序：先用橡皮擦擦掉封面上的灰尘和贴纸（比如 <p> 这类 HTML 残留）；再用剪刀把整段文字剪成一个个词；最后在整理台上把标签统一小写、去掉没人搜的“的、了、是”，再贴几张同义词。这套流水线就是 Analyzer。

ES 的 Analyzer 正是由三部分组成：char_filter（字符过滤器，可多个）→ tokenizer（分词器，只能一个）→ token_filter（词条过滤器，可多个）。例如 standard analyzer = 无字符过滤 + standard 分词器 + lowercase 小写过滤 + stop 停用词过滤。通过 _analyze API 可以随时查看一句话被拆成了什么词。

管理员正干得顺手，忽然眼前一黑——一本书上全是中文，没有空格，剪刀无从下手！他只好去请一位懂中文的专家：IK 分词员。这位专家一出手，中文世界的检索难题迎刃而解。

中文分词IK

英文靠空格天然分词，中文却是连续字符串。“南京市长江大桥”到底是“南京市 / 长江大桥”还是“南京 / 市长 / 江大桥”？馆长请来的 IK 分词员有两种剪法：ik_smart 是“聪明剪”，只剪出最合理的整词，词少而准；ik_max_word 是“贪心剪”，把所有能匹配到的词都剪出来，词多而全。

用标准词典切分“南京市长江大桥”，两种模式的结果一目了然：

中文分词效果还依赖词典。IK 允许自定义词典（在 IKAnalyzer.cfg.xml 中配置 ext.dic），把“周杰伦”“元宇宙”这类专有名词加进去，避免被拆得七零八落；还可以配置 stopword.dic 去掉“的、了”等停用词。

IK 把中文书剪得又快又好。不过管理员很快发现另一个尴尬：读者说“电脑”，可书上的标签贴的是“计算机”——语言不一致，怎么保证双方都能找到对方？答案，就藏在同义词配置里。

同义词配置

图书管理员恍然大悟：光会分词还不够，读者的口语和书面语常常对不上。于是他在整理台上放了一本“同义词典”：凡是贴了“电脑”标签的书，也自动补一张“计算机”的标签。这样搜索时，无论读者说哪个词，都能把同一批书找出来。

ES 的 synonym token filter 就是这本同义词典。准备好同义词文件 synonyms.txt，每行一条规则，再用逗号或 => 表达关系：

规则写法有讲究：“电脑，计算机 => 电脑” 表示左边两种说法都映射成右边的标准词（单向）；“电脑，计算机” 不加箭头表示互相等价（双向）。同义词过滤器属于 token filter，位于分词器之后，作用在词条层面。

有了同义词，搜索召回明显变多，但噪音也随之而来。馆长意识到，光改“拆法”不够，档案卡本身也得好好设计——他决定亲自出马，从源头把规范定死。

{ "filter": { "my_syn": { "type": "synonym", "synonyms_path": "analysis/synonyms.txt" } } }

自定义映射策略

馆长受够了管理员随手猜格式，决定亲自动手，为每类书制定标准档案卡。虽然前期多花功夫，但一劳永逸：字段类型不会错，分词器不会乱，也不会出现“手机号变数字丢精度”这种事故。

创建索引时显式指定 mappings，每个字段的参数构成一份“档案卡规范”。核心参数包括 type、analyzer、search_analyzer、index、null_value、fields 等：

关键约束：已有字段的类型不可修改。想改，只能新建索引 → reindex 数据 → 切换别名。所以生产环境推荐在索引模板里预定义 Mapping，并对动态映射设限。手动规范虽然前期麻烦，却换来了长期稳定。

馆长把档案卡定得明明白白，检索标签也标准化了。下一步就是终极目标：让读者在几千万本书中，一眼锁定最想要的那一本。一场关于“搜索精度”的战役就此打响。

搜索精度优化

搜索不是“找到就行”，而是“找到最相关的”。读者问“大桥”，管理员不能把“南京市长”的书也递上来。精度优化的思路类似：让重要的字段声音更大，让精确的写法不参与模糊匹配，让查询时的拆法更稳。

常用手段：title 等核心字段加权 boost；精确匹配用 keyword 配合 term 查询；只需过滤的字段设 index: false 不建索引，省空间且不干扰搜索；将索引分词器设为 ik_max_word（多存候选词），查询分词器设为 ik_smart（去噪），实现“索引广撒网、查询精准抓”。相关性打分大体由词频、逆文档频率与字段权重决定：

图书馆从“能找”进化到“找得准”，靠的就是 Mapping 与 Analyzer 的默契配合：一个定好存储格式，一个打磨检索标签。无论是电商、日志还是知识库，记住这两件武器，你就能为任何业务搭出又快又准的搜索体验。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""迷你 Analyzer: 用纯 Python 演示 ES 分词三阶段流水线"""  class MiniAnalyzer:    """字符过滤器 -> 分词器 -> 词条过滤器"""     def __init__(self, char_filters, tokenizer, token_filters):        self.char_filters = char_filters        self.tokenizer = tokenizer        self.token_filters = token_filters     def analyze(self, text):        out = text        for cf in self.char_filters:            out = cf.transform(out)        tokens = self.tokenizer.cut(out)        for tf in self.token_filters:            tokens = tf.filter(tokens)        return tokens  class HtmlStripFilter:    """字符过滤器: 剥掉 HTML 标签"""     def transform(self, text):        return text.replace('<p>', '').replace('</p>', '')  class DictTokenizer:    """分词器: 基于词典的两种切分模式"""     def __init__(self, words, max_word=True):        self.words = sorted(words, key=len, reverse=True)        self.max_word = max_word     def cut(self, text):        if not self.max_word:            tokens, i = [], 0            while i < len(text):                for w in self.words:                    if text.startswith(w, i):                        tokens.append(w)                        i += len(w)                        break                else:                    tokens.append(text[i])                    i += 1            return tokens        tokens, seen = [], set()        for i in range(len(text)):            for w in self.words:                if w not in seen and text.startswith(w, i):                    tokens.append(w)                    seen.add(w)        return tokens  class SynonymTokenFilter:    """词条过滤器: 同义词扩展"""     def __init__(self, mapping):        self.mapping = mapping     def filter(self, tokens):        out = []        for token in tokens:            out.append(token)            out.extend(self.mapping.get(token, []))        return out  if __name__ == '__main__':    words = ['南京市', '南京', '市', '长江大桥', '大桥']    smart = MiniAnalyzer(        [HtmlStripFilter()],        DictTokenizer(words, max_word=False),        []    )    print('ik_smart   :', smart.analyze('<p>南京市长江大桥</p>'))    max_word = MiniAnalyzer(        [HtmlStripFilter()],        DictTokenizer(words, max_word=True),        []    )    print('ik_max_word:', max_word.analyze('<p>南京市长江大桥</p>'))    syn = MiniAnalyzer(        [],        DictTokenizer(words, max_word=True),        [SynonymTokenFilter({'长江大桥': ['大桥']})]    )    print('同义词扩展   :', syn.analyze('长江大桥'))

1. for cf in self.char_filters:原文按顺序经过每一道字符过滤器，像橡皮擦依次清理杂质。
2. out = cf.transform(out)每道过滤器把上一道的结果继续清洗，流水线串行。
3. tokens = self.tokenizer.cut(out)分词器把清洗后的文本切成词条列表，这是整条流水线的核心工位。
4. for tf in self.token_filters:词条过滤器逐个加工词条，如小写、去停用词、展开同义词。
5. self.words = sorted(words, key=len, reverse=True)词典按长度倒序排列，保证贪心尽量先匹配最长词。
6. if text.startswith(w, i):判断当前位置是否命中某个词典词，命中就剪下这个词。
7. tokens.append(text[i])词典未命中时保留单字，避免丢字。
8. if w not in seen and text.startswith(w, i):max_word 模式在每个位置枚举候选词，用 seen 去重。
9. out.extend(self.mapping.get(token, []))同义词过滤器把别名追加进结果，实现召回扩展。

常见误区

面试题