查询改写：让RAG听懂用户的潜台词

可视化演示

展示微服务架构中API网关转发请求、服务发现注册中心维护服务实例列表、负载均衡器分发流量到多个副本的完整流程。

改写必要性

在图书馆的老周看来，读者说的每一句话都有“潜台词”。“讲AI但别太深”翻译过来是“人工智能领域的入门读物”，“讲机器学习的书”可能是“机器学习实践案例”。如果老周不翻译，让读者直接去按字面找，多半空手而归。原因很简单：读者用的是口语，书库索引用的是书面语，两边说的不是同一种语言。

RAG系统也面临同样的困境。用户输入的自然语言查询经过嵌入模型变成向量，与文档向量做相似度比较。可当用户说“AI“而文档里写”人工智能“时，两个向量可能相隔很远，检索模块就会漏掉真正相关的文档。这种”用户语言“与”文档语言”之间的错位，专业上叫词汇鸿沟（lexical gap）。查询改写，就是在这道沟上搭一座桥。

更形式化地看，改写是找一个更可能命中目标文档的查询表达：

老周的翻译不是闲聊，而是让读者的话“对齐”到书库的语言体系。查询改写做的正是这件事：在把请求交给检索系统之前，先把话说成文档听得懂的样子。

同义替换扩写

如果读者说“我想找本电脑书”，老周不会只盯“电脑”两个字，而是在心里补出“计算机、PC、微机、计算器原理”这些近义词，再去书架上比对。这种“一个词变出一串词”的做法，就是查询改写里最基础的同义替换扩写。

技术实现上，同义替换可以靠人工维护的同义词表、词向量近邻，或者让语言模型生成多个同义表达。得到若干个候选词后，把它们加进原始查询中，形成一个“扩展查询”。扩展后的查询有时不止一个，而是多个候选查询并行去检索，最后把结果合并。为了让核心语义不跑偏，通常会给不同词分配权重，原词权重最高，扩展词次之。

$$\displaystyle \mathbf{q}_{\text{ext}} = \alpha\,\mathbf{q} + \beta \sum_{i=1}^{n} \operatorname{emb}(w_i),\quad \alpha + \beta = 1,\ \alpha > \beta$$

1. 原查询权重：$\alpha$ 是原始查询在最终向量里的占比，取较大值以保留用户本意。

$$\displaystyle \alpha > \beta$$

2. 同义扩展项：对每个同义词 $w_i$ 取嵌入向量后求和，用一个向量代表整组近义表达。

$$\displaystyle \sum_{i=1}^{n} \operatorname{emb}(w_i)$$

3. 归一化约束：$\alpha+\beta=1$ 保证扩展向量的尺度不会失控。

$$\displaystyle \mathbf{q}_{\text{ext}} = \alpha\,\mathbf{q} + \beta \sum_{i=1}^{n} \operatorname{emb}(w_i)$$

老周在做同义替换时，会保留读者原话里最核心的词，再往外扩展。同义替换扩写也一样：原词为主、近义为辅，既扩大了命中面，又不至于让查询变成一锅乱炖。

查询分解

有时候读者的问题不是“一个词”的问题，而是“好几个问题”打包在一起：“我想找讲机器学习怎么入门、还要能用在团队管理上的书。”老周一听就知道，这不是一本书能解决的，于是把它拆成两路：“机器学习入门”和“团队管理方法”，分头去找再汇总。

这就是查询分解（Query Decomposition）。当用户的问题包含多个独立子意图时，直接用一个完整问题去检索，向量会被拉扯到两个语义空间的中间地带，哪个都靠不近。更聪明的做法是让大模型把问题拆成几个子问题，每个子问题单独走一遍检索，最后把多路检索结果合并去重。

合并的常见策略是取并集：按各子查询的相关性分数保留Top-k，再对重叠文档取最高分或加权平均。这样既保证每个子意图都有覆盖，又不会因为某个子查询太强而淹没另一个子意图。

老周拆完问题后，还会在汇总时把重复推荐给读者的书合并成一条。查询分解的并集操作也一样——既要全，又要去重，让最终进入生成模块的文档清单干净且完整。

HyDE假设文档

有一次，读者说：“我想找一本像《人类简史》那样、从一个宏大视角讲技术发展的书。”老周没有直接搜“宏大视角”，而是先在心里想象：“如果我给这么一本书写内容简介，它会是什么样？”然后拿着这段“想象出来的简介”去和书架上的书比对。这个做法，在查询改写里叫HyDE（Hypothetical Document Embedding，假设文档嵌入）。

HyDE的核心思路是：与其拿一句简短的查询去匹配长文档，不如让语言模型先“脑补”一篇针对查询的虚构文档——一段像模像样的段落。这段假设文档表达了用户期望在真实文档中看到的内容，把它做嵌入后，再去与库中真实文档的向量算相似度。短查询与长文档之间往往存在长度和抽象级别的错位，而“文档对文档”的匹配天然更对齐。

$$\displaystyle \operatorname{score}(d) = \cos\big(\operatorname{emb}(h),\ \operatorname{emb}(d)\big)$$

1. 假设文档：$h$ 是LLM根据查询生成的虚拟文档，包含用户可能想要的定义、概念和表述。

$$\displaystyle h = \operatorname{LLM}(q)$$

2. 真实文档：$d$ 是待检索库中的候选文档。

$$\displaystyle d \in \mathcal{D}$$

3. 余弦匹配：对 $h$ 和 $d$ 分别做嵌入，再计算余弦相似度作为相关性分数。

$$\displaystyle \cos\big(\operatorname{emb}(h),\ \operatorname{emb}(d)\big)$$

老周“想象出的简介”不是真的书，却帮他准确锁定了书架上的候选。HyDE的假设文档也不是答案，它只是探路的引子——真实答案永远来自库中检索出的真实文档。

策略对比选型

面对不同的读者，老周的应对也不同：能直接说出书名的，二话不说去取书；问题里藏了两个意图的，拆开找；只描述感觉、说不清书名的，才动用“想象法”。没有哪个方法能包打天下，查询改写也一样。

三种主流策略各自对应一类失败模式：同义替换扩写解决词汇不一致；查询分解解决复合意图；HyDE解决查询太简短、信息量不足。在实际RAG系统中，三种方法也可以组合使用，给不同策略分配权重。组合检索分数就是各路分数的加权和：

老周会根据读者的表达方式灵活切换策略，而不是每次都把三种方法都上一遍。工程上也一样：先分析检索失败的类型，再有针对性地选择改写策略，能让效果和成本都更可控。

效果评估方法

老周怎么知道自己翻译得好不好？他会悄悄记下读者有没有借到满意的书，借出去了还会不会再来问。如果“翻译后找到书的成功率”明显高于“直接带读者去书架”，说明翻译有效。

改写效果评估也分三个层次。第一层是无参考评估：不依赖人工标注，直接对比改写前后检索结果的命中率、MRR等指标有没有提升。第二层是有参考评估：准备一批标准查询-文档对，用改写后的查询去检索，看目标文档是否排进前几位。第三层是端到端评估：把改写放进完整RAG流程里，让LLM对最终生成答案打分。其中MRR是一个很常用的检索排序指标：

老周记录的是“读者最终满意而归”的比例，而不是“推荐了多少本书”。评估改写也一样，要看它是否真正提升了检索和回答质量，而不是只看改写本身花哨不花哨。

RAG流程定位

老周的位置很有意思——他不在书库里，也不在借书台，他站在两者之间。读者说出需求后，他会先做翻译，再把人领进书架。这个“中间的过道”，就是查询改写在整个RAG流程里的位置：检索前的预处理阶段。

完整流程是：用户查询先进入改写模块，做同义替换、拆解或假设文档生成；改写结果交给嵌入模型转成向量；向量在文档库里检索出候选文档；候选文档再经过重排序精排；最后由大模型依据精排后的文档生成回答。改写不替代向量检索，也不替代重排序，它只负责让后续每一步都站在更牢靠的起点上。

老周从不亲自写书，他只是让“找书”这件事变得更顺。RAG里的改写模块也一样，它不产出答案，却决定了答案能站在多好的文档基础之上——位置在检索之前，价值贯穿整个链路。

工程落地实践

老周不是对每个读者都做全套翻译。有人直接报出书名，他就指路；有人描述含糊，他才追问几个问题。改写也要讲性价比：不是所有查询都值得改写，简单精确的查询直接检索更快。

工程上的关键是“按需触发”：先判断查询是否模糊、是否含领域别名、是否包含复合意图，只有命中这些条件才启动改写。改写好的结果可以放进缓存，相同的模糊问题再次出现时直接复用。改写模型也不必都上大模型，量小场景用同义词表，量大场景再考虑LLM。是否改写的判断可以写成一个延迟收益权衡：

老周的经验是：把精力花在最容易出错、最值得翻译的读者身上。查询改写落地也是这个道理——在正确时机做正确加工，用最小的额外延迟换最大的检索收益，才能让RAG系统真正“听懂用户”。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""Query Rewriting demo: show how rewriting improves retrieval hit."""import mathimport re  def tokenize(text):    return re.findall(r"[\u4e00-\u9fa5a-zA-Z0-9]+", text.lower())  def vectorize(text, vocab):    vec = [0] * len(vocab)    for w in tokenize(text):        if w in vocab:            vec[vocab[w]] += 1    return vec  def cosine(a, b):    dot = sum(x * y for x, y in zip(a, b))    na = math.sqrt(sum(x * x for x in a))    nb = math.sqrt(sum(y * y for y in b))    if na == 0 or nb == 0:        return 0.0    return dot / (na * nb)  def search(query, docs, vocab):    qv = vectorize(query, vocab)    result = []    for doc in docs:        result.append((cosine(qv, vectorize(doc, vocab)), doc))    return sorted(result, reverse=True)  def rewrite_with_synonyms(query):    table = {        "AI": "人工智能 机器学习",        "电脑": "计算机",        "报销": "费用报销 单据审核"    }    words = query.split()    new_words = []    for w in words:        new_words.append(table.get(w, w))    return " ".join(new_words)  def decompose_query(query):    return [part.strip() for part in query.split(" ") if part]  def hyde_expand(query):    return query + " 我们关注其定义 原理 应用场景 以及清晰的入门解释"  def build_vocab(docs):    vocab = {}    for doc in docs:        for w in tokenize(doc):            if w not in vocab:                vocab[w] = len(vocab)    return vocab  def main():    docs = [        "人工智能是研究如何让机器具备人类智能的学科 包括机器学习与深度学习",        "计算机视觉是让程序理解图像内容的技术 用于人脸识别和自动驾驶",        "团队管理者需要绩效评估 目标拆解 以及沟通技巧等软技能"    ]    vocab = build_vocab(docs)    q = "AI 入门"    print("原始查询:", q)    for score, doc in search(q, docs, vocab):        print("  %.3f  %s" % (score, doc))     rw = rewrite_with_synonyms(q)    print("同义改写:", rw)    for score, doc in search(rw, docs, vocab):        print("  %.3f  %s" % (score, doc))     subs = decompose_query(q)    print("查询分解:", subs)    merged = {}    for sub in subs:        for score, doc in search(sub, docs, vocab):            merged[doc] = max(merged.get(doc, 0.0), score)    for doc, score in sorted(merged.items(), key=lambda kv: kv[1], reverse=True):        print("  %.3f  %s" % (score, doc))     hy = hyde_expand(q)    print("HyDE假设文档:", hy)    for score, doc in search(hy, docs, vocab):        print("  %.3f  %s" % (score, doc))  if __name__ == "__main__":    main()

1. def rewrite_with_synonyms(query):定义同义替换改写函数，通过同义词表把口语词翻译成文档常用词。
2. table.get(w, w)查表替换：词在表中就换，不在表中保持原词，避免误改。
3. def decompose_query(query):将复合查询按空格拆成多个子查询，模拟查询分解模块。
4. def hyde_expand(query):用模板句式生成一段假设文档，模拟HyDE的“脑补段落”。
5. def search(query, docs, vocab):查询入口：对查询和每篇文档做向量化并计算余弦相似度。
6. result.append((cosine(qv, vectorize(doc, vocab)), doc))核心评分：计算查询与文档的相似度并保存。
7. for score, doc in search(rw, docs, vocab):用改写后的查询重新检索，直观对比命中分数的变化。
8. merged[doc] = max(merged.get(doc, 0.0), score)多路结果合并时取每篇文档的最高分，模拟并集去重。

常见误区

面试题