HyDE假设文档嵌入检索召回提升

可视化演示

展示HyDE假设文档嵌入方法，将查询经LLM生成假设答案文档，再嵌入检索提升召回率，零样本场景下无需训练数据即可增强检索效果。

短查询的困境

你在同学群里收到一句微信：“上次那家店，你记得吧？我们周五去的。”你点开相册想找那家店的招牌菜照片，却愣住了——几百张照片躺在那里，而你能用的线索只有“那家店”“周五”这几个词。翻来翻去，眼睛花了也找不到。这就是短查询的困境：不是没有答案，而是提问给出的信息太少，少到无法从海量内容里定位目标。

在信息检索里，这个“相册”就是文档库，你的那句模糊微信就是查询。现代稠密检索先把查询和文档分别编码成高维向量，再比较两个向量的相似度。可查询太短时，编码出来的向量“贫瘠”得像一张只有两个像素的照片，和任何一张文档照片都很难重合——学术上叫语义鸿沟。具体表现为三种情形：词汇不匹配——用户说“辣”，文档写“花椒”“藤椒”，表面词不同；稀疏表示——查询只有几个词，向量非零维度极少；长尾难题——冷门话题在库里本来就没几篇相关文档，相似度普遍偏低，排在前面的常常是噪声。

传统方法面对这些问题只能干瞪眼：BM25 靠词频统计，对同义词毫无办法；稠密检索虽然理解了语义，但输入向量太“薄”，照样找不准。问题不在“搜”这个动作，而在“搜之前手里只有三个词”。

相册还是那本相册，问题出在手里那三个词太干瘪。如果能让三个词先“膨胀”成一段像样的话、再拿去搜——故事的转折就从这里开始。

HyDE 的核心思想：先答后搜

你换了个思路：既然想不起来，不如先假装自己已经想起了。你拿起笔，凭印象写下一封“假设的回信”：“对，就是人民路那家川菜馆，招牌毛血旺，辣得冒汗，我们坐窗边……”写完后，你拿着这封信去翻相册，眼睛立刻有方向了——找川菜馆、找那盘红油油的毛血旺、找靠窗的桌子。

这正是 HyDE 的直觉：与其用光秃秃的查询去检索，不如先让大模型“凭空”写一篇假设存在的答案文档，再用这篇文档的向量去找真正的文档。论文里管这叫“先假设，后检索”。流程分两步：第一步，把用户查询喂给大语言模型，让它输出一段“如果答案存在，它大概长这样”的文字；第二步，把这段假设文档交给嵌入模型编码，再去文档库做相似度检索。全程不需要任何标注数据，零样本可用。

这里的关键词是“语义增强”：假设文档是从查询出发、由世界知识补全的完整陈述。它虽然不一定真实，却天然站在“答案”这一侧。短查询像一张写在纸巾上的三个字，假设文档则是一封有开头有细节的信，两者在向量空间里的“势力范围”完全不同。

相册还是那个相册，嵌入模型还是那个嵌入模型，变的只是检索前手里拿的东西——从三个字变成一封信。这封信未必准确，但它提供了足够的“话头”，让向量搜索第一次有机会对准靶心。

生成环节：让大模型写假设回信

回信写得好不好，直接决定翻相册的成败。如果那封信写的是“那家店在商场五楼，灯很亮”，你依然找不到川菜馆；如果写的是“人民路川菜馆，毛血旺，水煮鱼，花椒，靠窗”，照片立刻浮出水面。HyDE 的生成环节同理，是整条链路的命门。

LLM 的输入要经过一个指令模板，比如：“请根据以下查询，写一段可能作为其答案的文档。查询：{}”。模板的作用是告诉模型：别回答我，别给结论，给我一篇“看起来像馆藏文献”的文字。在零样本设定下，模板是通用的一句话；在领域场景中，可以注入领域约束——政策检索就让它写“政策评估报告摘录”，医学检索就让它写“病例摘要”，让假设文档与目标文档同域同风格。

生成质量直接决定后续召回上限：细节越贴近真实文档的词汇分布，向量越容易找到邻居；反之，空话连篇的假设文档只会把检索带向任何一篇泛泛而谈的文章。实践中，模型越大、指令越明确，假设文档的“仿真度”越高，但也意味着更高的延时和成本，需要在效果与开销之间做取舍。

想象你给朋友发微信求助，朋友回你一篇小作文帮你回忆。小作文里每一条具体细节——菜名、街道、灯光——都是检索时的“锚点”。HyDE 的生成环节，就是在制造锚点。

嵌入与检索：把回信变成向量去找

回信写好了，接下来要“拿着信找照片”。你不会把整封信当尺子去量每张照片，而是先给信抽出一个简明的特征——就像人脸识别先提取五官特征。嵌入模型干的正是这件事：把假设文档压缩成一个稠密向量，同时让语义相近的文本在向量空间里挨得近。这一步叫向量编码，输出的向量就是“回信的照片”。

编码完成后，检索阶段用余弦相似度衡量假设文档向量与每篇候选文档向量的夹角。夹角越小越相似。大规模场景下不会暴力遍历所有文档，而是用 ANN 索引（如 HNSW、FAISS）做近似最近邻搜索，牺牲微量精度换取毫秒级响应。得到候选集后，按相似度降序排列，取 top-k 进入下游——比如 RAG 的生成模块。

这里有一个容易忽略的点：向量本身并不“理解”文字，它只是在几何空间里让相近的内容聚在一起。正如照片特征向量并不知道什么是“川菜”，却能让川菜馆的照片聚成一簇。HypDE 的假设文档因为词汇丰富，恰好落在目标文档簇的中心附近，于是比短查询更容易“入围”。

从“写回信”到“拍回信的照片”，这一步让假设文档从文字变成了可计算的距离。后面的故事，就是数字登场了。

效果评估：命中率说了算

怎么知道“照信翻相册”这招管不管用？你得统计成功率：把 100 个模糊查询拿来做实验，看看返回的前 k 篇结果里到底有几篇是真正相关的。这就是召回率的衡量——直觉上，它回答的是“该找到的找到了几成”。

实验里，HyDE 在零样本设定下跑赢 BM25 和典型的稠密检索基线（如直接用 Contriever 对查询编码检索）。最惊艳的是长尾查询：越冷门、越模糊的问题，提升越明显，因为假设文档把稀薄的语义“喂饱”了。相反，在意图非常清晰的查询上，HyDE 的增益会缩水，甚至因为多余生成而拖慢速度。

消融实验进一步拆解贡献：去掉 LLM 改用简单模板拼接，效果骤降；更换不同指令模板，波动不大但方向一致；用更大的 LLM 生成，提升有限但成本更高。这说明 HyDE 的增益主要来自“假设文档”这个载体，而不是某个特定模型的魔法。

就像做菜谱测评要看“按这个菜谱做出来的菜有几分像原版”，评估环节用数字把“这封信帮没帮上忙”说清楚。能上数字的直觉，才敢搬进生产环境。

局限与改进：写歪了怎么办

凡事都有另一面。假设回信可能写错店名、编错地址——LLM 的幻觉会污染假设文档，让检索朝着错误的方向猛冲；写回信本身也要时间，每来一个查询就多一次 LLM 推理，延迟直线上升；如果查询本身很清楚，绕这一圈纯属多此一举。这三个问题分别对应：幻觉风险、推理开销、清晰查询失灵。

工程上常用“融合检索”来对冲风险：把 HyDE 的语义分与传统稀疏检索（BM25）的关键词分做线性加权，两路互补。语义路负责“说得像”，关键词路负责“拼得准”，谁也别想独自带偏。此外还可以加幻觉检测、限制生成长度、只在查询长度低于阈值时启用 HyDE，让这套“降级策略”把 HyDE 从论文玩具变成可上线的组件。

融合的本质是承认任何单一信号都不完美：BM25 对同义词失明，HyDE 对幻觉敏感，但两者叠加时，各自的盲区会被对方覆盖。

回信会写歪，但我们可以不把宝全押在一封信上。多带一本词典（BM25）、多带一个指南针（领域指令模板），这套“信 + 词典”的组合，才是生产级 HyDE 的日常姿态。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-# HyDE 的最小模拟:用双字切分 + 词频加权模拟嵌入,对比直接查询与假设文档检索import mathfrom collections import Counter DOCS = [    "人民路川菜馆的毛血旺又辣又香,靠窗座位适合看夜景",    "甜品店的提拉米苏带咖啡酒味,二楼音乐舒缓",    "那家火锅店锅底偏麻,香菜牛肉丸是招牌",    "川菜馆的水煮鱼用大量花椒,麻辣层次分明",    "日料店的三文鱼刺身很新鲜,芥末微辣",] QUERY = "那家很辣的川菜店"HYPOTHESIS = "那家店是川菜馆,招牌是毛血旺和水煮鱼,花椒很足,很辣,在人民路"  def tokenize(text):    # 双字切分模拟词边界,保留"辣"和"川菜"等语义单位    return [text[i:i + 2] for i in range(len(text) - 1)]  def embed(text):    counter = Counter(tokenize(text))    return {w: 1 + math.log(v) for w, v in counter.items()}  def norm(vec):    return math.sqrt(sum(x * x for x in vec.values()))  def cosine(a, b):    common = set(a) & set(b)    dot = sum(a[w] * b[w] for w in common)    return dot / (norm(a) * norm(b))  def rank(text):    vec = embed(text)    scores = [(i, cosine(vec, embed(d))) for i, d in enumerate(DOCS)]    scores.sort(key=lambda x: x[1], reverse=True)    return scores  def main():    print("== 直接查询排序 ==")    for i, s in rank(QUERY):        print("doc%d: %.3f" % (i + 1, s))    print("== 假设文档排序 ==")    for i, s in rank(HYPOTHESIS):        print("doc%d: %.3f" % (i + 1, s))  if __name__ == "__main__":    main()

1. return [text[i:i + 2] for i in range(len(text) - 1)]双字切分是“伪分词”，用相邻字对模拟语义单元，足够演示词汇重叠。
2. counter = Counter(tokenize(text))统计每个字对出现的次数，词频越高代表越重要。
3. {w: 1 + math.log(v) for w, v in counter.items()}对词频取对数平滑，模仿 TF-IDF 的“越稀有越关键”思想。
4. common = set(a) & set(b)只取两段文本共有的词，因为余弦相似度只关心共同维度。
5. dot = sum(a[w] * b[w] for w in common)点积累加，方向一致时数值更大。
6. return dot / (norm(a) * norm(b))归一化后得到余弦相似度，结果在 0 到 1 之间。
7. scores.sort(key=lambda x: x[1], reverse=True)按相似度降序排列，输出检索排名。
8. HYPOTHESIS = "..."这就是“假设回信”：比查询多出“毛血旺”“花椒”“水煮鱼”等细节，正是它们抬高了命中率。

常见误区

面试题