RAG检索上下文压缩与重排策略

可视化演示

动态演示RAG检索上下文压缩与重排策的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

压缩重排协作

回到开卷考试。你从课本里翻出来二十段资料，第一件事是判断“答题卡装不装得下”——这就是上下文窗口瓶颈：大模型的注意力窗口就像答题卡，格子有限。第二件事是判断“哪些话最可能得分”——这就是噪声干扰：资料里大段背景介绍、重复描述，直接抄上去会让阅卷老师（大模型）抓不住重点。第三件事是省钱：每多写一个字，就多花一分 token 费用。

所以 RAG 系统的标准动作是：检索器先召回 top-50 相关段落（翻书），压缩模块把每段提炼成要点（做笔记），重排模块按相关度从高到低排序（排优先级），最后只把排序靠前的 top-10 送入大模型。压缩解决“装不装得下”，重排解决“先看哪一个”，两者配合才能达到又快又准的效果。

在重排打分的工程实践中，我们还希望重排时兼顾 token 成本，避免让一个又长又不太相关的“大块头”文档霸占前排。因此可以用一个带成本惩罚的排序公式：

这就像你整理笔记时，既要看内容靠不靠题（相关度），也要看篇幅值不值得写（成本）。两者平衡好了，答题卡才用得最值。

压缩算法选型

做笔记有三种风格。第一种是请学霸帮你概括：他读完整段话，用自己的话说出核心观点——这是 LLM 生成式压缩，理解语义、能针对问题提炼，但“请学霸”要花时间（延迟高），也可能偶尔自由发挥过头（幻觉）。第二种是你拿荧光笔划重点：从原文里挑出最重要的一两句，一字不改——这是抽取式压缩，速度快、绝对保真（内容都来自原文），但划出来的句子可能缺上下文、读起来不连贯。第三种是混合策略：先用荧光笔划出候选句，再请学霸把几句合并润色成通顺的要点。

三种方式各有用武之地。LLM 压缩适合复杂推理问题，比如“这两份合同有哪些冲突条款”；抽取式压缩适合延迟敏感的场景，比如实时语音助手；混合压缩则适合中等预算的常规问答。压缩率（压缩后 token 与压缩前 token 的比值）一般控制在 20% 到 50% 之间——压得太狠会把关键信息弄丢，压得太轻又省不下多少 token。

选压缩算法就像选笔记工具：学霸（LLM）贵但质量高，荧光笔（抽取）便宜但效果糙，聪明人往往口袋里两种都备着，按情况取用。

重排模型选型

想象考场上有两位判卷老师。第一位是“速读型”老师：考前把所有课本内容背成了知识卡片（向量索引），考试时看到你的答案关键词和卡片对得上，就快速给分——这就是 bi-encoder：问题和文档分别编码成向量，用余弦相似度打分。好处是文档向量可以提前离线算好，在线只需编码问题一次，速度快得惊人；坏处是它只看“关键词重合”，容易把“苹果”和“苹果公司”混为一谈。

第二位是“精读型”老师：他拿着题目原文，逐字逐句跟你的答案比对——这就是 cross-encoder：把问题和文档拼接成一个整体输入模型，让模型在 token 级别上充分交互，精度明显更高。代价是每篇文档都得从头到尾过一遍模型，无法预计算，候选越多越慢。

精读老师判得准但判得慢，速读老师判得快但会看走眼。工程上的标准做法是：召回阶段用 bi-encoder 快筛出 top-100，重排阶段用 cross-encoder 对 top-20 精排。这也解释了为什么两者不是替代关系，而是上下游关系。

而 cross-encoder 没有这么简洁的公式，它把 \(q\) 和 \(d\) 拼成 [CLS] q [SEP] d 输入 Transformer，直接输出一个 0 到 1 的相关分——就像精读老师直接在试卷上写下“这题 0.92 分”。

效果延迟平衡

考试时间总是有限的。如果每一道题都让精读老师逐字比对，时间根本不够用；如果全用速读老师，又容易漏掉得分点。聪明的考生会分层处理：先把明显不相关的答案扔掉（bi-encoder 粗排淘汰 80%），再对剩下的精读判卷（cross-encoder 精排 top-20），最后摘出最稳的几条写进答题卡。这就是级联排序策略。

延迟预算是这样拆解的：检索耗时通常在几十毫秒，bi-encoder 粗排每篇约 1 毫秒，cross-encoder 精排每篇约 20 到 50 毫秒，LLM 生成则要 1 到 3 秒——生成才是大头。压缩耗时需要特别留意：LLM 压缩一次可能就要 0.5 到 2 秒，如果对 50 篇文档全做 LLM 压缩，延迟直接爆炸。因此压缩要“量力而行”：先抽取式压掉一大半，再对真正要送入模型的 top-10 做精细压缩。

另外还有动态路由：简单问题（比如“公司邮箱是什么”）走快速路径——bi-encoder + 抽取压缩；复杂问题（比如“这三份合同有哪些风险”）走完整路径——LLM 压缩 + cross-encoder 精排。就像考生先扫一眼题目难度，简单题直接写，难题才祭出精读策略。

考场上最忌讳“平均用力”。把精读留给最关键的内容，把速读用在海量筛选中，整体时间才够用——RAG 的延迟平衡，考的就是这道时间分配题。

端到端评估

考试最终看总分，但要想知道哪科拖后腿，还得看分项成绩。RAG 评估也是一样：检索质量指标看召回率（Recall@k），衡量“该翻到的书页翻到了没”；重排排序指标看 MRR 和 NDCG@k，衡量“翻到的书页排得准不准”；答案质量评估看准确率、ROUGE 分数和忠实度，衡量“最终写的答案对不对、有没有瞎编”。最后还要算账：token 节省了多少、延迟涨了多少。

其中 NDCG@k 是重排效果的核心指标。它的思想是：排在第 1 位的相关文档比排在第 5 位的更有价值。公式里每个位置的收益会除以排名的对数折扣，越靠前权重越大，再除以理想排序的得分做归一化，得到 0 到 1 的分值。

实操时还要做消融实验：固定同一个评估集，分别跑“全量上下文”“只压缩不重排”“只重排不压缩”“压缩+重排”四组配置，对比回答得分、token 消耗和延迟。就像每次只改一种备考习惯，看总分到底涨在哪——这样才能精准定位瓶颈，而不是瞎调一通。

工程落地实践

把备考流程变成自动流水线，还需要几样“后勤工具”。第一样是缓存复用机制：常考的重点题（热门问题）直接查错题本，不用重新做笔记和排序。第二样是批处理加速：重排模型一次处理一批候选文档，用 GPU 批量推理，比逐篇调用省一半时间。第三样是增量更新策略：知识库新增文档时，只重算新文档的向量和缓存，不必全量重建——就像课本改版时只换新章节的笔记。

第四样是监控与回退：持续跟踪端到端延迟的 P95、压缩率、缓存命中率、重排后 top-1 答案采纳率。如果重排服务超时，就自动降级为只用 bi-encoder 的粗排结果，保证回答不会彻底失败——这就是“时间不够先答最稳的题”。

缓存能显著摊薄成本，可以用一个简单的期望成本公式来理解为什么值得做缓存：

后勤到位了，整条流水线才能稳定运转：有缓存兜底、有批量提速、有更新保鲜、有回退守底线。这样一套系统，才称得上“上了考场不慌”。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""RAG 上下文压缩与重排的简化 Pipeline 演示""" import re  def retrieve(query, corpus, top_k=6):    """模拟向量检索: 按词重叠度召回 top_k 个原始段落"""    q_words = set(re.findall(r"[\w\u4e00-\u9fa5]+", query.lower()))    scored = []    for idx, doc in enumerate(corpus):        d_words = set(re.findall(r"[\w\u4e00-\u9fa5]+", doc.lower()))        hit = len(q_words & d_words) / max(len(q_words), 1)        scored.append((hit, idx, doc))    scored.sort(key=lambda x: x[0], reverse=True)    return scored[:top_k]  def extractive_compress(doc, max_sentences=2):    """抽取式压缩: 只保留前 max_sentences 个完整句, 类似荧光笔划重点"""    sents = re.split(r"[。！？!?]", doc)    sents = [s.strip() for s in sents if s.strip()]    return "。".join(sents[:max_sentences]) + "。"  def llm_compress(doc):    """LLM 压缩: 模拟生成式概括, 取最长的核心句作为摘要"""    sents = re.split(r"[。！？!?]", doc)    sents = [s.strip() for s in sents if s.strip()]    if not sents:        return ""    best = max(sents, key=len)    return "核心要点: " + best[:40]  def rerank_cross(query, docs):    """模拟 cross-encoder 重排: 用句子级 F1 重叠度打分"""    q_words = set(re.findall(r"[\w\u4e00-\u9fa5]+", query.lower()))    results = []    for doc in docs:        d_words = set(re.findall(r"[\w\u4e00-\u9fa5]+", doc.lower()))        inter = len(q_words & d_words)        precision = inter / max(len(d_words), 1)        recall = inter / max(len(q_words), 1)        f1 = 2 * precision * recall / max(precision + recall, 1e-9)        results.append((f1, doc))    results.sort(key=lambda x: x[0], reverse=True)    return results  def main():    query = "RAG 系统中为什么需要对上下文做压缩和重排"    corpus = [        "RAG 检索返回大量相关文档, 直接拼接会占用上下文窗口并引入噪声。",        "上下文压缩的目标是在保留关键信息的同时降低 token 数量。",        "重排一般使用 reranker 模型, 把最相关的文档排在最前面。",        "cross-encoder 需要问题和文档一起过模型, 精度高但速度慢。",        "bi-encoder 可以预计算文档向量, 推理速度快但精度有限。",        "压缩方法有抽取式和生成式, 生成式更灵活但延迟更高。",        "重排之后再把 top-k 片段送入 LLM, 能明显提升答案质量。",        "端到端评估要同时看答案正确率和 token 成本, 做消融实验。",    ]    raw = retrieve(query, corpus, top_k=6)    # 1. 压缩: 这里选用 LLM 压缩模拟    compressed = [llm_compress(doc) for _, _, doc in raw]    # 2. 重排: 用交叉打分精排    ranked = rerank_cross(query, compressed)    # 3. 拼接最终上下文    final_context = "\n".join(        f"[{i + 1}] (score={score:.2f}) {doc}"        for i, (score, doc) in enumerate(ranked)    )    print("最终上下文(压缩+重排后):")    print(final_context)  if __name__ == "__main__":    main()

1. scored.sort(key=lambda x: x[0], reverse=True)检索阶段按相似度降序，排出最相关的原始段落。
2. raw = retrieve(query, corpus, top_k=6)先召回 top-6，模拟向量检索返回的候选集。
3. compressed = [llm_compress(doc) for _, _, doc in raw]对每个候选做生成式压缩，模拟学霸概括笔记。
4. extractive_compress(doc, max_sentences=2)抽取式压缩的替代实现：只保留前两句，模拟荧光笔划重点。
5. best = max(sents, key=len)LLM 压缩模拟器内部：取最长的核心句作为摘要，代表模型抓住了主要信息。
6. ranked = rerank_cross(query, compressed)重排阶段：用 F1 重叠度对压缩后的片段重新打分排序。
7. results.sort(key=lambda x: x[0], reverse=True)按精确分数降序排列，等价于 cross-encoder 的输出排序。
8. final_context = "\n".join(...)把排序后的片段拼成最终上下文，带分数标注方便调试。

常见误区

面试题