RAG上下文压缩优化技巧

可视化演示

展示RAG上下文压缩管道流程、去重消除冗余策略、重排模型协同筛选机制，实时显示Token压缩比和片段数量。

压缩必要性

想象一下，旅行背包只有45升，而你从纪念品店抱回了一堆东西：朋友推荐的石头、重复的明信片、占地方的大帽子。全塞进去，背包不仅拉不上拉链，到了目的地你还得把整包翻个底朝天才能找到护照。RAG系统的处境如出一辙——一次检索往往返回5到20篇文档，加起来动辄几千个token，而大模型的上下文窗口有限，每多喂一个token就要多付一份钱。

把超量内容一股脑塞给大模型，代价有三层：第一层是真金白银的token费用，检索结果越长，单次调用的成本越高；第二层是“迷路效应”，研究发现模型对长上下文中间位置的内容关注度明显下降，关键信息被淹没在冗长文本里；第三层是噪音干扰，检索结果中与问题无关的段落会像旅行箱里的大帽子一样挤压空间，诱导模型给出偏离事实的答案。这三层代价叠加，让“给背包减负”成为RAG上线前必须解决的第一件事。

我们可以用一个简单的量——信息密度——来理解这件事。信息密度指单位长度的文本承载的有用信息量，密度越低，说明“水分”越多，越需要压缩。

出发前必须学会做“减负清单”：先认清背包为什么塞不下——不是包太小，而是你没筛选就什么都往里装。RAG应用的上下文压缩，正是从认清“信息密度太低”这一天开始的。

压缩方式

收拾背包有三招：用真空袋把羽绒服压扁（摘要）、只挑百搭的基础款T恤（提取）、把同款袜子合并成一双（去重）。上下文压缩的手段与之巧妙对应，掌握了这三招，就等于拿到了打包的入场券。

第一招是提取式压缩，它不改变原文，直接从检索结果里挑出最高价值的句子，像只带百搭款衣服一样，原汁原味地保留关键信息。第二招是摘要式压缩，让语言模型把几段话浓缩成一小段全新文字，像真空袋一样把体积压到最小。第三招是去重合并，用相似度算法判断多个片段是否在说同一件事，重复的内容只保留一份，就像同款袜子只带一双。此外还有关键词过滤作为辅助手段，按领域关键词做一次粗筛，快速排除明显无关的内容。

衡量压缩做得好不好，最直观的指标是压缩率。压缩率描述“节省了多少空间”，数值越高代表背包越轻。

这三招可以灵活组合，就像打包时先折叠衣服再分类摆放再塞进缝隙。实际项目中，通常先用关键词过滤做粗筛，再用提取或摘要做精压缩，最后用去重清理重复内容，层层递进地把背包空间用到极致。

重排配合

一个人打包容易犯糊涂，分不清哪件衣服才是这次旅行的必需品。聪明的做法是请一位熟悉行程的朋友帮你看一遍行李——他在每件物品上贴标签：“必带”、“可带可不带”、“别带”。重排模型（Rerank）正是这位朋友，它帮你判断每个检索片段到底有多值得进背包。

Rerank的核心原理是对检索阶段返回的候选片段做二次打分：先由粗排（如BM25或向量检索）快速召回一批候选，再由重排模型逐一评估片段与用户问题的相关度，给出精细分数。相比粗排，重排模型特别是交叉编码器（Cross-Encoder）能让问题和片段在每个token层面对齐交互，打分更准确，相当于朋友不是只看标签，而是把每件衣服都拿起来仔细掂量。

拿到分数后，通常用两步筛选：先取Top-K，只保留分数最高的前K个片段；再设一个最低分数线（阈值），低于阈值的片段即使排在前K位也照样丢弃。这个筛选逻辑用数学语言表达就是：

经朋友把关之后，背包里的每样东西都对得上前方的路。重排和压缩配合的价值正在于此：重排解决“哪些值得留”，压缩解决“留下的怎么装”，两道工序一前一后，行李才能又准又轻。

开源工具

自己从零缝一个背包太费劲，市面上已经有成熟的“收纳神器”了。上下文压缩领域同样如此，开源生态提供了开箱即用的工具和框架，你只需要学会挑选和组装。

其中最有名的是两套框架。LlamaIndex提供了Node Postprocessor（节点后处理）机制，允许你在检索之后、送进大模型之前插入处理步骤，比如相似度压缩、关键词过滤、去重合并，都能以插件形式挂上去。LangChain则提供了ContextualCompressionRetriever（上下文压缩检索器），它把“检索”和“压缩”组合成一条流水线：先召回文档，再对每个文档独立执行压缩器逻辑，最后只返回精简后的内容。

除了框架，还有一些值得关注的压缩算法：sentence-window（句子窗口）把文本切成句子粒度，只保留与问题最相关的句子及其邻近上下文；auto-merging（自动合并）先把文档拆成小节点，再根据相关性自动合并相邻节点，减少冗余的同时保留结构。选型时主要看三件事——延迟是否可接受、与现有技术栈是否兼容、压缩逻辑能否灵活定制。请记住：工具只是锦上添花，理解原理才知道什么时候该用哪一个，就像登山前要分清“防水背包”和“日常双肩包”适用场景完全不同。

比例平衡

背包塞太满，走在路上拉链崩开；塞太少，到了目的地发现必需品没带。压缩比例的拿捏是同样的哲学——不存在“越瘦越好”或“越全越好”，只存在“刚好够用且不超重”的平衡点。

压缩率与信息保留之间存在天然的拉扯：压缩率越高，token越省，但信息丢失的风险越大；压缩率越低，信息越完整，但成本和噪音又反弹回来。这种权衡关系可以用一个最优化目标来刻画——在质量收益和成本开销之间找到最优解。

实际工程中很少死板地求同一个压缩率。更常见的做法是动态调整：问题简单时压缩率高一些，问题复杂时需要保留更多细节；检索结果很长时加大压缩力度，检索结果本就精炼时少压甚至不压。好比登山时路况好就多背点物资，路况险就轻装上阵——没有绝对正确的比例，只有最适合当前场景的比例。

质量评估

旅行结束回到家的第一件事是什么？复盘——护照还在吗？照片拍了吗？下次同类旅行哪些该带、哪些不该带？上下文压缩同样需要这样的“复盘机制”，否则你永远不知道自己扔掉的是“垃圾”还是“宝贝”。

压缩后质量评估主要看三个维度。一是忠实度（Faithfulness），检查压缩后生成的答案是否仍然忠于检索到的原始事实，有没有因为丢细节而出现幻觉；二是答案相关性（Answer Relevance），看回答是否仍然命中用户的真实问题；三是覆盖度（ROUGE等指标），衡量压缩结果在多大程度上保留了原文的关键内容。这些指标共同构成一把尺子，量出“压缩后的回答”和“理想回答”之间的距离。

要判断压缩是否导致退化，最直接的办法是对比检测：用同一组测试问题分别跑压缩前和压缩后两条管线，把两边的输出质量得分拿来对比。退化度的计算如下：

除了离线指标，工程上还常用A/B测试做线上验证：随机把流量分给压缩版和原版，观察真实用户对回答的点赞/踩率。定期抽取一批案例做人工标注，则是兜底的安全网。没有评估就没有优化——评估是这一切“减负”决策的坐标，也是让你下一次打包时越来越有把握的旅行笔记。

AI 应用场景

Python 演示

import re class ContextCompressor:    def __init__(self, compress_ratio=0.5, sim_threshold=0.75):        self.compress_ratio = compress_ratio        self.sim_threshold = sim_threshold     def sentence_split(self, text):        parts = re.split(r"([。！？.!?])", text)        sentences = []        for i in range(0, len(parts) - 1, 2):            s = (parts[i] + parts[i + 1]).strip()            if s:                sentences.append(s)        if parts and parts[-1].strip():            sentences.append(parts[-1].strip())        return sentences     def jaccard_sim(self, s1, s2):        a, b = set(s1), set(s2)        if not a or not b:            return 0.0        union = a | b        if not union:            return 0.0        return len(a & b) / len(union)     def keyword_score(self, sent, keywords):        s = sent.lower()        return sum(1 for k in keywords if k.lower() in s)     def compress(self, text, keywords, max_len=None):        sentences = self.sentence_split(text)        if not sentences:            return "", []        n = len(sentences)        scored = []        for i, sent in enumerate(sentences):            kw = self.keyword_score(sent, keywords)            pos = max(0.0, 1.0 - i / n)            score = 1.5 * kw + pos            scored.append((score, i, sent))        keep_n = max(1, int(n * self.compress_ratio))        selected = sorted(scored, key=lambda x: -x[0])[:keep_n]        selected.sort(key=lambda x: x[1])        deduped, chosen = [], []        for _, _, sent in selected:            if any(self.jaccard_sim(sent, c) > self.sim_threshold for c in chosen):                continue            deduped.append(sent)            chosen.append(sent)        result = "".join(deduped)        if max_len and len(result) > max_len:            result = result[:max_len]        return result, deduped if __name__ == "__main__":    doc = ("RAG检索增强生成是一种结合检索与生成的技术。"           "它先从知识库中检索相关文档。"           "然后将检索结果注入提示词。"           "大模型基于注入的上下文生成答案。"           "检索结果往往包含大量冗余信息。"           "冗余信息会增加token消耗。"           "冗余信息也会干扰模型生成的准确性。"           "上下文压缩可以保留精华去除噪音。"           "这是一种低成本高收益的优化技巧。")    c = ContextCompressor(compress_ratio=0.5, sim_threshold=0.7)    out, kept = c.compress(doc, keywords=["检索", "压缩", "冗余"])    print("原始长度:", len(doc))    print("压缩后长度:", len(out))    print("压缩率: {:.2%}".format(1 - len(out) / len(doc)))    print("保留句子数:", len(kept))    print("压缩结果:", out)

1. class ContextCompressor定义一个压缩器类，把压缩比例和相似度阈值作为可调参数，相当于给背包设定“打包规格”。
2. re.split(r"([。！？.!?])", text)按中英文句号按句切分文本，切好的句子就是待挑选的“行李物品”。
3. self.jaccard_sim(s1, s2)用交集除以并集计算两个句子的相似度，值越大表示越可能在说同一件事。
4. score = 1.5 * kw + pos综合打分公式：命中关键词的句子权重更高，位置靠前的句子也有保底加分。
5. selected = sorted(scored, key=lambda x: -x[0])[:keep_n]按分数从高到低排序后截取前K句，相当于重排模型的Top-K筛选。
6. if any(...)若新句子与已选句子相似度超过阈值就跳过，这是“同款袜子只带一双”的去重逻辑。

常见误区

面试题