RAGAS框架：上下文精确率

可视化演示

展示RAG检索文档相关性标注、位置精确率逐位计算与加权平均、精确率-召回率权衡曲线及LLM自动评估流程。

精确率初识

老板的考核标准其实很简单：第一，有用的文件要占多数；第二，最有用的文件要放在最显眼的位置。这两条，恰好对应上下文精确率的两个直觉来源——“相关比例”与“排序质量”。

在RAG系统中，当用户提出一个问题，系统会经历三个标准动作：检索（Retriever）从知识库中找出候选文档、增强（Augmented）将这些文档拼装成上下文、生成（Generator）让大模型基于上下文写答案。上下文精确率盯住的是第一个动作的输出——检索结果构成的“上下文”。它回答的问题是：这堆喂给大模型的文档里，有多少是与最终答案直接相关的？

与“上下文召回率”不同，精确率不关心“该找的有没有找全”，只关心“找回来的里面有多少是好的”。更进一步，它还是一个对顺序敏感的指标：如果两份同样有用的文档，一份排在第三，一份排在倒数第一，系统认为前者“更精确”，因为生成模型更倾向于采信靠前的内容，位置靠后的有用信息往往被淹没。这也是为什么精确率常常写作 Context Precision@K——K与排序深度直接相关。

回到小王的场景：如果客户问“退货运费谁承担”，小王搬回来五份文件，其中三分是产品介绍，只有两份写着退换货政策，而且被压在最底下——你觉得小王称职吗？上下文精确率会给这个表现打一个低分，而这个低分恰恰说明：问题不在写报告，而在找文件。

计算逻辑

数一数小王搬回的文件堆：你从第一份开始往下翻，每看到一份有用的文件，就停下来算一笔账——“到目前为止，这堆文件里有用文件占几成？”把所有“有用时刻”算出来的比例平均一下，就是上下文精确率。

形式化地描述这个直觉：假设检索返回了K个文档，每个文档有一个相关性标记rel，1表示与答案相关，0表示无关。

用一个例子对照：返回5个文档，相关性标记依次为\[1,0,1,0,0\]。位置1的P_1=1，贡献1；位置3的P_3=2/3≈0.667，贡献0.667；其他位置要么是0要么不累加。最终 CP=(1+0.667)/2≈0.833。

换句话说，小王抱回的文件堆里，如果两份有用的文件都排在前面，CP就接近满分；如果一份被压箱底，每一次“翻到有用文件时”的前缀有效率都被拉低，总分自然难看。这个公式把老板的直觉变成了精确的数学。

检索流程

小王是怎么在档案室找文件的？他先看一眼客户问题的关键词，然后沿着档案室的索引目录，把可能相关的文件抽出来，再按“匹配程度”排个序，最后抱出前五份。这套流程，就是RAG检索器的日常。

现代RAG检索器通常分三步：查询向量化、文档切分、相似度排序。

查询向量化：用户问题被embedding模型转换成一个稠密向量，档案室里的文档预先也被转成向量，这样人和文件就处于同一个“语义空间”里。文档切分：知识库里的长文档不能整篇塞进去，需要按语义切成chunk（块），每块大约几百个token，切得太粗会混入噪声，切得太细又会丢失上下文。相似度排序：用余弦相似度等距离度量，找出与查询向量最接近的Top-K个chunk，按相似度由高到低排列返回。

返回的这K个chunk，就是“上下文”，它的顺序是排序的天然产物。上下文精确率对顺序敏感——Top-1如果是一篇不相干的内容，即便后面有正确文档，CP也会被打折；反之，如果最相关的两个chunk恰好排在头两位，CP就会逼近满分。

所以，小王找文件的方式直接决定文件堆的成色。如果档案室的“检索策略”粗糙，比如只看文件名不看正文内容，那他抱回来的很可能是一摞题目听起来相关、内容却跑题的文件——CP自然惨不忍睹。

评估方法

要评价小王找得好不好，光靠老板的主观印象不够，还得有标准化的“打分卡”。谁来打分？一位见多识广的资深顾问——在公司里叫“评审老师”，在RAGAS里叫“LLM评判器”。

RAGAS是专为RAG系统设计的自动化评估框架，“上下文精确率”是其核心指标之一。在RAGAS中，评估上下文精确率需要一个测试数据集：一批用户问题（query）和对应的参考答案（reference）。对于每个问题，系统实际执行检索，得到带有排序的上下文列表。接下来，评估者需要逐文档判定“该文档是否支撑参考答案中的信息”。这个判定可以由人工完成，也可以让大模型扮演评判员（LLM-as-a-judge），用统一规则打分并给出“相关/不相关”的标签。得到这批rel标记后，套用上一节的公式，一条样本的CP便计算出来。最后对整个测试集求平均值，得到系统级别的上下文精确率。

实际项目里要注意：测试集要有足够样本量（通常几十条以上），问题的类型要覆盖系统真实场景；LLM评判器需要设计清晰的评判标准，避免“相关”的边际案例引发偏差；多次运行取均值能让结果更稳定，因为LLM打分本身存在随机性。

打分卡的意义在于，它让老板不再凭感觉说“小王今天找文件还行”，而是能拿出数字说“这次检索的CP是0.62，比上周提高了0.18”。有了数字，改进才有方向——对AI应用工程师来说，这组数字就是优化RAG管道最可靠的导航仪。

优化策略

如果打分卡显示小王的文件堆“有用文件太散、压得太深”，老板会教他用三个整理技巧：先把明显无关的文件抽掉，再把最相关的往前挪，最后把问题说明白点再去档案室。

对应到工程上，有三种被验证有效的主流策略。重排序（Reranking）：第一轮用轻量的向量检索召回候选（如Top-20），第二轮用更强的排序模型（如交叉编码器）精排，只取Top-5作为正式上下文。相关文档被提升到靠前位置，CP显著上升。上下文压缩与过滤：对召回chunk做相关性打分，过滤掉低分段落；或把多个相似chunk去重合并，减少噪声挤占上下文窗口。查询改写（Query Rewriting / HyDE）：把用户问题改写得更规范，或利用HyDE先生成一个假设性答案，再拿它去检索，缩小“问法”与“文档写法”之间的鸿沟。此外还有元数据路由：利用知识库结构（如文档类型、时间、来源）做前置过滤，先圈定可能相关的子库，再向量检索，避免全库噪声。

这些策略不是玄学，而是实打实地改变“文件堆”的构成与顺序。小王的三个整理动作，对应工程师代码里的rerank、filter与rewrite；当老板看到CP从0.4涨到0.8，他就知道这些技巧确实把“无用文件”挡在了门外。

实验对比

整理方法听了那么多，效果到底如何？老板让小王做了一组对照实验：同一周的问题，一半用老办法检索，一半用新办法检索，月底贴出两组数字。

一个典型的优化实验会这样设计：基线系统用纯向量检索（Base），优化系统在检索后加上交叉编码器重排序（+Rerank），并在Prompt构造时滤除低相关段落（+Filter）。在固定的评估集上，RAGAS分别计算两组的上下文精确率。

假设实验结果：基线CP为0.45——相关文档常排在第三四位；加入重排序后CP升至0.78——相关文档绝大多数进入前二；再叠加压缩过滤后CP达到0.85，且生成答案的忠实性（faithfulness）也同步提升。这说明优化确实起作用了。需要注意，CP并非越高越好，如果Top-K收得太狠，可能伴随召回率下降、答案信息缺失，因此发布前还要综合看“端到端答案质量”与业务指标，比如客服问题解决率。上线后，还要定期重跑评估集，实现持续监控，防止知识库更新或模型升级导致指标回退。

就像老板最终看的不是整理动作有多花哨，而是那组对比数字：老办法只有45%的“有效文件前置率”，新办法做到了85%。数据不会说谎，上下文精确率就是那面照妖镜。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""演示 RAGAS 上下文精确率的计算流程"""  def compute_context_precision(contexts, relevant_mask):    """计算上下文精确率    contexts: 按排序返回的上下文文档列表    relevant_mask: 0/1 列表, 1 表示文档与答案相关    """    k = len(contexts)    if k == 0:        return 0.0    total_relevant = sum(relevant_mask)    if total_relevant == 0:        return 0.0    seen = 0    score = 0.0    for i in range(k):        seen += relevant_mask[i]        p_k = seen / (i + 1)          # 前缀精确率        if relevant_mask[i] == 1:     # 只在相关位置累加            score += p_k    return score / total_relevant  def simple_search(query, doc_chunks):    """模拟向量检索: 按关键词重叠度打分, 返回 Top-5 排序"""    terms = set(query.split())    ranked = []    for idx, chunk in enumerate(doc_chunks):        overlap = len(terms & set(chunk.split()))        ranked.append((overlap, -idx, chunk))    ranked.sort(reverse=True)    return [item[2] for item in ranked[:5]]  def llm_judge_relevance(context, reference):    """模拟 LLM 裁判: 上下文命中参考依据关键词视为相关"""    keywords = set(reference.split())    hits = sum(1 for kw in keywords if kw in context)    return 1 if hits >= 2 else 0  def main():    doc_chunks = [        "学习率 控制 梯度下降 中参数更新的步长大小",        "Python 是一门解释型编程语言 常用于数据分析",        "梯度方向 指向损失函数上升最快的方向",        "反向传播 依赖链式法则 计算梯度",        "SGD 与 Adam 是常用的随机优化器",        "学习率过大易震荡 过小则收敛缓慢",    ]    query = "学习率 梯度下降 影响"    reference = "学习率 控制 步长 梯度 提供 更新 方向"     top_chunks = simple_search(query, doc_chunks)    relevant_mask = [llm_judge_relevance(c, reference) for c in top_chunks]     for idx, chunk in enumerate(top_chunks):        mark = "相关" if relevant_mask[idx] else "无关"        print("第{}位: {} -> {}".format(idx + 1, chunk, mark))     cp = compute_context_precision(top_chunks, relevant_mask)    print("上下文精确率 CP = {:.4f}".format(cp))  if __name__ == "__main__":    main()

1. def compute_context_precision(contexts, relevant_mask):定义CP计算函数，接收排序后的上下文和相关性标记
2. seen += relevant_mask[i]累计到当前位置为止见过的相关文档数，是前缀精确率的分子
3. p_k = seen / (i + 1)计算前缀精确率，位置越靠后分母越大
4. score += p_k仅在当前位置是相关文档时累加，对应公式中的乘rel_k
5. return score / total_relevant除以相关文档总数完成归一化，得到0到1的CP
6. ranked.sort(reverse=True)按重叠度从高到低排序，模拟Top-K召回中的排序环节
7. hits = sum(1 for kw in keywords if kw in context)LLM裁判统计参考依据关键词命中数
8. mark = "相关" if relevant_mask[idx] else "无关"把0/1标记翻译成可读结果

常见误区

面试题