RAGAS框架：上下文精确率Context Precision

可视化演示

展示上下文精确率排序计算、精确率召回率PR曲线、RAGAS评估流程四指标三阶段交互探索。

基本概念：一把量纯度的尺子

老淘金人阿金的篓子里，每次收网都混着金砂和碎石。徒弟问他：“师傅，今天这网撒得准吗？”阿金不是先数金子的重量，而是把网里的东西摊开，先看“东西里有多少是金子”。在他看来，一网里如果十件东西只有一件是金子，就算捞到再大一块，这网撒得也不算漂亮；反过来，十件里有八件是金子，哪怕金块不大，也是漂亮的一网。这个“金子占比”的直觉，正是 Context Precision 的雏形。

在 RAG 系统里，用户的问题就是“河滩”，知识库就是“河床”，检索器是“筛网”，从知识库中取回的文档片段就是“上下文块”。大模型就像阿金，要从这些上下文块中提炼出最终答案。Context Precision 要回答的问题非常朴素：取回来的这些上下文块里，有多少真正支撑了答案的生成？如果模型最终用到的是排在第 7 位的那个片段，而前 6 位全是无关内容，那这网的纯度就值得打问号。

RAGAS（RAG Assessment）是一个专为 RAG 系统设计的自动化评测框架。在 RAGAS 中，Context Precision 不再依赖人工目测，而是由大模型扮演“评委”：给定问题、答案和一组被检索的上下文块，评委对每个块给出“相关”或“不相关”的判定，再结合块的排名位置，计算出一个 0 到 1 之间的分数。分数越高，代表检索器把有用信息前置的能力越强。

对阿金来说，这把“纯度尺”把“这网撒得准不准”变成了一个可以比较的数字；对 RAG 工程师来说，Context Precision 把“检索得好不好”变成了可以写进测试报告、可以横向对比的分数。有了尺子，优化才不是靠感觉。

计算原理：一步一步筛出真金

阿金教徒弟怎么看一网货：从第一个位置开始，一件一件检查。每检查完一个位置，就心算一下“看过的这些里金子占几成”；如果这个位置恰好是金子，就把这个“几成”记在小本子上。全部检查完，把小本子上的数字取平均。徒弟问为什么取平均？阿金说：因为真金越靠前，每次记下的“几成”就越高，平均下来自然就高。

RAGAS 的 Context Precision 正是这个流程的数学化。设检索结果共有 $n$ 个上下文块，依次编号 $1$ 到 $n$。先让 LLM 评委为每个块打上相关标记 $rel_k$（相关为 1，不相关为 0）。然后从 $k=1$ 到 $n$，逐个计算 $\mathrm{Precision@}k$——它表示“前 $k$ 个块中相关块的数量占 $k$ 的比例”。最后，把所有“该位置恰为相关”时的 $\mathrm{Precision@}k$ 求和，再除以相关块的总数。这就是一整套“边检查边记账，最后取平均”的流程。

阿金的“小本子”其实就是 $\mathrm{Precision@}k$ 的序列，取平均的操作被写进了公式。这套手工经验被变成了一段可以自动执行的代码，无论多少块，几毫秒就能算完。

指标对比：淘金、回仓与打首饰

淘金有三件事得分清：第一，网里捞上来的东西纯不纯（纯度）；第二，河床里还有多少金子没捞到（遗漏）；第三，捞上来的金子最后有没有被打成好首饰（成品）。阿金的徒弟常把这三件事混为一谈，师傅说：“金子在网里，和金子进了首饰盒，是两码事。”

RAG 评测同样有三个容易混淆的指标：Context Precision（CP）看检索结果的纯度与排序；Context Recall（CR）看知识库里相关的上下文被捞回来了多少；Faithfulness（忠实度）看生成的答案是否忠于检索到的上下文。还有一个 Answer Relevance（答案相关性），看答案是否答非所问。把排序因素放到一边，CP 的朴素含义就是“被检索到的内容里相关块占多少”，而 CR 是“知识库中所有相关块被捞回多少”。

阿金师傅最后总结：“网里砂石多，看 CP；河底金子没捞净，看 CR；打出来的首饰不像样，看 Faithfulness。”一套评测体系，就是把这三个问题分别变成数字。

场景差异：不同水域的淘金法则

阿金在不同水域淘金的技巧完全不同：浅滩水清，一眼能看穿河底，随便一网就八九不离十；激流里水浑石多，金子被冲得到处跑，得反复筛；深井里矿层厚，一网捞不完，得分层往下捞；到了多条支流交汇处，各路砂石混在一起，还得先分清哪条支流的金砂成色好。Context Precision 在不同的 RAG 场景里，也会呈现出截然不同的“脾性”。

单轮问答是最简单的“浅滩”：问题独立、上下文明确，CP 通常较高，评测也相对稳定。多轮对话则像“激流”：用户的提问依赖历史信息，检索器可能把上一轮的相关文档当成这一轮的噪声，上下文漂移会显著拉低 CP，评测时往往需要对每一轮分别计算后再取平均。长文档场景像“深井”：文档被切成很多块，金子分散在各层，检索器容易捞上来一大堆低相关度的碎片，CP 分布方差大。多源混合场景则像“多支流”：不同数据源的格式与信息密度差异大，相关块可能来自同一来源，也可能被不同来源间的噪声淹没。

阿金出摊前会先看看今天去的是哪片水域——评测 RAG 之前，也要先确认场景：单轮看单值，多轮看均值，长文档注意方差，多源注意来源比例。场景判断错了，再好的尺子也量不准。

影响因素：什么在决定 CP 的高低

同样是撒网，为什么阿金一网顶别人三网？徒弟观察了很久，总结出四个关键：筛网的网眼大小、矿砂的颗粒粗细、收网后有没有二次淘洗、以及下铲的角度。网眼太大，小金子全漏了；矿砂太粗，金子和石头粘在一起；不二次淘洗，混进来的杂质没人管；铲子角度不对，净捞些死水区的淤泥。

对应到 RAG 系统，这四个因素分别是：检索器的质量——向量模型和检索算法的强弱，决定了第一轮的候选集里有没有金子；分块策略——chunk 太大，一个块里金砂混合，LLM 评委难以判定是否相关；chunk 太小，信息被切碎，相关块被拆得七零八落导致排序混乱；重排序器——它相当“二次淘洗”，把第一轮召回结果按相关性重新排序，直接影响“真金是否前置”；查询改写——用户的原始问题往往不够精准，改写后的 query 若能直击要害，检索器撒网的位置就准。

阿金的四字诀——“网眼、粒度、淘洗、角度”——到了 RAG 工程师手里，就是“检索器、分块、重排序、查询改写”。哪一环弱，CP 就掉在哪一环；想提升 CP，先给这四环号脉。

优化策略：四招提高纯度

阿金的淘金术日臻完善：先用粗筛快速去大石，再用细筛筛细砂，两筛叠用互补；遇到大矿块先敲碎再淘，避免金砂裹在石头里；下水前先捞掉浮在水面的枯枝烂叶；每天收摊后把当天淘的金子重新称一遍，和昨天的记录对比，看方法有没有改进。

对应到 RAG 系统的四招：混合检索，把向量检索与关键词检索（如 BM25）结合，弥补单一检索的盲区，相当于“粗筛加细筛”；精细分块，根据文档语义结构动态调整 chunk 大小，避免金砂裹石，让每个块的信息密度更均匀；元数据过滤，利用文档的标题、章节、来源等信息先排除明显不相关的区域，相当于“捞掉枯枝烂叶”；迭代评估，把 RAGAS 的 CP 测量接入开发循环，每次改动后跑一批评测集，用分数变化指导下一步——这是阿金的“每天复盘”，也是 RAG 工程的黄金闭环。

阿金的四招没有一招是玄学，全是冲着前面说的“网眼、粒度、淘洗、角度”来的。优化 CP 也一样：混合检索补召回，精细分块提纯度，元数据过滤减噪声，迭代评估保方向——四招齐下，纯度自然节节高。

工程实践：把尺子装进生产流水线

阿金晚年不再亲自下河，而是把整套淘金流程写成了作业指导书：每次收网先称总重，再按步骤摊开检查、记录金子占比、登记日期与河段，月底翻账本对比哪个河段值得再去。徒弟们照着这套流程，很快也能独当一面。他说：“好手艺不是靠感觉，是靠记录。”

在工程上，这套“作业指导书”就是 RAGAS 的评测流程。首先准备评测数据集：每个样本包含 question、answer、contexts 和 ground_truth 字段，通常从线上日志中抽样几百条。接着调用 RAGAS 的 evaluate 函数，在 metrics 参数中指定 context_precision，LLM 评委会自动完成相关性判定与分数计算。拿到分数后要注意解读策略：CP 并没有统一的“及格线”，要结合业务特点建立自己的基准——例如记录每个线上版本的 CP，形成回归基线。再把评测脚本接入 CI，知识库每次更新或提示词每次改动都自动跑一轮，用分数变化卡住质量回归。

阿金的账本让经验可以传承，RAGAS 的评测报告让优化可以持续。把 CP 装进 CI 流水线，等于给每个 RAG 版本都配了一位永不疲倦的质检员。

局限挑战：尺子也有失灵时

阿金的徒弟发现，师傅的尺子偶尔也会坑人：有时候一块半金半砂的石头，师傅凭手感说“是金子”，但另一个徒弟却说“是砂石”；有时候同一条河，晴天和雨天量出的结果能差出一大截。尺子不是万能的，知道它的脾气，才不会被它误导。

Context Precision 的局限主要有四方面。第一，标注依赖：相关性判定依赖 LLM 评委，而评委本身可能受模型偏见影响，对某些表述或语种的判断不稳定，导致分数偏离人工标注结论。第二，二元判定：每个块被简单标为 0 或 1，无法表达“部分相关”的中间状态，一块含 70% 有效信息的上下文和含 30% 的，被归为同一类。第三，阈值敏感：评委在“相关/不相关”之间的判断边界受 prompt 和温度等参数影响，阈值微调可能带来分数抖动。第四，语言偏差：RAGAS 的默认评委模型以英文数据为主，中、日等语种下精确率评估可靠性下降，需要额外校准。

阿金的尺子用了三十年，他始终说：“尺子帮我记账，但账要人来看。”用 CP 做评测时也该如此：把它当作辅助决策的信号，而不是唯一的标准答案；配合人工抽检，才能既享受自动化的高效率，又避开评判模型的盲区。

AI 应用场景

Python 演示

"""用 RAGAS 计算 Context Precision：官方库调用 + 原理自实现"""from datasets import Datasetfrom ragas import evaluatefrom ragas.metrics import context_precision  def build_eval_dataset():    data = {        "question": [            "RAGAS 中 context precision 衡量什么？",            "什么是重排序？",        ],        "answer": [            "它衡量检索结果中相关上下文的占比与排序质量。",            "重排序是对初步结果按相关性重新排序的技术。",        ],        "contexts": [            [                "Context Precision 评估检索结果中相关上下文的占比与排序。",                "Context Recall 衡量相关上下文是否被成功检索到。",                "RAG 是检索增强生成的缩写。",            ],            [                "重排序器综合语义与词法信号调整结果顺序。",                "混合检索结合向量与关键词两种方式。",            ],        ],        "ground_truth": [            "Context Precision 评估检索结果中相关上下文的占比与排序。",            "重排序是对初步检索结果按相关性重新排序的技术。",        ],    }    return Dataset.from_dict(data)  def manual_context_precision(contexts):    """自实现：用人工标注的相关性序列复现 CP 公式"""    labeled = [        [1, 0, 0],        [1, 0],    ]    scores = []    for ctx_list, rel in zip(contexts, labeled):        pk = []        hit = 0        for i, r in enumerate(rel):            if r:                hit += 1            pk.append(hit / (i + 1))        denom = sum(rel)        cp = sum(p * r for p, r in zip(pk, rel)) / denom if denom else 0.0        scores.append(cp)    return scores  def main():    dataset = build_eval_dataset()    manual = manual_context_precision(dataset["contexts"])    print("自实现 CP（按标注相关性）：",          [round(v, 3) for v in manual])    try:        result = evaluate(dataset, metrics=[context_precision])        print("RAGAS 官方评分：")        print(result)    except Exception as exc:        print("官方评测需要可用的 LLM 配置，错误：", exc)  if __name__ == "__main__":    main()

1. from ragas.metrics import context_precision导入官方指标实例，它是评测时直接传给 evaluate 的“尺子”。
2. Dataset.from_dict(data)把评测样本字典转成 HuggingFace Dataset，这是 RAGAS 要求的输入格式。
3. labeled = [[1, 0, 0], [1, 0]]人工标注每个上下文块是否相关，模拟 LLM 评委的判定结果。
4. pk.append(hit / (i + 1))对应公式中 $Precision@k$ 的累积计算，每扫过一个位置都更新一次。
5. sum(p * r for p, r in zip(pk, rel)) / denom一行代码实现“相关位置加权求和再归一化”，与正文公式完全同构。
6. evaluate(dataset, metrics=[context_precision])调用 RAGAS 官方评测入口，LLM 评委自动完成相关性判定与打分。

常见误区

面试题