RAGAS：RAG 评估

为什么需要 RAGAS：评估不能只看最终答案

RAG 系统评估难在两点。一是答案质量主观，人工打分标准不一、成本高，几十条样例还能应付，上百条的回归测试基本不可行；二是 RAG 是两段式结构，最终答案不好可能是检索没召回相关文档，也可能是生成模型没用好上下文。只看最终答案无法定位瓶颈，等于盲调。常用的文本相似度对比只适用于答案固定的事实型问答，对开放式问答几乎无效。

RAGAS 的解法是把质量拆成检索侧与生成侧指标：忠实度检查答案是否超出上下文臆造，上下文精确率与召回率衡量检索质量，答案相关性与正确性衡量生成质量。所有指标由 LLM 自动打分，一次评估输出每条样本的分项数值。它还内置合测试集生成器（TestsetGenerator），从业务文档自动构造问题-答案对，解决“没有评测数据”的入场问题。指标定义源自 2023 年发表的 RAGAS 论文（arXiv:2309.15217），方法论公开可查。

与 LangSmith、DeepEval 等通用评估工具相比，RAGAS 不追求“什么都能评”，而是专注 RAG 这一环节，检索质量与生成质量分离正是它的设计出发点。对 RAG 团队来说，分项指标比一个总分更有诊断价值。

安装与环境配置：3 步就绪

步骤一·安装。要求 Python 3.9 及以上。核心包直接 pip install ragas；若用 OpenAI 全家桶，装 ragas[openai] 扩展；需要 langchain、llamaindex、vllm 等全部集成时用 ragas[all]。注意 0.2.x 核心包已轻量化，按需安装扩展即可，不必无脑装全量。

步骤二·配置 LLM。默认读取 OPENAI_API_KEY 环境变量。支持 Azure OpenAI、Anthropic、Gemini、Bedrock 与 Ollama 本地模型。自定义模型时用 LangchainLLMWrapper 包装 chat model 后注入评估函数。

步骤三·验证。执行 python -c "import ragas; print(ragas.__version__)"，输出版本号即安装成功。

# 1）安装（Python 3.9+）pip install -U "ragas[openai]" # 2）配置密钥export OPENAI_API_KEY="sk-..." # 3）验证安装python -c "import ragas; print(ragas.__version__)"

快速上手：10 分钟跑通第一个评估

最小可用流程是：准备数据 → 构造数据集 → 选指标 → 执行评估 → 读结果。你不需要 RAG 系统运行时的日志，只要求每条记录包含“问题、最终答案、检索到的上下文、参考答案”四列。把 10 条真实问答记录喂进去，就能得到可对比的分项分数。

1. 准备数据：从你的 RAG 应用导出若干条记录，含用户问题、最终答案、检索到的上下文片段、人工撰写的参考答案（参考答案可选，但建议提供）。

2. 构造数据集：使用 EvaluationDataset.from_dict，按 user_input / response / retrieved_contexts / reference 四个键组织数据。

3. 选择指标：推荐第一组组合 Faithfulness() + LLMContextPrecisionWithoutReference() + ResponseRelevancy()，三者都不需要额外标注。

4. 执行评估：调用 single_turn_ragas_evaluation，传入数据集与指标列表。

5. 读取结果：result.to_pandas() 得到每条样本各指标得分，再取平均作为本版质量基线。

进阶技巧：确认指标稳定后，把数据集存成 parquet 固定为回归集，每次改检索策略或 prompt 都跑同一套数据再对比分数。

from ragas import EvaluationDataset, single_turn_ragas_evaluationfrom ragas.metrics import (    Faithfulness,    LLMContextPrecisionWithoutReference,    ResponseRelevancy,) # 1. 构造评估数据集（来源于你 RAG 应用的真实问答记录）eval_dataset = EvaluationDataset.from_dict({    "user_input": [        "RAGAS 支持哪些评测指标？",        "如何生成评测用的测试集？",    ],    "response": [        "RAGAS 提供忠实度、上下文精确率、答案相关性等指标。",        "可以使用 TestsetGenerator 从文档生成合成测试集。",    ],    "retrieved_contexts": [        ["RAGAS 是 RAG 评估框架，指标包括 Faithfulness、Context Precision、Answer Relevancy 等。"],        ["TestsetGenerator 支持 simple、reasoning、multi_context、conditional 四种进化策略。"],    ],    "reference": [        "RAGAS 提供忠实度、上下文精确率、上下文召回率、答案相关性等指标。",        "使用 TestsetGenerator 可从业务文档自动生成多种难度的合成测试集。",    ],}) # 2. 执行单轮评估（默认使用 OpenAI，需配置 OPENAI_API_KEY）result = single_turn_ragas_evaluation(    dataset=eval_dataset,    metrics=[Faithfulness(), LLMContextPrecisionWithoutReference(), ResponseRelevancy()],) # 3. 逐条查看分项得分与综合分print(result.to_pandas())print("RAGAS Score:", result.scores)

核心能力详解：4 大支柱

支柱一·解耦式指标体系。RAGAS 指标按是否依赖参考答案分为两类。无参考指标：Faithfulness（答案每句话能否在上下文中找到依据，防幻觉）、ResponseRelevancy（答案是否切题）、LLMContextPrecisionWithoutReference（检索到的上下文与问题的相关度）；需参考指标：LLMContextRecall（检索上下文覆盖参考答案的程度）、AnswerCorrectness（答案与参考答案的事实一致性）、SemanticSimilarity（语义相似度）。所有指标输出 0-1 分数，越高越好。选指标前先明确“要诊断检索还是生成”。

支柱二·合成测试集生成。用 TestsetGenerator 从业务文档生成评测数据，替代纯人工标注。支持四种进化策略（evolutions）：simple（简单直达问题）、reasoning（多步推理）、multi_context（跨文档综合）、conditional（条件约束问题），通过 distributions 参数控制各类占比，可偏简单可加难。生成的测试集包含 question、answer、contexts、reference，可直接喂给评估函数。

支柱三·可配置的模型后端。评估用的推理模型与生成测试集用的模型可分离：评测用 gpt-4o 保证裁判稳定性，测试集生成用便宜模型控成本。后端支持 OpenAI、Azure OpenAI、Anthropic、Gemini、Bedrock，本地可用 Ollama 或 vllm。0.2 系列引入 language 参数，支持非英语语料的指标计算。

支柱四·可观测与自动化。评估结果可回传 LangSmith、W&B、MLflow 等追踪平台；自托管看板 ragasapp 展示多次运行的分项指标变化；无头模式（headless）将“生成测试集 + 跑评估”串成一条命令，适合 CI 流水线定时执行。

from ragas.testset import TestsetGeneratorfrom langchain_openai import ChatOpenAI, OpenAIEmbeddings generator = TestsetGenerator(    llm=ChatOpenAI(model="gpt-4o"),    embedding_model=OpenAIEmbeddings(),)dataset = generator.generate_with_langchain_docs(    documents, test_size=20,    distributions={"simple": 0.4, "reasoning": 0.3, "multi_context": 0.3},)

生产部署与监控：从上线到运维

批处理评测作业。固定一份 100-200 条的回归集，在 CI 或定时任务中运行评估：每次检索策略、embedding 模型或 prompt 变更，都跑同一套数据，把各指标与基线比较，低于阈值（如 Faithfulness < 0.8）则失败阻断合并。结果存 parquet 或数据库，同时记录当时的 judge 模型与 prompt 版本，保证后续可比。

ragasapp 自托管看板。安装 pip install "ragas[app]"，按文档初始化 PostgreSQL 存储后执行 ragasapp start 启动看板。每次评估运行自动入库，网页端可查看指标趋势与单条样本明细。需要多人协作时，把评估 worker 与看板分离部署，看板只读结果库。

成本与稳定性控制。LLM-as-judge 的每个指标会对每条样本发起多次 LLM 调用（如忠实度需逐句核对），全量高频评分成本不可控。建议：线上只抽样（如 5% 流量）评估；固定 judge 模型与温度（推荐 0）；同一配置多次运行取均值，避免单次波动造成误判。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>成本失控：每个指标对每条样本多次调用 LLM，100 条样本 × 5 个指标的成本在规模化前先用小样本估算，按需采样。</li><li>结果不可复现：judge 模型的版本、温度、prompt 都会影响分数，统一固定配置并多次取均值后再做回归判断。</li><li>版本迁移出错：0.1.x 的 question/answer/contexts/ground_truth 列在 0.2.x 重命名为 user_input/response/retrieved_contexts/reference，混用会静默报错或得错分。</li><li>指标选错：无参考答案时不要选 LLMContextRecall、AnswerCorrectness 等 reference-based 指标，应选 without-reference 变体。</li><li>跨工具比分数：不同框架、不同裁判模型的分数不能直接横比，RAGAS 分数只适用于同一配置下的自身回归。</li><li>合成测试集偏差：生成器产出的问题偏简单且覆盖不匀，正式评估需混合真实用户问题并抽样人工校验。</li></ul>

版本迭代

RAGAS 从论文配套的指标库起步，0.1.x 时期快速扩充指标矩阵（引入上下文精确率/召回率、答案正确性等）并接通 LangChain、LlamaIndex 与各类模型后端；2025 年初的 0.2.0 是一次不兼容重构，改为单遍评测 + 指标实例化 + 统一列名；此后 0.2.x 转向稳定性与可观测性完善（截至训练数据，可能已有更新版本）。

AI 应用场景

常见误区

面试题