生成式搜索评测：给 AI 大厨的菜品打分

可视化演示

模拟SGE-QA多维度评测雷达、自动评测与人工评估相关性散点及幻觉检测与引用验证流程，展示生成式搜索答案质量评估机制。

评测背景与挑战

「AI 智能餐厅」开业那天，门口排起长队。大厨（LLM）的手速快得惊人，问什么答什么，还能引用后厨的食材清单。顾客们交口称赞，老板却睡不着觉：大厨偶尔会端上一盘「分子料理」——闻着像牛排，其实是合成蛋白；甚至有一次把「咖啡能降血压」这种完全没依据的菜谱端了出来。老板意识到，光看翻台率（用户点击量）根本不顶用，得建立自己的品鉴标准。

这里说的智能餐厅，就是 LLM 时代的生成式搜索（SGE，Search Generative Experience）。以 SearchGPT 为代表的新一代产品，不再只是「返回十条链接」，而是通过大语言模型把检索结果合成成一段自然语言答案。这一步「合成」正是全新挑战的源头：传统搜索引擎只需要保证「链接排得对」，而生成式搜索必须保证「答案写得对」。

要度量「写得对不对」，传统搜索时代的指标集体失语。点击率（CTR）衡量的是用户愿不愿意点，排序指标（MRR、NDCG）衡量的是相关文档排多前，它们都只回答「检索好不好」，回答不了「生成得对不对」。于是评测研究者们开始设计新的尺子：既查答案有没有事实性错误，又查引用是否如实验中所言——「能不能支撑结论」，还查用户读完是否真觉得有用。这就是 SGE 评测框架最初要解决的核心矛盾。

$$\text{旧指标的世界里：检索质量} \neq \text{生成质量}$$

1. 左侧旧指标：传统搜索评估只关注「是否检索到相关结果」，用点击、排序位置即可判断。

$$\text{检索质量}$$

2. 右侧新问题：生成式搜索额外增加「答案合成」环节，需要评估内容本身是否真实、可溯源、令人满意。

$$\text{生成质量}$$

3. 不等号含义：两者不是一回事，需要新的评测维度和工具。

$$\neq$$

回到智能餐厅的场景：老板请来品鉴师，品鉴师说，翻台率留着看人气，但我要另起炉灶，盯着后厨的三件事——食材真不真、菜谱标没标来源、客人吃完的反馈。这三件事，刚好对应了后续要讲的 SGE-QA 三大评测维度。

现有指标局限

老饭馆的「翻台率崇拜」在 AI 时代闹出了不少笑话。最典型的是：智能餐厅端出一盘「塑料牛排」——答案通顺、流畅、看起来专业，但关键数据全是编的。看翻台率（点击率），它遥遥领先；可品鉴师一筷子戳下去，发现全是幻觉。为什么传统指标看不见？因为它们衡量的是人气，而不是品质。

翻译成技术语言：传统指标要么忽略「内容真实性」，要么停在「词汇表层」。以 ROUGE 系列为例，它衡量生成答案与参考答案的字面重合度，是一种基于 n-gram 或最长公共子序列的文本相似度计算。ROUGE-L 用最长公共子序列来刻画重合程度：

$$\displaystyle \text{ROUGE-L} = \frac{LCS(X, Y)}{\max(|X|, |Y|)}$$

1. 分子 LCS 计数：LCS(X, Y) 表示参考答案 X 与生成答案 Y 的最长公共子序列长度，统计两段话共享的字面信息量。

$$\text{LCS}(X, Y)$$

2. 分母归一化：取两段文本长度的较大值，让相似度落在 0 到 1 之间，方便比较。

$$\max(|X|, |Y|)$$

3. 整体比值：公共子序列越长，ROUGE-L 越高，但这个过程完全不理解语义和事实。

$$\frac{LCS(X, Y)}{\max(|X|, |Y|)}$$

点击率（CTR）同样有盲区：它受展示位置、标题吸引力影响，用户点进去也可能是被误导；相关性指标（如 MRR）只关心「第一个相关结果排第几」，根本不看生成答案有没有引用错误或事实幻觉；而「忠实度」——即答案是否忠实地基于检索内容——在传统指标中完全没有位置。引用准确性更是被长期忽视：模型可能在回答里标注了来源，但那个来源既不支持结论，甚至根本不存在。

旧秤量不出塑料牛排，根源在于「量错了对象」。当我们真正开始评估生成式搜索，第一课就是：别指望旧指标直接复用，你需要一个新的盲测评分表——这就是 SGE-QA 的登场时机。

SGE-QA 方案

美食评论家联盟坐不住了，决定搞一场「全城盲测」：所有 AI 大厨使用同一批「神秘食材篮」（相同的检索文档集），回答同一组问题（相同的 query），由中立评审团按统一标准打分。这套方案就是生成式搜索评测基准 SGE-QA。它的设计哲学很简单：在受控条件下比较不同系统的真实水平。

SGE-QA 的核心思路是把评测任务拆成可量化的子问题。给定一个问题 q、一组检索文档 D 和模型生成的答案 a，首先检查答案事实性：答案中的每句话是否被检索文档支持。这一步通常借助自然语言推理（NLI）模型完成——NLI 判断「前提（文档）能否推出假设（答案句子）」。忠实度公式如下：

$$\displaystyle \text{Faithfulness}(a) = \frac{1}{|a|} \sum_{s \in a} \mathbb{1}[\text{NLI}(s, D) = \text{entailment}]$$

1. 分母答案句数：|a| 是答案 a 的总句子数，把所有句子同等对待，避免长答案「稀释」错误率。

$$|a|$$

2. 逐句蕴含判定：对每一句 s，用 NLI 模型判断「检索文档蕴含 s」是否成立，成立记 1，否则记 0。

$$\mathbb{1}[\text{NLI}(s, D) = \text{entailment}]$$

3. 求和取平均：把所有被支持的句子数加起来除以总句数，就是答案的忠实度。

$$\frac{1}{|a|} \sum_{s \in a} \mathbb{1}[\text{NLI}(s, D) = \text{entailment}]$$

除了事实性，SGE-QA 还引入引用准确性检查：模型生成的每个引用，必须在检索文档中找到对应的原文支撑，而且引用位置要能正确支持所在句子的论点。此外，SGE-QA 还设计了鲁棒性测试——给模型提供夹带噪声或矛盾信息的文档，看它会不会「照单全收」错误内容。

盲测结束，评论家们拿着评分表感慨：过去我们只问「菜好不好吃」，现在终于能回答「菜为什么好、好在哪里、能不能复制」。SGE-QA 的价值，正是把模糊的质量印象，变成可复现、可比较的分数。

多维评估体系

「鱼头泡饼」上桌，懂行的食客会分四个维度评价：鱼新不新鲜、饼脆不脆、汤浓不浓、配料搭不搭。只夸「鱼不错」是不完整的，因为饼塌了、汤咸了照样砸招牌。生成式搜索答案也一样，单一分数无法描述质量全貌，需要多维度的评估体系。

事实性维度（F） 是「鱼新鲜不新鲜」。它关注答案中的陈述是否与权威知识或检索内容一致，重点打击幻觉——那些「言之凿凿但毫无依据」的句子。在 SGE-QA 中，事实性通常由 NLI 或事实验证模型打分，是答案质量的生命线。

引用维度（R） 是「菜谱能不能溯源」。一个答案哪怕全部正确，如果引用的文献不存在、页码对不上、或者张冠李戴，同样不合格。引用准确性要求：引用必须真有其物、必须支持所在句子、必须与上下文逻辑一致。这三重检查让引用从「装饰品」变成「证据链」。

满意度维度（S） 是「食客口碑」。用户满不满意，不能只看答案通不通顺，还要看它是否「有用、可信、可验证」。通常由人工评分员从三个小项打分：答案解决了问题吗？读起来可信吗？关键结论能找到出处吗？这个维度直接对应搜索引擎产品的核心体验。

效率与多样性维度 是「配料搭配」。好的答案应该信息密度高、不啰嗦；当问题有多角度时，答案最好覆盖不同侧面，而不是反复复述同一句话。常见做法是计算答案的信息冗余度（如 n-gram 去重后的信息量）和视角覆盖数。

一顿鱼头泡饼吃下来，食客才能给出有分量的评价。同理，SGE 评测也要求多维综合：缺了事实性，那是幻觉；缺了引用，那是无源之水；缺了满意度，那是自说自话——四个维度互相补位，才构成完整的答案画像。

自动与人工评估

后厨的评测想持续运转，光靠美食家亲口品尝肯定不够——请一位米其林评委按天收费，成本高得吓人。于是后厨引入「电子测温枪」：一种快速、可重复、几乎零成本的自动评测器，比如前面说的 NLI 分类器、ROUGE 类文本指标，以及新兴的 LLM-as-Judge（让大模型给大模型的答案打分）。

但测温枪测的是「中心温度」，测不出「口感层次」。自动评测的优势是快，劣势是可能误解语义、偏爱长答案、甚至被 prompt 措辞带偏。与之相对，人工评估（如 HumanEval 风格的小规模专家评测）虽然贵且慢，却最接近真实用户体验。业界通行做法是：平时用自动评测做大规模回归，隔一段时间请人类专家做小样本复评，然后计算两者的相关性，验证「测温枪是否可信」。

相关性分析常用 Spearman 等级相关系数，它比较同一批样本在自动分数和人工分数下的排名是否一致：

$$\displaystyle \rho = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)}$$

1. 排名差平方和：d_i 是第 i 个答案在自动评分和人工评分下的名次之差，平方后求和，突出大偏差。

$$\sum d_i^2$$

2. 乘以系数 6：常数 6 来自等级相关推导，配合分母完成归一化。

$$6 \sum d_i^2$$

3. 分母与整体：n 是样本数，n(n²−1) 是归一化因子；1 减去该比值后，ρ 落在 [-1, 1]。

$$\rho = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)}$$

实践中，若 ρ 达到 0.8 以上，自动评测可以承担主力回归任务；若相关性低，则必须保留人工评估兜底。针对 LLM-as-Judge，还要求做偏差校准——比如检测它是否偏好更长答案、是否对位置顺序敏感、是否复读 prompt 中的观点。测温枪和美食家不是替代关系，而是「快筛 + 精评」的协作关系。

评测框架设计

要让品鉴体系长期运转，不能靠几个美食家拍脑袋，得成立「评审委员会」：有人命制考卷、有人制定评分规则、有人写流程手册、有人负责考后复盘。对应到 SGE 评测，就是一套完整的评估框架。

框架蓝图包含四件套：基准数据集（考卷，固定题目和参考材料）、评估指标（评分规则，事实性、引用、满意度等维度）、评估协议（流程手册，任务说明、评分粒度、标注一致性要求）、以及任务划分（题型设计，比如单轮问答、多轮对话、对抗样本测试）。四者缺一不可。

评分阶段，通常需要把多维指标合成为一个综合分，便于横向比较模型版本。最常用的是加权平均：

$$\displaystyle \text{SQE-Score} = \alpha \cdot F + \beta \cdot R + \gamma \cdot S \quad (\alpha + \beta + \gamma = 1)$$

1. 三个维度得分：F（事实性）、R（引用准确率）、S（满意度）分别从三个角度刻画答案质量。

$$F, R, S$$

2. 权重系数：α、β、γ 表示产品侧对不同维度的重视程度，三者之和必须为 1。

$$\alpha + \beta + \gamma = 1$$

3. 加权求和：把三项得分按权重加总，得到一个范围在 0-1 的综合分，用于版本对比和阈值卡控。

$$\text{SQE-Score} = \alpha \cdot F + \beta \cdot R + \gamma \cdot S$$

框架的另一关键点是持续迭代机制：每当大厨（模型）调整配方（prompt 或微调），都要跑一轮完整回归——先自动评测快速筛一遍，再人工抽查关键样本。评审委员会还定期更新题库，补充现实世界新出现的问题类型，防止大厨「背题」。一套稳定的评测框架，既是对质量的守门，也是团队迭代方向的指南针。

基准数据集构建

没有好题库，盲测就是走形式。评审委员会决定建立「国家题库」：从真实食客的投诉和点单记录（用户真实 query 日志）中选题，覆盖家常菜、药膳、异国料理（多个知识领域）以及不同难度等级。题目绝不能由参赛大厨自己出，否则人人都会「考自己擅长的菜」。

构建基准数据集，第一步是数据采集规则。从用户日志中采样的 query 要过滤低质量噪声，并按领域、难度、问题类型（是非题、列举题、对比题）做分层抽样，保证题库覆盖面。每个 query 还需要配套检索文档和参考答案，形成「一条龙」素材包。

第二步是标注规范制定。标注手册里写明：每道题必须给出文档级证据标注（哪几篇文档支持答案）、句子级证据映射（答案每句对应文档中哪段原文）、以及引用正确性标记。标注员要先通过一致性测试才能上岗，同一批数据至少两人独立标注，出现分歧由资深仲裁者裁决。

第三步是质量验证流程。除标注一致性（用 Kappa 系数衡量）外，还要做「题目体检」：参考答案有没有争议、检索文档是否包含足够信息、问题是否会有歧义。无效题一律剔除，保证题库的每条样本都经得起推敲。

第四步是开放与复用。优质基准集应该像开源菜谱一样共享——研究者可以拿同一套题横向对比不同搜索系统，行业也能在此基础上扩展多语言、多模态版本。SGE-QA 与 HumanEval 这类基准之所以被广泛引用，正是因为它们在「受控可比性」上做到了极致。国家题库建好了，每位 AI 大厨才能在同等条件下真刀真枪地比武。

---

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""简化版 SGE-QA 评测器: 对生成式搜索答案做多维度打分"""import refrom collections import Counter def sent_tokenize(text):    """"按句末标点切分句子"""    parts = re.split(r'[。！？!?]', text)    return [s.strip() for s in parts if s.strip()] class SQEEvaluator:    """模拟 SGE-QA 的事实性/引用准确率/满意度评分"""     def __init__(self, alpha=0.5, beta=0.3, gamma=0.2):        self.alpha = alpha        self.beta = beta        self.gamma = gamma        self.pass_count = 0     def _doc_tokens(self, documents):        """把检索文档拼成词袋, 用于简化蕴含判断"""        tokens = Counter()        for doc in documents:            tokens.update(re.findall(r'[\w\u4e00-\u9fff]+', doc))        return tokens     def _is_supported(self, sent, tokens, k=0.4):        """简化版蕴含判断: 句子中足够多词出现在文档里即视为被支持"""        words = re.findall(r'[\w\u4e00-\u9fff]+', sent)        if not words:            return False        hit = sum(1 for w in words if tokens.get(w, 0) > 0)        return hit / len(words) >= k     def calc_faithfulness(self, answer, documents):        """事实性 = 被文档支持的句子占比"""        self.pass_count += 1        tokens = self._doc_tokens(documents)        sents = sent_tokenize(answer)        if not sents:            return 0.0        ok = [s for s in sents if self._is_supported(s, tokens)]        return len(ok) / len(sents)     @staticmethod    def calc_reference_accuracy(answer, references, documents):        """引用准确率 = 能在文档中找到原文出处的引用占比"""        doc_text = " ".join(documents)        if not references:            return 0.0        ok = [r for r in references if r in doc_text]        return len(ok) / len(references)     @staticmethod    def calc_satisfaction(answer_len, min_len=15, max_len=120):        """模拟满意度: 长度适中的答案体验更好"""        if answer_len < min_len:            return 0.4        if answer_len > max_len:            return 0.65        return 0.92     def evaluate(self, question, answer, documents, references):        """综合评分入口: 返回各维度得分与加权总分"""        f = self.calc_faithfulness(answer, documents)        r = self.calc_reference_accuracy(answer, references, documents)        s = self.calc_satisfaction(len(answer))        total = self.alpha * f + self.beta * r + self.gamma * s        return {            "question": question,            "faithfulness": round(f, 2),            "reference_acc": round(r, 2),            "satisfaction": round(s, 2),            "sge_score": round(total, 2),        } if __name__ == "__main__":    evaluator = SQEEvaluator()    docs = [        "咖啡因能阻断腺苷受体, 从而减少困意。",        "高血压患者摄入过量咖啡因可能使血压短暂升高。",    ]    refs = ["咖啡因能阻断腺苷受体"]    question = "高血压患者可以喝咖啡吗?"    answer = ("高血压患者可以适量喝咖啡, 但不宜过量。"              "咖啡因会阻断腺苷受体, 并可能导致血压短暂升高。")    result = evaluator.evaluate(question, answer, docs, refs)    for key, value in result.items():        print(f"{key}: {value}")

1. def _is_supported(self, sent, tokens, k=0.4)用关键词覆盖率模拟 NLI 蕴含判断，词覆盖率超过阈值就认为句子有文档支持。
2. ok = [s for s in sents if self._is_supported(s, tokens)]统计答案中「被文档支持」的句子，供忠实度计算使用。
3. return len(ok) / len(sents)事实性分数的核心公式：支持句数除以总句数。
4. @staticmethod def calc_reference_accuracy(...)引用准确率简化为「引用文字能在文档原文中找到」。
5. total = self.alpha * f + self.beta * r + self.gamma * s加权综合分，复现正文中的 SQE-Score 公式。
6. if __name__ == "__main__":可直接运行脚本，看到一份结构化评分报告。

常见误区

面试题