搜索结果摘要自动生成：AI 如何把千万网页浓缩成一段话

可视化演示

通过四层生成管道流程、多源融合与事实校验、摘要质量五维评估对比，展示生成式搜索摘要生成的核心流程与质量保障机制。

摘要生成概述：一份“品鉴报告”的价值

想象你到一座陌生城市旅游，打开 App 搜“哪家火锅值得吃”。传统搜索引擎给你一长串链接，你得像开盲盒一样逐一点开，翻菜单、翻差评，折腾半小时才敢下结论。而生成式搜索的摘要自动生成，就像你身边跟着一位美食特派员——他提前跑遍十几家餐厅，品完招牌菜、比对过真实评价，最后只递给你一张 A4 纸：毛肚脆不脆、锅底正不正、排队多久、哪道菜必点，一目了然，还备注信息出处。

摘要自动生成（Auto-generated Summary）正是这位特派员“写报告”的环节，也是生成式搜索 SGE（Search Generative Experience）与 SearchGPT 的核心功能模块。它接收用户查询 \(q\) 和检索系统返回的多篇网页 \(D_1 \dots D_n\)，输出一段自包含的浓缩答案 \(S\)。这句话藏着两个关键转变：输入从“单网页”变成“多网页”，输出从“链接列表”变成“一段完整的回答”。用户不再需要自己跳转多个页面拼凑信息，AI 替他把拼装的活干完了。

与传统的“十条蓝色链接”相比，摘要改写了用户的交互路径：从“逐条点击—跳转—自行拼装”变成“一站式获取”。但代价同样明显——模型必须在一段话里完成取舍，在压缩中保持事实正确。因此，摘要生成被拆成三个子流程：信息抽取（从各网页挑关键句）、多源融合（去重、消歧、排序）、事实校验（交叉验证、来源溯源）。接下来的章节会逐层展开，正如特派员的工作也分“取材、做菜、验菜”三关。

$$\displaystyle S_{\text{摘要}}=A(q,D_1,D_2,\ldots,D_n)$$

1. 查询条件 \(q\)：用户的搜索意图，相当于食客点的菜，决定了特派员要重点试吃哪一类。

$$\displaystyle q$$

2. 多源文档 \(D_i\)：检索系统返回的第 \(i\) 个网页，相当于各家餐厅的菜谱与评价，是摘要的原料仓库。

$$\displaystyle D_i$$

3. 聚合函数 \(A\)：抽取、融合、校验整套流程的总称，相当于特派员的“试吃—记录—成稿”工作流。

$$\displaystyle A(\cdot)$$

一句话总结：摘要生成不是“网页内容拼接”，而是一次面试官式的深度试吃。就像特派员不会把每家店的菜单直接贴给你，生成式搜索也不会把网页段落堆砌成答案——它要替你把全城美食浓缩成一张值得信赖的便签。

信息抽取：一筷子夹出精华

特派员进店不会把整桌菜搬走，更不会把菜谱抄一遍——每道菜只夹一筷子，品出“麻、辣、鲜、脆”就记录在案。摘要生成也一样，面对每篇动辄几千字的网页，第一步是从中挑出最值得写进摘要的句子，这个过程叫信息抽取。它是整个流水线的灶台，火候不对，后面的菜全得糊。

信息抽取通常先做候选句切分，把网页切成一个个句子；再计算每个句子与查询的相关度，过滤掉导航、广告、免责声明等噪声；最后还要回头审视“已经选过的句子”——如果新句子与已选句子几乎在说同一件事，就得把位置让给信息量更大的句子。这一过程既要“听查询的话”，又要“雨露均沾”，避免摘要变成复读机。

最经典的选择算法是最大边际相关（MMR, Maximal Marginal Relevance）。它给每个候选句算一个综合分：前一项是句子与查询的相关度，后一项是句子与已选句集合的最大相似度（即冗余度），两者用参数 \(\lambda\) 平衡。如此一来，选出的句子既贴近用户问题，彼此之间又不重复，正好对应特派员“每类招牌菜只记一条精华”的采写原则。

$$\displaystyle \text{MMR}=\mathop{\arg\max}_{s}\left[\lambda\cdot\text{sim}(s,q)-(1-\lambda)\cdot\max_{s'\in S_{\text{已选}}}\text{sim}(s,s')\right]$$

1. 相关度 \(\text{sim}(s,q)\)：候选句与查询的语义相似度，越高说明句子越“对口”，像特派员优先夹顾客点名的那道菜。

$$\displaystyle \text{sim}(s,q)$$

2. 权衡权重 \(\lambda\)：在相关与冗余之间做取舍的旋钮，通常取 0.6~0.8，表示“相关性为主、去重为辅”。

$$\displaystyle \lambda$$

3. 最大冗余项 \(\max_{s'\in S_{\text{已选}}}\text{sim}(s,s')\)：候选句与已选集中最像的那一句的相似度，代表“重复风险”，像探店时发现两家店用同一份预制菜。

$$\displaystyle \max_{s'\in S_{\text{已选}}}\text{sim}(s,s')$$

4. 求最大值 \(\mathop{\arg\max}_{s}\)：遍历所有候选句，挑出平衡分数最高的那一句放进摘要。

$$\displaystyle \mathop{\arg\max}_{s}$$

这一筷子夹得准不准，直接决定摘要的“覆盖率”。特派员若只盯着一家店的招牌菜猛拍，漏掉隔壁的隐藏名菜，品鉴报告就偏了。MMR 同理：既要“往查询上靠”，又要“给每个来源留位置”，才能把各家网页的精华各夹一筷子。

多源融合：掌勺汇菜

特派员手里攒下几十条试吃笔记，但报告只能写一段话。这时他回到后厨，把相同风味的笔记归并，把厨师说法矛盾的素材重新核对，最后按“先亮点、再细节、后提醒”的顺序装盘——这就是多源融合。如果说信息抽取是“各夹一筷子”，融合就是把这一桌子菜重新摆成一道拼盘。

多源融合要解决三类问题：第一是冗余，多个网页可能引用同一篇新闻稿，说的是同一件事；第二是矛盾，A 网页说“排队一小时”，B 网页却说“随到随吃”，必须决断；第三是组织，不同来源的碎片信息拼在一起要有逻辑，不能东一句西一句，让读者像看打乱的拼图。这三关过不去，摘要读起来就会像“菜名堆砌”。

技术上，冗余去除常用相似度阈值：两个句子语义相似度超过阈值时，按来源权重保留信息量更大者。矛盾消解则采用加权投票——官方公告、权威站点的话语权更高，普通讨论帖次之。融合打分时，还会对“被多个来源反驳”的句子施加一个惩罚项 \(\beta\)，相当于后厨里那道“疑似馊了”的菜直接被扣分。最后，句子顺序可以用“先结论后细节”或时间线组织，让读者一眼抓住重点。

$$\displaystyle T(s)=\sum_{i=1}^{n}w_i\cdot\text{score}_i(s)-\beta\cdot\mathbb{1}\left[\text{conflict}(s)\right]$$

1. 来源权重 \(w_i\)：第 \(i\) 篇网页的权威度权重，官方源权重高、论坛帖权重低，类似“大厨的话比熟客更可信”。

$$\displaystyle w_i$$

2. 各源打分 \(\text{score}_i(s)\)：每篇网页对句子 \(s\) 的支持分数，衡量这条信息在单个来源中的重要程度。

$$\displaystyle \text{score}_i(s)$$

3. 矛盾指示 \(\mathbb{1}[\text{conflict}(s)]\)：当句子 \(s\) 与高权重来源的结论冲突时取 1，否则取 0，像一个“矛盾警报灯”。

$$\displaystyle \mathbb{1}\left[\text{conflict}(s)\right]$$

4. 惩罚系数 \(\beta\)：对矛盾句的打压强度，\(\beta\) 越大，存疑内容越难混进摘要。

$$\displaystyle \beta$$

融合这道工序最考验“烹饪功底”。特派员不能把三份菜谱逐条陈列，而要把“锅底浓郁、毛肚鲜脆、排队久”这些零散笔记，融成一句“这家值得去，但建议错峰”。摘要的价值恰恰藏在这“融”字里——不是堆料，而是调和。

事实校验：验菜把关

特派员最怕什么？怕厨师把预制菜吹成祖传秘方。写进报告之前，他得验菜：看一眼后厨、问一嘴熟客、翻一下老菜单，多方对得上才落笔。事实校验就是摘要生成里的“验菜”工序，也是 AI 摘要与“会说话但爱吹牛”的闲聊模型之间的分水岭。

大模型生成的摘要，即使句子通顺也可能埋着错误事实——来源里根本没有“燕窝味”，模型却能写得像真的尝过。事实校验的目标，就是在摘要见用户之前，把“多个来源相互印证”的事实与“孤证或遭反驳”的内容区分开。它要回答一个朴素的问题：这句话，到底有没有其他网页替它背书？

常见做法有四招：交叉验证，同一个事实出现在两个及以上独立来源中才采信；来源溯源，给每条结论保留可点击的出链，用户能自己复查；矛盾检测，当来源之间出现对立描述时自动标记，送加权裁决；最后输出一个置信分，置信度低的句子要么删除，要么打上“存疑”标签。这套流程相当于给摘要装了一个“质检闸门”，只有盖上合格章的内容才允许流向摘要框。

$$\displaystyle C(f)=\frac{1}{n}\sum_{i=1}^{n}\text{agree}_i(f)-\alpha\cdot\text{contradict}(f)$$

1. 支持投票 \(\text{agree}_i(f)\)：第 \(i\) 个来源是否支撑事实 \(f\)，支撑记 1，否则记 0，像熟客点头认可。

$$\displaystyle \text{agree}_i(f)$$

2. 平均支持率 \(\frac{1}{n}\sum_{i=1}^{n}\)：在全部 \(n\) 个来源中，支持该事实的比例，衡量“民意基础”有多厚。

$$\displaystyle \frac{1}{n}\sum_{i=1}^{n}$$

3. 矛盾次数 \(\text{contradict}(f)\)：明确反对事实 \(f\) 的来源数，来源越权威的反驳越致命。

$$\displaystyle \text{contradict}(f)$$

4. 惩罚系数 \(\alpha\)：矛盾对置信分的扣减力度，用于压制“一边倒被质疑”的内容。

$$\displaystyle \alpha$$

有了校验门，特派员的报告才敢盖上“可信”的章。反过来，没有校验的摘要就像不验菜的餐厅：卖相再好，顾客吃坏肚子一次就再也不来了。搜索引擎同样如此——幻觉一次就可能永远失去一个用户的信任。

评估维度：评委如何打分

一份品鉴报告写得好不好，食客心里有杆秤：全城的招牌菜都提到了吗？读起来像不像流水账？菜名、价格、位置写错没？摘要的评估维度就是这三杆秤：覆盖、简洁、准确。产品经理和算法工程师围绕它们博弈，就像美食评委围坐一桌，口味各异却都要打同一个分。

自动摘要评估最常用的三组指标：覆盖率衡量金标准中的关键知识点有多少被摘要提及，解决“有没有漏掉必答点”；简洁性衡量文本是否精炼、无冗余，对应“读起来累不累”；准确性衡量摘要中的每句话是否与来源一致、无虚构，回答“写得对不对”。三者缺一不可：只覆盖不准确是造谣，只准确不简洁是搬家，只简洁不覆盖是敷衍。

覆盖率通常以人工标注的金标准（gold summary）为分母，统计摘要命中的关键知识点比例；工业界则常结合人工评测做最终判定。值得注意的是，三者此消彼长：覆盖率拉高，句子变多，简洁性下降；过度压缩又容易丢失限定条件，准确性受损。好的摘要系统不是让单项满分，而是在约束下找最优平衡点——就像特派员写报告前先问一句：这张纸，写多少字最合适？

$$\displaystyle \text{Coverage}=\frac{|K\cap K_{\text{gold}}|}{|K_{\text{gold}}|}$$

1. 摘要知识点集合 \(K\)：从摘要文本中识别出的知识点集合，相当于报告里实际写到的菜名与特色。

$$\displaystyle K$$

2. 金标准集合 \(K_{\text{gold}}\)：人工标注的“标准答案”知识点集合，相当于评委认定的必提招牌菜清单。

$$\displaystyle K_{\text{gold}}$$

3. 交集 \(|K\cap K_{\text{gold}}|\)：两者重合的个数，即“该提的里面提到了多少”。

$$\displaystyle |K\cap K_{\text{gold}}|$$

4. 比值计算：重合数除以金标准总数，得到一个 0 到 1 的比例，越接近 1 覆盖越全。

$$\displaystyle \frac{|K\cap K_{\text{gold}}|}{|K_{\text{gold}}|}$$

三杆秤各有侧重，却共用同一根准绳——用户读完报告是否不用再翻网页。特派员被评“这报告真香”，不是因为写得长，而是因为“该说的都说了、没说一句废话、没一句假话”。摘要的终极 KPI，说到底就是这三个“没”。

幻觉控制：防住“脑补”的菜味

最危险的品鉴报告是什么？是特派员根本没尝过桂花酿，却凭想象写下“带有陈年桂花的回甘”。这种“脑补”在摘要领域叫幻觉（hallucination）：模型编造出原文根本不存在的细节，读起来却一本正经。用户一旦照着踩坑，轻则白跑一趟，重则造成实际损失——这就是为什么幻觉控制是生成式搜索的及格线，而不是加分项。

幻觉的产生有两类主要来源：一是模型在预训练语料中见过类似问题，凭“记忆惯性”照猫画虎地补全答案；二是解码阶段的随机采样放大了不常见但听上去顺耳的词，让模型越说越离谱。前者是“记岔了”，后者是“发挥过头了”，但结果都是同一道菜：闻着香，吃着假。

工程上有三条防线：检索约束——限制模型只能基于检索返回的证据片段生成，把可引用的“原料”锁死，锅里没有的食材不许写进菜单；解码约束——降低采样温度、对高熵（不确定）词施加惩罚，抑制随机发挥；事后核验——把生成好的每句话再送回检索器做“地毯式反查”，与所有来源的语义相似度都低于阈值的句子，直接删除或改写。三条防线层层设卡，正是动画里那道“校验门”的工业级版本。

$$\displaystyle \text{Risk}(s)=1-\max_{d\in D}\text{sim}(s,d)$$

1. 语义相似度 \(\text{sim}(s,d)\)：摘要句子 \(s\) 与某个来源文档 \(d\) 的语义相似度，衡量“这句话在原文里有没有影子”。

$$\displaystyle \text{sim}(s,d)$$

2. 取最大值 \(\max_{d\in D}\)：在所有来源里找到“最能为这句话背书”的那一篇，取其最高相似度。

$$\displaystyle \max_{d\in D}$$

3. 风险值 \(\text{Risk}(s)\)：用 1 减去最大支撑度，得到 0 到 1 的风险分；越接近 1，说明越没有任何来源撑腰，越可疑。

$$\displaystyle \text{Risk}(s)$$

特派员的职业操守是“没尝过的不写”；搜索模型的本分是“没检索到的不编”。幻觉控制本质上是在给想象力上锁——锁得越紧，报告可能越平庸，但也越安全。这个平衡点，正是生成式搜索工程调优的核心战场。

信息损失缓解：取舍的艺术

再厉害的特派员，也不可能把全城几百道菜都写进一张 A4 纸。他必须取舍：招牌菜写成亮点，小众菜只留一句“可试”，至于老板娘的围裙颜色——只能忍痛丢掉。摘要的物理规律就是信息损失：把一万字压成一百字，必然要丢东西。理解这一点，才算真正理解了摘要。

信息损失有两个层面：第一是压缩率碾压下的必然丢失，尤其是长尾信息——那些只在某个冷门网页里出现、但对少数用户至关重要的细节，比如某家店的隐藏菜单只写在评论区第三页；第二是流程性丢失，抽取阶段被过滤器挡掉的句子、融合阶段被当冗余删除的事实，很可能恰好是另一次查询的答案。每个环节都是一道筛子，筛子越多，漏得越多。

缓解方案的共同思路是“让答案在路上”：迭代扩展——首答先给骨架，用户追问时再逐步展开细节，把损失推迟而不是一次性压完；多跳检索——首轮摘要生成后，用摘要中缺失的关键实体发起第二轮检索，把长尾信息补回来；生成前还会做信息密度评估，优先保留“不可推断的专有信息”（数字、人名、时间），舍得牺牲“可推断的过渡句”。一句话：把好钢用在刀刃上，把 A4 纸留给最不可替代的内容。

$$\displaystyle R_{\text{保留}}=1-\frac{L_{\text{丢失}}}{L_{\text{总事实}}},\qquad \rho=\frac{L_{\text{摘要}}}{L_{\text{原文}}}$$

1. 丢失事实量 \(L_{\text{丢失}}\)：压缩过程中流失的知识点数量，像拼盘时被舍弃的边角料。

$$\displaystyle L_{\text{丢失}}$$

2. 总事实量 \(L_{\text{总事实}}\)：原始多网页中包含的事实总量，是压缩前的“全桌菜”。

$$\displaystyle L_{\text{总事实}}$$

3. 保留率 \(R_{\text{保留}}\)：被保留下来的事实占比，理想中尽量逼近 1，但现实里总要打折扣。

$$\displaystyle R_{\text{保留}}$$

4. 压缩比 \(\rho\)：摘要长度与原文总长之比，\(\rho\) 越小说明压缩越狠，信息损失风险也越大。

$$\displaystyle \rho$$

取舍不是失败，而是设计的必然。特派员深谙“少即是多”：一张纸写不下全部，但可以写出“最可能被需要的九成”，并随时准备回答追问。摘要生成同样如此——接受信息损失的存在，再用多轮对话与动态检索去弥补，这才是成熟产品该有的姿态。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""简易生成式搜索摘要：MMR抽取 + 多源融合 + 事实校验"""import reimport mathfrom collections import Counter  def tokenize(text):    return re.findall(r'[\u4e00-\u9fa5]|[A-Za-z0-9]+', text)  def tfidf(corpus):    df = Counter()    for doc in corpus:        df.update(set(tokenize(doc)))    n = len(corpus)    return {w: math.log(n / (1 + c)) for w, c in df.items()}  def vec(text, idf):    c = Counter(tokenize(text))    total = sum(c.values()) or 1    return {w: (v / total) * idf.get(w, 1.0) for w, v in c.items()}  def cos(a, b):    dot = sum(a[w] * b[w] for w in set(a) & set(b))    na = math.sqrt(sum(v * v for v in a.values())) or 1.0    nb = math.sqrt(sum(v * v for v in b.values())) or 1.0    return dot / (na * nb)  def mmr(sents, query_vec, idf, lam=0.7, k=3):    """最大边际相关：相关度减冗余度，选出既相关又不重复的句子"""    picked, cands = [], list(range(len(sents)))    while len(picked) < k and cands:        def score(i):            redun = max([cos(vec(sents[i], idf), vec(sents[j], idf))                         for j in picked] or [0.0])            return lam * cos(vec(sents[i], idf), query_vec) - (1 - lam) * redun        best = max(cands, key=score)        picked.append(best)        cands.remove(best)    return [sents[i] for i in picked]  def bigrams(text):    chars = re.findall(r'[\u4e00-\u9fa5]', text)    return {chars[i] + chars[i + 1] for i in range(len(chars) - 1)}  def fact_check(summary_sents, sources):    """事实校验：句子的核心二元组需在至少两个来源出现才采信"""    trusted, suspect = [], []    for s in summary_sents:        keys = bigrams(s)        hits = sum(1 for src in sources if keys & bigrams(src))        (trusted if hits >= 2 else suspect).append(s)    return trusted, suspect  def main():    query = "什么是生成式搜索摘要"    sources = [        "生成式搜索通过大模型把多个网页内容浓缩为简洁答案，用户无需逐条点击链接。",        "SGE会抽取网页关键句并融合成摘要，再附上来源链接供用户核验。",        "摘要生成需要事实校验，确保多源信息一致，避免模型脑补不存在的结论。",        "评估摘要看覆盖率、简洁性和准确性，三者需要平衡。",        "生成式搜索的摘要还会控制幻觉，降低信息损失风险。",    ]    sent_pool = [s for doc in sources for s in re.split(r'[。！？]', doc) if len(s) > 4]    idf = tfidf(sources)    qv = vec(query, idf)    picked = mmr(sent_pool, qv, idf, k=3)    trusted, suspect = fact_check(picked, sources)    print("查询:", query)    print("摘要:")    for s in trusted:        print("  [可信]", s)    for s in suspect:        print("  [存疑]", s)  if __name__ == "__main__":    main()

1. df.update(set(tokenize(doc)))统计每篇网页“出现过哪些词”，为计算 IDF 做准备。
2. return {w: math.log(n / (1 + c)) for w, c in df.items()}词越罕见 IDF 越高，避免“的、了”这类高频词霸屏。
3. redun = max([cos(...) for j in picked] or [0.0])求出候选句与已选句的最大相似度，即冗余风险。
4. return lam * cos(vec(sents[i], idf), query_vec) - (1 - lam) * redunMMR 核心公式：相关度减冗余度。
5. hits = sum(1 for src in sources if keys & bigrams(src))交叉验证：统计句子的核心二元组在几个来源中出现。
6. (trusted if hits >= 2 else suspect).append(s)至少两个来源佐证才判“可信”，否则归入“存疑”。

常见误区

面试题