相关性判断与测试集构建：给搜索引擎出考题

CH-28-01-011·约 17 分钟·搜索推荐与信息检索·更新 2026-08-13

市里要办一届汤品大赛，上万份菜谱，一群参赛大厨，还有最挑剔的食评团。谁是最强汤王？这个问题的答案，看起来取决于大厨的手艺，实际上取决于评委手里的那张评分册：什么算“对味”，谁来尝，尝多少，怎么保证评委意见一致，以及赛后这张评分册能不能公正地复用。搜索引擎的评价，与这场大赛如出一辙。我们常说的 BM25、TF-IDF 等检索模型，就是那些参赛的大厨团队；而他们孰高孰低，依赖一套被称为“相关性判断与测试集构建”的裁判体系。这篇文章不讲做菜技巧，只讲怎么设计那张公正的评分册：从相关性的定义，到多级标注标准，到省钱的 Pooling 采样，到评委一致性，再到 TREC 标准规则与评测集的可靠性。

岗位关联

学会构建高质量评测集、读懂评测指标的可靠性，是搜索推荐领域算法工程师的硬核基本功，也直接决定你在 A/B 实验和论文中的结论是否可信。

可视化演示
相关性判断：什么是“搜对了”
多级标注标准：三档量表
Pooling 方法：用“初选托盘”省成本
一致性控制：评委之间有多默契
TREC 评测：检索界的“标准化大赛”
评测集质量与可靠性
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

演示BM25检索打分、相关性标注与评估指标计算，直观展示信息检索系统如何通过测试集衡量检索质量。

本节配有交互动效（进入视口后自动加载，约 3KB）。

检索打分 BM25评分 TF-IDF 基于词频与逆文档频率排序文档

多级标注标准：三档量表

汤品大赛的评委会给每锅汤打“星级”：金牌（一口下去正中靶心）、银牌（味道不错但差一点意思）、淘汰（完全不对题）。这就是多级标注。相比二元判断，它给了“部分有用”的东西一个中间档，而不是粗暴地划进垃圾桶。

检索里最经典的量表来自 TREC：2 表示高度相关（key），1 表示部分相关（relevant），0 表示不相关（non-relevant）。为什么需要中间档？因为用户搜索时，很多文档“沾边但不够”——一篇提到了一半答案的帖子，比完全无关的广告页有价值得多，但它也不该和完美答案拿同样的分数。

光有量表还不够，标注准则才是关键。准则里要写明：只围绕查询的核心需求判断；文档只要包含答案片段就算相关；查询含多个侧面时要分别判断；同一文档对同一查询的不同理解可能打出不同档位。同时还要配上“金标准示例”作为锚点，让标注员对齐尺度。公式如下：

打分标准越明确，评委之间的“口味差异”就越小，这正是下一节要讨论的一致性问题。多级标准不是给标注员找麻烦，而是给公平提供一个共同刻度。

\text{rel}(q,d) = \begin{cases} 2, & \text{高度相关（直接满足主要需求）} \\ 1, & \text{部分相关（覆盖部分需求）} \\ 0, & \text{不相关（无信息增益）} \end{cases}

这组公式把三元量表具体化：每一档都要能举出正反例子，标注员照着量表才能打出可复现的标签，而不是凭感觉。

三档量表在二元基础上多出中间档，让“部分有用”的文档有处安放。
$\text{rel}(q,d) \in \{0,1,2\}$
高度相关（rel=2）文档直接命中查询的主要需求，用户打开就能获得想要的信息。
$\text{rel}=2 \iff \text{直接满足主要需求}$
部分相关（rel=1）文档只覆盖查询需求的某一部分或相关背景，有用但不完整。
$\text{rel}=1 \iff \text{部分覆盖需求}$
不相关（rel=0）文档与查询意图无关，无法提供信息增益。
$\text{rel}=0 \iff \text{无信息增益}$

Pooling 方法：用“初选托盘”省成本

城市里汤谱成千上万，不可能每锅都让评委尝。大赛组委会的聪明做法是：让所有参赛选手每人报上自己的招牌菜前几名，拼成一个初选托盘，评委只尝托盘里的菜。这就是 Pooling 的朴素思想。

技术表述：让所有参与评测的检索系统各返回排序结果的前 k 条，取并集构成文档池。只有池内的文档才需要人工标注，池外文档在计算指标时被当作不相关。这大大压缩了标注量——假设 5 个系统各取前 20 条，并集通常只有几十篇，而不是全库数百万篇。

深度 k 决定“尝菜”的广度和成本：k 越大，覆盖率越高，但标注量线性上涨。TREC 常用 k 取 50 到 100，配合上百个系统，人工标注量依然可观。工程上还要做去重、随机打乱、隐藏系统身份等操作，避免标注员产生偏向。公式如下：

但托盘也有偏心：没报上的好菜被埋在厨房。换句话说，没进池的相关文档会被系统误判为不相关。Pooling 只能逼近真实，不能保证完备——所以它必须在成本与偏差之间取平衡。

P_q = \bigcup_{s \in \mathcal{S}} \mathrm{Top}\text{-}k(q, s)

文档池 P_q 是“所有系统各自前 k 条”的并集。池子把“全量标注”压缩成“重点标注”，是评测成本控制的核心手段。

系统集合与排序结果每个参赛系统 s 对查询 q 返回一条排序列表。
$\mathcal{S} = \{s_1, s_2, \dots, s_T\}$
Top-k 截断每条列表只保留前 k 个结果，k 是池深度，直接决定采样成本。
$\mathrm{Top}\text{-}k(q,s) = \{d_1, d_2, \dots, d_k\}$
取并集建池把所有系统的前 k 条融合成文档池，只标注池内文档。
$P_q = \bigcup_{s \in \mathcal{S}} \mathrm{Top}\text{-}k(q,s)$

一致性控制：评委之间有多默契

两位评委对同一锅汤，一个觉得“金牌”，另一个觉得“淘汰”，评分册就失去公信力。大赛需要量化“评委之间有多默契”，这个指标就是标注一致性。标注是人工活，不同人对“相关”的尺度天然有差异，必须用指标盯着。

检索标注中最经典的指标是 Cohen's Kappa：它不只看两位标注员一致的比例（P_o），还要扣掉两人“瞎猜也会撞上”的概率（P_e）。扣掉运气之后的一致程度，才是标注质量的真实体现。比如两人都爱打高分，即使随机给标签也有一半概率撞车，直接比较一致比例会虚高。

工程实践中，控制一致性不只靠指标，还有一套组合拳：先培训（讲量表、过典型样例），再试标（先跑 50 条讨论分歧），后监控（定期植入金标准文档检查疲劳），出现分歧时由资深标注员仲裁。公式如下：

评委默契不是天生的，是靠标准、培训和监督调教出来的。一致的高质量标注，才让后面所有评测数字有意义。

\kappa = \frac{P_o - P_e}{1 - P_e}

分子 P_o - P_e 是“真实达成的一致”，分母 1 - P_e 是“可改进的最大一致空间”。比值越高越可靠，通常 κ 大于 0.8 视为高度一致，0.6 到 0.8 视为可接受。

观测一致率 Po两位标注员对同一批 N 篇文档打出相同标签的比例，越高表面越默契。
$P_o = \frac{1}{N} \sum_{i=1}^{N} [a_i = b_i]$
偶然一致率 Pe假设两人独立随机乱猜，依据各自标签分布，碰巧一致的期望概率。
$P_e = p_a p_b + (1-p_a)(1-p_b)$
归一化扣运气分子扣除偶然一致，分母是能改进的最大空间，比值对应“认真一致”的程度。
$\kappa = \frac{P_o - P_e}{1 - P_e}$

TREC 评测：检索界的“标准化大赛”

如果每个城市各办各的汤品大赛，冠军含金量就没法比。于是有个权威组织每年办一届标准化汤品大赛，用同一本规则书、同一种评分册——这就是检索界的 TREC。

TREC（Text REtrieval Conference，文本检索会议）由美国 NIST 主办，从 1992 年办到现在。每年发布约 50 个查询主题，全球研究团队提交系统排序结果，官方组织 Pooling 与人工标注，然后统一评估并公布排名。它让不同论文里的 BM25、TF-IDF、神经检索模型可以在同一把尺子下横向比较。

标准化带来规模效应：约百个系统 × 每个深度 100 × 50 个主题 = 数十万次相关性判断。这些经官方标注的语料沉淀为公开基准（如 Robust-04），成为检索领域二十多年来的“标准考场”。参赛流程也相对固定：注册、下载文档集、提交排序结果、等待官方评估，整个链条透明可复现。公式如下：

有了统一规则，不同年份、不同团队的实验结果才有可比性。TREC 的意义不在于“谁拿了第一”，而在于让整个领域沉淀下一套公开、可复用的测试集。

N_{\text{judge}} \approx |\mathcal{Q}| \times R \times k

总标注次数 ≈ 查询主题数 × 系统数 × 池深度。三个数一乘就能估算一场 TREC 评测的人力成本，也解释了为什么评测集建设是个大工程。

主题查询集 QTREC 每年发布约 50 个查询主题，覆盖多样搜索意图。
$|\mathcal{Q}| \approx 50$
系统数与深度 k约 R=100 个提交系统，每系统取前 k 篇进池，k 常取 50 到 100。
$R \approx 100, \quad k \approx 100$
总标注规模三项相乘估算评测总标注次数，体现标准化评测的重投入。
$N_{\text{judge}} = |\mathcal{Q}| \times R \times k \approx 500{,}000$

评测集质量与可靠性

评分册建好了，但用它真能可靠地选出冠军吗？如果只考 3 道题，一次运气就能改变排名；如果考 50 道题，实力才浮出水面。查询数量就是评测的“考试题量”，决定了结论的统计稳定性。

统计上，系统在每个查询上的得分是个随机变量，平均分的误差随题量的平方根下降——从 10 个查询涨到 100 个，误差缩到约三分之一。这也是 TREC 坚持用约 50 个查询的原因之一：太少查询时，两个系统的分数差很容易被单条刁钻查询“带偏”。

除了数量，标注质量同样决定性。标注一致性低意味着标签噪声大；池子太浅意味着漏判相关文档；这两者都会让系统排名的置信区间变宽，甚至翻转冠亚军次序。所以评测可靠性 = 规模 × 标注可靠性，缺一不可。公式如下：

一年一度的汤品大赛越办越专业，靠的是不断扩充题量、校准评委、复盘偏漏。评测集的质量，最终决定你能从测试集里提炼出多少真实结论，这也正是检索系统从“感觉好用”走向“可靠地改进”的关键一步。

\sigma_{\bar{x}} = \frac{\sigma}{\sqrt{|\mathcal{Q}|}}

这表示平均分的标准误差等于单查询得分标准差除以查询数的平方根：查询越多，结论越稳。反过来，想判断两个系统谁更强，必须让误差小于两者的分数差。

单查询得分波动 σ系统在不同查询上的得分高低起伏，像学生的单科成绩不稳定。
$\sigma = \sqrt{\frac{1}{|\mathcal{Q}|-1} \sum_{q}(x_q - \bar{x})^2}$
误差随 √N 递减平均分的标准误差等于 σ 除以查询数的平方根，题量越大越稳。
$\sigma_{\bar{x}} = \frac{\sigma}{\sqrt{|\mathcal{Q}|}}$
统计显著性门槛只有当误差小到足以区分两个系统的分数差时，排名结论才可信。
$|\bar{x}_A - \bar{x}_B| > 2\, \sigma_{\bar{x}}$

AI 应用场景

电商搜索排序模型评测

阶段：模型评估与迭代上线

解决的问题：排序算法改动后，光看几个案例无法判断好坏。传统做法靠产品经理拍脑袋，AI 做法是先构建带多级标注的离线测试集，在同样的查询和文档上对比新旧模型，避免抽样偏差干扰上线决策。

具体案例：某电商平台搜索“连衣裙”，评测团队按 0/1/2 三级标准标注 3000 条商品，用 Kappa 把关外包标注一致性，在测试集上对比 TF-IDF 与 BM25 排序的 NDCG，确认新模型显著更优后才进入线上 A/B 实验。

学术研究中的标准基准评测

阶段：算法研究与论文实验

解决的问题：自建测试集的结果无法横向复现，审稿人也不信任。TREC 等标准集提供官方标注与统一评测脚本，让新模型与 BM25 基线的对比结论具有公信力。

具体案例：某高校研究组在 TREC Robust-04 数据集上评测新提出的密集检索模型，先做 Pooling 文档池覆盖分析，再报告与 BM25 的显著性检验结果，结论被同行评审认可。

RAG 知识库检索模块评估

阶段：RAG 应用效果评估

解决的问题：RAG 的最终回答质量高度依赖检索模块的召回效果，需要一个独立的“检索测试集”来判断是不是“没捞到相关文档”，而不是把锅都甩给生成模型。

具体案例：企业客服知识库用 Pooling 方法构建 200 个“问题-文档”测试集，标注为“直接可用/部分可用/不可用”三档，定期监控 top-k 召回率变化，并在更换重排序模型前后对比 NDCG。

Python 演示

python66 行

# -*- coding: utf-8 -*-# 模拟相关性标注与测试集构建的完整流程import random random.seed(42) # 1. 构造小型文档库, 并注入"隐藏的真实相关性"QUERY_NUM = 3          # 查询数(主题数)DOC_NUM = 400          # 文档库大小SYSTEM_NUM = 5         # 参赛检索系统数POOL_DEPTH = 20        # 每个系统取前 k 条进池NOISE = 0.05           # 标注噪声比例 docs = list(range(DOC_NUM))true_rel = {}          # true_rel[qid] = 真正相关的文档集合for qid in range(QUERY_NUM):    true_rel[qid] = set(random.sample(docs, 15))  def retrieve(qid):    """模拟一个有缺点的检索系统: 只认识部分相关文档."""    known = {d for d in true_rel[qid] if random.random() > 0.3}     def score(d):        if d in true_rel[qid]:            return 1.0 if d in known else 0.5        return random.random()     return sorted(docs, key=score, reverse=True)[:POOL_DEPTH]  def annotate(qid, doc, noise=NOISE):    """人工标注: 以一定噪声翻转标签, 模拟标注员失误."""    label = 1 if doc in true_rel[qid] else 0    return 1 - label if random.random() < noise else label  # 2. Pooling: 各系统 top-k 取并集, 只标注池内文档pools, judgments = [], {}for qid in range(QUERY_NUM):    pool = set()    for _ in range(SYSTEM_NUM):        pool.update(retrieve(qid))    pools.append(pool)    judgments[qid] = {d: annotate(qid, d) for d in pool} # 3. 报告池子的召回效果for qid in range(QUERY_NUM):    hit = sum(1 for d in pools[qid] if d in true_rel[qid])    total = len(true_rel[qid])    print(f"query{qid}: pool={len(pools[qid])}  "          f"recall={hit}/{total} ({hit/total:.0%})") # 4. 一致性检验: 计算两位标注员的 Cohen's kappadef kappa(a, b):    n = len(a)    po = sum(1 for x, y in zip(a, b) if x == y) / n    pa, pb = sum(a) / n, sum(b) / n    pe = pa * pb + (1 - pa) * (1 - pb)    return (po - pe) / (1 - pe)  sample = random.sample(list(judgments[0]), 60)anno_a = [judgments[0][d] for d in sample]anno_b = [annotate(0, d, noise=0.20) for d in sample]  # 另一位标注员print("kappa = %.3f" % kappa(anno_a, anno_b))

目的：模拟从构建文档库、隐藏真实相关性，到 Pooling 采样、人工标注，再到 Kappa 一致性检验的完整评测集构建流程。

true_rel[qid] = set(random.sample(docs, 15))给每个查询注入“上帝视角”的真实相关文档，模拟现实中永远不可完全观测的真相。
known = {d for d in true_rel[qid] if random.random() > 0.3}系统并不完美，只认识 70% 的相关文档，模拟 BM25 等模型的召回盲区。
return sorted(docs, key=score, reverse=True)[:POOL_DEPTH]按得分排序后截断前 k 条，这就是 Top-k 截断。
pool.update(retrieve(qid))多个系统的 top-k 取并集，构成文档池，这正是 Pooling 的核心操作。
judgments[qid] = {d: annotate(qid, d) for d in pool}只标注池内文档，池外文档自动视为不相关。
po = sum(1 for x, y in zip(a, b) if x == y) / n计算两位标注员的观测一致率 Po。
pe = pa * pb + (1 - pa) * (1 - pb)计算两人按各自标签分布“瞎猜碰巧一致”的偶然一致率 Pe。
return (po - pe) / (1 - pe)套用 Kappa 公式扣掉运气，得到真实一致性。

常见误区

误区我以为只要拼命加查询，把测试集从 50 条扩到 5000 条，评测结论一定越来越可信，标注质量差点也无所谓。

正解数量只解决统计误差，不解决系统偏差。如果标注一致性差、池子深度不足，标签里带着大量噪声，再多查询也只是把错误结论“平均得更稳定”。就像请 1000 个味觉失灵的评委，评出的汤王同样不可信。评测质量是规模与标注可靠性的乘积，缺一不可。

为何常见：因为人们直觉上觉得“样本越大越准”，忽略了噪声和偏差在放大样本时并不会消失。

误区我刚开始做标注时觉得，相关性不就是“看着像不像相关”，随手打个分就行，不需要什么培训。

正解相关性标注需要详细的标注准则、多级量表、金标准示例锚点，还要定期校准。没有准则，两个标注员对“部分相关”的理解可能天差地别，Kappa 会低到不可用。就像米其林评星有严格手册，不是“好吃就点赞”。

为何常见：因为“相关”是日常词汇，容易让人误以为判断标准是天然共识，忽视了检索场景中查询意图的复杂性。

误区我以为只要池子够大，所有相关文档都会被捞进文档池，池外文档肯定都不相关。

正解Pooling 是经济学上的“重点抽查”，不是穷举。没被任何系统排在 top-k 里的相关文档会漏在池外，并被默认为不相关。深度 k 越大遗漏越少，但永远无法保证完备。这也意味着没进池的系统天生吃亏——它的独特好结果没人标注。

为何常见：因为文档池的构建看起来覆盖了多个系统的头部结果，容易让人误以为头部即全集。

误区两位标注员的 Kappa 到了 0.9，我认为标签肯定就是 ground truth，可以放心拿去训练和评测了。

正解Kappa 衡量的是标注员之间的一致性，不是与真实答案的一致性。两人可能拿着同一套错误标准，达成高度一致却一致地错。比如两位评委都认为“越辣越好”，意见高度一致但违背了顾客的真实口味。所以还需要用金标准文档、专家抽检等手段验证标注的“正确性”。

为何常见：因为“一致”和“准确”在日常语言里经常被混用，Kappa 这个数字又很有说服力，容易让人过度解读。

误区我觉得评测集是固定资产，建好之后一劳永逸，每年拿它评估新模型就行。

正解用户意图、文档内容和搜索场景都在漂移。三年前“苹果”的相关文档主要是手机评测，现在可能是 AI 发布会。测试集需要定期补充新查询、重新标注旧文档、剔除过时样本，否则评测结论会与线上真实表现脱节。

为何常见：因为构建测试集成本高，团队倾向于“省着用”，忽略了相关性本身是随时代变化的相对概念。

面试题

Q1. 检索相关性判断中，同一篇文档对不同查询的相关性结论可能不同，这说明相关性是？

单选题 · easy

A.文档自身的属性
B.查询和文档的相对关系← 正确答案
C.系统的排序分数
D.文档热度的体现

答案：B。相关性不是文档单方面的标签，而是查询与文档配对后的相对关系。就像“麻辣锅”对无辣不欢的顾客是宝，对怕辣顾客是雷，同一个文档换一个查询，结论就可能翻转。

Q2. Pooling 方法构建文档池的核心步骤是？

单选题 · easy

A.全量标注整个文档库
B.融合多系统 top-k 结果← 正确答案
C.随机抽样标注文档
D.只看最佳系统结果

答案：B。Pooling 的关键是让所有参赛系统各取前 k 条结果取并集，只标注并集中的文档。这样既覆盖多个系统的头部偏好，又大幅压缩标注成本，而不是全量或随机标注。

Q3. 衡量两位标注员标注一致性的常用指标是？

单选题 · easy

A.BM25 相关性得分
B.TF-IDF 权重大小
C.Cohen Kappa 系数← 正确答案
D.检索查准率指标

答案：C。标注一致性用 Cohen's Kappa 衡量，它扣除了两人瞎猜也能碰巧一致的部分。BM25、TF-IDF 是检索模型的打分方式，查准率是评测指标，都不用于衡量标注员之间的共识。

Q4. TREC 评测使用约 50 个查询主题的主要原因是？

单选题 · mid

A.降低对相关性的要求
B.获得统计稳定的结论← 正确答案
C.保证答案一定正确
D.减少人工标注工作量

答案：B。平均分误差随查询数平方根下降，50 个查询能让系统排名在统计上可区分。查询太少时，排名很容易被个别刁钻查询带偏，结论稳定性差。

Q5. Cohen Kappa 公式中 Pe 表示什么？

单选题 · mid

A.标注者偶然一致的概率← 正确答案
B.标注结果真实正确的比例
C.采样池子深度的大小
D.检索系统平均的得分

答案：A。Pe 是“偶然一致率”，即两人按各自的标签分布独立乱猜时，碰巧给出相同标签的期望概率。Kappa 用 P_o 减去 Pe 来剔除运气成分，Pe 越高，真实的默契度被稀释得越多。

Q6. 其他条件不变，增大 Pooling 深度 k 通常带来什么？

单选题 · mid

A.直接降低标注成本
B.召回更多相关文档← 正确答案
C.减少池中噪声文档
D.消除采样的偏差

答案：B。池越深，各系统排序长尾中的相关文档越可能进池，覆盖率提高，但标注成本也随之上涨。深度增大不能消除偏差——池外永远可能还有相关文档，噪声也不会因此减少。

Q7. 某评测中两位标注员观测一致率 Po=0.85，偶然一致率 Pe=0.5，则 Cohen Kappa 为？

单选题 · hard

A.0.35
B.0.50
C.0.70← 正确答案
D.0.85

答案：C。Kappa = (Po - Pe) / (1 - Pe) = (0.85 - 0.5) / (1 - 0.5) = 0.7。意思是扣除瞎猜碰巧一致的部分后，两人在可改进的一致空间里真正达成了 70% 的共识。

Q8. 下面哪些因素会影响评测集的可靠性？

多选题 · mid

A.查询数量的大小← 正确答案
B.标注意见的一致程度← 正确答案
C.采样池子的深度← 正确答案
D.检索服务器配置

答案：ABC。查询数决定统计误差，标注一致性决定标签质量，池深决定相关文档覆盖率。服务器配置只影响系统运行速度，不直接参与评测集的构建与质量，因此不选。

Q9. 多级相关性标注相比二元判断的优势有哪些？

多选题 · hard

A.能区分部分相关文档← 正确答案
B.支持 NDCG 等分级指标← 正确答案
C.省去标注员培训成本
D.提升评测指标区分度← 正确答案

答案：ABD。多级标注给“打擦边球”的文档留出中间档，分级指标（如 NDCG）才能利用中间档的信息，拉开系统间的差距。但它反而要求更细致的标注准则和培训，C 的说法不成立。

Q10. 关于 Pooling 采样偏差，下列说法正确的有哪些？

多选题 · extreme

A.未入池文档被默认为不相关← 正确答案
B.入池系统对最终结论影响更大← 正确答案
C.池外文档中不存在相关文档
D.采样偏差无法完全消除← 正确答案

答案：ABD。Pooling 把没进池的文档直接当不相关，这会漏掉未被任何系统排进 top-k 的相关文档，因此对没贡献结果的系统不公平。加大深度只能缓解偏差，无法完全消除，所以 C“池外不存在相关文档”是错误的。

可视化演示

相关性判断：什么是“搜对了”

多级标注标准：三档量表

Pooling 方法：用“初选托盘”省成本

一致性控制：评委之间有多默契

TREC 评测：检索界的“标准化大赛”

评测集质量与可靠性

AI 应用场景

电商搜索排序模型评测

学术研究中的标准基准评测

RAG 知识库检索模块评估

Python 演示

常见误区

面试题

Q1. 检索相关性判断中，同一篇文档对不同查询的相关性结论可能不同，这说明相关性是？

Q2. Pooling 方法构建文档池的核心步骤是？

Q3. 衡量两位标注员标注一致性的常用指标是？

Q4. TREC 评测使用约 50 个查询主题的主要原因是？

Q5. Cohen Kappa 公式中 Pe 表示什么？

Q6. 其他条件不变，增大 Pooling 深度 k 通常带来什么？

Q7. 某评测中两位标注员观测一致率 Po=0.85，偶然一致率 Pe=0.5，则 Cohen Kappa 为？

Q8. 下面哪些因素会影响评测集的可靠性？

Q9. 多级相关性标注相比二元判断的优势有哪些？

Q10. 关于 Pooling 采样偏差，下列说法正确的有哪些？