阳光中学期末统考的卷子似乎泄题了。一部分学生的成绩高得反常，年级排名也乱了套。校长没有急着处分谁，而是先派调查组回答三个问题：泄题影响有多大？哪些成绩不可信？排行榜还能不能用来发奖？调查组先检查“成绩是否与接触过真题相关”，再用干净备用卷复测估算“虚高了多少分”，最后计算“名次被洗牌了多少”。AI 评测里的数据污染，与此如出一辙：当测试集样本混入训练数据，模型就等于提前“见过真题”，分数虚高、排名失真。污染影响量化，就是系统地回答“泄题到底造成了多大破坏”。

岗位关联

掌握污染影响量化，你就能在评测报告中给出“分数虚高幅度”与“排名可信度”的定量结论，帮助团队判断榜单结果是否失真，避免基于被污染的数据做出错误选型决策。

目录
  1. 可视化演示
  2. 污染影响缘起
  3. 相关性分析
  4. 指标偏移量化
  5. 排名变化评估
  6. 干扰因素辨析
  7. 评测报告规范
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示污染率与分数膨胀的非线性关系、指标偏移量化（绝对/相对偏移）及排名变化评估（Spearman/Top-K/排列检验），帮助理解评测数据污染的影响评估方法。

本节配有交互动效（进入视口后自动加载，约 3KB）。

'+captions.inflation+'

污染影响缘起

调查组的第一件事，不是追查“谁泄的题”，而是先摸清“题目是怎么流传出去的”。有人从打印店带出了纸质卷，有人在培训机构的模拟卷上看到了原题，还有人考前在社交平台刷到了“押题宝典”。渠道不同，但结果相同：学生提前见过考题。于是调查组在公告里写的第一句话，就是“本次考试存在约15%的题目泄露”。

AI 评测中的数据污染也一样：训练数据或预训练语料混入了测试集样本，模型在训练阶段就“见过”评测题。常见渠道有三类——网络爬虫抓取时未做去重，把测试集文本收进了训练语料；研究团队复用旧数据集，新测试集与旧训练集存在重叠；第三方平台爬取公开评测集后泄漏进社区数据集。要量化污染影响，第一步就是估算污染范围。

污染覆盖率是量化影响的基础量尺，它定义测试集中与训练语料存在重叠的样本占比：

就像调查组在公告里先写清“泄题面有多广”，评测机构看到污染覆盖率后，才能决定下一步是深入量化偏移，还是仅做风险提示。

Pdup=NdupNtest×100%\displaystyle P_{dup} = \frac{N_{dup}}{N_{test}} \times 100\%
污染覆盖率就是“提前见过考题的考生人数 ÷ 考生总数”。100 道题里有 15 道在训练语料中出现过，覆盖率就是 15%。
  1. 分子 $N_{dup}$统计测试集中与训练语料匹配成功的样本个数，匹配手段包括精确去重与相似度阈值过滤。
    Ndup=∑s∈Dtest1[sim(s,Dtrain)>τ]N_{dup} = \sum_{s \in D_{test}} \mathbb{1}\left[ \text{sim}(s, D_{train}) > \tau \right]
  2. 分母 $N_{test}$测试集全部样本的数量，用它将绝对计数换算成相对比例，使不同规模的数据集可比。
    Ntest=∣Dtest∣N_{test} = |D_{test}|
  3. 百分比表示乘以 100%，把覆盖率转化为评测报告中直观可读的百分数。
    ×100%\times 100\%

相关性分析

知道了泄题面还不够，调查组要验证一个猜想：见过题的学生真的考得更高，还是纯属巧合？他们把每个学生的“接触真题次数”与考试成绩画在一张散点图上，如果红色点集中在右上方，就说明两者存在明显的正相关。这比单纯看平均分更有说服力。

对应到 AI 评测中，“接触真题次数”就是每个测试样本与训练数据的重复度（如 n-gram 重叠率、embedding 余弦相似度），“考试成绩”就是模型在该样本上的得分。如果我们发现“重复度越高的样本，模型得分越高”，说明评测结果与污染存在统计关联。此时不能直接断言因果，但足以触发深入调查。

皮尔逊相关系数衡量两个变量的线性关联强度，是这一步最常用的量化工具：

调查组在散点图上画出一条上扬的虚线，告诉校长：“接触过真题的学生，成绩确实系统性偏高。”这就像 AI 评测中，相关性分析成为污染存在性的第一份定量证据。

r=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2∑i=1n(yi−yˉ)2\displaystyle r = \frac{\sum_{i=1}^{n} (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2}\sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}}
r 的取值范围是 -1 到 1。r 越接近 +1，说明“重复度-得分”的同步上升越强；接近 0 则没有线性关系。评测实践中 r > 0.5 就要高度警惕污染。
  1. 离均差先用每个样本的重复度和得分分别减去各自的均值，让数据以零为中心，消除整体水平高低带来的偏差。
    (xi−xˉ),(yi−yˉ)(x_i - \bar{x}),\quad (y_i - \bar{y})
  2. 协方差累积将同一测试样本的 x 离均差与 y 离均差相乘再求和。两者同向偏离时贡献正值，反向偏离时贡献负值。
    ∑i=1n(xi−xˉ)(yi−yˉ)\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})
  3. 标准化除以两变量各自离差平方和的平方根之积，把结果压缩到 -1 到 1 之间，便于不同数据集之间横向比较。
    ∑i=1n(xi−xˉ)2∑i=1n(yi−yˉ)2\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2}\sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}

指标偏移量化

证实相关性之后，调查组要回答更实际的问题：泄题到底让平均分虚高了多少？他们找了一批“干净的备用卷”，让同一批学生重考，对比两轮成绩的差异。差值越明显，说明泄题在分数上的“水分”越大。

AI 评测中，“干净备用卷”就是把测试集里疑似污染的样本剔除后得到的干净子集，或者用一套确认无污染的新测试集重新评测。模型在污染集上的得分记为 $M_{polluted}$，在干净集上的得分记为 $M_{clean}$，两者之差就是指标偏移量。

相对偏移比绝对差值更有比较意义，因为它消除了不同指标量纲和基线水平的影响：

调查组在校务会上汇报“泄题让数学平均分虚高了约 8%”，就如同 AI 工程师在评测报告里写下“数据污染使模型准确率虚高 7.2%，榜单结论需谨慎采纳”。

Δrel=Mpolluted−McleanMclean×100%\displaystyle \Delta_{rel} = \frac{M_{polluted} - M_{clean}}{M_{clean}} \times 100\%
相对偏移表示“虚高部分占真实水平的百分比”。准确率从 88% 升到 95%，相对偏移约 8%；当偏移超过评测预设阈值（通常 1%~3%），即认为污染对指标造成了显著失真。
  1. 绝对偏移用污染集得分减去干净集得分，得到指标被“抬高”的绝对幅度。
    Mpolluted−McleanM_{polluted} - M_{clean}
  2. 基准化除以干净集得分，把绝对幅度换算成相对于真实水平的比例，消除不同模型基线差异。
    Mpolluted−McleanMclean\frac{M_{polluted} - M_{clean}}{M_{clean}}
  3. 百分化乘上 100%，让结果以“虚高百分之几”的形式出现在报告中，方便非技术决策者理解。
    ×100%\times 100\%

排名变化评估

平均分虚高并不能说明全部故事：可能所有学生都加了 8 分，名次几乎没变；也可能只有少数人加了分，把整个年级排名搅得天翻地覆。发奖状看的是名次，所以必须评估排名的洗牌程度。

模型榜单与考场排名一样，用户真正关心的是“A/B/C 模型谁第一、前三名有没有变”。污染对排名的扰动不能只看分数，还要看模型之间的相对顺序是否被翻转。尤其是 TopK 榜单，即使平均分偏移不大，只要几个头部模型的排序颠倒，就会误导选型。

排名交换率 $R_{swap}$ 统计污染前后所有模型对中相对顺序发生颠倒的比例：

如果调查组发现“成绩复核后，年级前十名有 5 人被换掉”，学校就会重新发奖；模型榜单若显示“污染后前三名完全洗牌”，评测方就应当提示下游用户不要轻易引用排名做选型。

Rswap=2×Nswapn(n−1)\displaystyle R_{swap} = \frac{2 \times N_{swap}}{n(n-1)}
$R_{swap}=0$ 表示排名完全没变；$R_{swap}>0.2$ 说明超过两成的模型对排序被污染搅乱。实践中可与 Spearman 秩相关、TopK 稳定性配合，全面刻画排名失真。
  1. 分子 $N_{swap}$统计污染前后排名中相对顺序反转的模型对数量。若模型 A 原本高于模型 B，污染后 A 低于 B，则记为一对交换。
    Nswap=∑1≤a<b≤n1[(sa−sb)(sa′−sb′)<0]N_{swap} = \sum_{1 \le a < b \le n} \mathbb{1}\left[ (s_a - s_b)(s_a' - s_b') < 0 \right]
  2. 总对数$n$ 个模型两两组合的配对总数，作为归一化基准，使交换率不受模型数量的影响。
    n(n−1)2\frac{n(n-1)}{2}
  3. 比值化简交换对数除以总对数，即除以 $n(n-1)/2$，等价于分子乘以 2 再除以 $n(n-1)$。
    Nswapn(n−1)/2=2×Nswapn(n−1)\frac{N_{swap}}{n(n-1)/2} = \frac{2 \times N_{swap}}{n(n-1)}

干扰因素辨析

调查组还收到一个重要提醒：不能把所有高分都算在泄题头上。有的学生本来就常年年级第一，那是学霸实力，不是泄题功劳。同样，也不能因为看到几个红点就断言整张成绩单全部失效。

AI 评测里的“学霸”包括：测试集本身固有的难度差异、部分模型天然更强的泛化能力、训练随机性和超参数扰动带来的指标波动。如果不加区分，直接把指标偏移全部归因于污染，就会高估污染的实际影响。样本偏差也会让某些子集的指标天然偏高，与污染混杂在一起。

更严谨的做法是设置对照实验：在确认无污染的干净测试集上多次独立复测，用置信区间判断偏移是否统计显著。置信区间公式如下：

调查组最终写道：“排除学霸因素后，泄题的净效应依然显著。”AI 评测中，这一步让“污染影响”从相关性走向统计因果，成为可辩护的结论。

CI=dˉ±zα/2×σdn\displaystyle CI = \bar{d} \pm z_{\alpha/2} \times \frac{\sigma_d}{\sqrt{n}}
如果置信区间不包含 0，说明污染偏移在统计上显著；如果区间过宽且包含 0，那么观察到的偏移可能只是随机波动，不能归咎于污染。
  1. 均值差 $\bar{d}$多次复测中，污染集与干净集得分差异的平均值，作为偏移量的点估计。
    dˉ=1n∑i=1n(Mpolluted(i)−Mclean(i))\bar{d} = \frac{1}{n}\sum_{i=1}^{n}(M_{polluted}^{(i)} - M_{clean}^{(i)})
  2. 标准误样本标准差 $\sigma_d$ 除以根号 $n$，衡量多次复测均值差异本身的波动大小。
    σdn\frac{\sigma_d}{\sqrt{n}}
  3. 置信系数在 95% 置信水平下取 $z_{\alpha/2}=1.96$，决定区间半宽，给出偏移估计的可靠性范围。
    ±zα/2\pm z_{\alpha/2}

评测报告规范

所有数字算完之后，调查组要发布一份正式公告：泄题渠道是什么、覆盖多少考生、平均虚高多少分、排名是否需要重新评定。公告写得越透明，家长和教育局才越放心。报告不是为追责，而是为了让所有人基于真实信息做决策。

评测机构对外发布模型榜单时，也应出具“数据污染声明”。声明不是简单一句“经检测无污染”，而是要量化影响并说明评估条件。为了便于管理层快速决策，常把多个维度的指标加权合成一个综合污染影响指数 $C$。

综合指数将污染覆盖率、指标相对偏移、排名一致性融合为一个 0 到 1 之间的数值：

阳光中学用一份透明公告平息了家长的焦虑。AI 评测团队同样需要一份量化污染影响的报告，让技术管理者在选型时看得懂、信得过、敢决策。

C=w1Pdup+w2Δrel+w3(1−ρ)\displaystyle C = w_1 P_{dup} + w_2 \Delta_{rel} + w_3 (1-\rho)
$C$ 越大，评测结果可信度越低。约定 $C < 0.1$ 视为可控，$0.1 \sim 0.3$ 需在报告中说明，$C > 0.3$ 建议重新评测后再发布榜单。
  1. 污染覆盖率项$P_{dup}$ 把“泄题面”带入指数，$w_1$ 是其权重，覆盖率越高贡献越大。
    w1Pdupw_1 P_{dup}
  2. 指标偏移项$\Delta_{rel}$ 为相对偏移量，$w_2$ 控制“分数虚高”对最终指数的影响程度。
    w2Δrelw_2 \Delta_{rel}
  3. 排名失真项$\rho$ 为 Spearman 秩相关系数，$1-\rho$ 表示排名混乱程度，$w_3$ 为其权重。
    w3(1−ρ)w_3 (1-\rho)
  4. 加权求和三项相加得到 $C$，权重由业务优先级决定，且满足 $w_1 + w_2 + w_3 = 1$，保证 $C$ 保持在 0 到 1 的可解释区间。
    C=w1Pdup+w2Δrel+w3(1−ρ),w1+w2+w3=1C = w_1 P_{dup} + w_2 \Delta_{rel} + w_3(1-\rho), \quad w_1 + w_2 + w_3 = 1

AI 应用场景

大模型榜单发布前的“可信度体检”

阶段：评测结果发布与质量保障

解决的问题：以往榜单发布只汇总准确率、F1 等指标，若测试集混入训练语料，榜单会误导用户选型。通过污染影响量化，可明确告知哪些分数虚高、哪些排名不可信。

具体案例：某开源评测团队发布“中文大模型能力榜”前，对多个模型的评测结果做污染影响量化。发现某模型在代码基准上因训练语料包含测试集，准确率虚高 6.8%，排名从第 8 升至第 2。团队随即撤回榜单，剔除污染样本并重新评测后发布，附上污染覆盖率与偏移量说明。

企业私有模型选型审计

阶段：模型采购与内部评测

解决的问题：技术管理者依赖第三方基准测试排名做采购决策，但公开榜单可能包含污染数据。通过相关性分析与指标偏移量化，可在选型前判断第三方结论是否可靠。

具体案例：某金融科技公司挑选代码生成模型时，发现榜单第一的模型在内部无污染测试集上落后榜单第三 4.2 个百分点。进一步分析显示，其外部榜单得分与训练数据重复度高度相关（r=0.83），最终公司选择榜单第三的模型，避免了一次错误采购。

公开数据集维护与审计

阶段：数据治理与评测基准迭代

解决的问题：数据集维护者需要及时发现数据泄露风险，避免污染扩散到依赖该数据集的第三方评测。通过重复度检测、相关性分析和覆盖率报告，可定位并修复泄露源。

具体案例：某开放问答数据集维护者发现社区反馈“测试集部分题目出现在网上题解中”，随即对全量测试样本与互联网语料做 n-gram 重叠检测，标记出 12% 的疑似污染样本，发布 v2.1 版本并附污染影响声明。

Python 演示

python55 行
import math  def pearson_r(repeat, scores):    # 计算重复度与得分的皮尔逊相关系数    n = len(repeat)    mx = sum(repeat) / n    my = sum(scores) / n    num = sum((repeat[i] - mx) * (scores[i] - my) for i in range(n))    dx = math.sqrt(sum((repeat[i] - mx) ** 2 for i in range(n)))    dy = math.sqrt(sum((scores[i] - my) ** 2 for i in range(n)))    return num / (dx * dy) if dx * dy else 0.0  def rank_swap_rate(clean_scores, polluted_scores):    # 统计污染前后的排名交换率    n = len(clean_scores)    swaps = 0    pairs = n * (n - 1) / 2.0    for a in range(n):        for b in range(a + 1, n):            sign1 = clean_scores[a] - clean_scores[b]            sign2 = polluted_scores[a] - polluted_scores[b]            if sign1 * sign2 < 0:                swaps += 1    return swaps / pairs if pairs else 0.0  def simulate(n_models=30, polluted_prop=0.4, boost=6.0):    # 构造30个模型的真实分数, 前40%模拟受到污染    base = [88.0 - i * 1.2 + (i % 5) * 0.3 for i in range(n_models)]    clean = list(base)    polluted = list(base)    polluted_n = int(n_models * polluted_prop)    repeat = [0.0] * n_models    for i in range(n_models):        if i < polluted_n:            polluted[i] += boost + i * 0.1            repeat[i] = 0.7 + (i % 3) * 0.1        else:            repeat[i] = 0.1 + (i % 4) * 0.05    r = pearson_r(repeat, polluted)    delta_abs = sum(p - c for c, p in zip(clean, polluted)) / n_models    mean_clean = sum(clean) / n_models    delta_rel = delta_abs / mean_clean    swap = rank_swap_rate(clean, polluted)    return r, delta_rel, swap, polluted_n  if __name__ == "__main__":    r, delta_rel, swap, pn = simulate()    print("polluted models:", pn)    print("pearson r:", round(r, 3))    print("relative delta:", round(delta_rel * 100, 2), "%")    print("rank swap rate:", round(swap, 3))
目的：模拟一批模型在数据污染前后的得分变化，输出皮尔逊相关系数、相对指标偏移和排名交换率三个核心量化结果。
  1. repeat[i] = 0.7 + (i % 3) * 0.1给被污染样本一个较高重复度，模拟“模型在训练时见过测试样本”。
  2. polluted[i] += boost + i * 0.1被污染模型的得分额外增加，模拟指标虚高。
  3. sum((repeat[i] - mx) * (scores[i] - my) for i in range(n))计算协方差累积项。
  4. if sign1 * sign2 < 0:发现一对模型的相对顺序被污染翻转。
  5. delta_rel = delta_abs / mean_clean把绝对偏移换算成相对偏移百分比。
  6. num / (dx * dy) if dx * dy else 0.0对相关系数做标准化，避免除零。

常见误区

误区认为大模型泛化能力强，即使训练数据里混入了测试集，对最终指标的影响也可以忽略，不需要量化。

正解污染影响取决于“是否见过原题”，而不是模型参数规模。大模型记忆能力更强，反而更容易把训练时见过的测试样本“背”出来，虚高幅度往往更明显。无论模型大小，都应做污染影响量化。

为何常见：人们直觉上觉得“大模型更聪明，不容易被数据干扰”，但实际上记忆与泛化是两回事，评测污染恰恰利用记忆通道。

误区用跑一遍精确去重脚本，没发现重复样本，就放心地在报告里写“数据集无污染”。

正解精确去重只能识别字面相同的 n-gram。如果测试样本被改写、翻译、摘要化，字面上与训练数据完全不同，但语义高度重叠，模型依旧可能“见过原题”。需要用 embedding 相似度、变体检测做多层校验。

为何常见：精确去重实现简单、速度快，让人误以为“查重”等于“防污染”，忽略了真实世界中的复杂改写。

误区看到污染集得分比干净集高了一大截，就立刻断定污染是唯一原因，甚至直接宣布所有结果作废。

正解指标偏移可能来自训练随机性、测试集样本偏差、模型超参数变化等干扰因素。必须先做对照实验和显著性检验，确认置信区间不包含 0，才能把偏移归因于污染。

为何常见：相关性给人强烈的因果暗示；看到数字变大就急于下结论，缺少“排除其他解释”的统计思维。

误区两组模型排名对比几乎一致，于是认为污染影响可以忽略，继续引用榜单。

正解污染可能对所有模型造成相近幅度的“整体加分”，就像水位上涨时所有船同步升高——绝对指标虚高了，但相对排名保持不变。因此不能只看排名，还要看绝对指标偏移。

为何常见：榜单阅读者最关心排名先后，忽略了分数本身是否可信，这正是“只看名次不看分数”的直觉陷阱。

误区发现污染覆盖率很高，认为整个评测结果全部不可用，必须全部重测。

正解正确做法是分情况处理：如果污染仅集中在某个子领域，可剔除污染样本后单独报告干净子集指标；如果污染均匀分布且偏移显著，再考虑重新构建评测集。用综合污染影响指数 $C$ 判断严重程度，而不是简单一刀切。

为何常见：面对“数据脏了”的恐慌，容易走向极端全盘否定，忽略了量化分析的价值——量化本身就是用来回答“严重到什么程度”的。

面试题

Q1. 数据污染最直接的定义是？

单选题 · easy

  • A.评测数据被恶意篡改
  • B.测试样本混入训练数据← 正确答案
  • C.模型在训练时随机丢参
  • D.测试集样本数量不足

答案：B。数据污染的核心是“模型提前见过评测题”，即测试集样本混入训练数据。就像学生考前拿到了原题。A 是数据篡改，C 是训练故障，D 是数据集规模问题，均不属于污染定义。

Q2. 污染检测的第一类统计线索是？

单选题 · easy

  • A.训练损失下降速度异常快
  • B.测试集整体准确率下降
  • C.重复度与模型得分正相关← 正确答案
  • D.模型推理速度显著变慢

答案：C。检测污染最直接的线索是“重复度越高、得分越高”的正相关关系，相当于监考老师发现“翻过答案册的学生考得更好”。训练损失与推理速度与污染无直接关系，准确率下降反而是性能问题，不是污染特征。

Q3. 当总体指标偏移为零时，正确的结论是？

单选题 · easy

  • A.数据完全没有被污染
  • B.污染对结论毫无影响
  • C.所有模型得分均真实可信
  • D.需进一步检验分布和分组← 正确答案

答案：D。总体偏移为零不等于没有污染。如果污染均匀抬高所有模型分数，平均偏移可能抵消为零，但绝对分数已失真。就像全班都加分 5 分，平均分比较看不出问题，但分数本身不可信，必须做分组或分布检验。

Q4. 皮尔逊相关系数的取值范围是？

单选题 · mid

  • A.0到1之间
  • B.-1到1之间← 正确答案
  • C.0到10之间
  • D.负无穷到无穷

答案：B。皮尔逊相关系数经过标准化后，值域固定在 -1 到 1。它衡量线性相关的方向与强度：正值正相关、负值负相关、绝对值越接近 1 相关性越强。其他区间的表述都不正确。

Q5. 排名交换率的统计含义是？

单选题 · mid

  • A.所有模型得分上升比例
  • B.污染前后相对顺序颠倒比例← 正确答案
  • C.TopK中模型被替换数量
  • D.训练数据重复样本占比

答案：B。排名交换率统计的是污染前后模型两两相对顺序发生翻转的比例。TopK 替换数只反映头部变化，重复样本占比是污染覆盖率，得分上升比例不含相对顺序信息，三者都不是排名交换率。

Q6. 干扰因素辨析的有效手段包括？

多选题 · mid

  • A.在干净子集上复测模型← 正确答案
  • B.多次独立训练观察方差← 正确答案
  • C.控制变量设计对照实验← 正确答案
  • D.直接把重复样本删除

答案：ABC。干净子集复测排除污染样本的干扰，多次独立训练评估随机性，控制变量对照分离污染因素，三者都是辨析手段。删除重复样本属于污染治理措施，不能用来辨析干扰因素。

Q7. 排名变化评估的主要指标包括？

多选题 · mid

  • A.排名交换率统计← 正确答案
  • B.TopK稳定性考察← 正确答案
  • C.Spearman秩相关← 正确答案
  • D.测试集样本总量

答案：ABC。排名交换率描述整体洗牌程度，TopK 稳定性考察头部排名是否可靠，Spearman 秩相关度量两组排名的一致性，三者都用于评估排名变化。测试集样本总量是数据集属性，与排名变化度量无关。

Q8. 评测报告的污染声明应包含？

多选题 · hard

  • A.污染泄露渠道说明← 正确答案
  • B.受影响指标与程度← 正确答案
  • C.影响模型范围界定← 正确答案
  • D.代码编译器版本号

答案：ABC。一份合格的污染声明要说明泄露渠道（让读者判断可复现性）、受影响指标与偏移幅度（量化严重程度）、影响模型范围（界定结论边界）。代码编译器版本属于工程环境信息，与数据污染无关。

Q9. 精确去重后仍出现污染的原因是？

单选题 · hard

  • A.测试集样本数量不足
  • B.词形改写和翻译变体← 正确答案
  • C.模型参数量设置过大
  • D.评测指标选择不规范

答案：B。精确去重只能拦截字面完全相同的文本；若测试样本被改写、翻译或摘要化，字面上与训练数据不同，但语义信息重叠，模型仍可能“记住”答案。这就像学生把答案改写一遍，不代表他没见过原题。

Q10. 所有模型受污染幅度相近时，最可能的结果是？

单选题 · extreme

  • A.整体指标虚高且排名几乎不变← 正确答案
  • B.排名大幅震荡且指标下降
  • C.模型完全无法产生有效预测
  • D.数据集污染会自行消失

答案：A。当污染均匀影响所有模型时，所有模型的得分同步上涨，相对顺序基本不变，因此排名几乎不变，但绝对指标整体虚高。这正是“水位上涨所有船升高”的现象，也解释了为什么只看排名会漏掉污染。