评测数据污染检测：去重策略Dedup

可视化演示

三步展示数据污染去重Dedup：精确匹配/n-gram模糊/语义去重算法演进、归一化→精确→模糊→语义→报告的流水线、以及精度与召回权衡的阈值设定。

污染成因与危害

比赛前三个月，组委会抽查小灶的菜谱库，吓了一跳：角落里躺着几十本“评委内部资料”，页脚还印着“国厨杯·请勿外传”。原来，这些资料被人拍照发到美食论坛，又被爬虫抓进了公开菜谱库。小灶照单全收，背得滚瓜烂熟。问题不在小灶贪心，而在于“食材入库”时没人把关。

现实中的大模型同样如此。评测集为了公平往往公开题目（如 MMLU、HumanEval、GSM8K），这些题面广泛流传于 GitHub、论文、问答社区。训练数据的爬虫并不认识“这是考试题”，于是它们混入语料库，形成“数据泄漏”——就像评委菜单的翻拍照混进菜谱论坛。模型在预训练时把这些题目背下来，测试时自然“手到擒来”。

这种污染的直接后果是“作弊式高分”：模型并非掌握了推理能力，而是复现了记忆。更隐蔽的是，污染样本占比越高、与答案绑定越紧（如带着完整解题过程的数学题），虚高就越严重。要量化这种伤害，我们可以计算污染率：训练集中与评测集高度相似的样本占总样本的比例，比例越高，比赛成绩越不可信。

明白了污染的来龙去脉，品控小组才能下定决心：不仅要清理，还要先立规矩——接下来就是清库行动的核心逻辑：去重原理。

去重原理与定义

品控小组开会定方案：不能把整个菜谱库倒掉，只消灭“与评委菜单相似”的菜。他们搬出评委菜单，逐道菜比对：凡是食材顺序、烹饪步骤和评委菜单重合度超过八成的，一律下架。这套“以评委菜单为参照、按相似度清理”的思路，就是去重策略的雏形。

技术上讲，去重（Dedup）是数据预处理阶段的一道工序：以评测集为参照，逐条计算训练样本与任一评测样本的相似度，超过阈值则剔除。去重分两个层次：精确去重针对完全相同的样本（如哈希碰撞比对），模糊去重针对改写、拼接、翻译后的高相似样本——后者才是污染的主力，因为“改头换面的菜单”最难抓。

判定规则可以写成一条清晰的分支函数：对每个训练样本 x，计算它与评测集 E 的最大相似度 sim(x,E)，若不低于阈值 τ 就标记为重复并剔除，否则保留。阈值 τ 就是品控的标准线：“像到什么程度算偷题”。

有了判定规则，品控小组还需要一把“尺子”——怎么量化“像不像”？下一节，我们走进后厨，看他们如何把菜切成小片来数重合。

相似度度量

品控员老周有个土办法：不看整道菜，先切成小片。番茄炒蛋切成“番茄”“炒”“蛋”的碎片，谁和评委菜单对上的碎片多，谁就可疑。碎片越小越碎，比对越灵活——改几个字、换个说法，也逃不过碎片的排查。老周的经验，正是 n-gram 思路的雏形。

在计算机里，我们把文本切成连续 n 个字符（或词）的片段集合，再比较两个集合的重叠程度。最常用的指标是 Jaccard 相似度：两段文本共有的片段数除以它们全部片段数。重合片段越多，比值越接近 1，文本就越像。n 较小时匹配宽松、召回高；n 较大时匹配严格、误报低，但漏网也随之上升。

直接两两比对全部文本代价极高——百亿级语料乘以万级评测题，计算量不可承受。工业界常用 MinHash 做“指纹化”估计：对每个大集合算出几十个最小哈希值作为签名，签名重合率近似 Jaccard；或者用向量化模型（如 embedding 余弦相似度）在语义层面捕捉“换说法但意思一样”的改写。无论哪种尺子，度量的都是“像不像”。

有了尺子，下一步是定标尺上的刻度——阈值。松紧之间，藏着去重成败的关键。

阈值设定策略

老周画了一条线：相似度超过多少算“偷题”？画得太高，改头换面的题溜进菜谱库，污染照旧；画得太低，正常菜谱被误判下架，小灶的“食粮”白白浪费。这条线的位置，直接决定清库行动的成败。

这就是阈值的双刃剑效应。阈值 τ 与两类错误强相关：τ 越高，漏网率上升——真正重复的样本被放过；τ 越低，误伤率上升——正常样本被误删。两者不可兼得，只能按代价权衡。因为漏网的污染会直接虚高评测分、误导后续决策，通常对漏网施加更高的惩罚权重。

实操上，阈值依赖相似度指标：n-gram Jaccard 常用 0.5 到 0.8，8 到 13-gram 完全命中即可判重；embedding 余弦相似度常取 0.75 到 0.85。更严谨的团队会先抽样标注一批“肯定是污染”和“肯定干净”的样本，画出相似度分布曲线，在两类样本的交叠处取阈值，使总风险最小。

刻度定好，清库行动正式启动。这不再是一道菜一道菜地比，而是一场覆盖整座仓库的大扫除——跨数据集去重流程。

跨集去重流程

大赛前夜，品控小组按标准流程作业：第一步，把历年评委菜单全部收齐，不仅今年，去年、前年以及坊间流传的“疑似菜单”统统登记造册；第二步，给每道菜做好指纹标签；第三步，开着传送带，让整座仓库的菜谱流水般经过检测仪。三步缺一不可。

技术流程对应如下：先收集评测集（题目与参考答案），把评测文本分块、建索引或布隆过滤器、生成 MinHash 签名；然后流式扫描训练语料，逐条或分批计算每条样本与评测集的最高重合度，超阈值即剔除；剔除过程要与新数据写入、数据混洗配合，避免破坏训练分布。每一步都有明确的输入输出，像一条自动化生产线。

跨数据集去重的“跨”还体现在范围上：不只比对当前排行榜，还要纳入历史评测集、竞品公共基准，甚至待发布的私有集（内部隔离后参与比对）。流程末端必须有抽检验证：人工检查被剔除样本确实是污染、保留样本确实干净，防止索引漏配或误伤。而抽检的依据，正是每条样本与评测集的重合片段计数。

大扫除结束，库房清爽了，小灶的食谱变“薄”了。有人担心：学的东西少了，它会不会变笨？这就要看清去重的双重影响。

训练效果影响

比赛当天，小灶面对“从未见过的新菜式”，居然做得行云流水。评委们恍然大悟：以前它只是背熟了评委菜单；现在菜单没了，它不得不理解火候、调味、食材搭配的底层规律，反而学会了举一反三。删掉“参考答案”非但没让它变笨，还逼出了真本事。

这正是去重双重影响中的正面一半。训练集中的重复评测样本本质上是“记忆包袱”：模型用参数去存储题目答案，而不是学习可泛化的规律。去除它们，模型被迫把容量花在真正的模式学习上，在分布外数据上的泛化能力与鲁棒性通常更好。换句话说，去重减少了死记硬背，提升了泛化能力。

但负面一半也真实存在：去重会折损数据量，尤其当评测集很大、与训练分布高度重叠时。对数据饥渴的大模型而言，数据量下降可能带来轻微的能力损失。因此业界默认原则是：以“评测公平”为硬约束，把去重造成的训练损失控制到最小。观测得分可以拆成真实分与泄漏虚高分之和，去重的目标就是剥离虚高，让分数回归真实。

小灶夺冠，但台下更重要的是一套长期制度——比赛公平不能只靠一次清库。组委会着手建立持续的公平保障机制。

评测公平保障

组委会宣布三项新规：每届比赛前公开清库报告（去重策略、阈值、剔除数量）；增设“私房密室题库”（保密 holdout 集），赛前不接入任何爬虫可见的网络；赛后用虚高率复核每道题的得分异常，持续追踪新泄漏。三条规矩，把一次性清库升级成了长效机制。

这些措施背后的逻辑是：评测公平不只靠一次去重动作，而是一套持续演进的体系。去重报告让社区可以审计“分数可信度”——榜单可信度建立在透明的流程之上；私密留出集即使公开语料混入旧题，也能通过新旧题表现差识别污染；持续监控则对新增爬取数据定期复扫，防止二次污染。

一个被广泛认可的量化工具是“虚高率”：用去重前后两个模型在同一批题上的得分差，除以干净模型的得分。虚高率越高，说明该题泄漏越严重、榜单越不可信。评测方一旦发现某道题虚高率异常，应将其剔除或打上“疑似污染”标签，重新计分。这就是用数字守护公平的最后一道防线。

第二年大赛，小灶再次夺冠，成绩依旧亮眼。但这一次，没人怀疑它作弊——因为大家都知道，品控小组的传送带一直开着，评委菜单再也没有混进过菜谱库。评测的公平，正是这样被一格格阈值、一条条流程、一份份报告守护出来的。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""简易去重演示: 用 n-gram Jaccard 相似度过滤与评测集重复的训练样本"""import re  def ngrams(text, n=3):    text = re.sub(r"\s+", "", text)    return {text[i:i + n] for i in range(len(text) - n + 1)}  def jaccard(a, b):    if not a or not b:        return 0.0    inter = len(a & b)    union = len(a | b)    return inter / union  def dedup(train_samples, eval_samples, threshold=0.5, n=3):    eval_sets = [ngrams(e, n) for e in eval_samples]    kept = []    removed = []    for sample in train_samples:        sample_set = ngrams(sample, n)        max_sim = max((jaccard(sample_set, e) for e in eval_sets), default=0.0)        if max_sim >= threshold:            removed.append((sample, max_sim))        else:            kept.append(sample)    return kept, removed  def main():    eval_samples = [        "小明去超市买了苹果和香蕉",        "北京是中国的首都，故宫位于北京",    ]    train_samples = [        "小明去超市买了苹果和香蕉",        "小明去超市买了苹果和香蕉（改写版）",        "小红去公园散步，天气很好",        "北京是中国的首都，故宫位于北京，天坛也很著名",        "机器学习是人工智能的一个重要分支",    ]    kept, removed = dedup(train_samples, eval_samples)    print("保留样本:")    for s in kept:        print("  " + s)    print("剔除样本:")    for s, sim in removed:        print("  " + s + " | 最大相似度: " + str(round(sim, 3)))  if __name__ == "__main__":    main()

1. eval_sets = [ngrams(e, n) for e in eval_samples]提前把评测集每条样本切成 n-gram 集合，避免循环内重复计算。
2. sample_set = ngrams(sample, n)把当前训练样本也切成片段集合，准备与所有评测样本比对。
3. max_sim = max((jaccard(sample_set, e) for e in eval_sets), default=0.0)与所有评测样本逐一比较，取最大相似度作为“污染嫌疑值”。
4. if max_sim >= threshold:嫌疑值超过阈值即判定为重复，进入剔除清单。
5. removed.append((sample, max_sim))被剔除的样本连同相似度一起记录，便于事后抽检复核。
6. if __name__ == "__main__":程序入口，直接运行本文件即可看到演示结果。

常见误区

面试题