评测数据污染检测：训练-测试重叠检测

可视化演示

污染危害：被“剧透”的考卷

竞赛中心质检员小林收到一封匿名举报信：隔壁部门组织的“年度能力竞赛”真题，居然和训练用模拟题册高度重合，连题干顺序都没打乱。小林抽出一题对照，冷汗直冒——只要选手背过练习册，这张考卷就等于提前公开了答案。至于考试结果，根本分不清谁是真正会做，谁只是背得熟。

在机器学习里，训练集就是“练习册”，测试集是“正式考卷”。模型在训练集上学习知识，在测试集上检验泛化能力。如果训练语料里恰好包含了测试样本，模型不需要推理，只需要“回忆”就能得高分。这种情况就是训练-测试重叠，也是评测数据污染最典型的形态：原本应当隔离的测试数据，混进了训练阶段可见的数据。

为了衡量污染有多严重，我们把重叠程度定义为一个比率：测试集中有多少比例的样本，在训练语料里能找到“孪生兄弟”。这个指标就是污染率，通常要求越接近 0 越好。

小林把两份材料放到天平上称了称，发现重叠率高达 23%。他立刻明白：这张考卷的排名，已经不能盖“公平竞赛”的公章。

检测流程：排队过安检

小林没有被举报信吓倒，他决定把重叠检测做成一条流水线：先是清洗工位，去掉空格、大小写、特殊符号；再是检测工位，用不同算法扫描“卷面”和“题库”；最后是处置工位，遇到报警样本就隔离并出具报告。三个工位环环相扣，缺一不可。

在工程上，检测流程通常包含四步：构建候选集、选择检测算法、设定判定阈值、输出污染报告。检测时机也很关键：应当在测试集正式发布前，或大模型提交最终评测前完成预检。如果等分数公布后再检测，发现污染就只能重测，成本和公信力都会受损。

判定“是否污染”不能凭感觉，而要依赖一条清晰的规则：把检测出的重叠率 \(P\) 和预设的容忍阈值 \(\tau\) 比较。\(P\) 超过阈值就触发警报，低于阈值则放行。这个二值判定就是整个流水线的“红灯”。

从此，小林手里的试卷都要先过这条安检线。过不了红灯的考卷，一律退回重新命题，不能再进考场。

n-gram匹配：逐字对照的“查重员”

小林开工第一件事，是把练习册拆成很多小片段，再拿着这些片段去试卷上找完全相同的“原话”。他想象自己是一个逐字对照的查重员：试卷上每连续 5 个字组成一个片段，在练习册里逐页翻找，一模一样才算命中。

这种“连续 n 个字符组成的片段”，在文本分析领域叫 n-gram。n 是窗口大小，n 越大，片段越长，匹配结果越精确，但被改写一下就很容易漏掉；n 越小，片段越短，越灵敏，但误报也会增多。中文场景常用字级别 n-gram，英文则常用词级别 n-gram。

我们把训练语料切出的全部 n-gram 放进集合 \(G_{\text{train}}\)，把待检测试文档也切成集合 \(G_{\text{test}}\)，两组取交集，就能算出测试文本中有多少片段在训练语料里原样出现过。

第一轮检测后，小林筛出了十几个逐字重合的题目。但他很快发现，有些题目只是换了个说法，内容其实一模一样——这些漏网的“变体题”，还需要更聪明的工具。

嵌入相似度：看懂“换汤不换药”

小林发现，有些试卷题和练习册题并不逐字相同，但讲的是同一件事。就像同一个人换了校服和发型，面孔没变，认识他的人照样能认出来。于是小林引入了一个新工具：语义指纹，也就是嵌入向量。

所谓嵌入向量，就是用一个长长的数字列表来代表文本含义。意思越接近的文本，对应的向量方向越靠近。衡量方向靠近程度最常用的指标是余弦相似度：夹角越小，相似度越高。实际操作中，我们把训练文档和测试文档都转成向量，计算两两之间的余弦相似度，再设定一个阈值，比如 0.85，超过就判定为重叠。

余弦相似度的定义并不复杂：两个向量的点积除以它们长度的乘积。它输出的取值范围在 -1 到 1 之间，越接近 1，表示两个文本语义越接近。

靠着嵌入相似度，小林抓出了三道“换了发型”的变体题。代价是计算量明显上升，大规模扫描时也越来越吃力。这让他开始寻找更快的办法。

哈希指纹：给文本做一张“身份证”

面对越来越厚的练习册，小林决定改变策略：不再逐字阅读文本，而是先给每个文本生成一张“身份证”——固定长度的哈希指纹。查重时先比对身份证号，而不是把全文重新读一遍。

哈希指纹的核心思想是将任意长度的文本压缩成固定长度的二进制串。常见的 MD5、SimHash 都属于这类工具。普通哈希适合精确去重；SimHash 更进一步，能让“相似文本”的指纹也相差不大，因此非常适合近似查重。再配合局部敏感哈希（LSH），可以把相近指纹分进同一个桶里，构建索引后大规模检索速度会大幅提升。

度量两个指纹差距的最常用指标是汉明距离：二进制串逐位比较，有多少位不同，距离就是多少。距离越小，文本越相似。

小林把全部练习册先建档成指纹库，每次来新试卷都只查指纹。查询时间从小时级降到了秒级，他终于能应付海量题库了。

组合选型：三道安检门串成一条线

指纹虽然快，却抓不住语义改写；嵌入虽然聪明，却太慢。小林意识到，没有一种检测方法是万能的。他决定把三种方法组合成一条“安检流水线”：第一道门用 n-gram 快速扫描，把明显重复的样本直接拦截；第二道门用嵌入相似度深挖改写；第三道门再用哈希指纹做海量复核，确保没有漏网之鱼。

组合方案的核心是平衡“精确率”和“召回率”。精确率回答的是“抓到的到底对不对”，召回率回答的是“该抓的到底有没有漏掉”。两者往往此消彼长：阈值严格，误报少但漏报多；阈值宽松，漏报少但误报多。工程上常用加权综合评价指标 Fβ 来比较不同配置，β 表示我们更偏向精确率还是召回率。

小林的流水线正式运行后，误报率与漏报率都降到了可接受范围。他给每个赛区都装上同一套“三道安检门”，从此再没有一张脏卷子能蒙混过关。

统一基准：一把尺子量所有赛场

随着检测流程成熟，小林发现一个新的问题：不同赛区虽然都在做检测，但用的阈值、算法和报告格式五花八门。A 赛区说“污染率 1%”，B 赛区说“无污染”，其实 B 赛区只用了 n-gram 初筛，根本看不出语义改写。榜单上的横向对比，就这样失去了公信力。

真正的解决方案是统一基准：所有赛区使用同一套检测工具链、同一套阈值标准、同一份报告模板。每个测试集必须在发布前出示“污染检测报告”，模型提交结果后也要复查数据隔离状态。以统一的口径衡量不同模型，排名才有比较意义，评测方法论也因此向规范化、体系化演进。

为了直观表达一个基准测试有多“干净”，可以定义一个评测可信度指标：用 1 减去所有测评任务的平均污染率。可信度越接近 1，说明这一轮评估被数据污染干扰的可能性越小。

如今，小林负责的竞赛中心已经形成了一套标准流程：所有赛区必须提交污染率与可信度报告，榜单才允许对外发布。那把统一做出来的“尺子”，也让整个行业的大模型能力对比第一次有了公认的秩序。

AI 应用场景

Python 演示

import hashlibimport mathimport re  def normalize(text):    return re.sub(r"[\W_]+", "", str(text).lower())  def tokenize(text):    return re.findall(r"[\w\u4e00-\u9fff]+", str(text).lower())  def get_ngrams(text, n):    text = normalize(text)    if len(text) < n:        return []    return [text[i:i + n] for i in range(len(text) - n + 1)]  def ngram_overlap(train_docs, test_doc, n=5):    train_set = set()    for doc in train_docs:        train_set.update(get_ngrams(doc, n))    test_grams = get_ngrams(test_doc, n)    if not test_grams:        return 0.0    hit = sum(1 for gram in test_grams if gram in train_set)    return hit / len(test_grams)  def text_vector(text):    vec = {}    for word in tokenize(text):        vec[word] = vec.get(word, 0) + 1    return vec  def cosine_sim(a_vec, b_vec):    common = set(a_vec) & set(b_vec)    dot = sum(a_vec[k] * b_vec[k] for k in common)    norm_a = math.sqrt(sum(v * v for v in a_vec.values())) or 1.0    norm_b = math.sqrt(sum(v * v for v in b_vec.values())) or 1.0    return dot / (norm_a * norm_b)  def simhash(text, bits=64):    sums = [0] * bits    for word, cnt in text_vector(text).items():        digest = hashlib.md5(word.encode("utf-8")).hexdigest()        h = int(digest, 16) & ((1 << bits) - 1)        for i in range(bits):            if (h >> i) & 1:                sums[i] += cnt            else:                sums[i] -= cnt    fp = 0    for i in range(bits):        if sums[i] > 0:            fp |= (1 << i)    return fp  def hamming(a, b):    return bin(a ^ b).count("1")  def inspect(train_docs, test_doc):    print("文档内容:", test_doc[:40])    ng = ngram_overlap(train_docs, test_doc)    cos = max(        cosine_sim(text_vector(doc), text_vector(test_doc))        for doc in train_docs    )    fp = simhash(test_doc)    dist = min(hamming(simhash(doc), fp) for doc in train_docs)    flagged = cos > 0.7 and dist < 16    print("n-gram 重叠率: %.3f" % ng)    print("最大余弦相似度: %.3f" % cos)    print("最小指纹汉明距离: %d/64" % dist)    print("初步判断:", "疑似污染" if flagged else "基本干净")    print("---")  if __name__ == "__main__":    train = [        "注意力机制是深度学习中用于聚焦关键信息的方法",        "Transformer 基于自注意力机制实现并行计算",        "评测数据污染会让模型成绩失真"    ]    clean_text = "这篇文档主要介绍图像分类中的卷积神经网络结构"    dirty_text = "注意力机制是深度学习中聚焦关键信息的一项核心技术"    print("清晰文档检测结果:")    inspect(train, clean_text)    print("疑似污染文档检测结果:")    inspect(train, dirty_text)

1. train_set.update(get_ngrams(doc, n))把训练文档全部 n-gram 汇入一个集合，方便后续快速查重。
2. hit = sum(1 for gram in test_grams if gram in train_set)统计测试文档中有多少个片段能在训练集合里找到。
3. dot = sum(a_vec[k] * b_vec[k] for k in common)先取两个词向量共有词，再计算点积，是余弦相似度的核心。
4. dist = min(hamming(simhash(doc), fp) for doc in train_docs)求测试文档与所有训练文档指纹之间的最小汉明距离。
5. if (h >> i) & 1: sums[i] += cntSimHash 按词频加权累加每一位，形成稳定的文本指纹。

常见误区

面试题