评测数据去重：污染检测防泄漏

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

污染问题本质

期末命题组的王老师最怕一件事：刚印好的考卷，和某个班月考练习册撞题。学生如果提前做过原题，考试分数只能说明记忆力好，说明不了数学能力。大模型评测里的数据污染，本质上就是这种“撞题”——评测集里的样本，出现在了模型的训练语料里。

预训练语料从互联网上抓取，可能包含公开 benchmark、竞赛题库、问答社区的帖子。于是模型在做评测题时，不是在推理，而是在回忆见过的答案。评测题再难，也测不出真实能力。泄漏路径不止预训练语料一条：指令微调数据、人类反馈数据、甚至少样本提示词里的示例，都可能把测试样本带进去，污染比例越高，榜单越像“开卷考试成绩单”。

为了理解污染带来的偏差，可以把它看成真实分数上的一个“虚高增量”：

对认真做评测的团队而言，污染是致命的不公平；对模型选型来说，则可能让团队选错供应商。查重，就是命题组在开考前把撞题抽出来，还分数一个清白。

去重标准流程

王老师查漏题从不凭感觉，而是有一套固定动作：先收齐所有练习册，再誊清试卷，最后逐题比对。大模型评测的去重流程，也是同样四条线。

第一条是构建语料库。把预训练、指令微调、人类反馈等数据汇总成一个可比对的“练习册仓库”。第二条是文本归一化，去掉大小写、标点、空格、全半角差异，让同一道题的不同写法变成同一种标准形态。第三条是相似度比对，用哈希、MinHash 或向量检索计算评测题与语料的重复程度。第四条是人工复核，处理规则无法判定的边界样本，形成可审计的去重报告。

归一化直接决定后续算法效果。比如“CIFAR-10 是什么？”和“cifar10是什么”直接比较会误判，归一化后就能变成同一种文本指纹。流程中间每个环节都应记录重复样本清单，方便回溯。去重是否有效，可以先看污染占比：

就像命题组把撞题清单拿给年级主任签字一样，评测团队也应当把污染占比写进数据集说明，让每一个看榜的人都知道这份成绩单是否干净。

精确匹配去重

如果把练习册和试卷逐字对照，同一道题一字不差，老师一眼就能认出来。计算机也有更快的办法：精确匹配去重。

精确去重流程很简单：用 SHA-256 等哈希函数给归一化后的文本生成一串短指纹，指纹相同就判定重复。它实现快、无参数、误报率极低，特别适合判断题、固定选项题、代码题这类不允许随意改写的场景。公式可以写成：

但学生不会傻到一字不差地抄，他们会改标点、换顺序、加语气词。哈希对任何一个字符都极其敏感，加一个空格指纹就完全不同。所以精确匹配只是查重的第一步，真正能抓“换皮题”的高招，是模糊指纹——MinHash。

MinHash原理

要抓改写型重复，命题组换了个思路：不给全文拍照，而是把每道题拆成一堆“字词小卡片”，再从卡片里挑出固定数量的记号，做成一张“指纹卡”。这样两篇看起来不一样的文字，只要内核相近，指纹也会相近。

先看相似度怎么定义。把一段文本切成长度为 \(k\) 的连续字符片段，这些片段叫做 shingle，组成一个集合。两段文本的相似度可以用 Jaccard 来衡量：

直接算集合交并在亿级语料上不可行。MinHash 的精妙之处是：用 \(k\) 个随机哈希函数，对每个集合元素取哈希，并保留每个函数下最小的那个值，形成一条长度为 \(k\) 的签名。两段文本签名中相同位置的相等比例，就是 Jaccard 的无偏估计：

MinHash 不追求逐字精确，而是用概率保证在大量文本中快速筛出可疑对象。它如同给每道题发了一张稳定的“指纹卡”，改写再多，只要内核重复，指纹就会露出马脚。

LSH分桶加速

海量练习册不能两两互相比指纹卡，否则一个数学组加班一个月也查不完。王老师的办法是：把指纹卡分成几十叠，每叠只比“同一叠”里的卡。这就是 Local Sensitive Hashing，局部敏感哈希，LSH 分桶加速。

具体做法是：把长度为 \(k\) 的 MinHash 签名分成 \(b\) 个 band，每个 band 有 \(r\) 行。两段文本只要在任意一个 band 内完全相同，就被放进同一个候选桶，只需要对候选桶内的样本做进一步确认。这样就不需要所有样本两两比对。两个相似度为 \(s\) 的文本成为候选对的概率为：

LSH 把计算复杂度从 \(O(N^2)\) 降到接近 \(O(N \cdot b)\)。命题组老师不用拿一万张卡两两比对，只翻同一叠里有标记的卡，几小时就能筛完一整间屋子的练习册。

去重阈值把控

阈值就像监考尺度。太严，后排学生翻个橡皮擦都要上报；太松，真抄答案的也漏过去。MinHash 去重同样需要一个“像多少才算重复”的边界。

阈值设得低，算法能抓到更多改写型重复，但也会把表述相近的正常测试样本误删，导致评测集失去多样性和难度；阈值设得高，误删少了，却会漏掉大量换词、调序的泄漏样本。实际工作中，通常先抽样人工标注一批“真重复”和“真不重复”，再通过 F1 分数寻找最佳阈值：

实践中，阈值常从 0.7 到 0.85 起步，再根据文本长度调整：长文本可略微调低，短文本应调高。最优阈值不是数学常数，而是业务权衡的结果——你要防的是漏题，还是保护试题多样性。

工具实战验证

查重不能停留在理论上，最终要落到工具和流程里。开源生态里，datasketch 提供了成熟的 MinHash 与 MinHashLSH 实现；text-dedup 这类项目提供了面向大规模语料的清洗管线。也可以自己实现 n-gram 加 MinHash 作为基线，再在候选集上做精确确认。

评测集发布前，要对全量测试样本与训练语料做一遍完整去重；发布后，模型更新或训练语料新增时，也要重新扫描。效果指标不能只看“删了多少”，还要看“漏了多少”。可以用人工抽检估计残留泄漏率：

考试不是一次性的，练习册每学期都换，查漏题也要形成制度。评测集只有持续净化，分数才能一直可信。

AI 应用场景

Python 演示

"""Demonstrate eval-set dedup with MinHash similarity estimation."""import hashlibimport re  class EvalDeduper:    """A small MinHash-based deduplicator for benchmark texts."""     def __init__(self, num_hashes=64, shingle_size=3, threshold=0.7):        self.num_hashes = num_hashes        self.shingle_size = shingle_size        self.threshold = threshold     @staticmethod    def _normalize(text):        text = text.lower()        text = re.sub(r"[^\w]+", "", text)        return text.strip()     def _shingles(self, text):        text = self._normalize(text)        if len(text) <= self.shingle_size:            return {text} if text else set()        return {text[i:i + self.shingle_size]                for i in range(len(text) - self.shingle_size + 1)}     @staticmethod    def _hash_shingle(shingle, seed):        seed_bytes = str(seed).encode("utf-8")        shingle_bytes = shingle.encode("utf-8")        digest = hashlib.sha256(seed_bytes + shingle_bytes).digest()[:4]        return int.from_bytes(digest, "big")     def _minhash(self, text):        shingles = self._shingles(text)        if not shingles:            return [0] * self.num_hashes        signature = []        for seed in range(self.num_hashes):            values = [self._hash_shingle(s, seed) for s in shingles]            signature.append(min(values))        return signature     def similarity(self, text_a, text_b):        sig_a = self._minhash(text_a)        sig_b = self._minhash(text_b)        equal = sum(1 for a, b in zip(sig_a, sig_b) if a == b)        return equal / self.num_hashes     def is_duplicate(self, text_a, text_b):        return self.similarity(text_a, text_b) >= self.threshold  if __name__ == "__main__":    deduper = EvalDeduper(num_hashes=64, threshold=0.7)     q1 = "Explain the attention mechanism."    q2 = "Explain the attention mechanism."    q3 = "What is attention mechanism? Describe briefly."     print(deduper.similarity(q1, q2))    print(deduper.is_duplicate(q1, q3))

常见误区

面试题