LLM数据生成：去重与清洗

可视化演示

展示精确哈希去重检测、MinHash模糊去重近似匹配、以及文本清洗质量过滤流水线三个核心环节。

认识脏数据

清晨的菜市场，大厨老张掀开货筐盖子：土豆带着泥，白菜烂了边，葱有三十斤是同一批，角落里还混着几块石头。他叹了口气——“这筐菜，不能直接下锅。”在 LLM 数据工程里，“菜筐”是爬虫抓来的网页语料、公开数据集、以及模型自己吐出来的合成文本，它们同样泥沙俱下：有噪声（广告、乱码、残缺 HTML），有重复（同一条新闻在几百个网站出现），还有低质量文本（答非所问的对话、AI 生成的废话）。

我们把脏数据问题拆成两类动作去解决。去重针对“重复样本”：完全重复（一模一样的字符串）好办，用哈希比对即可；近似重复（改写、加空格、换说法的同义文本）难办，需要 MinHash、SimHash 这类近似算法。清洗针对“噪声与低质量”：去掉 HTML 标签、统一编码、过滤垃圾、检查前后矛盾。两者一个管“多出来的”，一个管“不对的”。如何度量数据有多脏？常用指标包括重复率、清洗后干净样本占比、数据多样性、困惑度（PPL）等，其中最直观的是重复率：

老张把重复的葱挑成一把，烂叶摘掉，石头扔掉，筐里顿时清爽。去重与清洗不是一回事：葱多了是“重复”，葱烂了是“脏”。分清楚它们，后面的菜才能炒对。

合成数据特点

宴席上有一道特殊的菜——机器助厨（大语言模型）照着菜谱自动“研发”的新菜。它一小时能出一百道，可老张越看越不对：三十道红烧味的几乎一模一样，只是换了配菜名字。合成数据正是模型生成的文本数据，它解决了人工标注太贵的难题，却也带来了新的重复危机。

常见的合成数据生成方法有：Self-Instruct（让模型照着种子指令自我提问）、反向翻译（翻译往返制造平行语料）、思维链采样（让模型展示解题过程）等。问题在于，模型在解码时倾向于输出高概率的高频模式，温度一调低更是“复读机”附身，于是整批生成结果呈现严重的模式集中——这正是“重复模式来源”。与真实数据相比，人类写作各说各话，模型却总在相同分布上反复采样，近似重复率远高于人工语料。我们可以用“冗余率”量化这个缺陷：

老张恍然大悟：机器助厨不是手艺差，是“懒”——老照着拿手菜翻来覆去。合成数据也一样，不是模型笨，而是采样机制天生爱走老路。所以对合成数据的去重，要比真实数据更严格。

去重核心算法

去重就是“挑重复”。完全一样的菜，老张一眼认出：复制粘贴的文本，算个哈希指纹即可搞定，这叫精确匹配去重。可“红烧肉”和“红烧五花肉”呢？这时就得请出三位帮厨：MinHash、SimHash、语义去重。

MinHash 的思路是把每篇文本看成“词的集合”，用多个随机哈希函数为集合生成一串短签名，两个集合的签名相同位置越多，越可能重复。它估计的是 Jaccard 相似度——交集占并集的比例。SimHash 则把文本压缩成一个 64 位/128 位的二进制指纹，两篇文本的相似度用指纹的“海明距离”（不同位的个数）度量。语义去重更进一步，用嵌入模型把文本变成向量、比较余弦相似度，能抓住“明天要下雨”和“预计明日有雨”这类改写型重复。三位帮厨的数学根基，是 MinHash 的著名性质：

老张叫来三位帮厨分工：一眼认出的（精确匹配）当场挑走；大致相同的（MinHash/SimHash）快速过筛；“换了个说法”的高级重复交给最费力的品菜师。各司其职，重复菜一网打尽。

清洗核心技术

菜挑完重复，剩下的还得洗。老张把洗菜分成四步：先把菜切成统一大小（格式规范化），再扔掉烂叶（噪声过滤），接着检查配料表有没有自相矛盾（一致性校验），最后把顾客的私人定制标签撕掉（敏感信息处理）。

对应到数据工程：格式规范化要统一编码（UTF-8）、修复非法字符、规整换行空白、把网页转成纯文本；噪声过滤要移除广告脚本、验证码、乱码，以及模型生成的答非所问的垃圾；一致性校验要检查 JSON/CSV 结构是否完整、日期数值范围是否合理、文本开头结尾是否残缺；敏感信息处理则对身份证号、邮箱、手机号做脱敏（PII 移除），既为合规，也为防止模型“背出”用户隐私。合成文本的清洗还有个利器：用一个小语言模型计算困惑度（PPL），困惑度低说明文本流畅像人写的，困惑度极高的往往是乱码或胡言乱语，直接丢弃：

老张的四步洗菜走完，筐里根根清爽水灵。清洗的本质是“减噪不减量”——把坏的挑出去，好的原样留下，而不是把整筐菜都剁碎了重来。

性能优化策略

几百万条文本，一个人洗要洗到明年。老张的解法是：多请几个帮厨，每人负责一筐（并行与分块）；不必每根菜都精洗，先抽查一把看看脏不脏（采样估计）；再让记性好又省地方的看门人帮忙记“哪些菜来过”（布隆过滤器，省内存）。

具体技术包括：并行计算——把语料按文件或 ID 分片，用多进程或 Spark 分布式同时去重，难点在于事后合并全局指纹；分块处理——按时间戳、来源、哈希前缀分桶，让数据在各桶内独立去重，天然适合分布式；采样估计——全量比对太贵，先随机抽 1% 估算重复率，再决定要不要投入重资源；内存压缩——指纹集合很大，用 Bloom Filter 的位数组代替哈希集合，以极小误判率换几十倍内存节省。不过并行不是人越多越快，加速比受制于串行部分，这就是 Amdahl 定律：

老张的厨房有条铁律：先小锅试菜，再大锅出餐。大规模去重也一样——先采样摸清数据，再并行分块上量，最后用省内存的结构兜底。

工程实践落地

备完菜，老张把经验固化成流水线：进货（采集）→ 初拣（清洗）→ 挑重（去重）→ 质检（评估）→ 入库（进入训练集），每一步都有明确的人和标准，这就是数据管道设计。

管道设计有个细节：先清洗再去重，因为噪声会影响指纹质量；中间用 Parquet/Arrow 承载中间结果；最后抽样质检。质量监控指标包括重复率、去重保留率、噪声比例、PPL 分布、格式合法率，出现波动要能告警。工具链选择上：小规模用 pandas + datasketch（MinHash 实现）、精确去重用哈希集合；大规模用 Spark、Dask；语义去重用 Faiss 等近似近邻库。看一个案例：某团队用 LLM 生成 500 万条指令数据，去重后发现 30% 与种子样例近似重复，用 MinHash 粗筛加语义去重后，微调模型评测分数明显回升。那么，怎么评估去重本身干得好不好？套用分类任务的精确率与召回率：

老张的流水线一开，出菜又快又稳。数据管道也一样：用指标盯住每道工序，用工具支撑每个环节，才能让“干净数据”从理想变成日常。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""MinHash 近似去重 + 基础清洗的演示。"""import reimport hashlib  def clean_text(text):    text = re.sub(r"<[^>]+>", "", text)    text = re.sub(r"[\x00-\x08\x0b\x0c\x0e-\x1f]", "", text)    return re.sub(r"\s+", " ", text).strip()  def shingles(text, k=3):    tokens = re.findall(r"[\w\u4e00-\u9fff]+", text.lower())    return {tuple(tokens[i:i + k]) for i in range(len(tokens) - k + 1)}  def minhash_signature(gram_set, num_hashes=64):    sig = []    for seed in range(num_hashes):        min_val = float("inf")        for gram in gram_set:            h = int(hashlib.md5((str(seed) + str(gram)).encode("utf-8")).hexdigest()[:8], 16)            min_val = min(min_val, h)        sig.append(min_val)    return sig  def jaccard_estimate(sig_a, sig_b):    same = sum(1 for a, b in zip(sig_a, sig_b) if a == b)    return same / len(sig_a)  class DedupReporter:    def __init__(self):        self.keep_count = 0        self.drop_count = 0     def report(self):        print("保留 %d 条，删除 %d 条" % (self.keep_count, self.drop_count))  def main():    docs = [        "机器学习是人工智能的一个分支。",        "机器学习是人工智能的一个分支。",        "机器学习是人工智能的重要分支。",        "今天天气很好，适合出去散步。",        "<html>明天要下雨，记得带伞。</html>",        "明天要下雨，记得带伞。",    ]    reporter = DedupReporter()    seen_sig = []    threshold = 0.6    for raw in docs:        text = clean_text(raw)        if not text:            continue        sig = minhash_signature(shingles(text))        is_dup = False        for old_sig in seen_sig:            if jaccard_estimate(sig, old_sig) >= threshold:                is_dup = True                break        if is_dup:            reporter.drop_count += 1            print("[删除] %s" % text)        else:            seen_sig.append(sig)            reporter.keep_count += 1            print("[保留] %s" % text)    reporter.report()  if __name__ == "__main__":    main()

1. text = clean_text(raw)先清洗：去掉 HTML 标签、控制字符，规整空白，避免脏文本污染指纹。
2. shingles(text)把文本切成 k-gram 集合，集合相似度比字符串相等更能体现“近似重复”。
3. minhash_signature(gram_set, num_hashes=64)用 64 个随机哈希种子给集合生成指纹签名。
4. jaccard_estimate(sig_a, sig_b)用两串签名中同位相同的比例估计 Jaccard 相似度。
5. if jaccard_estimate(sig, old_sig) >= threshold:相似度达到阈值 0.6 判定为重复，直接丢弃。

常见误区

面试题