合成数据太单一？多样性控制技巧

可视化演示

展示模式坍缩问题、提示词驱动多样性、语义聚类去重、温度采样调节与多样性评估的交互式动画。

多样性问题——中央厨房的招牌菜困局

中央厨房的大厨只会一张菜单、一套配方。老板让他“再想想别的做法”，他挠头半天，端出来的还是宫保鸡丁——只是花生米多了三粒。这不是大厨不努力，而是所有环节都被“锁死”了：原料固定、火候固定、摆盘固定，菜品怎么可能有新鲜感？

这个场景搬到AI世界：大厨就是LLM，菜单就是提示词，配方就是解码参数。当提示词固定、参数固定、示例固定时，LLM会沿着训练数据里最高频的“最稳路径”输出，合成数据就像复制粘贴。更麻烦的是，下游模型在这种数据上训练，会把“宫保鸡丁”当成全世界的唯一菜品——遇到新场景就抓瞎，这就叫泛化能力受损。

技术上有三个直接原因：其一，自回归模型对前缀高度敏感，前缀相同输出就趋同；其二，softmax分布天然偏向高频词，导致句式雷同；其三，大量重复样本让训练目标被“单一答案”主导。多样率公式把这种冗余量化出来。

要打破招牌菜困局，不能只逼大厨“多想想”，得配套换菜单（提示词）、加帮厨（去重）、调火候（采样）和建评审（评估）。接下来就一步步看这套中央厨房的多样性升级方案。

提示词驱动——换菜单的大厨

要让大厨不只会做宫保鸡丁，最直接的办法是换菜单。菜单一换，食材组合一变，端出来的菜自然五花八门。现实中的大厨会在周日晚上翻着菜谱挑新菜式，而AI工程师的做法，是给LLM一份可以无限组合的“电子菜单”。

在合成数据里，“菜单”就是提示词。提示词驱动的多样性调节，指通过系统性地改变提示词内容，让LLM产出大量语义不同但意图一致的样本。同样是“描述一只狗在玩耍”，换一种句式、换一个场景、换一种口吻，生成的数据就是不同的“菜品”。

常用做法有四种：模板变体——把“一只狗在花园玩耍”改成“花园里，一只狗正在玩耍”；风格指令——追加“用轻松口语”或“用正式书面语”；示例扰动——在few-shot里换不同的示范样本；场景扩展——替换人物、地点、时间、动作等槽位。所有这些做法，在数学上都等价于往一个提示词模板的不同槽位里填不同取值。

菜单换好，大厨的创意才能被激活。但光有菜单还不够——万一十道菜长得还是像，就需要帮厨上场了。

语义聚类去重——帮厨的火眼金睛

换了菜单之后，大厨确实出了不少新菜，但帮厨发现：有些菜只是换了个盘子，味道一模一样——“红烧土豆”和“土豆红烧”其实没区别。如果让这样的“双胞胎菜”一起端上桌，顾客还以为厨房在凑数。

语义聚类去重，就是帮厨的那双火眼金睛：先用向量化把每条文本变成一个高维语义坐标（embedding），再用聚类算法把坐标相近的样本归成一组，最后每组只保留一个代表性样本，删掉冗余。这样既保住了“菜系”的覆盖面，又不会让相似样本挤占训练容量。

具体流程是：文本 → 向量化 → 聚类 → 选代表 → 输出精简集。向量化常用句子BERT等模型，聚类常用贪心分组或K-Means。判断两条文本是否该归一堆，标准是语义相似度——最常用的就是余弦相似度。

帮厨把“双胞胎”菜归堆后，每道端上桌的菜都有了独特性。但即便这样，大厨的火候还得调——同样的菜，火太猛会糊，火太弱不熟。

采样参数调节——火候与佐料

大厨炒菜，火候是灵魂。火太大，菜瞬间糊锅；火太小，肉还是生的。合成数据生成也有两个“火候旋钮”：温度和Top-p。一个管“火力大小”，一个管“该放哪几味佐料”。

温度参数T控制LLM输出概率分布的“陡峭程度”。T越小，分布越尖锐，模型总是选最高概率的词，输出稳定但单调；T越大，分布越平缓，低概率词也有机会被选中，输出多样但容易跑偏。Top-p采样则是另一套思路：把所有词按概率从高到低排序，取出累积概率刚超过 p 的最小子集，然后在这个子集里重新归一化采样——相当于只挑最提味的几味佐料下锅。

温度化的softmax公式如下：

火候和佐料配合得当，菜既不糊也不生。但怎么知道这桌菜够不够丰盛？得靠评审团说了算。

多样性评估——试菜评审团

中央厨房组织了一场盲评：十道菜摆一排，评审团要打分。可如果评委只凭感觉说“还行”，那跟没评一样。得先定标准：菜和菜之间的“撞脸率”、口味的覆盖范围、每类菜的数量是否均匀。合成数据也一样，多样性的好坏必须靠数字说话。

合成数据有四种常用量化方法：Self-BLEU衡量样本间n-gram重叠的平均程度；嵌入距离计算样本在语义空间中的平均距离；聚类数量反映数据集覆盖了多少语义簇；分布均匀度考验每簇样本数是否均衡。这四个指标各有侧重，合在一起就能给数据集的“丰富度”画像。

最直观的指标是平均两两相似度——把数据集中所有样本两两配对算相似度再取平均，值越低说明整体越分散、多样性越高。

评审团有了客观标准，中央厨房才知道该夸谁、该改谁。不过，花样太多也可能出问题——“芥末味冰淇淋”够新奇，但没人想吃。最后一步是质量与多样性的平衡。

质量平衡——好看又好味的艺术

刺激的菜不一定好吃。中央厨房尝过一轮后发现：温度调到1.5后，菜谱确实千奇百怪，但一半菜品是“橙汁炖鱼头”这种黑暗料理——多样过头就成了灾难。数据生成也是同样道理：温度拉满，样本之间确实不重复了，但语法崩坏、语义混乱的噪声也混了进来。

多样性与质量天然存在张力：多样性太高，模型会学到大量噪声，反而损害下游性能；多样性太低，模型又变成复读机。工业界通常给质量设一个下限（如语法正确率、语义合理性），只保留合格样本，再追求多样性。这就是“信噪比筛选”——先滤掉噪声，再谈花样。

更系统化的做法是把两者统一成一个可调目标：质量得分和多样性得分各乘一个权重，然后寻找参数（比如温度和p值）使总分最高。同时定期人工抽查一批样本校准指标，再迭代调整参数，形成“生成→评估→调参→再生成”的闭环。

大厨反复试菜、反复微调，直到每一道菜都“刚刚好”——有特色、不撞脸、不难吃。这正是合成数据多样性控制的终极目标：不是越怪越好，而是又丰富又靠谱。

AI 应用场景

Python 演示

import random random.seed(42) WORDS = ["白色", "黑色", "棕色", "灰色", "小猫", "小狗", "兔子",         "熊猫", "花园", "森林", "屋顶", "草地", "玩耍", "奔跑",         "睡觉", "觅食", "一只", "正在", "快乐地", "安静地"] def ngrams(text, n=2):    return set(text[i:i + n] for i in range(len(text) - n + 1)) def similarity(a, b, n=2):    ga, gb = ngrams(a, n), ngrams(b, n)    return len(ga & gb) / max(1, len(ga | gb)) def sample(temp):    if random.random() < temp:        return "".join(random.sample(WORDS, random.randint(4, 6)))    return "一只小狗在花园玩耍" def cluster_dedup(sents, threshold=0.6):    groups = []    for sent in sents:        placed = False        for g in groups:            if similarity(sent, g[0]) > threshold:                g.append(sent)                placed = True                break        if not placed:            groups.append([sent])    return [g[0] for g in groups] def diversity_score(sents):    total, cnt = 0.0, 0    for i in range(len(sents)):        for j in range(i + 1, len(sents)):            total += similarity(sents[i], sents[j])            cnt += 1    return 0.0 if cnt == 0 else 1.0 - total / cnt def make_dataset(temp, size=50):    raw = [sample(temp) for _ in range(size)]    cleaned = cluster_dedup(raw)    return raw, cleaned, diversity_score(cleaned) if __name__ == "__main__":    for temp in (0.0, 0.3, 0.8):        raw, cleaned, div = make_dataset(temp)        print("temp=%.1f 原始=%d 去重后=%d 多样性=%.2f"              % (temp, len(raw), len(cleaned), div))

1. random.seed(42)固定随机种子，保证每次运行结果一致，便于复现实验。
2. def ngrams(text, n=2)把文本切成n-gram片段集合，作为“菜谱指纹”用来比较两盘菜像不像。
3. if random.random() < temp:温度核心逻辑：temp越大，越容易生成随机组合的新句子。
4. return "一只小狗在花园玩耍"固定模板兜底：低温度时大厨只做招牌菜，确保代码有基础数据。
5. def cluster_dedup(sents, threshold=0.6)贪心聚类去重：相似度超过0.6的菜归一堆，每组留第一盘。
6. for g in groups:逐堆比较当前句子与代表样本，找到“双胞胎”就并进去。
7. return [g[0] for g in groups]每组留下代表性样本，删除冗余。
8. def diversity_score(sents)多样性评估：两两计算相似度，用1减平均相似度得到多样性分数。
9. for temp in (0.0, 0.3, 0.8)对比三个温度档位，直观展示“火候”对多样性的影响。

常见误区

面试题