用大模型造指令数据：生成方法与质量控制

可视化演示

展示Self-Instruct自举生成流程、Evol-Instruct进化复杂度增强、质量过滤去重管线，切换模式掌握大模型指令数据自动化生产核心原理。

自举生成

教研组长翻遍资料柜，好不容易凑出 20 道不同风格的好例题——有概念题、有应用题、有代码题。组长把例题往助教桌上一放：“照这个手感，给我出满一千道。”助教秒懂每道题的套路，刷刷刷写出几百道风格相近的题目。组长挑出其中最好的几十道收进例题册，下一轮再让助教照着更厚的册子出题。这个过程，就是自举。

Self-Instruct 来自 2022 年底斯坦福的工作，核心是让大语言模型用少量“种子指令”生成大量新指令。把这段迭代精简成一句话：先准备种子，让模型生成，过滤后回填，再重复。每多跑一轮，指令池就厚一圈，指令风格也越发贴近我们想要的方向。

实际操作时，种子指令只有几十到几百条。每一步从池中随机抽 8 条作为“上下文示范”喂给模型，要求“仿照以上指令的风格，写出一条全新的指令”。新指令再经过输入生成与回答生成两个阶段，通过质量检查后才允许加入指令池。这样循环几十轮，通常能得到上万条覆盖广泛任务的指令。

老教师只负责最初的 20 道例题，剩下几千道全是助教自学的成果——这正是自举最迷人的地方：用一小撮人工种子，撬动一大片合成数据。

进化复杂度

光会出基础题还不够，考试要有区分度。老教师拿出最简单的一道“1+1“，先加上情境：”小明有 3 个苹果又买了 2 个，一共几个？“再要求”列出算式并说明为什么用加法“，最后要求”改写为一道需要分步计算的购物找零问题”。每改一遍，题目就复杂一截。这条从易到难的改造链，就是进化。

Evol-Instruct 由 WizardLM 团队提出，它不要求模型凭空创造新指令，而是对已有指令做“复杂度改造”。改造分两个方向：深度进化让原有逻辑链变长、增加约束；广度进化则让指令换成全新任务类型。

具体提示词像一张“改造任务单”：给它一条指令 I_t，要求它“重写为更复杂的版本，例如增加 5 个约束、要求分步思考、补充背景条件，或改写成代码生成任务”；同时约束“新指令必须可回答，且复杂度高于原指令”。模型输出的 I_{t+1} 继续喂给下一轮，形成阶梯。

老教师靠着“每次加一点难度”的策略，把一道口算题喂成了压轴大题——模型的知识边界也被这样一点点撑开。

多样性控制

一套好卷子要是清一色计算题，学生练完只会套公式。教研组长在开工前会先定“出题大纲”：概念题 30%、应用题 30%、代码题 20%、开放论述 20%。大纲定完，助教们分头执行，谁也不好意思只出自己擅长的类型。

指令数据的多样性同理。如果生成出的指令集中在少数几个模板上，模型微调后就学成“偏科生”：训练集里的任务做得飞起，换个问法就懵。信息熵是衡量分布均匀程度的数学工具。

多样性可以从事前与事后两个层面控制。事前：在生成提示词中注入随机任务类型、随机领域主题、随机角色设定，人为打散数据分布。事后：统计生成结果属于哪几类，用熵值评估分布是否失衡，若某些类别过少就定向补充生成。

出题大纲就是多样性控制的标杆，熵则像是工坊里的“均衡仪表盘”——指针偏了，就提醒组长赶紧调整生成任务。

难度管理

卷子难度要有梯度。全基础题，优等生觉得无聊；全奥数题，普通学生直接放弃。有经验的组长会定“基础 60%、中档 30%、压轴 10%”的配比，让每个层次的学生都有收获。

指令难度同样需要配比。难度过低，模型得不到有效训练；难度过高，模型学不会，损失长期不降甚至损害基础能力。怎么量化难度？最朴素的办法是让模型自己试答，用“通过率”反推。

把生成的每条指令丢给一个基础模型试做，统计正确率。通过率越高说明指令越简单。有了难度标签后，可以按预算分层采样：60% 低难度、30% 中难度、10% 高难度，或用课程学习策略先易后难地喂给模型。

组长的难度账本上，每条指令都标着难度系数；最终按 6:3:1 配比装订，训练出的模型既扎实又不偏科。

质量过滤

助教再聪明，批量出题也难免带病：有的题条件自相矛盾，有的题答案算错，有的题题干缺主语。工坊为此设了“质检组”——先让机器检查基本格式，再请更资深的老师通读打分，最后组长抽几份复核。三道关卡下来，才敢把题印进卷子。

LLM 合成数据的质量噪声远比人工数据大。质量过滤通常也是三层结构：规则过滤 + 模型评分 + 人工抽检。

规则层是便宜又快速的一刀切：空指令、超短指令、含占位符或敏感词的，直接丢。模型层用更强的大模型当“裁判”，对（指令，回答）给出 1-5 分，低于阈值的淘汰；还可以让裁判判断“这条指令是否清晰、是否有唯一可接受的答案”。人工抽检按 1%-5% 的比例抽查，估算整批合格率，防止机器判断出现系统性偏差。

质检组把关后，入库的每一道题都经得起检验；有了这套关卡，助教才能放心大胆地批量出题。

语义去重

偶尔有偷懒的助教，把“小明有 3 个苹果”改成“小李有 3 个梨”，就当成新题交差。字面上确实是两道题，但模型一看本质上还是同一种运算。工坊请来了“查重小组”——不看表面文字，而是比“题意指纹”，指纹相近的判为重复。

查重的关键在于理解语义。字符串完全相同的重复容易去，但大模型生成的变体往往是“换了个实体名、改了个数字”的套壳题，必须用文本向量来捕捉语义。

先把每条指令经 embedding 模型编码成一个稠密向量，这个向量就是“题意指纹”。再用余弦相似度计算两两距离：相似度超过阈值（常见 0.85）就丢弃其中一条。几十万条的大规模场景下，两两比对太慢，可先用聚类把相近指令粗分到桶里，桶内再精细去重。

查重小组的“指纹库”保证了指令池的独立性——每条题都有自己的位置，不被套壳同胞挤占。

工程化落地

当工坊从“周末突击出题”变成“每天稳定出千道题”，就不能再靠人肉协调了。组长要搭一条流水线：出题任务自动派发、质检自动通过、查重自动完成、合格题自动归档，每一步都有记录，随时能查“某道题是谁出的、哪一轮出的、难度多少”。

实际生产环境里，指令数据合成同样是一条 pipeline：任务配置 → 批量生成 → 规则过滤 → 模型评分 → 语义去重 → 分层采样 → 入库。每个环节都要考虑吞吐量、成本与可追溯性。

生成环节通常异步并发调用模型接口，用多 key 分组控制速率；超时或失败的请求自动重试，成功的结果写缓存，避免同一批数据重复花钱；每条数据打上生成链路标签（用哪个模型、第几轮、难度标签）。最终用“良率”评估整条管线：生成 10 万条，入库 3 万条，良率就是 30%，这个数字直接决定数据成本。

流水线把“出题—质检—查重—归档”固化为一套自动工序，老教师终于从重复劳动中解放出来，专心做最难的事——定方向。

AI 应用场景

Python 演示

"""Self-Instruct 简化演示：种子指令 -> 模板自举 -> 规则过滤 -> 语义去重"""import random SEEDS = [    "解释一下{concept}的基本原理",    "请给出{concept}的一个实际例子",    "为什么{concept}在工程中很重要",    "写出实现{concept}的伪代码",] CONCEPTS = ["哈希表", "快速排序", "动态规划", "二叉树", "图搜索"] BAD_WORDS = ["TODO", "忽略", "随便", "我不知道"]  def llm_generate(prompt_pool, rounds=50):    """模拟 LLM 自举：每轮从池中抽种子，变形出新指令并回填池子"""    for _ in range(rounds):        seed = random.choice(prompt_pool)        concept = random.choice(CONCEPTS)        new_inst = seed.replace("{concept}", concept)        prompt_pool.append(new_inst)    return prompt_pool  def rule_filter(instructions):    """规则过滤：长度限制在 5-30，剔除坏词"""    good = []    for inst in instructions:        if len(inst) < 5 or len(inst) > 30:            continue        if any(w in inst for w in BAD_WORDS):            continue        good.append(inst)    return good  def jaccard_sim(a, b):    """用字符集合的 Jaccard 相似度近似语义相似度"""    sa, sb = set(a), set(b)    if not sa or not sb:        return 0.0    return len(sa & sb) / len(sa | sb)  def dedup(instructions, threshold=0.75):    """与已保留指令相似度超过阈值则丢弃"""    unique = []    for inst in instructions:        dup = False        for kept in unique:            if jaccard_sim(inst, kept) > threshold:                dup = True                break        if not dup:            unique.append(inst)    return unique  def main():    random.seed(42)    pool = [s.format(concept=CONCEPTS[0]) for s in SEEDS]    generated = llm_generate(pool, rounds=50)    filtered = rule_filter(generated)    final = dedup(filtered)    print(f"生成 {len(generated)} 条 -> 过滤后 {len(filtered)} 条 -> 去重后 {len(final)} 条")    for inst in final[:8]:        print("-", inst)  if __name__ == "__main__":    main()

1. pool = [s.format(concept=CONCEPTS[0]) for s in SEEDS]用“哈希表”填充 4 个种子模板，得到初始指令池，对应自举的第一步
2. generated = llm_generate(pool, rounds=50)自举 50 轮：每轮从池中随机抽一条种子，替换概念后生成新指令并回填，模拟“越滚越多”
3. filtered = rule_filter(generated)规则过滤：剔除过短、过长和含坏词的指令，对应质量过滤的第一道关卡
4. final = dedup(filtered)用 Jaccard 相似度做语义去重，把内容高度雷同的指令留在池外，保证多样性
5. random.seed(42)固定随机种子，让每次运行结果可复现，工程化中对齐实验数据很重要

常见误区

面试题