想象一位名叫小明的学生，没有老师，独自在家备战高考。他先翻出课本里的经典例题当作“种子”，照着出题给自己练；做完后拿出红笔自己批改，写下评语再订正；每隔一段时间，他会盯着成绩单复盘，发现连续几次都没进步就停下调整策略；他还会把粗心大意、答案存疑的题目移出错题本，防止自己越练越偏。这套“出题—答题—批改—订正—复盘”的循环，正是大模型自我改进（Self-Improve）的缩影：模型自己生成训练数据、自己评估修正、自己决定何时该停，从而摆脱对人工标注的依赖，在迭代中持续变强。本文将以小明的备考故事为主线，带你完整走一遍 Self-Improve 的工程实践。

岗位关联

掌握自我改进方法，意味着你的模型能以更低的标注成本持续变强、不依赖外部教师信号——这是大模型工程师与 AI 研究员在未来竞争中不可替代的核心能力。

目录
  1. 可视化演示
  2. 核心概念：一张书桌就是一座学校
  3. Self-Instruct：自己给自己出题
  4. Self-Refine：自己批改，自己订正
  5. 收敛条件：成绩单说了算
  6. 质量保障：错题本与标准答案
  7. 防止退化：别在题海里迷失
  8. 工程实践：从书桌到考场
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示Self-Improve三大机制：Self-Instruct数据生成管线、Self-Refine迭代修正循环、以及退化防护的质量监控与多样性保障策略。

本节配有交互动效（进入视口后自动加载，约 3KB）。

Self-Instruct：种子驱动的数据自生成管线 少量种子指令扩展为大规模训练数据 过滤低质量样本，保留高多样性数据 质量监控贯穿整个生成流程 Self-Instruct减少对外部标注的依赖。

核心概念：一张书桌就是一座学校

小明的书桌上只有课本、错题本和一面镜子。没有老师，他如何进步？秘诀是一套完整的学习闭环：先自己出题，再做一遍，再对着镜子自我审视，最后把教训记进错题本。真正的成长从来不是一次性刷完一本练习册，而是让这个循环反复转动、越转越熟练。

大模型的自我改进（Self-Improve）遵循同样的闭环。传统训练像“名师辅导班”：人类标注师准备一题一答案，模型被动地学。而 Self-Improve 让模型同时当出题人、考生和阅卷老师，用自己生成的“教材”继续训练自己。它之所以可行，源于模型在大规模预训练中涌现出的“模仿与评估”能力，这也是它被归入“涌现能力”的原因——模型已经见过海量人类文本，既能模仿出像样的题目，也能分辨回答的好坏。

整个流程可写成迭代公式。设第 t 轮模型为 \( M_t \)，已有数据集 \( D_t \)，则下一轮训练集等于旧数据加上模型自产且通过质量闸门的新样本：

小明不会丢掉旧书，只把新练出心得的题目夹进错题本——模型每轮也是“旧知识打底，新样本补血”。接下来我们拆解这个闭环中的每个动作。

Dt+1=Dt∪{(x,y)∣y∼Mt(x),  Quality(x,y)≥τ}D_{t+1} = D_t \cup \{(x,y) \mid y \sim M_t(x),\; \text{Quality}(x,y) \ge \tau\}
通俗说明：每轮迭代，最新数据 = 旧数据 + “模型自产且质量达标”的新样本，这是整个自我改进的引擎。
  1. 第 t 轮模型当前版本的模型 \( M_t \) 既是老师又是学生，负责生成和评估。
    MtM_t
  2. 自产样本模型根据指令 \( x \) 生成回答 \( y \)，构成候选样本对。
    (x,y),y∼Mt(x)(x,y), \quad y \sim M_t(x)
  3. 质量闸门只有质量分数 \(\text{Quality}(x,y)\) 不低于阈值 \( \tau \) 的样本才被录取。
    Quality(x,y)≥τ\text{Quality}(x,y) \ge \tau
  4. 新旧并集新训练集 = 旧数据 \( D_t \) 与合格新样本的并集，保证不遗忘旧知识。
    Dt+1=Dt∪{⋅}D_{t+1} = D_t \cup \{\cdot\}

Self-Instruct：自己给自己出题

小明要刷题，首先得有题。没有教辅，他就翻出课本开头的例题当“种子”，模仿着变换数字、调换问法，编出一整页新题。这正是 Self-Instruct 的工作方式：模型最擅长“照着葫芦画瓢”，只要给它几颗葫芦种子。

Self-Instruct 是自我改进的“出题”环节。工程师只需准备少量种子任务（seed tasks），例如“写一首诗”“总结一段话”“把句子改得更礼貌”，模型就会基于这些例子生成大量新指令，再为每条新指令生成回答。这样用极少量人工投入就能换来大规模训练数据，极大降低了对标注团队和数据采购的依赖。

Self-Instruct 分两步：先生成指令，再生成回复，形式化写作：

小明出题时偶尔会“出偏”，把简单知识点换成超纲题；Self-Instruct 同样可能生成低质量或重复的指令。所以下一节要讲批改订正，再下一节讲错题本机制，把偏题怪题挡在门外。

{xi}i=1N∼Mt(S),yi=Mt(xi)\{x_i\}_{i=1}^{N} \sim M_t(\mathcal{S}), \qquad y_i = M_t(x_i)
通俗说明：第一式表示从种子集合 \( \mathcal{S} \) 出发采样出 \( N \) 条新指令；第二式表示对每条指令生成一条回答。
  1. 种子集合人工编写的少量高质量任务示例，是整个数据工厂的“火种”。
    S={s1,s2,…,sk}\mathcal{S} = \{s_1, s_2, \ldots, s_k\}
  2. 指令采样模型模仿种子风格生成 \( N \) 条多样化指令。
    {xi}i=1N∼Mt(S)\{x_i\}_{i=1}^{N} \sim M_t(\mathcal{S})
  3. 回复生成对每条指令调用模型生成回答 \( y_i \)。
    yi=Mt(xi)y_i = M_t(x_i)
  4. 组合成对指令与回答组成候选样本对，等待质量筛选。
    C={(xi,yi)}i=1N\mathcal{C} = \{(x_i, y_i)\}_{i=1}^{N}

Self-Refine：自己批改，自己订正

小明批改作业有两层动作：第一层对照答案打分找错；第二层重读错题，写下“下次要注意”再重做一遍。批改不是给个分数就完事，而是真的动手修改自己。

Self-Refine 正是这套“批改+订正”的自动化。它让同一个模型扮演两个角色：批评者（critic）先审视已有回答并生成具体反馈，生成者（generator）再根据反馈重写答案，如此循环。整个过程发生在推理阶段，不需要额外训练一个裁判模型，也不依赖人工的逐条纠错。

设第 \( k \) 轮迭代的答案为 \( y_k \)，模型先产出反馈 \( f_k \)，再综合反馈改写出 \( y_{k+1} \)：

小明每次订正都让卷面更干净，但无休止地重写会浪费精力——Self-Refine 同样要设定“差不多就收手”的终止条件。此外，经过批改的优质回答还能回填到训练数据里，让下一轮 Self-Instruct 的起点更高。

fk=C(yk),yk+1=G(yk,fk)f_k = C(y_k), \qquad y_{k+1} = G(y_k, f_k)
通俗说明：批评模块 \( C \) 先挑毛病，生成模块 \( G \) 拿着毛病清单重写答案，循环往复直到质量不再提升。
  1. 初始答案模型第一遍生成的结果 \( y_k \)，往往存在逻辑跳跃、论据不足等瑕疵。
    yky_k
  2. 批评反馈批评者 \( C \) 审视 \( y_k \) 并输出具体问题清单。
    fk=C(yk)f_k = C(y_k)
  3. 改写生成生成者 \( G \) 结合原答案与反馈，产出更优版本。
    yk+1=G(yk,fk)y_{k+1} = G(y_k, f_k)
  4. 循环终止当改写带来的分数提升小于小量 \( \delta \) 时停止，取最后一版。
    stop if score(yk+1)−score(yk)<δ\text{stop if } \text{score}(y_{k+1}) - \text{score}(y_k) < \delta

收敛条件：成绩单说了算

小明每周做一次模拟考，把分数画成折线。他发现连续四周都停在同一个分数段，就知道自己进入了平台期：再刷同样的题没有意义，该换策略了。成绩单不会说谎，收敛条件就是模型的成绩单。

模型自我改进也需要一张固定的“试卷”：一套不随迭代改变的评估集和指标 \( m \)（如准确率、BLEU、人工偏好率）。每一轮训练完都在同一张试卷上测评，然后观察最近 \( k \) 轮指标的变化量，决定是继续迭代、调整策略还是停止。只看单轮波动容易误判，所以要对多轮取平均：

小明的折线图是防止“无效内卷”的仪表盘。工程上，通常还要叠加多样性下降信号：即使指标还没掉，数据多样性先崩了，也应当提前停止或回退——这正是下一节的主题。

Δˉk=1k∑j=T−k+1T(mj−mj−1),若 ∣Δˉk∣<ε 则停止\bar{\Delta}_k = \frac{1}{k}\sum_{j=T-k+1}^{T}(m_j - m_{j-1}), \quad \text{若 } |\bar{\Delta}_k| < \varepsilon \text{ 则停止}
通俗说明：这条公式就是在问“最近 \( k \) 轮平均每次进步了多少”，进步小于阈值 \( \varepsilon \) 就判定收敛。
  1. 指标序列每轮在固定测试集上测得的分数，构成时间序列。
    m1,m2,…,mTm_1, m_2, \ldots, m_T
  2. 单轮变化量相邻两轮指标之差 \( m_j - m_{j-1} \)，反映本轮进步幅度。
    δj=mj−mj−1\delta_j = m_j - m_{j-1}
  3. 多轮平均对最近 \( k \) 轮求均值，抹平单轮噪声波动。
    Δˉk=1k∑j=T−k+1Tδj\bar{\Delta}_k = \frac{1}{k}\sum_{j=T-k+1}^{T}\delta_j
  4. 阈值判断平均变化小于 \( \varepsilon \) 时判定到达平台期，触发停止。
    ∣Δˉk∣<ε|\bar{\Delta}_k| < \varepsilon

质量保障：错题本与标准答案

小明有个铁规矩：凡是粗心错三次的题，不仅要重做，还要在题旁写“掉坑原因”；笔迹潦草、答案存疑的页面绝不塞进错题本，因为那会误导复习。自我生成数据最大的风险就是“劣币驱逐良币”。

因此，Self-Improve 在数据进入训练集前设一道质量闸门，包含四层手段：规则过滤（长度、关键词、格式检查）、模型打分（奖励模型或自评分）、去重操作（删除语义相似的样本）、人工抽检（抽查 1%～5% 确认没有系统性偏差）。闸门的核心是一个打分器 \( R \) 和阈值 \( \tau \)：

错题本上的每道题都经过“值不值得记”的审查，模型训练集同理。质量保障是小明书桌上永远敞开的红笔，也是 Self-Improve 不掉进“垃圾进、垃圾出”陷阱的关键。

1accept(x,y)={1,R(x,y)≥τ0,R(x,y)<τ\mathbb{1}_{\text{accept}}(x,y) = \begin{cases} 1, & R(x,y) \ge \tau \\ 0, & R(x,y) < \tau \end{cases}
通俗说明：这是一个二值开关——质量分达标就录取，不达标就淘汰，没有中间地带。
  1. 打分器\( R \) 把样本映射到 0 到 1 的质量分，可以是规则、模型自评或奖励模型。
    R:(x,y)↦[0,1]R: (x,y) \mapsto [0,1]
  2. 录取阈值\( \tau \) 是事先划定的分数线，过高浪费数据，过低放行噪声。
    τ∈(0,1)\tau \in (0,1)
  3. 二值决策分数不低于阈值输出 1（录取），否则输出 0（淘汰）。
    1accept(x,y)\mathbb{1}_{\text{accept}}(x,y)
  4. 配套操作去重删除相似样本，人工抽检作为最后防线。
    dedup(D),audit(Dsample)\text{dedup}(D), \quad \text{audit}(D_{\text{sample}})

防止退化：别在题海里迷失

有一段时间，小明只做自己擅长的三角函数，成绩不升反降。旁观者点破他：“你一直在舒适区打转，见过的题型越来越少，遇到新题就慌。”这就是“越练越偏”。

当模型反复用自己生成的数据训练时，会出现著名的“模型崩溃”（Model Collapse）：生成数据的多样性逐代下降，早期错误被放大固化，最终模型输出变得空洞重复。防止退化的核心是监测数据多样性、控制新旧数据比例，并把原始人类数据永远留在训练集里当“压舱石”。多样性可以用熵来度量，设样本属于类别 \( c \) 的概率为 \( p(c) \)：

小明终于学会在错题本上记录“我又只练三角函数了”。监测多样性、保留原始集、设置回退机制，才能让自我改进不迷路。

H(D)=−∑c∈Cp(c)log⁡p(c)H(D) = -\sum_{c \in \mathcal{C}} p(c) \log p(c)
通俗说明：熵像“见过世面的程度”——类别越杂、分布越均匀，熵越大；总做同类题会让熵越来越小，模型开始坐井观天。
  1. 类别分布统计生成样本中各类别的占比，如领域、句式、意图。
    p(c)=Nc∣D∣p(c) = \frac{N_c}{|D|}
  2. 对数权重\( -\log p(c) \) 给罕见类别更大权重，惩罚“一家独大”。
    −log⁡p(c)-\log p(c)
  3. 加权求和所有类别按概率加权求和，得到整体多样性熵。
    H(D)=−∑cp(c)log⁡p(c)H(D) = -\sum_{c} p(c)\log p(c)
  4. 回退策略熵低于阈值 \( H_{\min} \) 时回滚到上一个数据快照，并调低新数据比例。
    rollback if H(Dt)<Hmin⁡\text{rollback if } H(D_t) < H_{\min}

工程实践：从书桌到考场

小明的备考从一张书桌扩展到整个月考考场：每周一个循环，周末出题、周中刷题批改、周日复盘，考完更新复习计划。工程化的关键是让循环可重复、可度量、可回滚。

工程上，Self-Improve 的每次迭代都是“数据生成→质量过滤→微调→评估”的流水线。微调时不能只用新数据，必须把原始数据与新自产数据混合，否则会灾难性遗忘。精调公式写作：

资源消耗方面，每轮要承担推理生成与训练的 GPU 成本，因此迭代节奏必须由收敛条件驱动，而不是“跑满固定轮数”。开源工具方面，社区已有 Self-Instruct 的数据生成脚本、Self-Refine 的推理实现，以及 TRL 等微调框架，可以组合成一条完整的自训练流水线。小明每隔四周就用真题卷检验成效，不合格就重来；工程实践同样强调评估门控、快照回滚与成本控制——只有把循环装进“月考”的仪式感里，自我改进才是可持续的成长，而不是一场碰运气的赌博。

Mt+1=Finetune⁡(Mt,  Dmix),Dmix=Dhuman∪DtnewM_{t+1} = \operatorname{Finetune}\left(M_t,\; D_{\text{mix}}\right), \quad D_{\text{mix}} = D_{\text{human}} \cup D_{t}^{\text{new}}
通俗说明：新模型 = 在旧模型基础上，用“人类旧题 + 自产新题”的混合练习册再练一轮。
  1. 原始数据集永远保留的人工标注数据，是防止崩溃的根基。
    DhumanD_{\text{human}}
  2. 自产数据集本轮通过质量闸门的生成数据，通常控制在与旧数据的合理比例内。
    DtnewD_{t}^{\text{new}}
  3. 混合采样两路数据合并后按比例采样，平衡新知识吸收与旧能力保持。
    Dmix=Dhuman∪DtnewD_{\text{mix}} = D_{\text{human}} \cup D_{t}^{\text{new}}
  4. 微调与门控在旧模型上继续训练若干 epoch，通过评估门控才发布新版本，否则回滚。
    Mt+1=Finetune⁡(Mt,Dmix)M_{t+1} = \operatorname{Finetune}(M_t, D_{\text{mix}})

AI 应用场景

低资源客服机器人的自进化

阶段：数据构建阶段（Self-Instruct 数据生成）

解决的问题：初创公司没有标注团队，人工整理客服问答成本高、周期长。Self-Instruct 让模型从几十条种子工单出发，自动扩展出覆盖退款、物流、售后等场景的训练数据，把数据成本降低一个数量级。

具体案例：某电商创业团队用 50 条人工整理的优质工单作为种子任务，让大模型生成 5000 条指令-回复对，经规则过滤（长度、敏感词）+ 模型打分后，保留约 2000 条高质量样本微调客服模型。上线后问题解决率从 61% 提升到 78%，且每周可自动迭代一轮。

代码生成模型的自我纠错

阶段：推理与后处理阶段（Self-Refine 自我修正）

解决的问题：代码生成模型一次生成的代码经常有低级 bug，人工 review 成本高。Self-Refine 让模型先写代码，再“阅读”自己的代码找 bug，最后根据反馈重写，显著提升首轮通过率。

具体案例：某 AI 编程助手在推理管线中加入 Self-Refine 循环：模型生成代码 → 模型扮演批评者指出“变量未定义”“边界条件遗漏” → 模型重写。在 LeetCode 风格题目上，一次通过率从 43% 提升到 67%，平均只需 2 轮修正即可收敛。

内容摘要模型持续进化与防退化

阶段：迭代评估与运维阶段（收敛条件 + 防止退化）

解决的问题：摘要模型用自产数据训练多轮后，输出开始同质化，所有文章都被压成同一模板。通过熵监测与回退机制，确保模型在自我改进中保持多样性。

具体案例：某资讯平台的摘要模型每轮用上周用户点击高的摘要作为种子自我生成新样本，同时计算生成数据的熵。第三轮时熵下降 22%，触发自动回退到第二轮快照，并将新数据比例从 40% 调低到 20%，最终在 ROUGE 分数和多样性指标上同时保持稳定。

Python 演示

python76 行
# -*- coding: utf-8 -*-"""模拟大模型自我改进闭环: Self-Instruct 生成 -> 质量过滤 -> 微调 -> 评估收敛"""import random  class StudentLM:    """用规则模型模拟一个能够自我改进的大模型"""     def __init__(self, skill=0.5, diversity=1.0):        self.skill = skill          # 基础能力, 随微调提升        self.diversity = diversity  # 生成多样性, 随迭代下降        self.gc_count = 0           # 累计生成次数     def generate(self, seed):        """生成一条候选样本并附自评分"""        self.gc_count += 1        score = min(0.98, self.skill + random.uniform(-0.15, 0.15))        return {"seed": seed, "score": score,                "duplicate": random.random() > self.diversity}     def refine(self, sample, rounds=2):        """Self-Refine: 自我批评并修正, 分数小幅提升"""        for _ in range(rounds):            bonus = 0.04 if sample["score"] > 0.5 else 0.02            sample["score"] = min(1.0, sample["score"] + bonus)        return sample  def quality_pass(sample, threshold=0.62):    """质量保障: 分数达标且不重复的样本才允许进入训练集"""    return sample["score"] >= threshold and not sample["duplicate"]  def self_instruct_round(seeds, model, per_seed=8):    """一轮数据自产: 出题 -> 答题 -> 批改 -> 筛选"""    pool = []    for seed in seeds:        for _ in range(per_seed):            sample = model.refine(model.generate(seed))            if quality_pass(sample):                pool.append(sample)    return pool  def evaluate(test_size, model):    """在固定测试集上评估平均分, 模拟一轮月考"""    total = 0.0    for _ in range(test_size):        total += min(1.0, model.skill + random.uniform(-0.05, 0.10))    return total / test_size  def main():    random.seed(7)    seeds = ["写一首诗", "解释数据库", "制定学习计划", "总结一段话"]    model = StudentLM(skill=0.52, diversity=1.0)    history = []    for epoch in range(1, 7):        pool = self_instruct_round(seeds, model, per_seed=8)        accept_rate = len(pool) / (len(seeds) * 8)        model.skill = min(1.0, model.skill + 0.10 * accept_rate)        model.diversity = max(0.2, model.diversity * 0.88)        score = evaluate(50, model)        history.append(round(score, 4))        print("第%d轮 生成%d条 录取%d条 评估分%.4f 多样性%.2f"              % (epoch, model.gc_count, len(pool), score, model.diversity))    delta = abs(history[-1] - history[-2])    if delta < 0.01 or model.diversity < 0.5:        print("触发停止/回退: 最近提升 %.4f, 多样性 %.2f"              % (delta, model.diversity))    else:        print("继续迭代: 最近提升 %.4f" % delta)  if __name__ == "__main__":    main()
目的：用极简规则模型模拟 Self-Improve 全流程——每轮自产数据、质量过滤、模拟微调与评估，并展示多样性衰减如何触发退化预警。
  1. sample = model.refine(model.generate(seed))一条样本的生产线：先由模型生成候选，再自我批改订正。
  2. if quality_pass(sample):质量闸门，分数不达标或与旧样本重复的候选直接丢弃。
  3. pool.append(sample)通过闸门的样本进入本轮训练池，模拟 Self-Instruct 的数据录取。
  4. model.skill = min(1.0, model.skill + 0.10 * accept_rate)模拟微调：录取率越高，能力进步越快。
  5. model.diversity = max(0.2, model.diversity * 0.88)每轮多样性按比例衰减，这是退化的预兆。
  6. delta = abs(history[-1] - history[-2])收敛判断：最近两轮评估分数的变化幅度，低于阈值就停止。

常见误区

误区我以为 Self-Improve 就是让模型自己玩耍，从此可以辞退所有标注团队，整条流水线再也不用人工参与。

正解自我改进大幅减少标注依赖，但种子任务设计、质量抽检、回退决策仍然需要人工。就像小明虽然自己备考，但考试大纲和复习方向仍需要过来人把关。完全无人参与的循环会变成“自嗨式”成长——生成的数据全在模型的能力圈内打转，甚至加速崩溃。实际工程中“人机协同”才是常态：人负责点火和目视，模型负责添柴。

为何常见：“自我”二字容易让人联想到完全自动化，忽略了种子数据和人工抽检在质量保障中的兜底作用。

误区我认为只要让循环跑得够多，模型就会一直变强，跑 100 轮总比 10 轮好，反正算力闲着也是闲着。

正解没有质量约束的循环会退化成“近亲繁殖”——每轮都在自己输出的圈子里打转，多样性流失、早期错误像传话游戏一样被逐代放大，最终模型输出空洞重复。这正是模型崩溃的本质。需要配合收敛条件（评估指标平台期）和多样性监测来决定何时停手，而不是无脑刷轮数。

为何常见：直觉上“练习越多越好”，但我们忽略了每一轮自产数据都在悄悄改变下一轮的“教材质量”，教辅一旦变质，刷得越多错得越深。

误区我以为 Self-Refine 是一种训练时的损失函数，只在微调阶段起作用，推理时模型就是“一次成型”。

正解Self-Refine 的本质是推理期的自我修正：模型先生成答案，再扮演批评者给出反馈，再基于反馈重写，整个过程不需要更新任何参数。它既可以直接服务于用户请求（推理时纠错），也可以用来“洗”训练数据（让自产样本更高质量后再入池），但它本身不是训练目标。

为何常见：身处“训练”语境下学习 Self-Improve，容易把所有机制都归入训练环节，忽略了推理期轻量修正的巨大价值。

误区我觉得第一轮生成数据时仔细筛一遍就够了，后面模型会越来越聪明，产出的数据自然越来越好，不用再操心质量。

正解每一轮迭代都必须过滤，且过滤标准要随轮次动态监控。随着模型进入平台期、多样性下降，自产样本中的劣质比例会悄悄上升；只过滤一次等于把后续几轮混入的噪声全部放行进训练集，相当于“一边练、一边吃毒教材”。质量闸门应该像错题本一样每轮更新，而不是一次性摆设。

为何常见：把自我改进理解成单次流水线作业，忽略了它本质是循环反馈系统——每一轮的输出质量都取决于上一轮的数据卫生。

面试题

Q1. 关于大模型自我改进（Self-Improve），下列说法最准确的是？

单选题 · easy

  • A.完全不需要任何人工标注和设计
  • B.自产数据并自我评估迭代提升← 正确答案
  • C.只能在人类教师监督下训练
  • D.等同于无监督的预训练任务

答案：B。Self-Improve 的核心是模型自己生成数据（如 Self-Instruct）并自我评估修正（如 Self-Refine），大幅减少外部标注依赖。A 中“完全不需要”太绝对，种子任务仍需人工设计；C 与自我改进方向相反；D 混淆了预训练与自我改进的本质。

Q2. Self-Instruct 数据生成流程的第一步是什么？

单选题 · easy

  • A.模型批量生成大量回复
  • B.质量过滤器筛选数据
  • C.准备少量种子任务← 正确答案
  • D.直接微调原始大模型

答案：C。Self-Instruct 从人工精选的少量种子任务出发，再据此扩展指令与回复。A、B 都发生在种子任务之后；D 不属于 Self-Instruct 的环节。种子任务就是整个数据工厂的“火种”。

Q3. Self-Refine 机制中，大模型扮演的角色是？

单选题 · mid

  • A.仅作为文本生成器使用
  • B.仅作为评分器评估输出
  • C.既是生成器又是批评者← 正确答案
  • D.完全替代人类标注团队

答案：C。Self-Refine 的核心是同一个模型先产出答案，再以批评者身份给出反馈，再以生成者身份基于反馈重写，如此循环。C 准确描述了这种双重角色；A、B 都只说了一半；D 夸大了其能力边界。

Q4. 判断自我改进是否收敛，最合适的做法是？

单选题 · mid

  • A.看生成的数据总量是否最多
  • B.看最近数轮评估指标增益← 正确答案
  • C.看训练集是否全部用完
  • D.看单轮训练时间是否达标

答案：B。收敛看“最近 k 轮指标平均变化量是否小于阈值”，持续平台期说明模型已到瓶颈。数据量多不代表更好，训练集无“用完”概念，训练时间只是资源约束而非能力信号。

Q5. 模型崩溃（Model Collapse）的直接原因是？

单选题 · mid

  • A.GPU 显存不足导致训练中断
  • B.自产数据循环使多样性崩溃错误累积← 正确答案
  • C.学习率设置过高导致梯度爆炸
  • D.训练数据文件格式发生损坏

答案：B。模型崩溃指模型反复用自产数据训练后，多样性逐代下降、早期错误被放大固化。A 是硬件问题，C 是优化问题，D 是数据工程问题，都不是“自我污染”导致的退化。

Q6. 下列哪项属于质量保障手段中的最后防线？

单选题 · hard

  • A.规则去重与长度过滤
  • B.模型自评分数阈值筛选
  • C.定期人工抽检样本质量← 正确答案
  • D.随机丢弃一半生成数据

答案：C。规则过滤与模型打分属于自动化手段，人工抽检用于发现自动手段难以察觉的系统性偏差，是兜底的最后一道防线。D 随机丢弃不科学，既丢好样本也留坏样本。

Q7. 防止自我改进退化的关键策略之一是？

单选题 · easy

  • A.每次迭代彻底清空旧数据
  • B.保留原始数据并控制新数据比例← 正确答案
  • C.不断提高生成器温度参数
  • D.关闭质量过滤器加速训练

答案：B。保留原始人类数据作为“压舱石”、控制自产新数据比例，是防止崩溃的核心手段。A 会导致灾难性遗忘；C 只是增大随机性不是保多样性；D 关掉过滤器等于放弃质量闸门。

Q8. 下列哪些属于 Self-Instruct 数据生成流程的环节？

多选题 · mid

  • A.设计高质量种子任务← 正确答案
  • B.模型批量生成指令与回复← 正确答案
  • C.质量过滤与去重操作← 正确答案
  • D.梯度裁剪防止梯度爆炸

答案：ABC。Self-Instruct 的完整链路是“种子任务 → 生成指令 → 生成回复 → 质量过滤/去重”。D 属于训练优化技巧，与数据生成流程无关，干扰项特征明显。

Q9. 自我改进循环中，容易导致性能退化的信号包括？

多选题 · hard

  • A.生成数据多样性持续下降← 正确答案
  • B.模型全盘接受自身错误反馈← 正确答案
  • C.新样本中相似内容占比过高← 正确答案
  • D.推理时延明显降低且稳定

答案：ABC。多样性下降、全盘接受错误反馈、相似样本占比过高，三者分别对应“数据源变窄”“错误固化”“近亲繁殖”，都会加速崩溃。D 的推理时延降低是工程优化信号，与退化无关。

Q10. 关于收敛条件与停止策略，下列说法正确的是？

多选题 · mid

  • A.评估指标平台期多轮无提升应该停止← 正确答案
  • B.数据多样性严重下降应回退重来← 正确答案
  • C.迭代越多模型一定越强不设上限
  • D.结合评估指标与多样性共同判断← 正确答案

答案：ABD。收敛判断应综合评估指标的平台期与多样性信号。A 是典型的停止策略；B 是回退机制；D 强调多维监控。C 违反收敛与防退化原则，迭代无上限必然走向模型崩溃。