阿德在后厨干了三年，每天做同一道番茄炒蛋。他有个习惯：每天收工前，把调料用量、火候、口感写成半页笔记。第二天，他照着笔记调整——咸了就减盐，老了就缩短时间，出锅慢了就提前热油。半年后，他已经能在主厨不在时稳定出品一道拿得出手的招牌菜。有意思的是，他用的教材不是别人写的，而是自己写给自己的。 推理模型的 Self-Improvement（自我改进），讲的就是这种「自己教自己」的轮回：让模型从当前能力出发，自己生成候选数据，再用筛选和训练把这些数据反哺回自身，形成「动手做菜 → 写笔记 → 回头练」的闭环。它不再事事依赖人工标注，而是把厨师的经验沉淀搬到了算法里。但盲目记录也有危险——如果阿德听不见顾客批评，只相信自己的舌尖，他会越来越偏咸。模型长期吃自己产出的数据，也可能陷入「自我强化偏差」，能力不升反降。理解这条上升与风险并存的路径，就是读懂当代推理模型如何走向自主进化的钥匙。

岗位关联

学懂 Self-Improvement，你能明白推理模型为什么能越训越强，也能在调模型时提前嗅到「能力退化」的风险——这是走向下一代自主智能的核心素养。

目录
  1. 可视化演示
  2. 核心原理：自己教自己的「循环厨房」
  3. 实施路径：从采购到复盘的四步轮子
  4. 核心优势：没有主厨也能进步的秘密
  5. 风险挑战：当厨师只听自己的回声
  6. 缓解策略：给自我循环装三道刹车
  7. 应用场景：把私房菜变成连锁菜单
  8. 未来展望：当每个厨师都能自我进化
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示推理模型通过自我生成训练数据实现迭代提升的全流程，包括数据生成、质量过滤与偏差风险控制，直观理解自主进化机制。

本节配有交互动效（进入视口后自动加载，约 3KB）。

自我数据生成 推理模型基于已有能力生成高质量推理链(CoT)训练样本 通过自一致性投票筛选高置信度样本，构建自训练数据集 D_self = filter(model.generate(x), consistency_score > threshold)

核心原理：自己教自己的「循环厨房」

阿德的进步从来不是靠主厨站在旁边一步步喂，而是靠「第二天照着前一天的笔记练」。推理模型的 Self-Improvement 也一样：模型先以当前能力做出一批「菜」（回答），把这些回答当作「笔记」（候选样本），再把其中值得保留的内容吸收进下一次训练。它不依赖外部老师逐条批改，而是模型用自己的输出反哺自己。

这种思路在技术上被形式化为一个迭代循环：第 \(t\) 轮结束时，当前模型 \(\mathcal{M}_t\) 负责生成一批新数据 \(\hat{\mathcal{D}}_t\)；训练阶段把原始数据 \(\mathcal{D}_t\) 与自产数据 \(\hat{\mathcal{D}}_t\) 合并，更新参数得到 \(\mathcal{M}_{t+1}\)。下一轮，新的模型继续生成更好的数据。这个「越练越强」的姿态，正是推理模型从通用能力走向专业深度的发动机。

从直觉上理解，这个公式真正想表达的是：模型的命运不再完全取决于外部数据供给，而在于它能否把「自己试错的经验」转化成正反馈。就像阿德把每一次炒菜的结果变成下一顿的起点，这个过程一旦转起来，能力就拥有了自我增殖的潜力。但前提是——笔记必须被诚实筛选，否则就会把坏习惯也写进去。

Mt+1=arg⁡min⁡θ  1∣Dt∪D^t∣∑x∈Dt∪D^tL(fθ(x),  y^x)\displaystyle \mathcal{M}_{t+1} = \arg\min_{\theta} \; \frac{1}{|\mathcal{D}_t \cup \hat{\mathcal{D}}_t|} \sum_{x \in \mathcal{D}_t \cup \hat{\mathcal{D}}_t} \mathcal{L}\big(f_\theta(x),\; \hat{y}_x\big)
这个公式说的是：每一轮都拿「旧数据 + 模型自己新写的数据」一起训练，找到让整体误差最小的新参数。就像阿德把「师傅的旧菜谱」和「自己的新笔记」合并成一本综合手册。
  1. 当前模型 \(\mathcal{M}_t\)这是第 \(t\) 轮迭代结束后已经练好的推理模型，下一轮的数据由它来生成。
    Mt\mathcal{M}_t
  2. 自产数据集 \(\hat{\mathcal{D}}_t\)模型采样生成的新训练样本集合，相当于「自己写的半页烹饪笔记」。
    D^t={y^x∣x∼Mt(⋅)}\hat{\mathcal{D}}_t = \{ \hat{y}_x \mid x \sim \mathcal{M}_t(\cdot) \}
  3. 合并训练集 \(\mathcal{D}_t \cup \hat{\mathcal{D}}_t\)把原始人工标注数据与自产数据拼到一起，让模型同时吃「别人的菜谱」和「自己的笔记」。
    Dt∪D^t\mathcal{D}_t \cup \hat{\mathcal{D}}_t
  4. 损失函数 \(\mathcal{L}\)衡量模型预测与目标标签之间的差距，相当于「这道菜和理想味道差了多少」。
    L(fθ(x),  y^x)\mathcal{L}\big(f_\theta(x),\; \hat{y}_x\big)
  5. 最小化求解 \(\arg\min\)通过梯度下降找到让损失最小的参数，也就是「照着差距逐条修改菜谱」。
    θt+1=arg⁡min⁡θ1∣Dt∪D^t∣∑L\theta_{t+1} = \arg\min_{\theta} \frac{1}{|\mathcal{D}_t \cup \hat{\mathcal{D}}_t|} \sum \mathcal{L}

实施路径：从采购到复盘的四步轮子

阿德的做菜流程可以拆成四步：逛菜市场买食材、把坏叶子挑掉、下锅试做、收工写复盘。Self-Improvement 的实施路径也正好是这四步的映射：数据生成对应「采购」，数据筛选对应「挑叶子」，模型训练对应「下锅」，迭代循环对应「复盘」。

第一步是数据生成。推理模型拿到一批提示（prompt），通过多路采样、不同温度或多种思维链模板，产出大量候选答案。这些答案不追求全都正确，而是追求「覆盖面广」，就像阿德会同时买西红柿、鸡蛋和一小把葱，先让食材种类丰富起来。

第二步是数据筛选，也是整个流程最容易出问题的一步。模型对自己产出的样本给出置信度评分，只有超过阈值 \(\tau\) 的样本才被保留。这种筛选可以叠加规则检查、答案校验器、一致性投票，把明显低质的「坏叶子」挑出去：

通过这四步，模型每完成一轮训练，就带着更强的能力重新进入「采购」环节。阿德也是这样：新一周的买菜清单一定会删掉上周卖相差的食材，加入上周验证过好吃的搭配。自我改进的「轮子」就这样越转越顺——但前提是每一步都有人在把关。

D^t={s∼πt(⋅∣p)  ∣  C(s)≥τ}\displaystyle \hat{\mathcal{D}}_t = \Big\{ s \sim \pi_t(\cdot \mid p) \;\Big|\; \mathcal{C}(s) \ge \tau \Big\}
这个公式像一个「质检员」：模型先写一堆候选方案（采样），质检员按置信度打分（\(\mathcal{C}(s)\)），只有分数过关的才放进训练口袋。
  1. 模型策略 \(\pi_t\)当前模型对提示 \(p\) 生成答案的概率分布，决定「阿德这顿饭打算怎么做」。
    πt(⋅∣p)\pi_t(\cdot \mid p)
  2. 采样候选答案 \(s\)从模型分布中抽取多个候选输出，相当于「写下三种做菜方案」。
    s∼πt(⋅∣p)s \sim \pi_t(\cdot \mid p)
  3. 置信度评分 \(\mathcal{C}(s)\)用模型概率、规则校验或一致性评估给每个答案打分。
    C(s)\mathcal{C}(s)
  4. 筛选阈值 \(\tau\)分数超过阈值才被保留，代表了「宁可少收，也不收坏」的质量底线。
    C(s)≥τ\mathcal{C}(s) \ge \tau
  5. 过滤后的集合 \(\hat{\mathcal{D}}_t\)最终进入训练集的高质量自产数据，就像挑完叶子后留下的一篮干净蔬菜。

核心优势：没有主厨也能进步的秘密

为什么 Self-Improvement 让整个行业兴奋？想象一下：如果阿德的每一道菜都需要主厨亲自尝一口、写评语，他一天最多练三道菜；但如果他能自己试菜、自己判断、自己复盘，他一天可以练三十道。推理模型的核心优势正是这种「自我造血」能力。

第一，它显著降低人工标注成本。过去的监督训练需要人类专家逐条标注推理过程，数学题要标步骤，代码题要标错误点，成本极高。Self-Improvement 让模型自己生成候选答案，再用规则或验证器筛选，构建训练集的边际成本大幅下降。第三，它能突破外部数据瓶颈——互联网上的高质量文本总有用完的一天，但模型内部的探索空间没有天花板。第四，它支持领域自适应：给模型一组领域提示词，它就能围绕该领域自产数据并快速适应，像阿德把番茄炒蛋的做法迁移到蛋炒饭上。

换个角度说，这项技术的本质是把「昂贵的人类试探」换成「廉价的机器试错」。但便宜不一定没好货，关键是试错的反馈回路是否诚实。阿德的菜能越做越好，是因为他每天面对真实的锅气、真实的味觉记忆；模型想获得同样的优势，就必须保证筛选标准真实反映任务目标，否则省下的成本迟早会以另一种方式还回去。

Costtotal=Cgen⏟机器生成+Cfilter⏟自动筛选≪Chuman annotation\displaystyle \text{Cost}_{\text{total}} = \underbrace{C_{\text{gen}}}_{\text{机器生成}} + \underbrace{C_{\text{filter}}}_{\text{自动筛选}} \ll C_{\text{human annotation}}
这个不等式是「成本账」：机器生成候选数据加自动筛选的钱，远远小于人类专家逐条标注的钱。省下来的钱和人力，可以用来探索更难的任务。
  1. 生成成本 \(C_{\text{gen}}\)模型执行推理、产生候选输出所需的算力与时间开销。
    CgenC_{\text{gen}}
  2. 筛选成本 \(C_{\text{filter}}\)置信度计算、规则校验、外部评测器等自动判断的成本。
    CfilterC_{\text{filter}}
  3. 人工标注成本 \(C_{\text{human annotation}}\)专家逐条写答案、写评语的昂贵费用。
    Chuman annotationC_{\text{human annotation}}
  4. 远小于号 \(\ll\)二者相加的总成本远远低于纯人工方式，这是 Self-Improvement 能规模化的核心经济动因。
    Cgen+Cfilter≪Chuman annotationC_{\text{gen}} + C_{\text{filter}} \ll C_{\text{human annotation}}

风险挑战：当厨师只听自己的回声

阿德有个坏毛病：他从不问顾客味道如何，只相信自己舌尖的直觉。某天他手一抖多放了盐，觉得「咸一点更有味道」，于是写进笔记；第二天照着笔记做，又觉得「还可以更咸」，于是继续加码。三个月后，他的番茄炒蛋咸到没人能下咽，他却坚信这才是正宗。

这就是自我强化偏差（self-reinforcement bias）的生动写照。当模型反复用自己的输出作为训练标签，而没有外部信号纠偏时，小错误会在代际间被逐步放大。更隐蔽的是，模型会逐渐丧失输出多样性：早期还能给出多种解题思路，后期却收敛到同一种「听起来很自信」的错误模式。我们把这种现象写成数学语言：

这正是今天 Self-Improvement 被视为「开放问题」的核心原因：它既是引擎，也是隐患。如果只循环不校正，模型会在「自信的错误」里越陷越深，最终表现为能力曲线先升后降。阿德最终是靠一位老顾客的皱眉才惊醒；模型也需要一个「外部皱眉信号」来打断盲目的自我循环。

KL(πt(⋅∣x) ∥ πref(⋅∣x))→0,H[πt]↓\displaystyle \mathrm{KL}\big(\pi_t(\cdot \mid x) \,\|\, \pi_{\text{ref}}(\cdot \mid x)\big) \to 0, \qquad H[\pi_t] \downarrow
这个表达式说的是：当前模型的输出分布与参考分布越来越像（KL 散度趋近于 0），同时输出的信息熵越来越低。翻译成生活语言就是：厨师每天都在重复同一道偏咸的菜，还觉得自己很稳定。
  1. KL 散度衡量两个概率分布之间的距离，分布越接近数值越小。
    KL(πt(⋅∣x) ∥ πref(⋅∣x))\mathrm{KL}\big(\pi_t(\cdot \mid x) \,\|\, \pi_{\text{ref}}(\cdot \mid x)\big)
  2. 当前策略 \(\pi_t\)第 \(t\) 轮自我改进后的模型输出分布。
    πt(⋅∣x)\pi_t(\cdot \mid x)
  3. 参考策略 \(\pi_{\text{ref}}\)训练早期或未经过度自我强化的模型的输出分布，相当于「没被带偏之前的阿德」。
    πref(⋅∣x)\pi_{\text{ref}}(\cdot \mid x)
  4. 趋近于零当前策略与参考策略几乎重合，模型不再探索新答案，而是复读自己的旧观点。
    →0\to 0
  5. 熵下降 \(H[\pi_t] \downarrow\)输出的信息熵降低，意味着多样性收缩，候选答案越来越同质化。
    H[πt]↓H[\pi_t] \downarrow

缓解策略：给自我循环装三道刹车

阿德痛定思痛，给自己立了三条规矩：第一，每周请一位老顾客免费试菜并打分；第二，每道菜至少保留一种新的配料组合，不让自己陷入路径依赖；第三，每月翻出三个月前的旧菜谱对比，防止自己悄悄跑偏。这三条规矩，恰好对应缓解自我强化偏差的三类技术。

第一条是「人机混合反馈」，让少量真实人类反馈作为锚点。模型生成大量候选数据，机器先粗筛一遍，再用少量人工精校关键样本，把「机器的高通量」和「人类的准确性」组合起来。第二条是「多样性约束」，在采样时提高温度、限制重复、增加提示模板，甚至显式惩罚与已有样本过于相似的输出，强迫模型保持探索空间。第三条是「外部验证」，引入独立的评测集、规则校验器或沙箱执行环境，让模型无法只靠自我感觉打分。

这些策略本质上是给自我改进的「油门」配了一套「刹车系统」。油门保证探索速度，刹车保证不偏离正道。阿德的餐馆因此活了下来：他既保持了自我迭代的快节奏，又通过顾客反馈和旧菜谱对照，把「越练越偏」的风险摁在了可控范围内。

Lt=Ltask+λ⋅KL(πθ(⋅∣x) ∥ πref(⋅∣x))\displaystyle \mathcal{L}_t = \mathcal{L}_{\text{task}} + \lambda \cdot \mathrm{KL}\big(\pi_\theta(\cdot \mid x) \,\|\, \pi_{\text{ref}}(\cdot \mid x)\big)
这是「策略正则化」的典型形式：在正常训练损失之外，加一项「不许离旧模型太远」的惩罚项，就像阿德每个月都要翻旧菜谱一样，保证变化在安全范围内。
  1. 任务损失 \(\mathcal{L}_{\text{task}}\)模型在合并数据集上完成自身任务时的损失，代表「把新菜做好」的目标。
    Ltask\mathcal{L}_{\text{task}}
  2. 正则系数 \(\lambda\)控制「守旧」与「创新」的平衡权重，太大则停滞，太小则失控。
    λ\lambda
  3. KL 惩罚项约束新策略不要偏离参考策略太远，以免自我强化把模型带偏。
    KL(πθ(⋅∣x) ∥ πref(⋅∣x))\mathrm{KL}\big(\pi_\theta(\cdot \mid x) \,\|\, \pi_{\text{ref}}(\cdot \mid x)\big)
  4. 总损失 \(\mathcal{L}_t\)任务目标和安全约束的加权求和，最小化它就能兼顾进步与稳定。
    Lt=Ltask+λ⋅KL\mathcal{L}_t = \mathcal{L}_{\text{task}} + \lambda \cdot \mathrm{KL}

应用场景：把私房菜变成连锁菜单

阿德的自我改进方法验证成功后，决定开连锁店。他发现自己那套「写笔记、挑毛病、再练习」的流程，可以迁移到完全不同的菜品上：数学炖汤、代码炒饭、专家知识佛跳墙。推理模型的 Self-Improvement 也是这样，同一个机制可以沿用到多个高价值场景。

在数学推理场景中，模型先针对题目生成多条思维链和多份答案，再用符号计算器或规则引擎验证答案是否正确，只把验证通过的样本喂回训练集。在代码生成场景中，模型写函数的同时生成测试用例，在沙箱里执行，测试全部通过才进入下一轮微调。在专家知识领域，模型依据检索到的文献生成问答对，再经过引用合理性验证和人工抽检，形成低成本、高质量的垂直领域数据闭环。

可以说，Self-Improvement 的应用逻辑非常统一：先让模型大胆产出，再借助「可自动验证的客观信号」筛选优质样本，循环迭代。数学有标准答案，代码有测试用例，专家知识有引用验证——这些外部信号越强，自我改进的飞轮就越可靠。阿德的连锁菜单能开一家火一家，正是因为他给每一道菜都找到了自己的「裁判」。

pass@k=1k∑i=1kI[exec(si)=GT]\displaystyle \mathrm{pass@k} = \frac{1}{k}\sum_{i=1}^{k} \mathbb{I}\big[\text{exec}(s_i) = \text{GT}\big]
这个公式是「正确率考核表」：模型针对同一道题生成 \(k\) 个答案，执行验证后统计其中有多少个与标准答案一致。它常用在数学和代码任务中，作为自产数据筛选的硬指标。
  1. 候选数 \(k\)模型为每个问题生成的答案数量，阿德会一次性试做 \(k\) 种配方。
    kk
  2. 答案 \(s_i\)第 \(i\) 个候选答案（或程序输出）。
    sis_i
  3. 执行验证 \(\text{exec}(s_i)\)运行代码或计算结果，看它是否等于标准答案。
    exec(si)\text{exec}(s_i)
  4. 标准答案 \(\text{GT}\)人工预置的正确答案，是外部客观的「裁判」。
    GT\text{GT}
  5. 指示函数 \(\mathbb{I}\)条件成立计 1，否则计 0，最后求平均得到通过率。
    I[exec(si)=GT]\mathbb{I}\big[\text{exec}(s_i) = \text{GT}\big]

未来展望：当每个厨师都能自我进化

阿德最终把整套方法论写成一本书，店里的每一位新厨师都按这个流程训练：先按自己的方式做，再记录、筛选、反思、迭代。餐厅不再依赖某一个天才主厨，而是拥有了「批量制造进步」的能力。这也是 Self-Improvement 给 AI 行业描绘的未来：推理模型不只是被人类训练的工具，而是能自主进化的智能体。

但这条路上还横着几个开放问题：如何设计足够强的自动验证信号，让模型明辨是非？如何界定「自我改进」与「自我欺骗」的边界？当模型大量使用自产数据训练，原始人类知识会不会被逐渐稀释？通用模型在向专业领域纵深发展的过程中，如何保持基础能力的稳定性？这些问题没有标准答案，但都指向同一个核心矛盾——进步与安全的平衡。

从「通用」走向「专业」，从「人类教模型」走向「模型教自己」，Self-Improvement 正在重新定义智能的进化方式。阿德的故事最终告诉我们：自主进化不是没有约束的自由生长，而是在验证、筛选和安全边界之内的持续迭代。谁能把这个循环设计得又快又稳，谁就掌握了下一代推理模型的核心引擎。

Acct⏟能力不断提升↗subject toEx∼Dt[KL(πt ∥ π0)]≤ε\displaystyle \underbrace{\text{Acc}_t}_{\text{能力不断提升}} \nearrow \quad \text{subject to} \quad \mathbb{E}_{x \sim \mathcal{D}_t}\big[\mathrm{KL}(\pi_t \,\|\, \pi_0)\big] \le \varepsilon
这个式子描绘了自主进化的理想形态：能力指标持续上升，但每一步与最初模型的距离（KL 散度）都被限制在一个安全边界 \(\varepsilon\) 内。就像连锁店的扩张速度可以很快，但每一家分店的食品安全底线不能丢。
  1. 能力指标 \(\text{Acc}_t\)第 \(t\) 轮模型的性能度量，可以在任务准确率、生成质量等维度上定义。
    Acct\text{Acc}_t
  2. 持续提升 \(\nearrow\)能力随迭代轮次单调上升，这是自我改进的目标。
    ↗\nearrow
  3. 距离约束 \(\mathbb{E}[\mathrm{KL}]\)模型与初始版本之间的平均差异，用来衡量「漂移程度」。
    Ex∼Dt[KL(πt ∥ π0)]≤ε\mathbb{E}_{x \sim \mathcal{D}_t}\big[\mathrm{KL}(\pi_t \,\|\, \pi_0)\big] \le \varepsilon
  4. 安全边界 \(\varepsilon\)允许的最大漂移量，超出则触发回滚或人工干预。
    ε\varepsilon

AI 应用场景

场景 1：数学推理训练

阶段：数据构建 / 强化推理

解决的问题：数学推理数据标注成本极高，专家逐题手写解题步骤既慢又贵。传统方法只能依赖有限的人工思维链数据，模型推理能力很快触顶。Self-Improvement 让模型先生成大量解题思路，再用符号计算器自动验证答案正确性，把通过验证的样本作为下一轮训练数据，几乎以零标注成本持续扩充高质量数据池。

具体案例：训练一个数学推理模型时，先给模型 1000 道带标准答案的题目，让模型每道题生成 16 条思维链；运行 Python 验证器筛选出答案正确的链，与原有数据合并后继续微调；下一轮再用更强模型生成更多候选，反复迭代后测试集通过率显著提升。

场景 2：代码生成技能迭代

阶段：模型反馈训练

解决的问题：代码生成的正确性很难用人工判断，逐行审查代码不仅耗时，而且无法覆盖所有执行路径。Self-Improvement 可以将「沙箱执行不报错且测试通过」作为自动验证信号，构建代码生成的正反馈循环。

具体案例：让代码大模型为一个函数写出实现和测试用例，在隔离沙箱中运行；测试通过率达到 100% 的样本被保留，与人工精选的种子数据混合继续训练。多轮迭代后，模型在 HumanEval 等基准上的 pass@1 持续提升，且未出现明显的自我强化退化。

场景 3：垂直领域知识蒸馏

阶段：领域微调与校准

解决的问题：医疗、法律等垂直领域的高质量标注极度依赖专家，直接微调成本高昂。Self-Improvement 结合检索引用验证，让模型围绕领域文档自产问答对，并用「答案是否可被原文支撑」这一硬标准过滤噪声样本。

具体案例：在医疗问答场景中，模型依据权威临床指南生成「问题-证据-答案」三元组，通过引用匹配和语义一致性双重验证后进入训练集；工程师只对少数边界案例做人工抽检，最终将领域微调的标注成本降低约 70%，同时保持回答准确率与安全可控性。

Python 演示

python48 行
import numpy as npfrom sklearn.linear_model import LogisticRegression rng = np.random.default_rng(7) def true_label(X):    # 非线性边界: x1^2 + x2^2 > 1.2 判定为正类    return (np.sum(X ** 2, axis=1) - 1.2 > 0).astype(int) def sample_data(n):    X = rng.uniform(-2.2, 2.2, size=(n, 2))    return X, true_label(X) def high_conf_samples(model, X, delta=0.3):    p = model.predict_proba(X)[:, 1]    keep = np.maximum(p, 1 - p) >= 0.5 + delta    return X[keep], (p[keep] > 0.5).astype(int) def evaluate(model, n=1000):    X, y = sample_data(n)    return model.score(X, y) def main():    # 只有少量人工标注, 模拟昂贵的标注环境    X0, y0 = sample_data(240)    base = LogisticRegression(max_iter=1000)    base.fit(X0, y0)     # 模型自己生成大量候选样本, 再用高置信度筛选    pool_X, _ = sample_data(4000)    X_pick, y_pick = high_conf_samples(base, pool_X)     # 把自产数据合入训练集, 再次训练得到改进模型    improved = LogisticRegression(max_iter=1000)    improved.fit(        np.vstack([X0, X_pick]),        np.concatenate([y0, y_pick])    )     before = evaluate(base)    after = evaluate(improved)    print("人工标注样本:", len(X0))    print("自生成并通过筛选的样本:", len(X_pick))    print("基线准确率:", round(before, 3))    print("自改进后准确率:", round(after, 3)) if __name__ == "__main__":    main()
目的：实现一个最小版 Self-Improvement 训练循环，用少量人工标注训练基线模型，再用基线模型自身的高置信度筛选结果扩充训练集，对比改进前后的准确率并观察自我强化风险。
  1. def true_label(X):模拟外部世界的真实标签，作为筛选和评估的「裁判」。
  2. X0, y0 = sample_data(240)只生成 240 条人工标注数据，对应昂贵的标注成本。
  3. pool_X, _ = sample_data(4000)模拟模型产生 4000 条候选自产数据。
  4. high_conf_samples(base, pool_X, delta=0.3)用置信度门槛过滤低质量样本，对应正文中的数据筛选。
  5. np.vstack([X0, X_pick])把原始标注与自产数据合并，对应 \(\mathcal{D}_t \cup \hat{\mathcal{D}}_t\)。
  6. improved.fit(...)在合并数据集上重新训练，形成一轮迭代。
  7. if __name__ == "__main__":提供可直接执行的程序入口，运行后即可观察改进效果。

常见误区

误区模型每次用自己的数据训练，就会自动变得更聪明，像滚雪球一样无限增强。

正解如果只吃自己的数据且没有外部验证，错误会在代际间放大，形成自我强化偏差，能力反而退化。就像阿德只信自己的味觉，越做越咸。真正的 Self-Improvement 必须搭配筛选、外部信号和人工抽查，才能保证「越练越强」而不是「越练越偏」。

为何常见：「自我改进」这个名字暗示了单向的正向提升，让人忽略了噪声反向累积和多样性丧失的风险。

误区模型生成的样本反正不要钱，全部塞进训练集，数据量越大效果一定越好。

正解不加筛选的自产数据会把低质量答案、重复内容和错误模式一起放大。正确做法是像挑菜一样设置多重门槛：置信度过滤、多样性筛选、外部验证。每一条低质量数据的进入，都会在下一轮迭代中产生连锁反应。

为何常见：数据越多效果越好的直觉在传统监督学习中成立，但自产数据的「质量坏账」和人工标注数据完全不同。

误区有了自我改进机制，人类标注就可以彻底退出训练流程。

正解目前实践中仍需少量高质量人工反馈作为锚点，尤其是在医疗、法律等高风险领域。人工的作用不是提供海量数据，而是校验关键信号、阻断系统性偏差。Self-Improvement 降低的是标注成本，而不是把人类从反馈回路中完全移除。

为何常见：「自我」一词容易让人误以为闭环可以脱离人类；实际上闭环越封闭，越需要一个外部真实信号来校准方向。

误区模型能自己生成并学习数据，就该能掌握超越人类专家的知识。

正解自我改进只能重组模型已有知识，形成新的组合和推理路径，但无法凭空创造模型外的事实。没有外部验证时，它可能只是「自己说服自己」。真正的上限由外部验证信号和高质量种子知识共同决定，而不是循环次数。

为何常见：AI 自主进化的宣传过于激进，让人误以为自产数据可以无中生有地产生新知识。

面试题

Q1. Self-Improvement 最核心的循环是？

单选题 · easy

  • A.先人工标注再训练模型
  • B.自产数据经筛选后迭代训练← 正确答案
  • C.只增大模型的参数规模
  • D.从外部购买更多数据训练

答案：B。Self-Improvement 的关键在于模型自己生成数据，再通过筛选和训练反哺自身。A 是传统监督学习，C 是规模扩展，D 是外部数据增强，均不具备「自产自销」的闭环特征。

Q2. 自我强化偏差的主要来源是？

单选题 · easy

  • A.训练数据全部来自模型外部
  • B.反复使用自产输出充当标签← 正确答案
  • C.模型参数规模被设置太小
  • D.训练轮次太长导致过拟合

答案：B。自我强化偏差指模型用自己的输出作为训练标签，错误被反复放大。A 是外部数据免受此影响；C 是容量问题；D 的过拟合是普遍现象，但不是自我改进特有的偏差来源。

Q3. 以下哪些做法能缓解自我强化偏差？

多选题 · hard

  • A.融合小规模人机混合反馈← 正确答案
  • B.增加生成样本多样性约束← 正确答案
  • C.引入外部验证集做锚定← 正确答案
  • D.长期循环不筛选自产数据

答案：ABC。人机混合提供真实反馈，多样性约束防止收缩，外部验证集充当客观标尺，三者都是有效缓解手段。D 恰恰是加剧偏差的做法，不筛选会导致噪声无限累积。

Q4. 下列哪项属于自生成数据的主要来源？

单选题 · easy

  • A.人类专家手工编写的示例
  • B.模型经提示采样得到的答案← 正确答案
  • C.爬虫从互联网抓取的文本
  • D.OCR 识别出的古籍扫描件

答案：B。自生成数据强调「由模型自己产出」。B 是模型在提示下采样得到的答案，符合定义。A、C、D 都属于外部数据来源，不是模型自我生成的产物。

Q5. 筛选高质量自生成数据时，通常不依赖哪种手段？

单选题 · mid

  • A.置信度阈值过滤机制
  • B.自动化规则检查工具
  • C.外部评测器赋分数值
  • D.模型中间层随机初始化← 正确答案

答案：D。置信度、规则检查和外部评测器都是常见筛选手段。随机初始化是训练前的参数设定，与数据筛选无关，属于干扰项。

Q6. 简单把自生成数据反复加入训练集，可能带来哪些退化？

多选题 · hard

  • A.错误模式随迭代被放大← 正确答案
  • B.输出多样性逐渐下降← 正确答案
  • C.模型校准能力被削弱← 正确答案
  • D.参数数量会自动减少

答案：ABC。不加筛选的迭代会让噪声误差被强化（A），输出分布收敛到同质模式（B），模型对自身错误越发自信、校准变差（C）。D 与训练机制无关，参数数量不会自动减少。

Q7. 在人机混合反馈中，人的核心价值是什么？

单选题 · mid

  • A.提供无限量的训练样本
  • B.校验少量关键反馈信号← 正确答案
  • C.把模型参数全部重置
  • D.显著加速模型推理速度

答案：B。人的价值在于当机器筛选失效时提供不可替代的真实反馈，纠正系统性偏差。A 与「少量人机混合」矛盾；C 是粗暴回滚；D 是工程问题，不属于反馈价值。

Q8. 关于 Self-Improvement 的核心优势，以下正确的是？

多选题 · mid

  • A.减少对人工标注的依赖← 正确答案
  • B.突破外部数据供给瓶颈← 正确答案
  • C.支持垂直领域快速自适应← 正确答案
  • D.完全消除训练过拟合

答案：ABC。自产数据确实降低人工依赖、缓解数据荒，并能围绕领域提示词快速自适应。但「完全消除过拟合」说法过于绝对，任何训练方式都无法承诺完全消除过拟合。

Q9. \(\mathrm{KL}(\pi_{\text{current}} \| \pi_{\text{ref}})\) 趋近于 0 时，最可能发生哪种情况？

单选题 · hard

  • A.分布趋同且采样多样性下降← 正确答案
  • B.分布背离且采样多样性扩张
  • C.模型参数的数值趋于无穷
  • D.模型训练损失不再发生变化

答案：A。KL 趋近 0 表示当前策略与参考策略几乎重合，模型不再探索新答案，输出日益同质化。B 与 KL 几何意义相反；C 与 D 与 KL 散度没有直接关联。

Q10. 未来 Self-Improvement 最关键的开放问题是什么？

单选题 · mid

  • A.生成更多同质化自产数据
  • B.兼顾自主进化与安全可控← 正确答案
  • C.彻底移除人类反馈信号
  • D.让模型跳过推理直接输出

答案：B。核心矛盾在于模型既要靠自产数据高速进化，又必须防止自我强化偏差导致失控。B 准确地概括了这一开放问题。A 恰恰是风险来源；C 不够现实；D 与推理模型的目标背道而驰。