想象一位刚出师的小画家。她从师父那里学了构图、用色和笔法，但师父不能永远站在身后点评每一幅画。于是她开始了一个大胆的练习：自己出题、自己创作、自己挑毛病、自己修改。她画出新作，从中挑出满意的裱在墙上，把不满意的揉进废纸篓；然后对着墙上的好作品反复临摹与改进。几个月后，她的画技真的进步了。但隐患也在悄悄滋长——如果她只顾着临摹自己仅有的几幅画，画风会越来越单一，再也画不出令人惊喜的新鲜题材。 这个“小小的自我精进循环”，正是大模型自我改进机制（Self-Improve）的缩影。大模型不再只靠人类标注的数据“喂大”，而是把自己生成的文本当作新型训练材料，自己给自己当老师、当评委、当教练。本文就用小画家的故事，带你走完这条从“生成→过滤→奖励→再训练”的自我进化之路，也看清它脚下的险坡。

岗位关联

学懂自我改进，你就能在数据标注成本高企的今天，让模型在有限人工参与下持续提升性能，是走向数据高效大模型的关键能力。

目录
  1. 可视化演示
  2. 自我改进总览
  3. 数据生成策略
  4. 数据过滤机制
  5. Self-Rewarding机制
  6. 迭代训练收敛
  7. 模式坍塌风险
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示LLM自我改进的Gen→Filt→Train→Eval循环流程，模型生成数据后过滤训练再评估，持续迭代提升能力，同时警示模式坍塌风险。

本节配有交互动效（进入视口后自动加载，约 3KB）。

Self-Improve自训练循环 Gen→Filt→Train→Eval四步循环，LLM利用自身生成数据迭代训练，减少人工标注依赖 Self-Improve: Generate → Filter → Train → Evaluate 警惕模式坍塌风险：模型可能在自训练中逐渐丧失多样性

自我改进总览

出师那天，师父送给小画家一句话：“师父只能陪你到这里，往后的日子，你要学会从自己的画里学习。”小画家半信半疑：不从师父那里学，还能从哪儿学？于是她试着自己出题、自己画、自己挑毛病，没想到几个月后，她的进步速度比在师父身边时还快。

大模型的自我改进（Self-Improve）正是这个道理：模型不再依赖每一条人类标注，而是把自己生成的输出当作训练材料，循环提升。人类像“师父”一样，只负责提供启动时的基础能力和监督大方向，具体的数据生产、筛选、打分，都交给模型自己完成。这种能力并非天生就有，而是大模型在大量预训练后涌现出的高阶能力。

自我改进的完整回路包含四步：数据生成、数据过滤、自我奖励（Self-Rewarding）、迭代训练。小画家从“画草稿”开始，每一步都对应着模型的一项具体操作。我们先从公式上理解它是如何“从自己身上取经”的。

所以，系统学习 self-improve 时，第一步就是“让模型先画起来”——产生属于自己的第一批训练数据。无论后面如何过滤、如何奖励，源头都在这一批 $\tilde{y}_i$ 上。

Dself={(xi,y~i)}i=1N,y~i∼Pθ(⋅∣xi)D_{self} = \left\{ (x_i, \tilde{y}_i) \right\}_{i=1}^{N}, \quad \tilde{y}_i \sim P_{\theta}(\cdot \mid x_i)
这个公式描述了自我改进的起点：模型用一个提示 $x_i$ 生成回答 $\tilde{y}_i$，把 $N$ 条这样的“自产自销”样本收集成数据集 $D_{self}$。
  1. $D_{self}$代表“自生成数据集”，也就是模型自己产出、自己要用的训练材料。
    Dself={(xi,y~i)}i=1ND_{self} = \{(x_i, \tilde{y}_i)\}_{i=1}^{N}
  2. $x_i$第 $i$ 条提示词，相当于小画家给自己出的“题目”。
    xi=第  i  条输入提示x_i = \text{第} \; i \; \text{条输入提示}
  3. $\tilde{y}_i$模型读题后写出的答案，注意它头上带个波浪号，表示“生成出来的候选”，而非唯一的正确答案。
    y~i=模型生成的回答样本\tilde{y}_i = \text{模型生成的回答样本}
  4. $\sim$读作“采样自”，表示从概率分布里随机抽取，而不是每次都选最稳妥的那一个。
    y~i∼Pθ(⋅∣xi)\tilde{y}_i \sim P_{\theta}(\cdot \mid x_i)
  5. $P_{\theta}$当前模型参数 $\theta$ 决定的条件概率分布，模型“脑子里”所有可能的回答方式都装在这里。
    Pθ(⋅∣xi)=给定提示后的输出分布P_{\theta}(\cdot \mid x_i) = \text{给定提示后的输出分布}

数据生成策略

小画家发现，如果每次都按同样的构图、同样的配色作画，画出来的东西几乎一样，根本没法从中吸取新经验。于是她试着换不同的画纸、不同的光线角度、甚至故意用不顺手的那只手画画，草稿的多样性一下子丰富起来。

大模型的“换手”就是数据生成策略。模型从概率分布 $P_{\theta}(y \mid x)$ 中采样输出时，可以调节三个旋钮：温度（temperature）、Top-p 采样、提示词设计。温度控制分布的“松紧”：温度越低，模型越倾向于只选概率最高的词；温度越高，那些平时被埋没的“冷门”词汇也有机会冒头。

Top-p 则是另一种策略：只保留概率加起来达到 $p$ 的那批候选词，再从中重新归一化采样，既能控制质量，又保留随机性。提示词多样化则像是小画家换题目——同一件事换问法，模型的输出风格和视角就会大不一样。三者配合，才能生成一个既有广度又有深度的候选池。

小画家铺开风格各异的草稿，模型则借助温度和截断在回答空间里“撒网”。网络撒得越开，后面的筛选才越有东西可挑。

y~∼Pθ(y∣x,τ)=exp⁡(zy/τ)∑y′exp⁡(zy′/τ)\tilde{y} \sim P_{\theta}(y \mid x, \tau) = \frac{\exp(z_y / \tau)}{\sum_{y'} \exp(z_{y'} / \tau)}
这是带温度 $\tau$ 的 softmax 公式：它把模型的原始得分 $z_y$ 变成一个概率分布。$\tau$ 越大，分布越平坦，输出越多样。
  1. $z_y$模型对候选词 $y$ 打的原始分数（logits），相当于“在画家心中的选题优先级”。
    zy=模型输出的原始分数z_y = \text{模型输出的原始分数}
  2. $\tau$温度参数，控制分布的锐利程度。$\tau=1$ 时是原始分布，$\tau$ 越大越均匀。
    τ=温度参数，越大越多样\tau = \text{温度参数，越大越多样}
  3. $\exp(z_y / \tau)$对分数做指数放缩，让高分候选和低分候选拉开差距，但温度会削弱这种差距。
    exp⁡(zy/τ)=指数化后的加权值\exp(z_y / \tau) = \text{指数化后的加权值}
  4. $\sum_{y'}$对词汇表里所有候选求和，用来归一化，保证所有概率加起来等于 1。
    ∑y′exp⁡(zy′/τ)=归一化因子\sum_{y'} \exp(z_{y'} / \tau) = \text{归一化因子}
  5. $\tilde{y} \sim$最终从这个归一化概率分布中随机采样一个输出。
    y~∼Pθ(y∣x,τ)\tilde{y} \sim P_{\theta}(y \mid x, \tau)

数据过滤机制

草稿堆满了半间画室，小画家却犯难了：有些构图歪得离谱，有些色彩脏得没法看，直接照这样练下去，画技只会倒退。她咬了咬牙，只留下真正“像样”的十几幅，其余的全部扔掉——墙上的画册从此成了她唯一的练习蓝本。

模型面临一样的困境：自生成样本里往往混着幻觉、语法错误、语义重复的“废稿”。如果全部喂回模型训练，错误会被放大成下一轮的“风格”。因此必须过滤（filtering）。常见手段有三类：规则过滤（长度异常、重复度过高）、模型评分（用更可靠的大模型给样本打分）、去重清洗（去掉近似重复样本）。过滤越严格，留下的样本越精，但也要防止把多样性也一起滤掉了。

小画家墙上的画越来越精，是因为她敢于对废稿下狠手。模型的过滤机制，就是那道决定“留下谁”的手腕。

Dfiltered={d∈Draw∣score(d)≥τ}D_{\text{filtered}} = \left\{ d \in D_{\text{raw}} \mid \text{score}(d) \geq \tau \right\}
过滤的本质是设一道分数线：只保留质量分不低于阈值 $\tau$ 的样本 $d$。
  1. $D_{\text{raw}}$原始生成池，也就是模型刚吐出来的全部草稿集合。
    Draw={全部未筛选的生成样本}D_{\text{raw}} = \{\text{全部未筛选的生成样本}\}
  2. $d$池子里的一条样本，对应一幅“待检验的草稿”。
    d=一条生成样本d = \text{一条生成样本}
  3. $\text{score}(d)$质量评分函数，可以是规则打分，也可以是裁判模型的打分。
    score(d)=样本质量评分\mathrm{score}(d) = \text{样本质量评分}
  4. $\geq \tau$阈值条件，评分不到线的样本一律出局。
    score(d)≥τ=通过分数线\text{score}(d) \geq \tau = \text{通过分数线}
  5. $D_{\text{filtered}}$过滤后的干净集合，是下一轮训练真正使用的材料。
    Dfiltered={过滤后的高质量子集}D_{\text{filtered}} = \{\text{过滤后的高质量子集}\}

Self-Rewarding机制

画到第三个月，小画家发现自己不仅能挑出好画，还能像师父那样说出“好在哪里”：“这幅的留白舒服，那幅的颜色太跳。”她甚至开始给自己的作品打分、写评语。这时，她既是画家，又是评委。

这正是 Self-Rewarding 语言模型的核心：同一个模型同时承担两个角色——生成者与评审者。它不仅输出文本，还输出对自己的奖励评分（reward），然后用这个分数指导自己的更新。与“过滤”不同，过滤只是“留下或扔掉”二元选择；Self-Rewarding 给出的是连续分数，这分数能直接进入强化学习或偏好优化目标，让模型逐步学会“什么是好回答”。

小画家逐渐把师父的审美“内化”成了自己的判断力。Self-Rewarding 做的正是这件事：外部的师父可以离开，但“心中的评委”永远随行。

rθ(x,y)=LLM_judge(y∣x),LSR=−E(x,y)∼Dself[rθ(x,y)⋅log⁡Pθ(y∣x)]r_{\theta}(x, y) = \mathrm{LLM\_judge}(y \mid x), \qquad \mathcal{L}_{\mathrm{SR}} = -\mathbb{E}_{(x,y) \sim D_{\mathrm{self}}} \left[ r_{\theta}(x, y) \cdot \log P_{\theta}(y \mid x) \right]
自我奖励损失的含义是：让模型更愿意生成那些“连自己都打高分”的回答。评委和画家是同一个大脑，但分工不同。
  1. $r_{\theta}(x, y)$模型对自己生成的回答 $y$（在提示 $x$ 下）给出的奖励分数。
    rθ(x,y)=模型的自评分r_{\theta}(x,y) = \text{模型的自评分}
  2. $\mathrm{LLM\_judge}(y \mid x)$把模型当作裁判，要求它对回答质量做出评判。
    LLM_judge(y∣x)=模型扮演评审角色\mathrm{LLM\_judge}(y \mid x) = \text{模型扮演评审角色}
  3. $\mathbb{E}_{(x,y) \sim D_{self}}$对自生成数据集里所有样本求平均（期望）。
    E(x,y)∼Dself[⋅]=在自生成数据上取平均\mathbb{E}_{(x,y) \sim D_{\mathrm{self}}}[\cdot] = \text{在自生成数据上取平均}
  4. $r_{\theta}(x,y) \cdot \log P_{\theta}(y \mid x)$用奖励分数去加权对数似然——分数高的样本得到更大的学习权重。
    rθ⋅log⁡Pθ=奖励加权的对数似然r_{\theta} \cdot \log P_{\theta} = \text{奖励加权的对数似然}
  5. 负号配合梯度下降，让模型朝着“提高奖励期望”的方向更新参数。
    −E[⋅]=损失越小，奖励期望越高-\mathbb{E}[\cdot] = \text{损失越小，奖励期望越高}

迭代训练收敛

小画家给自己定了个规矩：每周末把墙上的画取下来，换上新的，再对着新画练一周。日子久了，她发现自己进步的速度从“每周都惊喜”慢慢变成了“好几周才有一丁点变化”。她知道——自己的画技到了一个平稳期。

这个“平稳期”就是迭代自我训练的收敛（convergence）。从算法角度看，每一轮都重复“生成→过滤→奖励→参数更新”：用当前参数 $\theta_t$ 造数据，再让数据去更新参数得到 $\theta_{t+1}$。理想情况下，损失会下降并趋平，参数变化量趋近于零。监控收敛，通常看验证集损失不再明显下降、或两轮模型输出分布的差异足够小。

要注意，收敛不等于“完全停止”：训练后期可能进入平台期，甚至因为持续吃自己的输出而开始退化。所以工程上要设早停（early stopping），并保留每一轮的验证指标，避免过度训练。

小画家进步越来越慢，不是因为她懒惰，而是因为她靠近了自己的天花板。模型训练也是如此——识别“收敛点”并适时停下，比永远闷头练下去更明智。

θt+1=θt−η∇θL(θt)\theta_{t+1} = \theta_t - \eta \nabla_{\theta} \mathcal{L}(\theta_t)
这是最经典的参数更新公式：每轮沿着损失下降最快的方向（负梯度）迈一小步，步子大小由学习率 $\eta$ 控制。
  1. $\theta_t$第 $t$ 轮迭代时模型的参数状态。
    θt=第  t  轮模型参数\theta_t = \text{第} \; t \; \text{轮模型参数}
  2. $\eta$学习率，控制每次更新的步长，小画家每天练多久、改多少，都由它决定。
    η=学习率（更新步长）\eta = \text{学习率（更新步长）}
  3. $\nabla_{\theta}\mathcal{L}$损失函数对参数的梯度，指明“朝哪个方向修改能让损失下降”。
    ∇θL(θt)=损失函数的梯度\nabla_{\theta}\mathcal{L}(\theta_t) = \text{损失函数的梯度}
  4. 负号往梯度的反方向走，因为我们要找的是损失的最低点。
    −η∇θL=沿下降方向更新- \eta \nabla_{\theta}\mathcal{L} = \text{沿下降方向更新}
  5. $\theta_{t+1}$更新后的新参数，进入下一轮迭代。
    θt+1=下一轮参数\theta_{t+1} = \text{下一轮参数}

模式坍塌风险

又过了一段日子，小画家去参加画展，发现自己的作品和一众画友放在一起时，几乎分辨不出哪张是她的：同样的构图套路、同样的配色习惯、同样的人物表情。她愣住了：“我明明每天都在练习，为什么画反而越来越像自己？”

这就是自我改进最大的暗礁——模式坍塌（mode collapse）：模型反复学习自己的输出，生成分布逐渐收缩，多样性大幅下降。小画家临摹自己的画，画风自然越来越固化；模型吃自己生成的数据，输出也越来越集中。数学上，坍塌表现为输出分布的熵（entropy）持续下降，也就是不确定性越来越少、回答越来越“千篇一律”。

缓解坍塌的方法主要有四类：在自生成数据中混合真实人类数据（“别忘了师父最初的范画”）；过滤时兼顾多样性而非只看分数；调高采样温度；以及监控熵值和分布偏移指标。记住：自我改进要的是“站得更高”，而不是“把自己关进回声室”。

小画家终于明白：一味临摹自己，最终会被自己的影子吞没。模型亦然——Self-Improve 要让分布更宽广，而不是更狭窄。守住多样性，才守住了继续进化的可能。

---

H(Pθ)=−∑yPθ(y)log⁡Pθ(y)H(P_{\theta}) = -\sum_{y} P_{\theta}(y) \log P_{\theta}(y)
熵是多样性的度量：熵高说明模型“想法多”，熵持续走低则说明模式正在悄悄坍塌。
  1. $H(P_{\theta})$输出分布的信息熵，衡量模型回答的不确定性。
    H(Pθ)=输出分布的熵H(P_{\theta}) = \text{输出分布的熵}
  2. $P_{\theta}(y)$模型输出某个候选 $y$ 的概率。
    Pθ(y)=输出候选  y  的概率P_{\theta}(y) = \text{输出候选} \; y \; \text{的概率}
  3. $\log P_{\theta}(y)$对概率取对数，概率越小的候选对熵贡献越少；概率中等时熵贡献最大。
    log⁡Pθ(y)=概率的对数\log P_{\theta}(y) = \text{概率的对数}
  4. $-\sum_y$对所有候选的概率乘对数再加负号，把“分散程度”汇总成一个数字。
    −∑yPθ(y)log⁡Pθ(y)=汇总所有候选的分散度-\sum_{y} P_{\theta}(y)\log P_{\theta}(y) = \text{汇总所有候选的分散度}

AI 应用场景

客服知识库自扩充

阶段：数据生成与过滤

解决的问题：传统客服机器人依赖大量人工标注的问答对，每新增一个产品都要重新标注，成本高且周期长。利用自我改进，可以先用大模型为已有 FAQ 生成大量“相似问题”变体，再用质量过滤筛掉语义跑偏的样本，最后微调客服模型，使覆盖率大幅提升。

具体案例：某电商平台上线新手机，运营团队把产品手册和 10 条种子 FAQ 喂给大模型，让它生成 2000 条“不同问法”的候选问法。规则过滤+模型打分后保留 500 条高质量变体，客服机器人的意图识别准确率从 72% 提升到 91%，而人工标注量只有原来的 5%。

代码生成模型的自我迭代

阶段：Self-Rewarding + 迭代训练收敛

解决的问题：代码大模型训练依赖大量高质量的“代码-注释”对，人工标注成本极高，且领域知识更新快。用 Self-Rewarding 机制，让代码模型生成多个候选解法，再让模型自己根据单元测试通过率或静态检查结果打分，筛选后加入训练集，实现“越练越强”。

具体案例：某团队训练内部代码助手时，每轮让模型生成 20 个候选 Python 函数，用自动测试用例做评分器，保留通过全部用例的样本参与下一轮训练。三轮迭代后模型在软件工程基准上的通过率从 55% 涨到 68%，并且收敛曲线清晰可见。

个性化营销文案生成

阶段：数据过滤 + 模式坍塌缓解

解决的问题：营销文案需要覆盖不同人群、不同平台、不同语气，人工产出速度跟不上需求；而如果模型只在自己生成的文案中反复训练，容易导致文案风格单一，引发用户审美疲劳。通过过滤+多样性监控，可以保证文案风格的丰富度。

具体案例：某广告平台用大模型生成新品文案，每轮加入“风格熵”监控指标；发现连续两轮熵值下降 15% 后，自动暂停迭代并混合 20% 的真实历史爆款文案继续训练，最终使文案点击率提升了 23%。

Python 演示

python39 行
"""Self-Improve 循环的最小演示用一个二分类任务模拟自我改进的核心流程：模型生成伪标签 -> 置信度过滤 -> 扩充训练集 -> 再训练""" import numpy as npfrom sklearn.linear_model import LogisticRegression # 1. 初始人类标注很少（人工标注稀缺）X_labeled = np.array([[1.5, 0.5], [1.8, 0.8], [0.2, 2.0], [0.5, 1.6]])y_labeled = np.array([1, 1, 0, 0]) # 2. 大量无标注样本，代表模型"自己生成的候选数据"rng = np.random.RandomState(42)X_unlabeled = rng.randn(200, 2) * 1.2 # 3. 真值测试集，用于模拟人工评估（真实世界中不可得）X_true = np.array([[1.6, 0.7], [0.3, 1.8], [1.4, 0.2], [0.1, 2.1]])y_true = np.array([1, 0, 1, 0]) model = LogisticRegression()threshold = 0.70max_iter = 5 for it in range(max_iter):    model.fit(X_labeled, y_labeled)    prob = model.predict_proba(X_unlabeled)[:, 1]    confidence = np.maximum(prob, 1 - prob)     keep = confidence >= threshold    pseudo_y = (prob[keep] > 0.5).astype(int)     X_labeled = np.vstack([X_labeled, X_unlabeled[keep]])    y_labeled = np.concatenate([y_labeled, pseudo_y])     acc = np.mean(model.predict(X_true) == y_true)    print("第%d轮: 新增伪标签%d条, 阈值%.2f, 测试准确率%.3f"          % (it + 1, keep.sum(), threshold, acc))
目的：演示“自生成伪标签 → 置信度过滤 → 扩充训练集 → 再训练”的自我改进完整闭环。这里的“无标注样本”模拟模型自生成数据，“置信度阈值”模拟过滤，“伪标签”模拟 Self-Rewarding 打分。
  1. prob = model.predict_proba(X_unlabeled)[:, 1]得到模型对每条无标注样本预测为正类的概率，相当于“模型给自己生成内容打分”。
  2. confidence = np.maximum(prob, 1 - prob)把概率转成置信度，得分越接近 0 或 1，说明模型越“自信”。
  3. keep = confidence >= threshold置信度过滤，只有足够自信的样本才有资格进入下一轮训练。
  4. pseudo_y = (prob[keep] > 0.5).astype(int)根据打分把高置信度样本赋予伪标签，这是 Self-Rewarding 的具体简化实现。
  5. X_labeled = np.vstack([X_labeled, X_unlabeled[keep]])把通过过滤的“自产数据”并入训练集，模拟数据扩充。
  6. model.fit(X_labeled, y_labeled)用扩充后的数据重新训练模型，完成一轮迭代自我改进。
  7. np.mean(model.predict(X_true) == y_true)在真实测试集上评估每轮能力的变化，相当于收敛监控曲线上的一个点。

常见误区

误区我以为自我改进就是让模型生成大量文本塞进训练集，反正模型自己写的内容总比没数据强，数量越多提升越大。

正解模型生成的内容里混着大量噪声、幻觉和重复文本，直接用它们训练等于让画师对着废稿临摹，错误会被放大到下一轮模型里。必须经过规则过滤、模型评分和去重重清洗，才能留下高质量样本。“宁缺毋滥”才是自学的第一原则。

为何常见：人容易直觉地认为“量变引起质变”，忽略了低质量数据带来的污染效应——这在真实训练中往往是致命的。

误区我以为 Self-Rewarding 就是让模型自己闭着眼睛给自己写个分数，分数怎么定都行，反正最后都是它自己说了算。

正解Self-Rewarding 的打分建立在模型已有的判断力之上。模型要先具备一定的审美基线（通过预训练和人类对齐获得），评出来的分数才有意义。而且打分结果还会用更可靠的基准来约束，防止模型陷入“自我感觉良好”的怪圈。

为何常见：这个误区源于把“模型自己奖励自己”理解得太简单，忽略了评审能力本身是需要训练和校准的。

误区我认为训练 10 轮一定比 5 轮强，50 轮一定比 10 轮强。自我改进嘛，越练越厉害。

正解迭代自我训练不是无脑重复。随着轮次增加，模型反复学习自己的输出，容易进入过拟合或模式坍塌，性能曲线先升后跌。实践中要监控验证损失和多样性指标，在适当的时候停止（早停），而不是一味增加轮次。

为何常见：人脑的“熟能生巧”经验被错误迁移到了模型上，忽略了模型吃自己的输出会产生反馈循环的特殊性。

误区我觉得大模型那么强大，输出千变万化，怎么可能会陷入“千篇一律”？模式坍塌应该是强化学习里的旧问题，跟大模型自我改进关系不大。

正解模式坍塌在自我改进中非常现实：模型每轮都在自己的分布内采样和训练，分布的方差会不断收缩。尤其是过滤阈值过高时，幸存样本高度同质，几轮之后模型就“话痨式复读”了。监控熵值和混合真实数据是标准防线。

为何常见：人们被大模型表层丰富的输出迷惑，忽略了反馈循环机制会悄悄压缩多样性，直到某天突然发现所有输出都变了味。

面试题

Q1. 自我改进（Self-Improve）的核心思想是什么？

单选题 · easy

  • A.用更多人类标注数据训练模型
  • B.用模型自己生成的输出训练模型← 正确答案
  • C.把模型参数复制成多份并行推理
  • D.用更大的基座模型做模型蒸馏

答案：B。自我改进的核心是“用自己的输出反哺自己”，对应小画家“从自己的画里学习”。A 是人类监督学习的传统思路；C 是推理加速手段；D 是知识蒸馏，都不属于自我改进。

Q2. 在数据生成阶段，温度参数 τ 增大会导致输出分布怎样变化？

单选题 · mid

  • A.分布更集中，倾向于选最高分
  • B.分布更均匀，生成更多样← 正确答案
  • C.分布完全不变
  • D.模型直接崩溃无法生成

答案：B。τ 越大，softmax 中的指数越“平缓”，高低分差距被抹平，采样多样性增强。τ 小则更接近贪心选最大概率，所以 B 正确，A 是 τ 减小的效果。

Q3. Self-Rewarding 语言模型中，模型同时承担了哪些角色？

多选题 · mid

  • A.文本生成者，负责产出回答← 正确答案
  • B.评审判官，给自己的回答打分← 正确答案
  • C.数据标注外包商，雇佣人工标注
  • D.训练调度器，自动调整学习率

答案：AB。Self-Rewarding 的关键是同一个模型既是“画家”（生成者）又是“评委”（评审者）。C 引入了人类标注，与自我改进的初衷相悖；D 是优化器层面的职责，与奖励机制无关。

Q4. 数据过滤机制的主要目的是什么？

单选题 · easy

  • A.让模型生成更多样化的文本
  • B.筛除低质量样本，防止污染训练← 正确答案
  • C.扩大模型的参数量以提升效果
  • D.把文本压缩成更短的表示

答案：B。过滤是“废稿回收站”，只保留质量过线的好样本，避免幻觉和噪声进入下一轮训练。A 是生成策略的目标；C 是模型架构设计；D 是嵌入表示相关的工作。

Q5. 迭代自我训练中，哪些指标适合用来判断是否收敛？

多选题 · mid

  • A.验证集损失不再明显下降← 正确答案
  • B.连续两轮模型的输出分布差异很小← 正确答案
  • C.训练集准确率恰好等于 100%
  • D.模型参数变化量趋近于零← 正确答案

答案：ABD。收敛的本质是“训练进入稳定状态”，验证损失、参数变化、输出分布差异都是合理信号。C 是过拟合的插曲，不代表收敛，反而可能是灾难性遗忘的前兆。

Q6. 模式坍塌在数学上的典型表现是什么？

单选题 · easy

  • A.模型输出的熵持续下降← 正确答案
  • B.模型输出的熵持续上升
  • C.模型损失函数变为负数
  • D.模型参数量指数级增长

答案：A。坍塌即多样性收缩，熵作为“分散程度”的度量会不断降低，就像小画家越画越像一个模子。B 是多样性增加；C 和 D 在物理上不成立。

Q7. 下列哪项策略最能有效缓解自我改进中的模式坍塌？

单选题 · mid

  • A.只使用自生成数据，保持纯净
  • B.混合真实人类数据并监控熵值← 正确答案
  • C.将过滤阈值调到最高
  • D.无限增加迭代轮数直至饱和

答案：B。“混合真实数据 + 监控熵值”是经典的防坍塌手段，相当于让画师定期看看师父的范画和外面的世界。A 和 C 都会加速多样性收缩；D 可能让模型进一步退化。

Q8. 关于迭代自训练的收敛性，下列说法正确的是？

单选题 · hard

  • A.训练轮次越多，模型一定会收敛到更优解
  • B.收敛时通常伴随验证损失的平台期← 正确答案
  • C.收敛后继续训练一定不会提升能力
  • D.收敛只与学习率有关，与数据无关

答案：B。收敛表现为验证损失进入平台期，参数变化趋缓。A 可能过拟合或坍塌；C 太绝对，收敛后偶尔也会有小幅提升；D 忽略了数据分布对收敛的深刻影响。

Q9. 关于 Self-Rewarding 机制，下列说法正确的有哪些？

多选题 · extreme

  • A.模型输出的奖励分数可直接用于强化学习← 正确答案
  • B.评审能力来自模型自身，不依赖外部裁判← 正确答案
  • C.完全不需要人类参与任何训练环节
  • D.奖励分数可以反馈到损失函数中指导更新← 正确答案

答案：ABD。Self-Rewarding 让模型自评并将分数用于强化学习或损失加权（A、D 正确），评审能力确实来自模型自身（B 正确）。但“完全不需要人类”太绝对——初始训练、安全对齐和最终评估仍需要人工参与。

Q10. 自我改进回路中，“过滤”与"Self-Rewarding"的区别在于？

单选题 · hard

  • A.过滤是连续打分，奖励是二元取舍
  • B.过滤是二元取舍，奖励是连续打分← 正确答案
  • C.两者完全相同，只是名称不同
  • D.过滤用于生成阶段，奖励用于推理阶段

答案：B。过滤把样本分成“留/不留”两堆，是二元决策；Self-Rewarding 给出连续的奖励分数，用来加权训练损失，更像“这幅画 85 分，那幅 62 分”。二者虽都是质量控制，但精细度和用途不同。