想象你是一家餐厅的主厨，刚招来一位基本功扎实但从未做过本店菜品的帮厨。这位帮厨就是“预训练后的大模型”——他读过万卷书，懂得语言和常识，但还不会按你的要求做菜。你手里的“菜谱”就是指令数据：一条条“问题→标准回答”的样本。现在你面临一个现实问题：到底该准备多少份菜谱、涵盖哪些菜系、菜谱质量要多高，才能把帮厨训练成能独当一面的厨师？是菜谱越多越好吗？如果准备了十万份菜谱，他一定比只准备一万份时强十倍吗？ 这正是“指令缩放规律”（Instruction Scaling）要回答的问题。它研究指令微调（SFT）阶段的数据规模如何影响模型遵循指令的能力。研究发现：菜谱数量与厨艺提升之间不是简单的“越多越好”，而是遵循幂律关系——起初进步飞快，随后收益递减，最终趋于饱和。不只如此，菜谱的覆盖面（多样性）、菜谱本身的准确度（质量）、以及厨房设备的底子（预训练规模），都会共同决定最终效果。 这篇内容将带你用“开餐厅”的视角，把指令数据量、多样性、质量、协同缩放、最优配比和投入决策这六件事一次看透。

岗位关联

掌握指令缩放规律，你就能科学规划 SFT 数据规模，避免盲目堆数据和浪费预算——这是大模型微调工程师和数据团队负责人最实用的决策工具。

目录
  1. 可视化演示
  2. 缩放规律由来
  3. 幂律关系
  4. 数据多样性
  5. 数据质量
  6. 协同缩放
  7. 最优配比
  8. 投入决策
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

缩放规律由来

经营一家餐厅，主厨最头疼的往往不是“怎么把某道菜做好”，而是“该准备多少份菜谱来培训新来的帮厨”。帮厨基本功扎实，但不懂本店招牌做法。你给他 10 份菜谱，他只会照猫画虎；给他 1000 份，他可能摸到了门道。可到底准备多少才划算？过去全靠老师傅拍脑袋，如今在 AI 领域，这个问题被正式摆上台面——这就是指令缩放规律研究的起点。

在大模型的世界里，这位“帮厨”就是经过海量预训练的大模型，它已经通过自监督学习读懂了海量文本，但还不擅长“听人话、办人事”。“菜谱”则是指令微调（SFT）阶段使用的指令数据——每条数据都是一组“用户指令 + 理想回复”的对子。指令缩放（Instruction Scaling）研究的就是：指令数据量 D 如何影响模型遵循指令的能力 L。早期的团队依赖经验法则，几千到几万条指令换着试，效果好坏全凭运气。

后来研究者发现，指令数据规模与模型能力之间不是简单的直线关系，而是呈现出幂律特征：数据量翻倍，性能提升的幅度却在缩水。所谓幂律，就是“一个量的变化与另一个量的幂次成正比”。这就有了指令缩放规律的一般形式——以损失 L（越小越好）为纵轴、数据量 D 为横轴：

回到餐厅的比喻：指令缩放规律就像一个“菜谱效果公式”。准备 500 份菜谱时，帮厨的厨艺进步神速；准备到 5000 份，进步开始变慢；准备到 5 万份，他几乎不再变化——因为他的提升受限于厨房设备、自身天赋（模型规模）和菜谱本身的准确性，再多菜谱也突破不了这个天花板。

L(D)=aD−b+c\displaystyle L(D)=aD^{-b}+c
这条公式是“指令缩放规律”的通用骨架：损失随数据量按幂函数下降，但永远降不到某个底线以下。
  1. 损失变量 L模型在指令任务上的期望损失，数值越小代表遵循指令的能力越强。
    LL
  2. 缩放系数 a决定损失整体量级的比例系数，数据量为 1 时损失约为 a+c。
    aa
  3. 数据量 D指令微调使用的样本条数，从几千到几百万不等。
    DD
  4. 缩放指数 -b负号表示损失随数据量增大而下降，b 越大下降越快。
    −b-b
  5. 不可约损失 c即使数据量趋近无穷也无法消除的损失底线，受任务难度和数据质量共同制约。
    cc

幂律关系

帮厨学做菜的经历往往是这样：头一个星期，他学会颠勺、掌握火候，进步肉眼可见；一个月后，他每天学新菜，但做出来的菜只是“从能吃变成好吃”；半年后，即使每天塞给他十道新菜谱，他的水平也几乎停在原地。进步的速度，从“突飞猛进”滑向“步履蹒跚”——这就是幂律关系的直观感受。

在指令缩放研究中，这种“越学越慢”的现象被精确刻画为幂律关系。具体来说，模型在某个基准任务集上的准确率 P 会随着指令数据量 D 的增加而上升，但上升的速度由 D 的负幂次控制。用公式表示：

从实际数据看，指令数据量从 1 千条涨到 1 万条，模型准确率可能提升 8 个百分点；但从 10 万条涨到 100 万条，同样的九倍增量可能只换来 1 个百分点。这与可视化演示中的曲线完全一致：绿色区域斜率陡峭，紫色区域开始变缓，红色区域几乎水平。理解这条曲线，是科学规划指令数据的第一步。

P(D)=Pmax⁡−βD−γ\displaystyle P(D)=P_{\max}-\beta D^{-\gamma}
这个公式说明：准确率起初快速增长，随后增速放缓，最终逼近理论上限 Pmax，但永远不会恰好达到它。
  1. 准确率 P(D)模型在指令遵循基准测试上的表现，是数据量 D 的函数。
    P(D)P(D)
  2. 理论上限 Pmax该任务在当前模型架构和数据质量下的最高可达准确率。
    Pmax⁡P_{\max}
  3. 差距系数 β控制当前数据量下距离上限还有多远，β 越大，起点越低。
    β\beta
  4. 负幂衰减项随 D 增大而减小的部分，驱动准确率向上限爬升。
    D−γD^{-\gamma}
  5. 缩放指数 γ决定爬升速度的关键参数。γ 越大，前期增长越猛，也越早进入平台期。
    γ\gamma

数据多样性

如果一家餐厅只教帮厨做川菜，哪怕菜谱准备了一万份，顾客点一道粤式清蒸鱼，他照样手足无措。指令数据的“菜系”就是任务类型：问答、翻译、摘要、代码生成、数学推理、角色扮演……如果数据只覆盖单一类型，模型就会严重偏科。

任务覆盖广度是衡量指令数据多样性的核心指标。研究发现，同样数量的指令数据，覆盖 50 种任务类型比只覆盖 10 种任务类型的模型，在未见过的任务上泛化能力更强。这是因为模型的指令遵循能力有一部分是“举一反三”学来的：见过的任务模式越多，越能理解“指令”这种交互形式的通用结构。此外，领域均衡分布也很重要——如果 90% 的数据都是闲聊，模型在专业任务上就会表现糟糕。

多样性对有效数据量的贡献可以这样理解：每个任务类型都有它的“容量上限”，超过上限后数据量再多也是重复劳动。把所有任务的有效贡献加起来，才是真正起作用的数据总量：

多样性的价值在长尾能力上体现得最明显。所谓长尾能力，就是那些出现频率低、但关键时刻很管用的技能——比如“用文言文写产品说明”或“从病历中提取用药禁忌”。这些能力不会因为闲聊数据多就自动获得，必须靠指令数据主动覆盖。所以，菜单不能只写招牌菜，冷门菜、甜品、汤羹都要有——多样性本身就是一种“隐藏的数据量”。

Deff=∑t=1Tmin⁡(Dt, Dmax⁡,t)\displaystyle D_{\text{eff}}=\sum_{t=1}^{T}\min(D_t,\,D_{\max,t})
有效数据量不是简单地把所有数据相加，而是每个任务类型先被“封顶”，再加总——这就是多样性影响数据效率的数学表达。
  1. 任务编号 t遍历所有任务类型的下标，从 1 到 T。
    t=1,…,Tt=1,\ldots,T
  2. 单类数据量 D_t第 t 类任务拥有的指令样本条数。
    DtD_t
  3. 单类饱和上限 Dmax,t第 t 类任务再多数据也不带来额外收益的阈值。
    Dmax⁡,tD_{\max,t}
  4. 取最小值如果该类数据超过上限，只按上限计入有效数据。
    min⁡(Dt, Dmax⁡,t)\min(D_t,\,D_{\max,t})
  5. 累加求和把所有任务类型的有效量加起来，得到全局有效数据量。
    ∑t=1T\sum_{t=1}^{T}

数据质量

菜谱也会出错：步骤写反、用量模糊、甚至把盐写成糖。帮厨照着错误的菜谱练习，不仅学不到正确做法，还可能把坏习惯固化下来，以后想纠正反而更难。指令数据同样存在“坏菜谱”——答非所问的回复、含糊不清的指令、逻辑错误的推理过程，都是噪声。

训练一个模型，数据质量的作用往往被低估。一条高质量指令数据，可以等价于多条低质量数据的组合。如果给每条数据赋予一个质量权重 q_i（0 到 1 之间），那么有效数据量就不是简单的条数相加，而是质量加权的总和：

实际操作中，质量处理分为两步：第一是噪声过滤，用规则、分类器或大模型本身剔除错误、模糊、重复的样本；第二是难度分级，把简单指令和复杂推理题分开组织，避免训练时简单样本淹没难题的信号。质量与数量的权衡法则很清晰：当预算有限时，优先把质量从 0.5 提到 0.9，比把数量翻倍更划算——就像主厨宁愿把 500 份菜谱校订精确，也不愿拿 5000 份错误百出的菜谱去浪费帮厨的时间。

Deff=∑i=1nqiDi\displaystyle D_{\text{eff}}=\sum_{i=1}^{n}q_iD_i
这个公式把“质量”变成了实实在在的数据量：权重为 1 的精品数据，抵得上权重为 0.1 的十条废料。
  1. 数据编号 i遍历指令数据集中每一条样本。
    i=1,…,ni=1,\ldots,n
  2. 质量权重 q_i由规则过滤或模型打分得到，越准确、越清晰的样本权重越高。
    qiq_i
  3. 单条数据 D_i每条样本的权重贡献，通常为 1（与权重相乘后计入总量）。
    DiD_i
  4. 加权求和质量权重与数据量相乘后累加，得到“等效干净数据量”。
    ∑i=1nqiDi\sum_{i=1}^{n}q_iD_i

协同缩放

同样是教做菜，在顶级厨房里用专业灶台，帮厨学十道菜就能出师；在简陋的排档里，学一百道菜也难有起色。厨房设备的底子，决定了菜谱能发挥出多少效果。对模型来说，这个“厨房设备”就是预训练阶段的成果——模型参数量和预训练数据规模。

预训练缩放规律早已告诉我们：模型参数量越大、预训练数据越多，基础能力越强。而指令缩放不是在真空中生效的，它叠加在预训练成果之上。一个 7B 参数的小模型和一个 70B 参数的大模型，即使使用完全相同的指令数据，最终效果也天差地别。反过来，预训练再强，如果没有足够的指令数据“解锁”能力，模型也只会“满腹经纶却说不出口”。

两个缩放规律需要协同考虑。研究者用三通道损失模型来描述这种关系：最终损失由模型规模、预训练数据量和指令数据量共同决定：

数据规模匹配指的是：预训练越充分的模型，通常需要相对更少的指令数据就能达到同样水平，但它能达到的“上限”也更高。例如，一个用 2T token 预训练的 13B 模型，可能只需要 5 万条指令就能胜任日常任务；而一个基础较弱的模型，即使给 50 万条指令，也可能学不到同样的深度。所以，规划指令数据时，先摸清厨房设备的底子，再决定菜谱的数量和难度。

L(N, Dpre, Dinst)=aN−α+bDpre−β+cDinst−γ+E\displaystyle L(N,\,D_{\text{pre}},\,D_{\text{inst}})=aN^{-\alpha}+bD_{\text{pre}}^{-\beta}+cD_{\text{inst}}^{-\gamma}+E
这个公式把三块“木板”放进同一个木桶：任何一块太短，整体水位都会被它限制。
  1. 参数量 N模型的可学习参数总量，决定“智力上限”。
    NN
  2. 预训练数据量 Dpre自监督阶段见过的文本总量，决定“知识储备”。
    DpreD_{\text{pre}}
  3. 指令数据量 DinstSFT 阶段使用的指令样本数，决定“听话程度”。
    DinstD_{\text{inst}}
  4. 三个缩放指数α、β、γ 分别刻画三类资源各自的边际回报衰减速度。
    α, β, γ\alpha,\ \beta,\ \gamma
  5. 不可约常数 E数据、参数都无法消除的固有误差项。
    EE

最优配比

假设你有 1000 份菜谱的预算，菜单应该怎么搭配？全放招牌菜，顾客会腻；全放甜品，正餐没法卖；只放高难度菜，帮厨根本学不动。确定各任务类型的数据占比，就是“最优配比”问题——它是指令缩放规律从“现象描述”走向“工程指导”的关键一步。

更严格地说，配比目标是：在总预算（数据总量或标注成本）固定的约束下，最小化模型在目标任务上的总体损失。设第 t 类任务的数据占比为 p_t，总量为 D，那么各任务实际获得的数据量是 p_t·D。我们要寻找一组占比，让所有任务上的加权损失之和最小：

工程上不必真的求解这么复杂的优化式，经验法则已经足够好用：多样性优先、质量次之、数量兜底。也就是说，先保证任务覆盖广、占比不过分失衡，再对每类数据做质量清洗，最后才考虑把总量从 10 万扩到 50 万。动态调整也很重要——训练初期可以多用通用任务数据快速建立基本能力，后期再逐步提高高难度任务和长尾任务的占比，就像先教帮厨基本功，再教他招牌菜和创意菜。

min⁡{pt} ∑t=1Twt L(ptD)s.t.∑t=1Tpt=1, pt≥0\displaystyle \min_{\{p_t\}}\ \sum_{t=1}^{T}w_t\,L(p_t D) \quad \text{s.t.}\quad \sum_{t=1}^{T}p_t=1,\ p_t\ge0
配比问题本质上是一个带约束的优化问题：预算就这么多，怎么分才能让整体表现最好。
  1. 任务权重 w_t不同任务在业务中的重要程度，由产品目标决定。
    wtw_t
  2. 占比 p_t第 t 类任务的数据量占总体数据的比例，所有占比之和必须为 1。
    ptp_t
  3. 单类损失 L(p_tD)该类任务拿到的数据量为 p_t·D 时对应的损失。
    L(ptD)L(p_t D)
  4. 目标函数对所有任务按权重求和，代表模型的“总体偏科程度”。
    ∑t=1Twt L(ptD)\sum_{t=1}^{T}w_t\,L(p_t D)
  5. 约束条件占比非负且总和等于 1，保证总数据量不超预算。
    ∑t=1Tpt=1, pt≥0\sum_{t=1}^{T}p_t=1,\ p_t\ge0

投入决策

作为主厨，你手里有一笔培训预算：请帮厨的工资、买食材的费用、占用厨房的时间。菜谱越多，成本越高，但收益却越来越小。你必须在某个节点做出决断：还要不要再加菜谱？这个决断的依据，就是边际收益与边际成本的比较。

在指令数据投入上，同样的逻辑成立。边际收益是指每增加一条数据带来的性能提升，边际成本则包括数据采集、清洗、标注和训练算力。当边际收益已经低于边际成本时，继续投入就是浪费。用公式表达，投资回报率（ROI）为：

实际迭代策略通常是：先花小钱做一轮小规模实验（比如 1 万到 5 万条指令），测出当前模型所在曲线的大致位置；如果发现还处在快速增长期，就放心追加数据；如果已经进入平台期，就该把钱转向数据质量优化、扩充任务多样性，或者升级更大的基座模型。算力预算也要整体规划——同样的预算，是买更多数据，还是换更强的基础模型？答案藏在这条幂律曲线的斜率里：斜率越陡，越值得加数据。

ROI=ΔPΔC,ΔC=cdata⋅D+ccompute⋅T\displaystyle \text{ROI}=\frac{\Delta P}{\Delta C},\qquad \Delta C=c_{\text{data}}\cdot D+c_{\text{compute}}\cdot T
停止加数据的时机不是“没有提升”，而是“提升带来的价值覆盖不了增加的成本”。
  1. 性能增量 ΔP增加一批数据后模型准确率或业务指标的变化量。
    ΔP\Delta P
  2. 总成本增量 ΔC这批数据从采集到训练完成消耗的全部成本。
    ΔC\Delta C
  3. 数据处理成本单条数据的采集与清洗成本，乘以新增数据量。
    cdata⋅Dc_{\text{data}}\cdot D
  4. 算力成本单位时长的训练算力成本，乘以训练时间。
    ccompute⋅Tc_{\text{compute}}\cdot T
  5. 投资回报率性能提升与成本投入的比值，小于某个阈值就该收手。
    ROI\text{ROI}

AI 应用场景

SFT 指令数据规模规划

阶段：监督微调（SFT）阶段的数据准备与规模决策

解决的问题：传统做法靠经验猜“用多少条指令数据”，少了模型能力不足，多了浪费标注预算和算力。利用指令缩放规律，可以先在少量数据上做试点，拟合出幂律曲线，再预测达到目标性能所需的数据量。

具体案例：某智能客服团队微调 7B 模型，先用 5k 条高质量指令做试点，准确率 68%；扩到 20k 条提升到 79%；再扩到 80k 条仅提升到 81%。拟合幂律后预测饱和点约 120k 条，团队决定止步于 50k 条，把剩余预算转向数据质量清洗——最终以更低的成本获得接近饱和的效果。

指令数据质量加固

阶段：数据预处理与质量过滤

解决的问题：原始指令数据往往包含噪声，答非所问、逻辑混乱的样本会拖累模型。利用质量加权思想，为数据分级打分，剔除低质量样本，让有效数据量最大化。

具体案例：某金融 AI 公司收集了 10 万条指令数据，先用规则过滤明显错误，再用大模型对每条数据打分（0~1），筛掉权重低于 0.7 的 2 万条。剩余 8 万条数据的实际效果，超过原来 10 万条未过滤数据的训练结果，验证精度提升 6.3%。

微调投入预算评估

阶段：资源配置与项目决策

解决的问题：管理层常问：“再做一轮微调要花多少钱？能提升多少？”通过边际收益与边际成本的比较，给出量化的停止点判断，避免在饱和期继续烧钱。

具体案例：某创业公司计划为法律大模型追加标注预算。工程师用现有 30k 条数据训练后，边际收益已降至每万条仅提升 0.4 个百分点，而标注成本为每万条 2 万元。换算 ROI 后，团队决定不再追加数据，转而把预算用于引入 1000 条高难度法律推理题——结果针对性提升 3.1 个百分点，ROI 翻了近四倍。

Python 演示

python34 行
import numpy as np # 模拟指令缩放：准确率随数据量按幂律上升def generate_synthetic(alpha=0.28, c=92.0, n=100):    D = np.logspace(3, 7, n)  # 1k 到 10M 条    A = c - 25 * (D / 1000) ** (-alpha) + np.random.normal(0, 0.3, n)    return D, A # 拟合幂律：对 (c - A) 取对数后做线性回归def fit_power_law(D, A, c_guess=92.0):    y = np.log(c_guess - A)    logD = np.log(D)    k, loga = np.polyfit(logD, y, 1)    return np.exp(loga), -k # 边际收益：准确率对数据量的导数def marginal_gain(D, alpha, c=92.0):    return 25 * alpha / 1000 * (D / 1000) ** (-alpha - 1) # 在给定单位成本下寻找最优停止点def find_optimal_stop(alpha=0.28, cost_ratio=1e-6):    D = 1000.0    while marginal_gain(D, alpha) > cost_ratio:        D *= 1.05    return D if __name__ == "__main__":    np.random.seed(42)    D, A = generate_synthetic()    a, b = fit_power_law(D, A)    print("拟合结果: L(D) = %.3f * D^(-%.3f) + %.1f" % (a, b, 92.0))    D_star = find_optimal_stop(b)    print("推荐数据量: %.0f 条 (%.1fk)" % (D_star, D_star / 1000))    print("该点边际收益: %.6f 个百分点/千条" % (marginal_gain(D_star, b) * 1000))
目的：用合成数据模拟指令缩放的幂律关系，自动拟合缩放指数，并算出在给定单位成本下最值得追加数据的位置。
  1. D = np.logspace(3, 7, n)生成从 1k 到 1000 万的对数均匀数据量，模拟不同规模的指令数据
  2. A = c - 25 * (D / 1000) ** (-alpha) + ...按幂律公式生成带噪准确率，25 是差距系数
  3. y = np.log(c_guess - A)对“离上限的距离”取对数，把幂律曲线变成一条直线
  4. k, loga = np.polyfit(logD, y, 1)一元线性回归，得到直线的斜率和截距
  5. return np.exp(loga), -k还原出系数 a 和缩放指数 α
  6. def marginal_gain(D, alpha, ...)对幂律公式求导，量化每增加一条数据的收益
  7. while marginal_gain(D, alpha) > cost_ratio:不断放大数据量，直到边际收益跌破成本阈值

常见误区

误区我总觉得给模型喂的指令数据越多，它就越聪明。既然预训练阶段就是“数据越多越好”，那 SFT 阶段也应该无限堆数据，反正多总比少强。

正解指令缩放规律恰恰说明数据量与性能之间是幂律关系：从 1k 到 10k 数据，收益显著；从 100k 到 1000k，收益趋近于零。这就像帮厨学做菜，头十道菜进步飞快，但学到第一千道菜时，他只是在重复已经掌握的技巧。而且，超过饱和点后继续加数据，还可能引入重复噪声，反而让模型在细节上变得不稳定。

为何常见：人们习惯把“预训练数据越多越好”的印象迁移到 SFT 阶段，忽略了 SFT 的核心目标是“对齐指令格式”而非“获取新知识”——这个目标远在数据量达到几千到几万条时就已接近饱和。

误区1 万条高质量数据能提升 5 个点，那我花同样成本搞 1 万条差不多的数据，效果应该也差不多吧？反正都是“指令数据”。

正解质量与数量之间不是简单的等价换算。根据质量加权模型 D_eff = Σq_i·D_i，一条权重 1.0 的精品数据可以抵得上 10 条权重 0.1 的低质数据。更重要的是，低质量数据中的错误模式会被模型学走，形成难以纠正的“坏习惯”——这就像帮厨照着印错的菜谱练了三个月，改正比从零学更难。所以低质量数据不是“打了折扣”，而是可能“倒扣分”。

为何常见：人们天然用“数量×平均质量”来估算总价值，但忽略了模型对错误模式的放大效应。错误数据带来的负收益往往是非线性的，不能简单用平均值对冲。

误区预训练是预训练，指令微调是指令微调，两个阶段分开看就行。我只要关心“投多少指令数据”，不用管基础模型多大、预训练数据多少。

正解两个缩放规律是协同的。三通道损失模型 L = aN^{-α} + bD_pre^{-β} + cD_inst^{-γ} + E 表明，最终损失同时受模型规模、预训练数据量和指令数据量制约。一个 70B 模型用 10k 条指令就能达到的效果，可能一个小模型需要 100k 条才能勉强企及；反过来，再强的模型没有指令数据也“不会说人话”。规划任何一项时，都必须把另外两项当作已知条件。

为何常见：工程上两个阶段通常由不同团队负责，职责划分让人误以为效果也彼此独立。但木桶效应决定了“最短的那块板”才是决定水位的关键。

误区既然多样性重要，那我就把 50 种任务的数据各准备 2%，每种一模一样多，这总该是最多样、最均衡了吧？

正解均匀混合只是“看起来均衡”，实际并非最优。不同任务的重要程度不同——核心业务任务应该占更高权重；不同任务的难度也不同，难题需要更多样本才能学会。而且某些任务有数据饱和上限，超过限度后均匀分配反而浪费预算。真正的多样性，是在覆盖广泛的前提下，按业务权重和任务难度做有倾斜的配比，就像菜单要覆盖八大菜系，但招牌菜一定要多备几道。

为何常见：“均衡”这个词容易被理解为“平均”，而忽略了配比问题的本质是“在预算约束下按需分配”。

误区既然有了幂律公式，我拿少量数据拟合出参数 α 和 β，就能精确预测 1000 万条数据时模型的准确率——这应该是个精确的科学计算。

正解幂律只是经验性的近似规律，不是物理定律。拟合时使用的数据范围有限，外推到远离观测区间的位置时误差会急剧放大；而且数据质量、任务分布、训练超参的变化都会让曲线形状偏移。更有甚者，当数据量超过某个临界点后，新的能力（如复杂推理）可能突然涌现，打破原有曲线趋势。所以幂律更适合用来做“趋势判断”和“投入决策”，而不是用来精确预报某个具体数值。

为何常见：公式看起来简洁优美，容易让人误以为它像牛顿定律一样精确普适。但缩放定律本质是对实验数据的经验拟合，拟合外推天然存在不确定性。

面试题

Q1. 指令缩放研究中，模型能力随指令数据量增加呈现的趋势是：

单选题 · easy

  • A.线性无限持续增长
  • B.幂律增长随后饱和← 正确答案
  • C.指数加速持续膨胀
  • D.先降后升波动震荡

答案：B。指令缩放规律表明能力随数据量按幂律上升，但边际收益递减并最终逼近饱和上限。就像帮厨学菜，前期进步飞快，后期逐渐停滞。A 的线性无限增长忽略了递减效应，C 的指数加速与观测完全相反，D 的波动震荡在正常 SFT 训练中不会出现。

Q2. 幂律公式 L(D)=aD^{-b}+c 中的常数 c 表示：

单选题 · easy

  • A.初始阶段的损失水平
  • B.数据缩放的速度系数
  • C.无法继续降低的损失底线← 正确答案
  • D.指令数据总量的上限

答案：C。当 D 趋于无穷时，aD^{-b} 趋近于 0，损失就趋近于 c，所以 c 是不可消除的损失底线。它好比帮厨的“天赋天花板”——菜谱再多也有学不会的层次。A 是初始损失（与 a 有关），B 是 b 的作用，D 与公式含义无关。

Q3. 数据量从 1k 增至 10k 时收益最大，从 1M 增至 10M 时收益几乎为零，这说明：

单选题 · mid

  • A.数据质量已经完全失效
  • B.边际收益递减规律在起作用← 正确答案
  • C.模型参数量设置得过大
  • D.任务难度突然发生变化

答案：B。幂律关系的关键特征就是边际收益递减：随着数据量增大，每增加一条数据带来的性能提升越来越小。这就像帮厨学第 10 道菜和第 1000 道菜的收获天差地别。A 错误，饱和不等于质量失效；C、D 在本题描述中没有依据。

Q4. 关于指令数据多样性，下列说法正确的是：

单选题 · mid

  • A.只覆盖单一任务效果最佳
  • B.多样性过大会显著降低精度
  • C.任务覆盖面广能提升泛化能力← 正确答案
  • D.多样性只影响训练运行速度

答案：C。任务覆盖广度决定了模型在未见任务上的泛化能力，覆盖 50 种任务类型通常显著优于只覆盖 10 种。就像帮厨学过八大菜系后，面对新菜系也能举一反三。A 与观测相反，B、D 没有证据支持，多样性的主要收益恰在于泛化。

Q5. 在质量加权模型 D_eff=Σq_iD_i 中，1 条高质量指令的实际价值：

单选题 · mid

  • A.相当于 0.1 条低质量数据
  • B.恰好等于 1 条低质量数据
  • C.恒等于 100 倍低质量数据
  • D.取决于两者的质量权重之比← 正确答案

答案：D。有效数据量是质量权重与数据量乘积的累加。若高质量数据 q=1，低质量数据 q=0.1，则 1 条高质量相当于 10 条低质量；权重不同，比例随之改变。A、B、C 都预设了固定比例，忽视了权重由数据本身质量决定这一前提。

Q6. 指令缩放与预训练缩放的关系是：

单选题 · mid

  • A.两者完全相互独立
  • B.指令缩放可替代预训练
  • C.两者协同影响最终性能← 正确答案
  • D.预训练规模无关紧要

答案：C。三通道损失模型把模型规模、预训练数据量和指令数据量放在同一个公式中，三块短板共同决定最终性能。就像厨房设备和菜谱缺一不可。A 忽视了协同，B 和 D 都错误地认为某一项可以忽略。

Q7. 以下哪些做法符合指令缩放规律的应用建议？

多选题 · hard

  • A.根据预训练基线决定数据规模← 正确答案
  • B.数据不足时优先提升多样性← 正确答案
  • C.数据量越大越好无需止损
  • D.饱和前应持续关注边际收益← 正确答案

答案：ABD。预训练基线与指令需求匹配（A），多样性优先于堆量（B），用边际收益判断是否继续投入（D）都是正确应用。C 违背了幂律饱和效应——无限堆数据不仅浪费资源，还可能引入噪声。

Q8. 给定预算 B 下，最优指令数据配比的目标是：

单选题 · hard

  • A.让各任务数据均匀分配
  • B.最小化总体期望损失← 正确答案
  • C.让高难任务占全部数据
  • D.让数据量与参数规模成反比

答案：B。最优配比本质是一个约束优化问题：在总预算约束下，寻找各任务数据占比使加权损失之和最小。均匀分配（A）看似公平但未考虑权重和难度，全放高难任务（C）会导致基础能力缺失，D 更是没有依据。

Q9. 构造高质量指令数据时，合理的做法包括：

多选题 · hard

  • A.过滤错误与模糊指令← 正确答案
  • B.让覆盖的任务类型多元化← 正确答案
  • C.控制指令长度完全相同
  • D.按难度分层标注并去重← 正确答案

答案：ABD。噪声过滤（A）、多样性覆盖（B）、难度分级与去重（D）都是提升数据质量的有效手段。C 错误——指令长度统一不仅没必要，反而可能破坏任务本身的多样性，与 A、B、D 的质量目标相悖。

Q10. 三通道损失 L=aN^{-α}+bD_pre^{-β}+cD_inst^{-γ}+E 中，当指令数据量 D_inst 趋于无穷时，损失趋近于：

单选题 · extreme

  • A.归零且不保留任何底数
  • B.预训练残差与常数项之和← 正确答案
  • C.仅指令缩放项继续主导
  • D.仅模型参数项的损耗

答案：B。D_inst^{-γ} 在 D_inst 趋于无穷时为 0，于是剩下 aN^{-α} + bD_pre^{-β} + E，即预训练项、模型项与常数项之和。这就像菜谱再多，帮厨的水平上限仍受厨房设备和自身天赋限制。A 忽略了预训练项与 E，C 和 D 都只取了一部分残留项。