缩放定律：Kaplan缩放定律

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

定律起源——一份全校成绩单

想象你是一位班主任，手里捏着全校几百名学生的模拟考成绩。有人聪明但做题少，有人刷题多但脑子慢。你很想找到一个统一公式：只要知道“天赋、刷题量、学习时间”三个数，就能预测出分数。2020 年的 OpenAI 团队，心里打的就是这个算盘——只是他们口中的“学生”是一排排神经网络。

他们把从几百万参数到上百亿参数的模型，放到同一批文本语料上训练，然后统一测量“失分”（学术上叫损失，loss，就是模型预测错得多惨）。结果发现：不管网络结构怎么换，只要规模越大，失分就越少，而且这个“少”的节奏极其规律——幂律衰减。所谓幂律，就是说“投入每翻一倍，失分按同一个比例再降一截”，有点像打游戏升级：前面几级容易，后面每一级都要更多经验。

用单看参数量 N 的版本：

所以 Kaplan 定律的第一课是：想要成绩好，别只盯着“刷题技巧、网络结构”，先把脑容量做大。这条规律迅速成了 AI 圈流传的“投资指南”。

三大变量——决定成绩的三个旋钮

回到班主任的“学生画像”，决定最终成绩的无非是三个变量：这孩子聪不聪明（参数量 \(N\)）、刷了多少题（数据集大小 \(D\)）、以及总共投入多少学习时间（计算量 \(C\)）。AI 训练也一样。

参数量指模型里的权重个数，决定记忆容量；数据量指训练文本的 token 数（可以把一个 token 理解为半个词），决定见多识广；计算量指训练时做的总运算次数（FLOPs，每秒浮点运算次数），可以理解为“烧了多少电费”。

这三者不是互相独立的。训练一个参数量为 \(N\) 的模型，跑完 \(D\) 个数据，总计算量大约要花 \(6ND\) 次运算。于是有了著名的近似关系：

三个旋钮环环相扣，预算有限时不能三个同时拉满——这为后面的“配比问题”埋下了伏笔。

幂律关系——收益递减的“经验条”

刷过题的人都有体会：从 30 分冲到 60 分容易，从 90 分冲到 99 分极难。AI 模型也一样：把参数量翻一倍、数据翻一倍，失分确实会降，但下降的“幅度”一档比一档小。这条曲线在普通坐标里看起来像滑梯，但在“双对数坐标”里会变成一条直线。

所谓双对数坐标，就是把横、纵轴都用“翻了几倍”来标度。于是幂律关系 \(L(N)=(\frac{N_c}{N})^{\alpha_N}\) 两边取对数，就变成：

这条直线的意义在于“可外推”——哪怕不训练一个万亿参数的巨型模型，只要在几个中小模型上量出斜率，就能预测大模型的失分。这让缩放定律变成了行业“尺子”。

规模主导——为什么“扩容”最划算

预算有限时，班主任面临抉择：花钱请金牌家教（扩大参数量），还是加印练习册（扩大数据量）？直觉上，当然是双管齐下。但 Kaplan 团队的实验给出了一个出人意料的排序：扩大参数量，几乎是性价比最高的投入。

把“总计算量 C 固定”作为约束条件，他们画出失分最小时的参数轨迹，发现最优参数 \(N\) 与预算之间满足：

也就是说，如果你把总预算定义为 100%，Kaplan 团队建议把其中约 73% 的“增量”预算花在把模型做大上，只留 27% 用于收集更多数据。这就是“规模主导”的数学来源。AI 圈的“大力出奇迹”从此有了精确表达：力要往“模型容量”上使，而不是往“刷题量”上使。

最优配比——把预算切成 73:27

继续切蛋糕。既然参数占大头，那数据占多少？Kaplan 团队给出的数据侧配比是：

把两个公式放在一起看：预算翻倍时，参数扩到 1.66 倍、数据扩到 1.21 倍，参数增长是数据的约 1.37 倍。这不是拍脑袋，而是在多组实验里扫出来的最优点。这个配比带来惊人的产业推论：当你有钱做更大的训练时，不要平均用力，而要“偏心”到参数上。后来的 GPT-3，几乎是照着这个方子抓药的。73:27 像一份营养食谱，告诉 AI 训练者：正餐（模型）多吃，配菜（数据）够用就行。

GPT实践——状元班的示范

GPT-3 就像一个严格执行“训练食谱”的状元班：参数量做到 1750 亿，训练数据约 3000 亿 token，总计算量大约 \(3\times10^{23}\) FLOPs，这个数字超过人类历史上大部分科学计算的累计量。

按照 Kaplan 定律的近似，训练这个模型的计算量是：

GPT-3 的效果惊艳，让“缩放定律”从论文变成了产业引擎。人们意识到：与其精心雕琢网络结构，不如把参数堆到足够大，再配合理的数据，能力自己会涌现。状元班的成功吸引了所有人效仿——但也埋下了一个“配比是否真的最优”的隐患，这个隐患很快被另一位复读生挑了出来。

Chinchilla修正——复读生的平反

2022 年，DeepMind 团队像一位不服气的复读生，把 Kaplan 的结论重新考了一遍。结果发现：Kaplan 的配比把“脑容量”捧得太高，数据量被严重低估了。若按“计算预算固定”重新求最优解，参数量与数据量的增幅应当一样大，也就是均衡增长。

他们训练了 70B 参数的 Chinchilla 模型，却用了 1.4 万亿 token，在同等预算下击败了 280B 参数的 Gopher。修正后的规律是：

这意味着，许多按 Kaplan 配比训练的大模型，其实都处于“数据喂少了”的状态。如果把同样的算力拿去买更多数据、减小一点模型，往往能拿到更低的损失。复读生 Chinchilla 用一张新成绩单告诉大家：规律会迭代，别把任何“配方”当永恒真理。

实践指导——把预算变成模型

最后，班主任要落地了。假设公司批给你一笔算力预算 \(C\)，你该怎么定模型参数和训练数据？Chinchilla 时代的经验法则给出一个非常便于落地的答案：

假设预算 \(C=10^{24}\) FLOPs，那么 \(N_{\text{opt}} \approx 9.1\times10^{10}\)，约 91B 参数；数据 \(D_{\text{opt}} \approx 1.8\times10^{12}\)，约 1.8 万亿 token。这个量级可以直接写进采购清单。当然，实际训练还要考虑数据质量、并行效率、推理成本等，但缩放定律给了你一个“先算、再训、再修订”的起点。从一个班主任的直觉，到一张可以查表的公式，缩放定律把“训练大模型”从玄学变成了工程学。

AI 应用场景

Python 演示

import math ALPHA_N = 0.076   # Kaplan定律中参数量指数ALPHA_D = 0.095   # 数据量指数N_C = 8.8e13      # 拟合常数D_C = 5.4e13      # 拟合常数  def kaplan_loss(N, D):    """用Kaplan联合公式预测损失：L(N,D) = ( (N_c/N)^(aN/aD) + D_c/D )^aD"""    term = (N_C / N) ** (ALPHA_N / ALPHA_D) + D_C / D    return term ** ALPHA_D  def optimal_chinchilla(C):    """Chinchilla规则：N ≈ sqrt(C/120)，D ≈ 20*N"""    n = math.sqrt(C / 120.0)    d = 20.0 * n    return n, d  def optimal_kaplan(C):    """Kaplan规则近似：N ∝ C^0.73，按 GPT-3 量级标定"""    n = 1.75e11 * (C / 3.14e23) ** 0.73    d = C / (6.0 * n)    return n, d  def main():    budget = 1e23  # 假设预算：1e23 FLOPs    print("=== 预算对比：1e23 FLOPs（约为GPT-3的三分之一） ===")    for name, fn in [("Kaplan", optimal_kaplan), ("Chinchilla", optimal_chinchilla)]:        n, d = fn(budget)        loss = kaplan_loss(n, d)        print(f"{name:12s} N={n:15.3e} D={d:15.3e} loss={loss:.4f}")     print("\n=== 固定预算下不同配比对损失的影响 ===")    c = 1e23    for n in [2e10, 5e10, 1e11, 2e11, 4e11]:        d = c / (6.0 * n)        loss = kaplan_loss(n, d)        print(f"N={n:15.3e} D={d:15.3e} loss={loss:.4f}")  if __name__ == "__main__":    main()

1. def kaplan_loss(N, D):实现 Kaplan 联合缩放公式，返回预测损失，是全部计算的核心。
2. term = (N_C / N) ** (ALPHA_N / ALPHA_D) + D_C / D公式内部先算两项“差距”的加权和，再整体取指数。
3. def optimal_chinchilla(C):按 Chinchilla 规则，从算力预算反推最优参数量。
4. n = math.sqrt(C / 120.0)使用 \(N_{\text{opt}} \approx \sqrt{C/120}\) 的经验公式。
5. d = 20.0 * n数据量约为参数量的 20 倍，这是 Chinchilla 的核心经验比。
6. def optimal_kaplan(C):按 Kaplan 原始配比 \(N \propto C^{0.73}\) 计算参数。
7. n = 1.75e11 * (C / 3.14e23) ** 0.73以 GPT-3 为锚点标定出的幂律外推公式。
8. d = C / (6.0 * n)由 \(C \approx 6ND\) 反解数据量，保证预算约束闭合。
9. for name, fn in [("Kaplan", optimal_kaplan), ...]同一份预算下对比新旧两条配比路线。
10. for n in [2e10, 5e10, 1e11, 2e11, 4e11]:固定 C，扫描不同模型大小，观察损失变化，验证“配比决定优劣”。

常见误区

面试题