缩放定律：Chinchilla定律

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

定律起源

2018年到2021年，AI后厨上演了一场轰轰烈烈的“买锅大赛”：OpenAI训练出1750亿参数的GPT-3，谷歌训练出2800亿参数的Gopher。大家比谁家的锅更大、更气派，仿佛锅的尺寸直接决定菜品的口碑。但有一个问题被集体忽略了——灶台的火力（计算预算）是有限的，而且锅里根本没放多少食材（训练数据）。

DeepMind的研究员们决定冷静下来做一场系统实验。他们在固定的火力预算下训练了从几亿到几千亿参数的数百个模型，扫描不同的锅容量与食材配比，结果发现了一个惊人事实：几乎所有前沿模型都处于“训练不足”状态——它们把绝大部分预算用来把锅做大，却没给锅里放足量的食材，导致食材与锅的比例严重失衡。

他们提出了一个简单粗暴的度量：过度训练率 R，即食材总量与锅容量的比值。GPT-3 放了3000亿份食材进1750亿的大锅，比值仅为1.7左右；Gopher放3000亿食材进2800亿的锅，比值更惨，只有约1.1。而 DeepMind 的实验表明，最优比值大约是20——也就是说，此前几乎所有大模型都在用“一口巨型锅配一小把青菜”的方式训练。

这就像一口直径两米的大锅，只配了一小把青菜——锅烧得滚烫，菜倒进去瞬间就焦了，出锅后依然寡淡无味。GPT-3 和 Gopher 的“锅气”很足，但缺的是食材，这就是当时大模型性能瓶颈的真正根源。

核心公式

要弄清楚锅和食材怎么配比，先得搞明白灶台火力、锅容量和食材量三者之间的物理关系。训练一个大模型，本质上就是在灶台上反复翻炒食材：把每一份食材（每个 token）送进锅里，前向传播算一遍预测，反向传播再算一遍梯度，然后更新锅里的配方（模型权重）。

每一次这样的“翻炒”，每个参数、每个 token 大概要消耗 6 次浮点运算——前向占 2 次、反向占 4 次，这是深度学习框架的经典结论。把三者乘起来，就得到了训练过程的总消耗：计算总量约等于 6 乘以参数量再乘以数据量。这就是 Chinchilla 定律的核心恒等式。

有了这个式子，“火力固定”就变成了一条硬约束：如果锅里每单位食材都要烧掉固定的火，那么在总火力不变的前提下，锅容量 N 和数据量 D 只能此消彼长。想多放食材就得换小锅，想换大锅就得少放食材——无法两头都占。

灶台的火一天就那么多（C 固定），锅加大一倍，食材就得减半，否则火力根本烧不透。这就是为什么盲目堆参数必然导致“夹生饭”——锅里的食材太少，模型根本没有足够多的样本去学习。

龙猫模型

2022年，DeepMind 的“龙猫”（Chinchilla，一种可爱的啮齿动物）模型横空出世。这位厨师长没有继续买更大的锅，反而把锅从 Gopher 的2800亿缩到了700亿（70B参数），同时把食材从3000亿猛增到1.4万亿（1.4T tokens），在几乎相同的火力预算下，做出了一桌全面超越 Gopher 的菜。

这是怎么算出来的？在 C 约等于 6×10²³ FLOPs 的固定预算下，把损失函数对 N 和 D 求最优，结果非常优美：最优参数量等于预算除以120（即 6×20）再开根号，最优数据量则是最优参数量的 20 倍。

用这个公式代入 Chincilla 的预算，正好得到 70B 参数和 1.4T tokens——理论与实际严丝合缝。这就像在一个固定的火力下，厨师长精确计算出了锅的最佳尺寸和食材的最佳分量，不多不少。

同样的火力，70L的锅配1.4吨食材，做出的菜（MMLU准确率67.5%）远超280L的锅配3000亿食材（60.0%）。龙猫用一口“小锅”证明了：做菜好不好吃，关键在于锅料配比，而不是锅有多大。

启示意义

龙猫的菜谱公布后，整个AI后厨的进货逻辑被彻底颠覆了。为什么会有这种颠覆？我们可以把损失函数拆开来看。模型最终的表现（损失 L）由三部分决定：不可约的底味 E——即使锅和料都最佳也无法消除的固有难度；容量惩罚项 A/N^0.34——锅太小导致的表达力不足；数据惩罚项 B/D^0.28——食材不够导致的覆盖不全。

当 GPT-3 时代一味扩大 N 时，A/N^0.34 确实在减小，但 B/D^0.28 却因为 D 增长缓慢而居高不下，总损失被数据短板死死拖住。Chinchilla 的均衡配比正是让这两项惩罚的边际贡献相等，从而把总损失压到最低。

这带来了四重产业影响：第一，数据价值的重估——数据不再是“锦上添花”，而是和参数同等重要的核心资产；第二，小型化趋势——70B 级别模型在推理成本和部署灵活性上远胜 280B 巨兽；第三，数据管线优先——数据采集、清洗、配比成为比堆卡更关键的基础设施；第四，评测方式变革——业界不再只看参数量，转而用 MMLU、BBH 等综合基准来衡量模型的真实水平。

从这天起，各大实验室的采购清单里，数据仓库的优先级被提到了显卡集群之前。大家终于明白：一口再大的锅，如果没有源源不断的食材，做出来的菜永远差着一股“料不足”的味道。

后续发展

Chinchilla 的菜谱迅速在开源社区流传开来。Meta 的后厨率先响应，推出了 LLaMA 系列：13B 参数的模型配了 1.0T token 的食材，65B 配了 1.4T，D/N 比值落在 20~21.5 之间，几乎完全复刻了龙猫的黄金配比。LLaMA 的成功验证了 Chinchilla 定律的普适性——它不只在 DeepMind 的厨房里成立，换了个灶台照样好使。

但后来者也在不断给这条定律打补丁。有人发现配比并非铁板一块：15 到 30 之间都有不错的性能，具体数值取决于数据质量、学习率调度等因素。高质量、多样化的数据可以在略低的配比下达到同样效果，而重复数据再多也填不满锅。这说明"1:20"是个参考锚点，不是精确教条。

更大的变数来自模型架构的进化。混合专家（MoE）模型登场后，每个 token 只激活一小部分专家参数，前向计算量不再与总参数成正比。计算量的公式从“总参数×数据量”变成“激活参数×数据量”——一口看似巨大的锅里，每次翻炒实际只动用了其中一小块隔板。

从龙猫到 LLaMA，再到 MoE 大军，Chinchilla 定律就像一张不断被修订的祖传菜谱——核心的“均衡配比”思想没变，但每个后厨都会根据自家的食材品质和灶台特性调整火候。这也提醒我们：缩放定律是经验规律，永远要对新架构保持开放。

实践应用

现在轮到你了。如果你要开一家“AI 模型餐厅”，如何用 Chinchilla 定律制定训练方案？第一步永远是定预算：你有多少 GPU、多少时间？把这些换算成总浮点运算量 C。第二步，用公式求出最优参数量 N_opt。第三步，按 20 倍配比确定数据规模 D_opt。最后一步，结合推理需求、部署环境，选择最接近 N_opt 的模型架构。

我们用一个真实算例走一遍流程。假设你的预算 C = 6×10²³ FLOPs，这大约相当于上千块 A100 显卡连续训练数周的规模——Chinchilla 自己的预算量级。代入公式：N_opt = √(6×10²³ / 120) = √(5×10²¹) ≈ 7.1×10¹⁰，也就是 71B 参数；D_opt = 20 × 71B ≈ 1.4T tokens。这正是龙猫模型的实际配置。

在真实工程中，这套流程已经写进了各大厂的训练规划手册：先问“有多少钱”（算力预算），再定“做多大锅”（参数量），最后倒推“买多少料”（数据量）。如果你发现手头数据远不够 20 倍配比，那就果断缩小模型——别学 GPT-3 时代的大锅配小料，那是在烧钱做夹生饭。

AI 应用场景

Python 演示

import math  def optimal_config(C):    """给定计算预算 C(FLOPs)，返回最优参数量 N 和最优数据量 D"""    N = math.sqrt(C / 120.0)    D = 20.0 * N    return N, D  def model_loss(N, D, E=1.69, A=406.4, B=410.7, alpha=0.34, beta=0.28):    """Chinchilla 论文近似损失公式：底味 + 参数惩罚 + 数据惩罚"""    return E + A * (N ** -alpha) + B * (D ** -beta)  def evaluate(name, N, D):    L = model_loss(N, D)    print("{:<16} N={:>7.1f}B  D={:>7.1f}T  loss={:.3f}".format(        name, N / 1e9, D / 1e12, L))  def main():    print("== 用 Chinchilla 定律计算最优配置 ==")    for name, C in [        ("GPT-3 预算", 3.15e23),        ("Gopher 预算", 5.04e23),        ("Chinchilla 预算", 5.88e23),    ]:        N, D = optimal_config(C)        evaluate("最优", N, D)        print("   -> 配比 D/N = {:.1f}".format(D / N))     print("\n== 实际模型 vs 最优配置 ==")    evaluate("GPT-3 实际", 175e9, 300e9)    evaluate("Gopher 实际", 280e9, 300e9)    evaluate("Chinchilla 实际", 70e9, 1400e9)    evaluate("Chinchilla 最优", *optimal_config(5.88e23))  if __name__ == "__main__":    main()

1. N = math.sqrt(C / 120.0)从总预算反推最优锅容量（参数量）
2. D = 20.0 * N食材按 20 倍配比，数据量取最优参数的 20 倍
3. E + A * (N ** -alpha) + B * (D ** -beta)损失三大件：底味、参数不足、数据不足
4. evaluate("GPT-3 实际", 175e9, 300e9)喂入真实模型的参数与数据量，算它的损失
5. optimal_config(5.88e23)对龙猫自己的预算求解，验证 70B/1.4T 是最优解

常见误区

面试题