Transformer扩展：计算缩放——深夜餐馆的扩张账本

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

缩放定律：一笔总账

老板的第一课，是把“用心经营”翻译成账本上的数字。多请一位手艺精湛的厨师，菜单能升级；多进一批当天捕捞的食材，翻台率能提升；多刷一面墙、换一盏暖灯，客人评分会悄悄上涨。可预算只有这么多，他必须知道每一项投入和最终满意度之间，到底存在什么样的对应关系。

在训练大模型时，研究者同样需要一本总账。模型参数量 $N$——好比厨师人数，决定了模型手艺的上限；训练数据量 $D$——训练语料中的 token 总数，好比进货量，决定了模型见过的世面。二者并不是独立花钱的：训练时模型每处理一个 token，每个参数都要参与前向和反向传播运算。这笔账可以写成一条近乎铁律的关系式：

其中 $C$ 是总计算量。6 这个常数来自经验折算：一个参数处理一个 token，大约需要 6 次浮点运算（前向 2 次、反向 4 次）。有了这本账，老板再也不会被供应商忽悠“多加三倍食材一定火”——因为总预算 $C$ 就摆在那里，加食材就必须在别处省。这本账，是一切缩放规律分析的起点。

账本合上，老板长舒一口气。他终于能把“用心经营”四个字拆成两个可以比较的项目了。接下来真正的问题浮出水面：钱花出去，客人满意度到底按什么形状往上涨？

三个幂律：投入产出的一笔账

老板决定先观察“加厨师”的效果。他做了一个实验：从 1 位厨师加到 2 位，好评率涨了不小；从 9 位加到 10 位，评分的提升却几乎微不可察。把散点画在图纸上，他惊讶地发现，满意度曲线像一条被压弯的滑梯，越往后越平。这种“投入增多、产出增速放缓”的曲线，数学上有一个优雅的名字——幂律。

研究者对大规模语言模型做了同样的实验，得到了三条关键的幂律。第一条，固定数据量、只增大参数量 $N$，损失 $L$ 按幂律下降：

类似地，固定参数量、只增大数据量 $D$，损失按另一条幂律下降：$L(D) = (D_c/D)^{\alpha_D}$。当参数和数据同时扩张时，总损失 $L$ 与总算力 $C$ 之间同样服从幂律 $L(C) = (C_c/C)^{\alpha_C}$。这三条幂律合称“三个幂律”，它们共同勾勒出大模型能力成长的骨架。

如果把幂律曲线画在对数坐标纸上，它会变成一条直线，斜率就是 $\alpha$。老板看着这条直线恍然大悟：加厨师确实有用，但越往后，每一位新厨师的贡献都在缩水。这种缩水是否无法避免？他决定把注意力转向另一条曲线。

边际递减：加菜的快乐在缩水

周末晚上，老板为老主顾免费加了一道招牌甜点。第一份甜品端上来，客人眼睛发亮；第二份，客人笑着摆手；第三份，客人已经开始后悔刚才多吃了一碗面。同样的道理，在训练大模型时，无论你加大哪一边的投入，收益都会逐级缩水——这就是“边际递减”。

数学上，把损失 $L$ 看作算力 $C$ 的函数，边际递减意味着损失在持续下降，但下降的斜率越来越平缓：

更深一层，边际递减的根源在于“固定的另一头”。当数据量 $D$ 固定时，参数涨到一定程度，模型已经把现有数据里的规律吃干榨净，再加参数也只是重复记忆；当参数量 $N$ 固定时，数据再多，模型的“肚量”也装不下。损失函数 $L(N,D) = A/N^\alpha + B/D^\beta + E$ 中，前两项就像厨师手艺分和食材新鲜分，任何一项单独拉满，另一项都会立刻成为瓶颈。

老板记下这条铁律：边际递减不是某一项投入的问题，而是“配比失衡”的信号。既然单独加什么都不划算，那同时加呢？他翻开了那篇改变他认知的论文——Chinchilla。

最优配比：Chinchilla 的黄金比例

深夜的厨房里，老板对着账本发愁：预算翻倍，到底该加几位厨师、进多少食材？这时，DeepMind 的 Chinchilla 团队像一群“米其林评审”走进了他的餐馆，递上一张结论表：在固定总预算 $C$ 的前提下，存在一组最优的厨师数 $N_{\text{opt}}$ 和食材量 $D_{\text{opt}}$，让客人满意度最高。而且，当预算翻倍时，二者应该等比增长：

Chinchilla（Hoffman 等，2022）在 70B 参数模型上用 1.4 万亿 token 验证了这个结论——大约每 1 个参数配 20 个 token。这与早期 Kaplan 等（2020）的结论形成鲜明对比：那时人们认为“参数比数据更重要”，于是疯狂堆参数、省数据。Chinchilla 的评审结论一锤定音：厨师和食材要一起加，缺一不可。老板的账本上从此多了一行黄金比例：1 位厨师配约 20 份食材。

训练指导：预算怎么花最值

有了黄金比例，老板开分店不再拍脑袋。他掏出一个计算器：先确定总预算 $C$，然后按 Chinchilla 的公式反推最优的厨师数和食材量。若预算有限，宁可少请几位厨师，也要保证每位厨师有足够的食材可做；若想提升出品，则需要厨师和食材同步升级。这条经验直接指导了真实世界的大模型训练：

这条比例在实战中非常有用。比如你只有训练 7B 模型的算力，那么按 $D \approx 20N$ 估算，应该准备约 140B token 的语料；如果手里的数据只有 70B，那么把模型压到 3.5B 左右反而更划算。实践中也有团队故意“超配”数据——比如 LLaMA 用 1T+ token 训练 7B 模型，此时训练损失略高于最优，但推理成本更低，属于用训练效率换服务效率的现实权衡。所谓“最优”，永远要结合你的经营目标来读。

老板把这张表贴在后厨墙上，服务员上菜、采购进货、厨师排班，全部按比例运转。他突然意识到，这套账本不仅能回答“该招多少人”，还能回答“我到底该开多大的店”。

局限与展望：规模不是万能药

黄金比例帮老板省了很多钱，但他也发现，这张表并非放之四海而皆准。隔壁川菜馆的老板照搬比例，结果客人投诉“菜太油”；商场的甜品店用同一张表，却因为地段客流的差异亏了三个月。可见，任何经验公式都有它的适用范围。

在模型训练中，Chinchilla 的幂律是拟合出来的经验规律，而非物理定律。最直接的局限来自损失函数里的常数项 $E$——数据本身携带的噪声，决定了损失存在一个永远无法突破的下限：

这意味着，幂律曲线在超大算力区间可能不再准——因为真实损失被 $E$ 兜底，不会像直线外推那样一直降。此外，数据质量、学习率调度、batch size 等超参数也会让拟合曲线明显偏移；对多模态模型、强化学习训练等新范式，参数-数据的最优比也可能与 20:1 相去甚远。未来的计算缩放研究，需要在“账本”里加入更多变量：数据质量折价、硬件能效、对齐成本等。

老板把黄金比例表从墙上摘下来，在旁边补了一行小字：“规律诚可贵，前提要看清。”他依然感激这张表——它让扩张从赌博变成了算术。而真正的经营智慧，是在公式之外，看清每一家店的独特土壤。

AI 应用场景

Python 演示

import math # Chinchilla 论文拟合的幂律损失函数参数A, alpha = 406.4, 0.3392B, beta = 410.7, 0.2849E = 1.6934  def loss_value(N, D):    """给定参数量 N 和训练数据量 D，计算理论损失 L"""    return A / N ** alpha + B / D ** beta + E  def search_best(C, n_min=1e8, n_max=1e12, steps=3000):    """在给定算力预算 C 下，搜索使损失最小的参数量 N 和数据量 D"""    best_loss = float('inf')    best_N = 0.0    best_D = 0.0    for i in range(steps):        N = n_min * (n_max / n_min) ** (i / steps)        D = C / (6.0 * N)        L = loss_value(N, D)        if L < best_loss:            best_loss, best_N, best_D = L, N, D    return best_loss, best_N, best_D  def main():    print("算力预算 C   最优参数量 N   最优数据量 D   D/N    理论损失 L")    for C in [1e21, 3e21, 1e22, 3e22, 1e23]:        L, N, D = search_best(C)        print("C=%.1e  N=%.2e  D=%.2e  D/N=%.2f  L=%.4f"              % (C, N, D, D / N, L))  if __name__ == "__main__":    main()

1. A / N ** alpha + B / D ** beta + E损失由“参数量不足项”“数据量不足项”“不可约损失”三部分组成，前两项对应厨师手艺分和食材新鲜分。
2. D = C / (6.0 * N)用总账本 $C \approx 6ND$ 反推数据量：预算固定时，模型越大，能喂的数据越少。

常见误区

面试题