缩放定律：涌现能力与临界点

可视化演示

涌现能力指模型在参数规模超过特定阈值后突然表现出的复杂推理能力，如多步数学推理、代码生成和指令遵循。这种能力无... 切换模式查看不同维度。

涌现现象

先回到厨房。水从 30°C 加热到 90°C，表面变化微乎其微；但一旦到达 100°C，整锅水在短短几十秒内疯狂翻滚。你没有在 50°C 时就看到任何“将要沸腾”的迹象——这正是相变的诡异之处：临界点之前一切平静，临界点之后天翻地覆。

大模型研究者在训练模型时看到了完全相同的画面。一个 10B 参数模型在多步数学推理上得分接近 0%，30B 模型还是接近 0%，100B 模型勉强到 10%。可当规模跨过某个阈值，比如 200B，得分突然跳到 80% 以上。这种“从不会到会”的陡峭跃迁，就是涌现能力。

研究者总结出涌现能力的三个特征。第一，能力突变：性能-规模曲线呈阶梯状而非斜坡状，你在曲线中段找不到“能力逐渐爬升”的过程。第二，新能力诞生：跨过阈值后模型获得的是这一类任务上的全新能力，而不是旧能力的轻微改善。第三，外推失效：用 10B、30B 小模型的性能画一条趋势线，外推到 200B 会得到“依然接近 0 分”的错误结论——因为小模型的数据点根本不在那条通往开窍的路上。

所以，评估大模型时不要只盯着性能曲线的上升斜率，要看那个拐弯的位置。就像判断一壶水会不会开，关键不是它从 30°C 升到 60°C 用了多久，而是它有没有真正摸到 100°C。

临界点本质

同样是液体，白酒在 78°C 就沸腾，水要到 100°C，食用油则要到 200°C 以上。沸点不是加热过程中“慢慢积累”出来的数字，而是物质性质决定的突变分界线。模型的不同能力，也有属于自己的“沸点”。

我们把模型规模记作 S，能力记作 A。经验观测表明，涌现能力随规模的变化可以用一条平滑的 S 形曲线来描述——逻辑斯蒂函数（Sigmoid）：

S 形曲线的价值在于提醒我们：临界点不是一个“非黑即白”的开关，而是一个有宽度的过渡区。就像水在沸腾前也有细密气泡逐渐增多的预热阶段，模型的涌现也不是在某一毫秒内凭空降临，而是被临界点周围那条 S 形曲线推上爆发的顶点。

缩放定律

厨师烧水从不靠猜。他看一眼火力大小、水量多少，就能估算出“这壶水大概要等十分钟”。物理规律给了他信心——热传导公式可以精确计算升温速率。大模型领域也有这样一条“热力学公式”，名叫缩放定律。

缩放定律以极简的数学形式揭示了“模型规模与最终损失”之间的确定性关系。它最早由 OpenAI 在 2020 年系统提出，随后被 DeepMind、Anthropic 反复验证。这条定律是涌现能力研究的地基：没有它，我们只能看到杂乱的突发奇观；有了它，我们才能把“沸腾”背后的升温曲线严格刻画出来。

对于一个在固定数据分布上训练的模型，最终损失 L 与参数量 N 之间近似满足幂律关系：

对训练模型的团队来说，这条公式意味着：参数翻倍，损失下降但幅度递减；它把“烧水经验”变成了一张可以精确计算的表格。但要注意，损失是平滑可预测的，能力却是突变的——缩放定律告诉你水在稳定升温，却不保证什么时候沸腾。

涌现类型

往水里加一勺盐，沸点会升高；换一瓶酒精，沸点又变了。不同成分的液体有不同的沸点，模型的不同能力也各自拥有不同的临界规模。研究者对大量任务做过“沸点扫描”，发现四类能力格外典型。

第一类是多步数学推理。模型需要把“先算括号、再乘除、后加减”的逻辑链条一口气走完，中途任何一步出错都会导致整道题崩盘。规模不足的模型像记不住步骤的孩子，得分长期为零。第二类是代码生成。从自然语言描述生成完整可执行程序，要求模型同时理解语义、语法和逻辑结构，临界规模通常在 100B 以上。第三类是指令遵循。模型必须从无数种可能的回应中准确挑选用户想要的那种，这种“听话”能力同样需要足够大的规模才涌现。第四类是上下文学习。给几个示例就能“现学现卖”，小模型等于随机猜测，大模型却能快速迁移。

研究还发现，这些能力的临界点彼此独立：一个模型可能在 70B 就涌现了代码能力，但数学推理要到 200B 才出现。就像同一口锅里有几种液体，各自的沸点互不干扰。

记住这张“沸点表”很有用。规划 10B 模型时别指望它做出 100B 模型的数学推理；而模型跨过某个阈值后突然出现的代码能力也不是玄学，那是量变到质变的必然。要烧哪口锅之前，先弄清楚这口锅的沸点在哪里。

资源规划

请客吃饭，客人 12 点到，你得 11 点就开始烧水；如果客人只待 20 分钟，你还在等 10 升水烧开，就尴尬了。决定“烧多大的壶、开多大的火”，不是厨师的心情，而是用餐时间和人数。

训练大模型的开销同样残酷。一次 175B 级别的训练，电费账单数以百万美元计。模型规模的规划本质是在时间、预算、目标能力之间做三角测量。涌现研究告诉我们：能力不是均匀增长的，跨不过临界点，投再多钱也只能看到能力曲线的平坦段。

临界点对资源规划有三条直接启示。第一，训练预算必须覆盖“沸点”。如果目标任务是多步数学推理，而实验曲线显示临界规模约 200B，那么训练一个 150B 的模型很可能是净亏损——钱花了，能力没出现，还要白白承担部署成本。第二，算力分配向“大单模型”倾斜。与其平均分配训练多个 30B 小模型，不如集中资源让至少一个模型跨过阈值。第三，收益评估要盯住拐点。幂律损失曲线意味着越往后每单位算力的收益越小，但能力涌现的收益在临界点附近突然放大——资源规划要在“平滑收益”和“突变收益”之间果断取舍。

资源规划的奥义不是省钱，而是把钱花在跨越沸点的那一刻。一壶 5 升的水，差 1°C 没开就是没开；预算正好卡在临界点之下，就是烧了 99°C 的温水，浪费了全部燃料。

训练策略

火太大、水太少，锅底会烧干；火太小、水太多，水永远开不起来。好的烧水师傅讲究“火水配比”——每烧一锅水，都要让火力与水量匹配，才能在最短时间内抵达沸点。

模型训练里，“火力”对应参数量，“水量”对应训练数据量。很长一段时间里，工程师们疯狂堆参数却只给模型很少的数据；也有些团队拼命喂数据而舍不得加大模型。直到 DeepMind 的 Chinchilla 论文像一位严格的厨师，把火水配比精确量化了。

Chinchilla 团队在固定算力 C 下遍历不同参数量与数据量组合，发现损失最小时，参数量 N 与训练数据量 D 满足约每 1 个参数配 20 个 token 的关系：

所以训练策略真正的问题不是“要更大的模型还是更多的数据”，而是“模型与数据是否匹配”。70B 的锅配 1.4T token 的水刚刚好；若只给 200B token，水烧到 60°C 就换了火，模型自然不会沸腾。中途评估则像不断检查水温——每个 checkpoint 都在告诉你，距离沸点还有多远。

局限挑战

在青藏高原上，水不到 90°C 就开了；在高压锅里，水到 120°C 还在安静地躺着。“沸点”本身高度依赖测量环境和工具。登山者若拿着平地的沸点表去判断高压锅，一定会犯错。

对涌现能力的研究同样存在“环境依赖”。斯坦福的研究者发现，许多被观测到的“突然涌现”可能只是度量方式的产物：把精确匹配这种非线性指标换成编辑距离这种平滑指标后，曲线的突变会变成平滑上升，临界点也随之“消失”。

我们必须对临界点保持清醒。第一，度量影响观测。非线性指标（准确率、精确匹配）容易放大微小差异，线性指标（BLEU、编辑距离）会稀释突变信号——你看到的“涌现”可能只是度量尺子的刻度太粗。第二，临界点难以精确预测。数据质量、训练步数、架构细节都会移动它的位置，今天 100B 涌现，换一套数据可能就要 200B。第三，并非所有能力都会涌现。词汇记忆、短语复述这类基础能力从一开始就平滑提升，把它们也说成“涌现”会误导资源分配。第四，对齐安全。恰好在临界点附近出现的超强推理如果不受控，可能让模型在错误方向上变得更聪明，对齐工作必须在规模扩张之前布局。

一个严谨的厨师不会只盯着温度表，他会综合气压、海拔、水质来判断水何时真开。大模型从业者也是：既要敬畏临界点的威力，也要理解它背后的条件与局限，才能在“沸点”面前做出清醒的决策。

AI 应用场景

Python 演示

import numpy as np  def sigmoid_capability(model_size, threshold, slope=0.08):    """模拟模型在某一类任务上的能力随规模的变化.    规模远小于阈值时能力接近 0, 远大于阈值时接近 1.    """    return 1.0 / (1.0 + np.exp(-slope * (model_size - threshold)))  def linear_extrapolate(sizes, scores, target_size):    """用最小二乘法对小模型观测点做线性外推."""    k, b = np.polyfit(sizes, scores, 1)    return k * target_size + b  def main():    # 模型规模序列 (单位: 十亿参数)    sizes = np.array([1.0, 3.0, 10.0, 30.0, 100.0, 300.0, 1000.0])     # 假设某多步推理任务的临界规模为 100B    threshold = 100.0    true_scores = sigmoid_capability(sizes, threshold)     print("小模型观测 (1B ~ 30B):")    for s, v in zip(sizes[:4], true_scores[:4]):        print("  %5.1fB -> %.4f" % (s, v))     # 只用四个小模型做线性外推, 模拟"沿着趋势画线"    small_sizes = sizes[:4]    small_scores = true_scores[:4]     for target in (300.0, 1000.0):        pred = linear_extrapolate(small_sizes, small_scores, target)        actual = sigmoid_capability(target, threshold)        gap = actual / max(pred, 1e-6)        print("规模 %6.1fB: 线性外推=%.4f 实际=%.4f 低估倍率=%.1fx"              % (target, pred, actual, gap))        if gap > 2.0:            print("  -> 线性外推严重低估, 涌现能力被完全忽视")        else:            print("  -> 线性外推未出现明显偏差")  if __name__ == "__main__":    main()

1. return 1.0 / (1.0 + np.exp(-slope * (model_size - threshold)))这就是 Sigmoid 的代码实现，规模低于阈值时输出趋近 0，超过后快速逼近 1，对应“能力突变”。
2. k, b = np.polyfit(sizes, scores, 1)用最小二乘法对四个小模型观测点拟合一条直线，这是“线性外推”的起点。
3. small_scores = true_scores[:4]只取 1B~30B 的观测数据，模拟现实中无法随意训练超大模型的场景。
4. gap = actual / max(pred, 1e-6)计算“真实表现”与“外推预测”的倍率，越大说明外推失效越严重。
5. for target in (300.0, 1000.0)分别把趋势外推到 300B 和 1000B，对比两个目标规模下的预测误差。

常见误区

面试题