大模型计算量FLOPs估算方法

可视化演示

FLOPs：算力账单的单位

想象你经营一家米其林后厨，为了控制成本，你让厨师每做一道菜就记录一次动作：备料几下、翻炒几下、摆盘几下。大模型训练不是做菜，但道理相同——我们想知道整个训练过程一共做了多少次“浮点运算”。这种动作总数，就是 FLOPs。它不关心模型产出有多智能，只像计数器一样统计每一条矩阵乘法里的乘法与加法。

为什么只数乘法和加法？因为 GPU 最擅长的基础动作就是“乘加融合”。Transformer 里的注意力、MLP、向量映射，本质上全是矩阵乘法；一次矩阵乘法包含大量乘法和加法。把每一个“乘一次、加一次”算成 2 个浮点动作，整张账单就能合并成一个数字。

单位从小到大，有 KFLOPs、MFLOPs、GFLOPs、TFLOPs、PFLOPs。大模型训练账单通常要用 T 和 P 才装得下。1 TFLOPs 等于一万亿次运算，1 PFLOPs 等于一千万亿次运算，相当于给地球上的每个人每秒做一万次计算。

记住这个单位换算，后面所有账单才能对得上。后厨动作太多时，用“千万亿”作单位，账本才不会写满零。

前向传播：照着菜谱做一遍

模型的“前向传播”很像厨师按菜谱做一遍。食材就是参数，Token 是一道菜的原料组合；每读一个 Token，模型要把所有参数都用一遍，算出对下一个输出的预测。这一步确定菜品的味道，也确定最基本的算力成本。

在实际 Transformer 中，Token 先做 embedding，然后穿过多头注意力、FFN、LayerNorm。这些操作看起来眼花缭乱，但底层全是参数矩阵与输入向量相乘。所以一张账单可以简化成：前向处理一个 Token，约等于“2 × 参数量”次浮点运算。注意力中的 QKV 投影和 FFN 的两个线性层都算在里面；只要参数量相同，谁占比高并不影响约等式。

后厨里不管你是切丝还是雕花，只要备好的食材总量不变，基本动作量就不会跑偏。前向就是那套既定动作，2N 是它的计件公式。

反向传播：收拾厨房的隐藏账单

菜做出来还要让客人试味，若不合口，就要回头修改菜谱。反向传播就是这个“回头修改”的动作：根据损失函数算梯度，告诉每个参数该往哪个方向调，才能让下次预测更准。没有这一步，模型就永远学不会。

修改时需要两类信息：损失对权重矩阵的梯度，以及传给上一层的输入梯度。这两类信息都要再做一遍类似前向的矩阵运算，因此反向传播的动作量约为前向的两倍。就像收拾厨房时，不仅要洗锅，还要把每种食材的半成品状态逐一核对记录，工作量比做菜时更大。

激活值存储虽然会占用显存，但不直接写进 FLOPs 公式。就像记录半成品状态要占用冰箱，可冰箱体积并不计入“颠勺次数”。反向传播的账单大头，仍然是梯度矩阵运算。

参数量与 FLOPs 的黄金换算

把前向和反向合起来看，每个 Token 平均每个参数要承担约 6 次浮点运算。这张经验公式好用得惊人，几乎与模型的具体结构无关。无论你是注意力模块更多，还是 FFN 更宽，只要总参数量 N 相同，训练一个 Token 的算力量级就差不多。

设 N 是模型总参数量，D 是训练语料包含的总 Token 数。训练总账就是 6ND。70B 模型配 2T Token，把数字带进去就能估算出数量级，而不需要一行行数代码。这也是“算力账单”最实用的地方：不需要打开模型源码，只看参数量和数据处理量。

批量大小不会改变每个 Token 的成本，但会改变单次迭代处理的 Token 总数。所以最终账本仍然由 N 和 D 决定，就像做一万人的宴席，每道菜的动作单价不变，总动作量按份数线性累积。

训练总账估算：从参数和 Token 出发

有了黄金公式，一切就变成小学数学应用题。一个 70B 参数模型，在 2 万亿 Token 上训练，总账就是 \(6 \times 700 \text{亿} \times 2 \text{万亿} = 8.4 \times 10^{23}\) FLOPs。这个数字大得惊人，但正是大模型训练的真实体量。想验证也很简单，把开源模型公告中的参数量和数据集大小代入即可。

如果训练 2 个 epoch，D 就要翻倍，因为模型把同样的语料多看了两遍。数据重复等于多做一遍菜，成本会重复累计。如果只训练 1T Token，账目相应减半。训练时长、优化器选择都不会改变这个数学计数，最多只影响墙钟时间。

精度改造（例如低精度训练）能提高吞吐速度，但不改变这个 FLOPs 数学计数。算力账单算的是“动作次数”，而不是“动作时间”。时间账单要交给 GPU 天数换算部分处理。所以当你看到一篇论文说“训练成本约 \(8.4 \times 10^{23}\) FLOPs”时，第一反应应该是：它的 6ND 分别填了多少。

GPU 天数换算：把动作总量变成天数

知道了总动作次数，还要知道后厨出菜速度。GPU 的标称 FLOPs 就像厨师在理想状态下的最快颠勺速度；真正落地时会有空等、切配、通信损耗，所以要乘一个利用率 μ。训练场景中 μ 通常取 0.3～0.5，表示只有三四成峰值算力真正用于计算。

设集群有 G 张 GPU，单卡峰值算力为 \(F_{\text{GPU}}\)，利用率为 μ，一天有 86400 秒。整个集群每天能完成的有效动作量是 \(F_{\text{GPU}} \times \mu \times 86400 \times G\)。用训练总账 C 一除，就能得到所需天数。这个换算把所有“标称值”翻译成了“作战时间”。

用刚才的 \(8.4 \times 10^{23}\) FLOPs 举例：1000 张 A100，单卡 312 TFLOPs，利用率 40%，算出来约 78 天。如果利用率提升到 50%，约 63 天；若加到 2000 张卡，约 39 天。GPU 天数换算就是一张“人力排班表”。

推理计算估算：只做菜不返工

训练结束后，模型正式“开店迎客”。推理阶段没有反向传播，只有前向：给一个输入 Token，沿着参数矩阵走一遍，生成一个输出 Token。你可以把它理解为，客人点什么菜，厨师就按菜谱现做一次，不再需要回头改菜谱。

所以每个输出 Token 的 FLOPs 约是 2N。模型越大，每生成一个字的账单越高；生成文本越长，总成本越大。如果同时服务 B 个用户，每个 Token 都要被 B 个请求各算一遍，总账还要乘上 B。在线服务场景中，这就是每次请求背后的真实算力消耗。

KV 缓存能把历史 Token 的键值存下来，避免重复计算，在工程上显著省时。但在量级估算里，权重矩阵的读取仍然对应 2N 这口饭，推理服务的成本绝不能按“免费续杯”来算。

AI 应用场景

Python 演示

def estimate_training_flops(num_params, num_tokens, epochs=1):    return 6.0 * num_params * num_tokens * epochs  def estimate_inference_flops(num_params, output_tokens, batch_size=1):    return 2.0 * num_params * output_tokens * batch_size  def estimate_gpu_days(total_flops, gpu_tflops, gpu_count, utilization=0.4):    gpu_flops = gpu_tflops * 1e12    flops_per_day = gpu_flops * utilization * 86400    return total_flops / (flops_per_day * gpu_count)  def main():    params = 70e9    tokens = 2e12    train_flops = estimate_training_flops(params, tokens)    print("Train FLOPs: %.3e" % train_flops)     days = estimate_gpu_days(train_flops, gpu_tflops=312, gpu_count=1000)    print("A100*1000 days: %.1f" % days)     infer_flops = estimate_inference_flops(params, output_tokens=2048, batch_size=32)    print("Infer FLOPs: %.3e" % infer_flops)  if __name__ == "__main__":    main()

1. def estimate_training_flops(num_params, num_tokens, epochs=1):把黄金公式 6ND 封装成可复用函数，epoch 乘到 D 上。
2. return 6.0 * num_params * num_tokens * epochs对应 6ND，用浮点乘法避免整数溢出。
3. flops_per_day = gpu_flops * utilization * 86400单卡一天的有效动作量，相当于后厨一天的有效出餐动作。
4. days = estimate_gpu_days(train_flops, gpu_tflops=312, gpu_count=1000)模拟 1000 张 A100 的集群时间估算。
5. print("Train FLOPs: %.3e" % train_flops)用科学计数法展示万亿级数字，避免满屏零。

常见误区

面试题