功耗与能效评测：推理Token/s/W

可视化演示

展示推理能效核心指标tokens/s/W的计算公式与测量链路、不同层级能效对比及优化策略，交互切换查看大模型推理能效评测的关键机制。

指标定义：给芯片装油耗表

老李试驾两辆车：A 车时速 120 公里、每小时喝 10 升油；B 车时速 90 公里、每小时喝 3 升油。问哪辆更省？用“每升油跑的公里数”一算——A 车 12 公里/升，B 车 30 公里/升，B 完胜。这里“公里/升”就是汽车的 Token/s/W：它不单看跑得快不快，还看喝得省不省。

AI 芯片的对应关系一目了然。Token/s 是芯片在推理时每秒生成的 token 数量，相当于车速；W 是运行时的平均功耗，相当于油耗率。把吞吐量除以功耗，得到的就是“每瓦每秒产出多少 token”。这个比值越高，说明同样一度电、同样跑一小时，能生成更多文字、服务更多请求。

所以下次看芯片宣传页，别只盯着“每秒 500 token”这块仪表盘，多问一句“它喝多少电”，才真正看懂了性能账本。

评测流程：跑一次标准路况

工信部测汽车油耗，不是随便找条下坡路溜一圈，而是在固定路况上完整跑一段，全程记录加油量与里程。评测 Token/s/W 同理：挑一个标准模型和输入，让芯片连续推理一段固定时长，边跑边记账。

记什么账？两本：第一本数 token——累计生成了多少个；第二本测功耗——每隔一小段时间从功率计读一个瞬时值。跑完后，用总 token 数除以时长得到吞吐，把所有瞬时功耗取平均得到平均功耗，两者相除即得能效。这里平均功耗必须用“积分平均”而非“峰值”或“标称值”，否则就像拿“满油门喷油量”冒充真实油耗。

就像油耗测试必须跑完整圈、记全程油耗，能效评测也必须覆盖完整的推理过程，而不能只抓“刚启动那一下”的漂亮数字。

基准配置：报油耗必须报路况

同样一辆车，市区油耗 7 升，高速油耗 5 升，说“百公里 5 升”而不说明是高速工况，就是在耍流氓。Token/s/W 也一样，它不是一个普适常数，而是贴着工况标签的测量值。

工程上至少有三个“路况”参数必须写进报告：第一是模型，包括网络结构与参数量，跑 7B 模型和跑 70B 模型完全是两个世界；第二是批处理大小（batch size），一次喂 1 条请求还是 32 条请求，芯片的忙碌程度天差地别；第三是精度，FP16、FP8、INT8 各自的计算量与功耗特性不同。三者齐备，数值才有可比性。

“高速油耗 5 升”离开“高速”二字毫无意义；Token/s/W 离开配置标注同样毫无意义。看评测报告先找右下角的小字，这是业内老手的条件反射。

影响因素：油耗为何忽高忽低

老李发现同一辆车，满载加开空调时油耗飙升，空载时油耗喜人。芯片也是这样：同样的卡，换个模型、换个输入长度，Token/s/W 立刻变脸。核心原因藏在一条简单关系里：能效 = 算力 ÷ 每 token 计算量 ÷ 功耗。

模型规模是最大的变量。模型参数越多，生成每个 token 消耗的浮点运算量越大，分母变大，能效自然下降。其次是硬件架构：先进制程、更高算力上限的芯片，在同样功耗下能跑更多计算，但要小心“功耗墙”——性能翻倍往往伴随着功耗同步上涨。最后是工作负载：输入越长，注意力机制的计算开销越大；并发请求越多，算力利用率越高，摊到每个 token 上的固定开销就越低。

同一辆车载重不同油耗不同，同一张卡模型不同能效不同。所以比能效之前，务必先对准条件：同模型、同批次、同精度，否则就是拿满载的油耗去比空载的油耗。

优化策略：减重、换挡、调油门

老李摸索出省油三招：拆掉后备箱杂物减重、高速挂高挡位让发动机转得从容、缓踩油门避免频繁急加速。AI 推理的能效优化，恰好也有三招对应的打法。

第一招“减重”是量化压缩：把权重从 FP16 换成 INT8，每个 token 的计算量近似减半，吞吐可能翻倍，功耗也随之下探，能效提升立竿见影。第二招“换挡”是批处理调优：把 batch size 从 1 提到 16、32，让 GPU 的算力单元始终满载，把内存搬运、内核启动这些固定开销摊薄到更多 token 上。第三招“调油门”是功率管理：利用动态电压频率调节（DVFS），在请求稀疏时主动降频降压，避免“大油门空转”。

省油不是玄学，而是减重、挡位与油门的系统工程；省电同样如此，量化、批处理与功率管理三管齐下，才能把每瓦产出榨到极致。

局限误区：油耗表也会骗人

有人把车推到山顶再挂空挡滑行下来，测出百公里 1 升的“奇迹油耗”。Token/s/W 评测也有类似的骗局，最常见的有三类。第一类是峰值虚高：跑一个精心挑选的短负载，让芯片短暂处于满血状态，测出的数字远高于长期稳态水平；第二类是场景错配：用小模型、大批次刷出漂亮分，实际线上却是大模型、小并发，根本达不到那个能效；第三类是单点失真：只报一个配置下的数值，掩盖真实业务的波动。

这三类问题的本质，是拿“某一点的能效”冒充“整条曲线的能效”。真实能效随利用率剧烈变化：芯片空闲时也在耗电，低利用率下每瓦产出被底耗拖垮，只有负载接近满载时才接近标称值。

看油耗不能只看宣传册，能效必须结合真实工况。任何“漂亮数字”都要问一句：这是在什么负载、什么利用率、什么配置下测出来的？

实战应用：算清每公里油钱

网约车老李真正关心的不是油耗表，而是“每公里油钱”——油耗乘以油价才是掏出去的真金白银。数据中心同样如此：Token/s/W 最终要换算成“每百万 token 多少电费”，这笔钱直接决定推理服务是盈利还是亏本。

工程上有三个落地动作。选型决策：两张卡能效接近时，还要比延迟、峰值功耗和采购价，能效只是其中一个维度。成本核算：用量测得的功耗 P 除以吞吐 TP，得到每 token 能耗，再乘电价就能算出每百万 token 的电费——这是给推理服务定价的底线。报告规范：任何能效数据必须附上完整配置（模型、批次、精度、框架版本），行业里 MLPerf 等基准正是在统一工况下才让横向对比有意义。

省油的车省的是油钱，能效高的卡省的是电费，而电费在推理总成本中占比可观。把 Token/s/W 算进财务报表，才是这个指标最大的价值。

AI 应用场景

Python 演示

import random class Chip:    """模拟一颗 AI 推理芯片: 以恒定速率吐字, 功耗带轻微抖动."""     def __init__(self, name, token_s, watts, jitter=0.06):        self.name = name        self.token_s = token_s        self.watts = watts        self.jitter = jitter     def run_step(self, dt):        """跑一个时间片, 返回(新增token数, 本片平均功耗W)."""        tokens = self.token_s * dt        power = self.watts * (1 + self.jitter * (random.random() - 0.5))        return tokens, power  def benchmark(chip, seconds=5.0, dt=0.1):    """跑一次标准路况: 固定时长计时, 数token, 采功耗."""    total_tokens = 0.0    energy = 0.0    steps = int(seconds / dt)    for _ in range(steps):        tokens, power = chip.run_step(dt)        total_tokens += tokens        energy += power * dt    token_s = total_tokens / seconds    avg_watts = energy / seconds    return token_s, avg_watts, token_s / avg_watts  def main():    candidates = [        Chip("猛火芯A", token_s=180, watts=4.5),        Chip("节能芯B", token_s=80, watts=1.0),    ]    results = []    for chip in candidates:        tp, w, eff = benchmark(chip)        results.append((chip.name, tp, w, eff))        print(f"{chip.name}: 吞吐 {tp:7.1f} token/s | "              f"功耗 {w:5.2f} W | 能效 {eff:5.1f} token/s/W")    best = max(results, key=lambda r: r[3])    print(f"能效胜出者 -> {best[0]} ({best[3]:.1f} token/s/W)")  if __name__ == "__main__":    main()

1. tokens = self.token_s * dt每个时间片按恒定速率产出 token，模拟吞吐量。
2. power = self.watts * (1 + self.jitter * (random.random() - 0.5))给功耗加轻微随机抖动，模拟真实功率计的波动。
3. energy += power * dt瓦乘以秒累加，得到累计能耗焦耳。
4. steps = int(seconds / dt)把总时长切分成固定间隔的采样步数。
5. token_s = total_tokens / seconds用总 token 数除以时长，得到吞吐量。
6. avg_watts = energy / seconds用累计能耗除以时长，得到平均功耗。
7. best = max(results, key=lambda r: r[3])按能效（下标 3）取最高者，完成选型决策。

常见误区

面试题