能效对比分析方法

可视化演示

对比框架搭建

老周处理车队争吵的第一步，不是算账，而是立规矩。他对小张、老李和小王说：“想比谁省，行。下周二同一时段，三辆车走同一条 20 公里的环线，都装各自额定载重的八成，跑三趟，记下每趟的电量或油量。”这就是对比的框架：统一负载、统一路线、统一时段。没有这个框架，三辆车各跑各的路，数字再漂亮也没有意义。

AI 硬件能效对比同样如此。对比框架搭建是整个过程的地基：首先要确定对比维度——到底比性能、比功耗、比能效，还是比性价比；其次要统一基准条件，包括相同的模型、相同的数据集、相同的软件栈和相同的环境温度；最后要规范测试流程，从预热到采样时长都要写进文档，让测试可以复现。

框架的落点在于结果解读。就像老周发现三轮车虽然省电但送得慢、卡车送得快但费油，单一指标都说不清“谁更优”，必须综合看“每度电送出的包裹数”。能效比的数学定义由此登场：

其中 $\displaystyle Q$ 是单位时间内完成的有效计算任务量（即吞吐量），$\displaystyle P$ 是同一时段内系统的平均功耗。

有了这套框架，老周把三辆车的“战绩”摆到同一张表上，结论第一次有了说服力。做 AI 硬件对比也一样：先立规矩，再谈数字，否则再精美的测试报告也只是各说各话。

能效指标体系

老周在表格里发现一个新问题：三轮车一趟送 20 件、耗 0.5 度电；面包车一趟送 80 件、耗 3 度电。算下来三轮车“每度电 40 件”，面包车“每度电约 27 件”，似乎三轮车更优？但老周明白，如果包裹变成冰箱彩电，三轮车就根本运不了。指标必须契合业务场景，这正是能效指标体系要回答的。

在 AI 硬件领域，能效指标不是单一一个数，而是一个指标体系。最常用的是性能功耗比（Performance per Watt，PPW），即每瓦功耗产生的算力，常见口径有 TOPS/W（每秒万亿次整数运算每瓦）和 FLOPS/W（每秒浮点运算每瓦）。针对延迟敏感场景，还会用能耗延迟积（EDP），把延迟也纳入代价，因为“等得久”本身也是一种消耗。

指标选取的原则是跟着场景走：跑大模型训练，关心“单位能耗换来的精度提升”；跑在线推理，关心“单位能耗处理的请求数”；做边缘部署，还要关注待机功耗。就像老周给市内短途配三轮、给干线配卡车，指标选对了，对比才有意义。PPW 的定义式：

其中 $\displaystyle F_{\text{ops}}$ 为实测算力（OPS 或 FLOPS），$\displaystyle P_{\text{avg}}$ 为运行期间的平均功耗。

老周最终给每辆车都挂上了一块“能效仪表盘”：市内件看每度电件数，干线件看每升油吨公里。指标因场景而异，但背后的逻辑一致——让能量花得明明白白。

训练能效评估

老周的车队接了一单“长途搬迁”生意：满载的卡车要在山路上连续爬坡八小时。这时候比“每度电送多少件”，就必须把整个爬坡过程算进去，而不能只看平路巡航的瞬时油耗。训练就像重载爬坡——模型在大量数据上反复迭代，动辄数天甚至数周，系统长时间处于高负载。

训练能效评估的核心，是核算达到目标精度所需的总体能耗。几个关键因素要同时纳入：一是训练能耗测算，包括每步迭代的能耗与总迭代步数；二是收敛速度权衡，迭代步数取决于学习率、批大小等超参数，调参直接影响能耗；三是规模效应影响，更大的模型总能耗更高，但摊到每个 token 上可能反而更省；四是优化策略手段，如混合精度训练（FP16/BF16）、梯度累积、分布式并行，都能在相同精度下压低能耗。

如果只盯着“每步多快”而忽略“多少步收敛”，就像只看卡车瞬时油耗却不管它爬坡多费劲。训练的总体能耗可以写成：

其中 $\displaystyle N_{\text{iter}}$ 是收敛所需的迭代步数，$\displaystyle E_{\text{step}}$ 是每一步迭代的平均能耗。

老周把这趟长途的油费除以送达的货物总量，得出了“每吨货物每公里”的真实成本。AI 训练同理：用总能耗除以训练出的模型能力，才是公平的横向对比口径。

推理能效评估

如果说训练是重载爬坡，那推理就是市区轻载跑单：一辆电动小三轮在城区穿梭，频繁起步停车、等红灯，每一单都要及时送达。此时“每度电送多少件”依然重要，但顾客更关心“这一单等多久”。推理场景的能效评估，必须同时握住延迟与吞吐两根线。

推理能效评估中，首先要看延迟与吞吐：延迟是单个请求从进入到返回的时间，吞吐是单位时间处理的请求数，两者共同决定用户体验和资源利用率。其次是批处理效应——把多个请求合并成一批交给芯片同时算，计算资源被更充分利用，单位请求能耗显著下降，这是提升推理能效最立竿见影的手段。再次是部署形态差异：云端可以堆大卡、跑大批，边缘设备受功耗限制只能跑小模型、小批量，二者能效对比必须分开看。最后是动态功耗管理：推理负载波动大，芯片根据负载动态升降频，空闲时降到最低功耗，避免“空车不熄火”。

推理能效的表达式，把吞吐和功耗放在同一个分数里：

其中 $\displaystyle B$ 是批大小，$\displaystyle N_{\text{req}}$ 是批内请求数，$\displaystyle T_{\text{batch}}$ 是处理该批的总耗时，$\displaystyle P$ 是平均功耗。

老周发现，把三个小区的小件合并成一车送，比分别跑三趟省一半电。推理服务的能效优化，本质上就是这趟“合并送件”的数学化。

跨代演进分析

三年后，老周的车队准备再次换车。采购清单上有三年前的电动小三轮，也有最新款续航翻倍的电动货车。要判断“新科技到底进步了多少”，老周没有直接对比说明书上的宣传数据，而是让新款车和老款车在同一条环线上、同样的装载规则下跑了一遍，再逐年折算。跨代对比的第一原则，是同一把尺子量两代人。

跨代能效演进分析包括四个动作：一是同基准可比性，新老芯片必须在相同的模型、数据集、软件栈下测试，防止“田忌赛马”式的错位比较；二是年度提升率，用复合增长率把多代产品的能效进步折算成年均值，便于长期追踪；三是技术驱动因素，能效提升通常来自制程工艺进步（更小的晶体管、更低的电压）、架构创新（更高效的计算单元、更好的内存布局）和封装技术（更高密度、更短互连）；四是趋势外推预测，在掌握多年数据后可外推下一代能效区间，为未来选型做预算。

老周在年度汇报中画出一条上扬的曲线：同一条线路，三年前每度电送 28 件，今年每度电送 73 件。年均提升率的计算方式：

其中 $\displaystyle \eta_{t_1}$、$\displaystyle \eta_{t_2}$ 分别是两个代际的能效值，$\displaystyle \Delta t$ 是间隔年份数。

老周拿着这条曲线给老板汇报：“不是新款车贵了，是每度电的产出翻倍了。” AI 硬件采购团队同样可以用这条曲线回答：新一代芯片的溢价，能不能被能效进步带来的电费节省覆盖。

能效成本决策

采购清单摆在老周面前时，他发现最“省电”的电动货车售价居然是三轮车的十二倍。如果只看购车价，似乎小三轮最划算；如果只看电费，大货车每件成本最低。老周最后算的是一笔总账：把这辆车三年内的购买费、充电费、维修保养费、司机工时全部加起来，再除以它三年能送出的总包裹数。 这就是“全生命周期成本”思维。

能效成本综合评估把能效数字翻译成钱。第一步是采购成本核算，即芯片或整机的单价，这部分是一次性资本支出；第二步是运行能耗成本，由功耗、运行时长、电价三者相乘得到，数据中心还要乘上 PUE 系数（总能耗与 IT 设备能耗之比）来计入制冷损耗；第三步是全生命周期成本（TCO），把采购、能耗、运维、折旧全部汇总；第四步基于 TCO 建立选型决策流程，用“每万元算力”“每元电费算力”这样的派生指标做横向对比。

TCO 的算式并不复杂，但每一项都要认真估算：

其中 $\displaystyle C_{\text{cap}}$ 是采购成本，$\displaystyle C_{\text{energy}}$ 是生命周期内的能耗成本（$\displaystyle C_{\text{energy}}=P\times T_{\text{use}}\times p_{\text{elec}}\times \text{PUE}$），$\displaystyle C_{\text{op}}$ 是运维与人力成本。

老周最终在会议上拍板：买电动货车，不是因为最省电，而是因为“三年总账 ÷ 总包裹数”最低。AI 硬件选型也一样——让能效数据穿过成本漏斗，得出的是经得起财务审计的决策，而不是工程师的一厢情愿。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-# AI 硬件能效对比分析示例import math PLATFORMS = [    {"name": "CPU", "throughput": 120, "power": 65, "price": 20000},    {"name": "GPU", "throughput": 850, "power": 300, "price": 60000},    {"name": "TPU", "throughput": 1100, "power": 280, "price": 80000},    {"name": "NPU", "throughput": 1600, "power": 150, "price": 45000},] GENERATIONS = [50, 73, 105]  def compute_ppw(platforms):    """计算各平台性能功耗比 即每瓦算力"""    results = []    for p in platforms:        ppw = p["throughput"] / p["power"]        results.append((p["name"], round(ppw, 2)))    return sorted(results, key=lambda item: item[1], reverse=True)  def annual_growth_rate(values):    """计算跨代年均能效提升率"""    first = values[0]    last = values[-1]    years = len(values) - 1    return math.pow(last / first, 1.0 / years) - 1.0  def estimate_tco(platform, hours=8760, price_per_kwh=0.8, years=3, pue=1.5):    """估算三年全生命周期总成本 单位万元"""    cap_cost = platform["price"]    power_kw = platform["power"] / 1000.0    energy_cost = power_kw * hours * price_per_kwh * pue * years    return (cap_cost + energy_cost) / 10000.0  def main():    print("=== 硬件能效对比分析 ===")    ranked = compute_ppw(PLATFORMS)    for name, ppw in ranked:        print("平台 %-4s 性能功耗比: %7.2f OPS/W" % (name, ppw))     print("\n=== 跨代演进分析 ===")    rate = annual_growth_rate(GENERATIONS)    print("三代间年均能效提升率: %.1f%%" % (rate * 100))     print("\n=== 能效成本综合评估 ===")    for p in PLATFORMS:        tco = estimate_tco(p)        print("平台 %-4s 三年 TCO: %.2f 万元" % (p["name"], tco))  if __name__ == "__main__":    main()

1. def compute_ppw(platforms):定义能效计算函数，遍历各平台用吞吐量除以功耗得到每瓦算力。
2. ppw = p["throughput"] / p["power"]性能功耗比的核心算式，对应文中 η=Q/P。
3. sorted(results, key=lambda item: item[1], reverse=True)按能效从高到低排序，相当于把各车“每度电包裹数”排成榜。
4. def annual_growth_rate(values):计算跨代能效的年均提升率，输入是多代能效值列表。
5. math.pow(last / first, 1.0 / years) - 1.0对应文中年化公式，把总倍数按年份开方后折算成年均增长率。
6. def estimate_tco(platform, hours=8760, price_per_kwh=0.8, years=3, pue=1.5):TCO 估算函数，把功耗、电价、PUE、年限全部折算成总成本。
7. energy_cost = power_kw * hours * price_per_kwh * pue * years能耗成本等于功率乘时长再乘电价乘 PUE 乘年限。
8. if __name__ == "__main__":标准入口，保证脚本既可被导入也可以直接运行。

常见误区

面试题