谷歌TPU v4与v5架构演进

可视化演示

通过架构规格对比、互联拓扑展示和性能雷达图三个模式，直观呈现谷歌TPU从v4到v5的架构演进与性能提升。

芯片定位：自建的分拣枢纽

一座快递城市里，分拣中心建在哪、为谁服务，决定了它的整体设计。谷歌的“数据包裹”量极其惊人：搜索排序、机器翻译、云上客户的 AI 训练任务，每天都是天文数字。外购的分拣设备（如 GPU）虽然通用，但在处理矩阵乘法这类核心动作时总有浪费。于是谷歌决定不再“买设备凑合”，而是完全按照自己的包裹流设计分拣中心——这就是 TPU 的诞生逻辑，它是一颗为张量运算而生的定制芯片。

从技术视角看，TPU 的“定制”体现在指令集与计算单元的取舍上。通用处理器需要兼顾无数种指令，而 TPU 把绝大部分晶体管都用来加速矩阵乘法和卷积运算，正如分拣中心把所有机械臂都设计成专抓标准快递盒的形状。2021 年发布的 v4 采用 7nm 制程，定位为内部训练主力；2023 年，谷歌进一步把产品线拆分：v5e 主打性价比与推理，v5p 主打峰值性能，分别面向不同客户群体，而不只是简单地把 v4 加量升级。

不同定位直接反映在峰值算力上。v4 单芯片 BF16 算力约为 275 TFLOPS，v5p 则提升到约 459 TFLOPS。这个对比可以看作两代“分拣员”手速差异的数字化表达：

一座城市的不同区位需要不同级别的分拣中心：有的大而全，有的小而精。v4 与 v5 的关系正是如此——v5 不是简单的“新一代碾压旧一代”，而是谷歌第一次按客户需求把芯片定位拆分成了更细的梯队。

算力规格：手速、货架与电费

分拣中心的效率评估不能只看分拣员手速，还要看货架是否放得下、传送带是否供得上、电费是否可控。对应到 TPU，手速是峰值算力（TFLOPS），货架是内存容量，传送带速度是内存带宽，电费则是功耗。v4 每个芯片配备 32GB HBM2 内存，带宽约 1.2TB/s；v5p 则将内存提升到 95GB，带宽达到 8.5TB/s——相当于分拣员手速变快的同时，传送带也换成了八车道高速履带。

内存带宽在训练大模型时尤其关键。Transformer 模型每计算一步都要频繁读写权重和中间激活值，如果带宽跟不上算力，再快的手也白搭——分拣员每秒能抓 100 个包裹，但传送带每秒只送来 10 个，产能就锁死在 10 个。v5p 把带宽提升近 7 倍，正是为了让新增的算力真正“吃饱”。而功耗方面，v4 已经是水冷散热的先行者，v5e 则进一步追求能效比，让每处理一个包裹的耗电量显著下降。

综合来看，衡量一台分拣中心真实产能的指标不是峰值手速，而是算力和利用率共同决定的“有效吞吐”：

换句话说，v5 的升级不只是“分拣员更快”，更是让传送带、货架和分拣员三者匹配得更协调。纸面上的 1.67 倍差距，在实际训练任务中可能因为带宽提升而放大成接近 3 倍的体验差距。

架构设计：流水线里的空包裹检测

走进分拣中心内部，你会看到流水线的布置方式决定了包裹能否被高效处理。v4 的流水线有一个重要发明——稀疏加速核心 SparseCore。在真实的 AI 模型中，神经网络权重经过训练后往往有大量取值为零的参数，这些零与任何数相乘结果还是零，白白消耗算力。SparseCore 就像在传送带上加装了一排“空包裹检测器”，识别出空包裹就让它直接滑走，不为它分配分拣员的工作时间。

除稀疏加速外，v4 还首次在 TPU 上引入了水冷散热。风冷就像是往分拣车间里吹电风扇，设备一多就压不住温度；水冷则像给高架轨道铺设循环冷水管，降温效率高得多。到了 v5e，谷歌甚至允许客户选择风冷版本以降低成本，v5p 则坚持水冷来支撑更高频率。制程方面，v4 为 7nm，v5 系列在更先进工艺上继续堆晶体管密度，相同面积能塞进更多计算单元。

稀疏加速对有效算力的提升可以用一个简洁式子表达：有效算力等于峰值算力乘以非零权重占比，因为只有非零部分真正需要计算：

这条流水线的升级思路，本质上是在回答一个问题：分拣员的工作时间有没有花在刀刃上？v4 的 SparseCore 打响了第一枪，v5 延续并优化了这一设计，让“空包裹”的识别率更高、开销更小。

互联技术：立交桥与智能轨道切换

单座分拣中心的产能再高也有上限，真正的质变来自让成百上千座分拣中心连成一张网。TPU 集群里，芯片之间的通信决定了大规模训练时大家能否齐心协力。v4 引入了一项关键基础设施——OCS（光路交换）技术，它像高铁站的智能轨道切换系统，能在数百条光纤轨道之间动态建立直连通道，让任意两颗芯片之间的通信不必绕路。

在拓扑结构上，谷歌采用 3D Torus 环形组网：每颗芯片在前后、左右、上下六个方向都有邻居，信息可以像包裹在立体网格里逐跳传输。v4 Pod 最多可连接 4096 颗芯片，v5e 在此基础上进一步强调以太网互连的兼容性，让中小客户也能灵活搭建训练集群。v5p 则在带宽上大幅跃升，单芯片内存带宽从 v4 的约 1.2TB/s 增至 8.5TB/s，有效缓解了“数据等待算力”的瓶颈。

互联系统的核心指标是通信延迟和带宽，它们共同决定了扩容的代价：

在快递网络里，最怕的是两座分拣中心之间只有一条窄路可走。v4 用光交换实现了“动态立交桥”，v5 则把立交桥拓宽了数倍——这正是 TPU 集群能支撑万卡级大模型训练的底气所在。

性能表现：纸面手速外的真实吞吐

分拣中心的实力终究要接受真实包裹流的检验。纸面上的 TFLOPS 只是面试手速，真正决定口碑的是高峰期的实际吞吐。谷歌公布的数据显示，TPU v5p 在大语言模型训练上相对 v4 有显著加速：在相同模型规模下，训练耗时大幅缩短，同时每瓦性能更高。究其原因，v4 时代的最大矛盾——算力涨了但带宽供不上——在 v5p 上得到明显缓解。

另一个关键指标是性价比。v5e 单芯片算力（约 393 TFLOPS）虽略低于 v5p，但定价更低、能效比更优，尤其适合推理负载；v5p 则面向追求极致训练速度的客户。这种“分档供货”的策略让谷歌的 TPU 产品线真正覆盖了从研究到生产的全谱系。实际训练中，性能提升往往不是单点算力提升的结果，而是带宽、稀疏加速、互联拓扑共同作用的结果。

训练加速比的量化表达很简单：

如果把峰值算力和加速比摆在一起看，会发现 v5 的实际加速往往超过纸面 1.67 倍。原因很简单：分拣员手速提升之外，传送带速度、空包裹识别和路线优化都在共同发力，这才有了"1+1>2"的效果。

演进启示：从一座中心到一张网络

回看 v4 到 v5 的进化，最值得品味的不是晶体管数量的增加，而是谷歌对“算力网络”整体思考的成熟。v4 时代，谷歌更多把 TPU 当作内部训练的秘密武器；v5 时代，TPU 全面走向 Google Cloud 对外开放，v5e 成为云上推理的代表，v5p 则向外部客户提供超级计算机级的训练能力。这是从“自用的分拣中心”到“基础设施服务商”的转身。

软件协同在这条演进路线上同样重要。谷歌的 XLA 编译器与 TPU 深度绑定，开发者用 TensorFlow 或 JAX 写出的模型经过编译器优化后，才能在 TPU 上充分发挥稀疏加速和带宽优势。v5 的硬件设计甚至反过来为软件留了更多优化空间，比如更好的张量切分支持。行业层面，TPU 的存在让 AI 算力不再是英伟达的独角戏，云客户多了一个不可忽视的性价比选项。

多芯片集群的总算力并不是芯片数量的简单乘法，而是受扩展效率约束的：

从一座分拣中心到一张智能物流网络，TPU 的演进折射出 AI 基础设施的核心趋势：算力不再是单点竞赛，而是芯片、互联、软件、生态的系统工程。v4 证明了定制路径可行，v5 则把这条路径铺成了可供全行业使用的宽阔公路。

AI 应用场景

Python 演示

"""TPU v4 与 v5p 训练耗时模拟对比"""  class TPU:    """模拟一颗 TPU 芯片的关键规格"""     def __init__(self, name, peak_tflops, bandwidth_gbps, sparse_ratio):        self.name = name        self.peak_tflops = peak_tflops        self.bandwidth_gbps = bandwidth_gbps        self.sparse_ratio = sparse_ratio     def effective_flops(self, util_ratio=0.6):        """考虑利用率与稀疏加速后的有效算力"""        if not 0 < util_ratio <= 1:            raise ValueError("util_ratio must be in (0, 1]")        sparse_gain = 1 + self.sparse_ratio * 0.5        return self.peak_tflops * 1e12 * util_ratio * sparse_gain  def train_hours(tpu, chips, tokens, params):    """估算在 chips 颗芯片上训练 tokens 个 token 的耗时"""    flops_per_token = 6 * params    total_flops = tokens * flops_per_token    aggregate = tpu.effective_flops() * chips    return total_flops / aggregate / 3600  def main():    v4 = TPU("TPU v4", 275, 1200, 0.0)    v5p = TPU("TPU v5p", 459, 8500, 0.15)     tokens = 1_000_000_000    params = 180_000_000_000    chips = 1024     for tpu in (v4, v5p):        hours = train_hours(tpu, chips, tokens, params)        print(f"{tpu.name}: {hours:.1f} 小时")     t4 = train_hours(v4, chips, tokens, params)    t5 = train_hours(v5p, chips, tokens, params)    print(f"v5p 相对 v4 加速比: {t4 / t5:.2f}x")  if __name__ == "__main__":    main()

1. self.peak_tflops记录单芯片峰值算力，对应前文的手速指标
2. def effective_flops(self, util_ratio=0.6)计算有效算力，默认利用率 0.6，体现“天花板×利用率”公式
3. sparse_gain = 1 + self.sparse_ratio * 0.5假设稀疏权重带来 50% 额外算力收益，简化模拟 SparseCore 效果
4. flops_per_token = 6 * params大模型训练每个 token 约需 6N FLOPs，N 为参数量
5. aggregate = tpu.effective_flops() * chips集群总算力等于单芯片有效算力乘以芯片数
6. total_flops / aggregate / 3600从总计算量除以总算力得到秒数，再转为小时

常见误区

面试题