想象一座叫 IPU 的智能城市。这座城市没有巨型工厂集中处理所有订单,而是把上千个各带仓库的社区平行排开。每个社区都能独立接单、独立开工,彼此通过约定好的哨声同步进度。这就是 Graphcore IPU 的 MIMD 并行哲学。最新款 Bow IPU 则做了一次更大胆的改造:在整座城市的地底下,直接浇筑一整层“地下供电站”,紧贴着每个社区供电,把供电距离从几十毫米缩短到几十微米。过去,电力从城市边缘绕一大圈才能送到每个社区,途中损耗大、电压不稳,工厂不敢开足马力;现在,电从脚下直送,电压稳、频率高,城市的算力提升了 40%,每度电创造的算力也提升了 16%。学习 Bow IPU,就是看一座城市如何通过“向上要空间、向下修电网”,在 AI 算力竞赛中突围。
掌握 Bow IPU 的 3D 堆叠与供电设计,能让你看透 AI 芯片从平面走向立体时的性能与能效权衡,为 AI 硬件选型和架构判断打下坚实基础。
可视化演示
展示3D晶圆级堆叠工艺、MIMD多Tile并行架构、Bow与前代性能对比三阶段交互探索。
本节配有交互动效(进入视口后自动加载,约 3KB)。
3D晶圆级堆叠工艺 处理器晶圆与电源管理晶圆键合 3D堆叠提升供电效率与频率 晶圆级键合减少互连延迟 Bow = IPU wafer + PWR wafer 3D堆叠是Bow IPU核心工艺创新
MIMD架构基础
想象 Graphcore 的 IPU 是一座“智能城市”。这座城市没有把全部计算交给一个中央总部,而是派给上千个社区。每个社区既有自己的加工厂,也有紧挨着的原料仓库,接到订单立刻开工,不用等总部分发材料。Graphcore 称每个社区为一个 tile,也就是处理器核心,核心旁边就是本地存储。
这种“各社区独立干活”的架构,在计算机体系结构里叫 MIMD,多指令流多数据流。通俗地说,不同核心可以同时执行不同任务、处理不同数据,而不是所有工人重复同一动作。AI 训练中,不同样本、不同网络层天然可以并行,MIMD 正好让每个社区各点各的火。
不过,社区之间不能完全没节奏。IPU 使用 BSP(整体同步并行)机制:所有核心先算一小段,然后统一交换进度,再继续下一段。这像城市用同一声哨子指挥各社区交货,保证数据不错乱。并行虽好,串行同步却会拖后腿。
这座城市的治理智慧是“并行干活、同步对齐”。理解了这个地基,才能理解 Bow 后来在供电上做的惊天改造。
- p 的含义p 是任务中可并行执行的比例,取值在 0 到 1 之间。
- 串行时间占比剩余 \(1-p\) 是必须串行的部分,不管多少核心都要花这时间。
- 并行时间压缩可并行部分的时间被 N 个核心分摊,变成 \(p/N\)。
- 加速比极限当核心数无穷多时,加速比受限于串行比例的倒数,这是 Amdahl 定律给出的“墙”。
供电瓶颈挑战
城市越大,供电越难。传统芯片的电源从封装引脚出发,沿着表面密密麻麻的金属线送到每个核心,就像发电厂在城郊,电流要穿过几十毫米的“街道”才能抵达城中心。供电网络本身有电阻,电还没走完就损耗了不少。
电流经过电阻必然产生电压降,也就是 IR Drop。公式很直白:电压降等于电流乘以电阻。导线越长、电阻越大,核心收到的电压就越低。一旦电压低于设计门槛,芯片要么降低时钟频率来减少功耗需求,要么直接算错。这就像水压不够时,高楼住户只能开小水流。
为了安全,芯片只能把频率压在某个保守值,这就是“频率墙”。前代 IPU 虽然并行能力强,但外部供电网络从芯片边缘往中心延伸,像从城外拉一根很长的电线进城,压降问题限制了频率上限。城市的扩展,最终被电网卡住。
Bow 的解题思路并不是换更粗的电线,而是干脆把发电厂搬到每栋楼底下,这就是 3D 堆叠。
- IR 压降电流 \(I\) 流经电阻 \(R_{\text{line}}\) 时,电压下降量等于两者乘积。
- 线电阻公式电阻与材料电阻率 \(\rho\)、导线长度 \(L\) 成正比,与截面积 \(A\) 成反比。
- 压降与长度成正比把供电路径 \(L\) 缩短到原来的百分之一,压降也会近似成比例缩小。
3D晶圆堆叠
Bow 的答案,是往地下修一层“能源中心”。它把处理器晶圆和电源管理晶圆垂直堆叠起来,用 3D 晶圆级堆叠工艺让两片晶圆在整片尺度上贴合。上面是处理器城市,下面是供电基地,中间不是传统的封装焊球,而是高密度垂直互连。
这项工艺叫 Wafer-on-Wafer,也就是晶圆对晶圆键合。两片晶圆先各自完成制造,再高精度对准,利用铜-铜混合键合形成成千上万个垂直连接点。电力和信号通过垂直通道直达核心,距离从毫米级直接缩到微米级,相当于给每个社区都装了直达电梯。
电源管理晶圆里还集成了电容和电压调节器。电压调节器离核心越近,动态响应越快;电容离得近,能更好地抵消电流的瞬时波动。供电不再是“远水救近火”,而是楼下就是水源和泵站。
3D 堆叠不是把芯片简单叠罗汉,而是一次“城市基础设施”的重构。这项技术带来的直观收益,就是 Bow 的频率和供电效率双双提升。
- 垂直路径长度3D 堆叠后供电垂直距离约为 50 微米。
- 平面路径长度传统平面供电网络从封装引脚到中心核心约 5 毫米,即 5000 微米。
- 电阻比值电阻与长度成正比,所以 3D 路径电阻约为原来的百分之一。
Bow架构改进
地下能源中心建好后,Bow 最直接的变化是电压更稳、裕量更大。芯片电路在高电压下可以跑得更快,在低电压下则慢。现在 IR 压降大大减小,设计者可以把工作电压调得更接近最佳值,或者维持电压不变而提高时钟频率。
从架构看,Bow 的处理器核心数、存储层级和前代基本一致,改变的其实是“输送电力的基础设施”。同一座城市,没有新增楼宇,但电力专线直供后,每家工厂都能加开夜班。因此算力提升 40% 靠的不是堆核心,而是把已有核心推向更高频率。
能效比提升 16% 也同样来自供电效率:电能损耗少了,产生同样算力所需的功耗就低了。要留意,能效比是每瓦特能发挥的算力,它和总功耗是两个概念。
Bow 用供电升级撬动了整个计算效率,这是“新基建”带来的叠加红利。
- 算力增幅用新算力减去旧算力,再除以旧算力,得到相对提升约 40%。
- 能效比定义能效比等于每瓦算力,是算力与功耗的比值。
- 能效比增幅新能效比相对旧能效比提升了 16%。
训练延迟优化
AI 训练就像一场接力赛,每个节点跑完自己的棒次,还必须把交接棒(梯度)准确传给伙伴。BSP 模式下,每次同步都会产生等待。Bow 的改进让每个“棒次”跑得更快,交接也更加顺畅。
训练一个 step 的时间由计算时间和同步时间组成。Bow 算力提升 40%,意味着同样的矩阵乘法计算时间缩短到约 71%;垂直互连缩短了片内通信距离,也让同步时间下降。即便同步仍存在,整体训练延迟也被明显压缩。
大模型训练通常要跑几周,每一步节省一点,累计起来就是几天的差额。对研究团队来说,这意味着可以在同样预算下做更多实验;对产品团队来说,模型迭代速度加快,上线周期更短。
训练延迟优化不是单一魔法,而是算力和通信双管齐下。Bow 的供电改进就像给接力赛手换了更轻的跑鞋。
- 单步训练时间一个 BSP 超步的总耗时由计算时间和同步通信时间组成。
- 计算时间缩短Bow 算力提升 40%,同体积矩阵乘法耗时变为原来的约 71%。
- 同步时间下降3D 垂直互连缩短片内通信距离,同步开销也减少。
能效指标分析
数据中心是耗电大户,芯片能效比是年复一年的运营账单。我们可以把芯片的能效比看成“每度电换多少算力”。Bow 的能效比提升 16%,就是同样的电费能买到更多计算量。
如果算力提升 40%、能效比提升 16%,功耗增幅大约是 \(1.4/1.16 - 1 \approx 20.7\%\)。也就是说,整机功耗其实是上升的。但因为算力上升更多,平摊到每次运算的能耗反而下降,散热系统也不必为同样任务多付电费。
数据中心通常用 TCO(总拥有成本)评估:采购、电费、散热、维护统统算进去,再除以总算力。能效越高,PUE 改善越明显,单位算力成本越低。这就是除了峰值性能之外,客户真正关心的账本。
能效比的提升不是让我们少用电,而是让每度电都花在刀刃上。
- 功耗倍数算力变为 1.4 倍、能效比变为 1.16 倍,功耗倍数约为两者比值。
- 功耗增幅减去原来 1 倍的功耗,得到增加约 20.7%。
- TCO 公式总拥有成本除以总算力,得到单位算力成本,用于跨架构比较。
产业应用生态
再好的芯片也要有人愿意用。Bow IPU 的目标客户是大模型训练团队和云服务商。Graphcore 提供了 Poplar 软件栈,让 TensorFlow、PyTorch 模型可以直接映射到 MIMD 城市上,但生态迁移仍是绕不开的门槛。
对开发者来说,为 GPU 写的算子和显存管理逻辑不能原样搬到 IPU。好在 IPU 的本地存储把数据和计算紧紧绑在一起,一些图神经网络、Transformer 推理负载在 IPU 上反而有独特优势。云服务商看中的正是这种异构算力带来的议价空间和灵活调度。
企业部署 Bow,除了看硬件指标,还要评估迁移成本:重写一部分算子、调整同步方式、验证数值精度。训练任务的总成本与训练时长、平均功耗、电价直接相关。能效越高,长期运营越划算。
生态之争不是一句两句能解决,但每个新架构都是在为市场多一个选择。
- 训练耗电量训练时长乘以平均功耗,得到总用电度数。
- 电费成本总用电量乘以每度电价,就是这项任务的电费。
- 能效的影响Bow 的算力提升让 \(T_{\text{train}}\) 缩短,能效比提升让单位算力平均功耗下降,双重压低 \(C_{\text{train}}\)。
商业前景展望
商业前景要看三笔账:技术账、成本账、生态账。技术账上,Bow 的 3D 堆叠路径清晰;成本账上,Wafer-on-Wafer 的制造和良率挑战依然存在;生态账上,NVIDIA 的 CUDA 生态护城河很深。
3D 晶圆级堆叠需要晶圆厂具备高精度对准和键合能力,新增的电源管理晶圆也抬高了成本。如果良率不稳定,单位成本会很高。但这类技术往往会随时间成熟,未来可能从两片晶圆堆叠走向多片集成,甚至把存储晶圆也堆叠进来。
Graphcore 也在推进 IPU-POD 整机柜方案,把多颗 IPU 连成更大规模的“城市群”,瞄准超级计算机和大型云厂商。投资回报率取决于采用新技术省下的成本,是否高于迁移和采购的增量投入。
Bow 的故事讲的是“供电架构的新基础设施”,它能否改变 AI 芯片市场格局,还要看整个生态的化学反应。
- 净收益采用 Bow 后节省的时间成本、电费和新业务收益合计为 \(V_{\text{benefit}}\)。
- 总拥有成本采购、迁移、运维等全部增量投入为 \(C_{\text{ownership}}\)。
- 投资回报净收益除以总投入,得到每一块钱投入换回的收益。
AI 应用场景
大模型训练加速
阶段:模型训练 / 算力调度
解决的问题:大模型训练周期长、GPU 集群功耗高、扩展成本高。传统架构常因功耗墙限制无法继续推高计算密度;Bow 通过 3D 供电直供提高能效,让训练在更短时间和更低电费下完成。
具体案例:一家初创公司用 Bow IPU 做多模态模型预训练。相比前代 IPU,同样的 batch size 下每步迭代时间缩短,且因为能效提升,整月电费账单下降。团队把省下的预算投入到更多超参数实验中,模型最终效果明显提升。
低延迟推理部署
阶段:推理部署 / 资源管理
解决的问题:金融风控、推荐系统需要稳定低延迟的推理服务。传统 GPU 在特定图模型上延迟波动大,IPU 的本地存储和 MIMD 并行能将图数据分片到各 tile 上并行计算。
具体案例:某云服务商在边缘节点部署 Bow IPU,承接金融客户的风险评分请求。3D 堆叠带来更高频率,单请求推理时延显著下降;同时由于单位算力功耗降低,节点温升和散热功耗下降,机房可以部署更密。
异构算力运营
阶段:算力运营 / 资源调度
解决的问题:云平台希望摆脱单一 GPU 供应商依赖,利用不同架构优势。Bow IPU 的高带宽存储与水平扩展方式,适用于图神经网络和 Transformer 推演。
具体案例:欧洲一家公有云厂商在训练集群中混布 Bow IPU 与 GPU,将图上采样和注意力计算任务调度到 IPU,并配合 Poplar 软件栈做算子适配。客户租用 IPU 实例进行小规模验证,发现单位算力成本低于同代 GPU 实例。
Python 演示
"""Simulate 3D stacked power delivery for Bow IPU.""" def ir_drop(current_a, length_mm, resistivity_ohm_mm=1.0): """Return IR voltage drop given current and path length.""" return current_a * resistivity_ohm_mm * length_mm def frequency_scaling(vdd, vdd_min, base_freq): """Estimate max clock frequency using linear voltage margin model.""" margin = vdd - vdd_min return base_freq * (1.0 + margin / vdd_min) def ipu_power_model(base_tflops, base_freq, freq_new): """Compute new compute power from frequency ratio.""" return base_tflops * (freq_new / base_freq) def main(): vdd_nominal = 0.75 vdd_min = 0.70 i_core = 100.0 rho = 0.02 drop_2d = ir_drop(i_core, 5.0, rho) drop_3d = ir_drop(i_core, 0.05, rho) v_2d = vdd_nominal - drop_2d v_3d = vdd_nominal - drop_3d f_2d = frequency_scaling(v_2d, vdd_min, 1000) f_3d = frequency_scaling(v_3d, vdd_min, 1000) perf_2d = ipu_power_model(250, f_2d, f_2d) perf_3d = ipu_power_model(250, f_2d, f_3d) power_2d = 150.0 power_3d = power_2d * (f_3d / f_2d) * 0.96 eff_2d = perf_2d / power_2d eff_3d = perf_3d / power_3d print("2D IR drop:", round(drop_2d, 3), "V") print("3D IR drop:", round(drop_3d, 3), "V") print("Estimated freq delta:", round((f_3d / f_2d - 1) * 100, 1), "%") print("Estimated perf delta:", round((perf_3d / perf_2d - 1) * 100, 1), "%") print("Estimated efficiency delta:", round((eff_3d / eff_2d - 1) * 100, 1), "%") if __name__ == "__main__": main()
def ir_drop(current_a, length_mm, resistivity_ohm_mm=1.0):定义压降函数,让后续可以对比不同供电路径。drop_2d = ir_drop(i_core, 5.0, rho)模拟旧 IPU 平面供电路径 5 毫米的压降。drop_3d = ir_drop(i_core, 0.05, rho)模拟 Bow 垂直供电路径 50 微米(合 0.05 毫米)的压降。v_3d = vdd_nominal - drop_3d3D 堆叠下核心实际电压更接近标称值,供电裕量更大。f_3d = frequency_scaling(v_3d, vdd_min, 1000)电压裕量增加后,可以支撑更高时钟频率。perf_3d = ipu_power_model(250, f_2d, f_3d)算力随频率比线性增长,推算出新算力。power_3d = power_2d * (f_3d / f_2d) * 0.96供电损耗降低带来约 4% 的功耗收益。eff_3d = perf_3d / power_3d能效比即算力与功耗的比值,用来衡量每瓦算力提升。
常见误区
误区Bow IPU 就是两块芯片用导线连在一起,类似双芯封装。
正解Bow 用的是晶圆级键合,不是把两颗已封装芯片“绑”在一起。它让处理器晶圆和电源管理晶圆在整片尺度上直接对准键合,形成微米级垂直互连。这不是城市间搭天桥,而是把地下车库直接浇筑进住宅楼,本身就是一体结构。
为何常见:因为“3D”这个词很容易让人联想到把两个现成模块堆起来,而晶圆级制造超出日常经验。
误区算力提升 40% 一定是因为核心数量增加了 40%。
正解Bow 的处理器核心数量和前代基本一致。算力提升主要来自 3D 堆叠供电改善带来的更高时钟频率。好比城市人口没变,但电力不足时工厂只能白班;供电改善后可以三班倒,总产量自然提高。
为何常见:在 CPU/GPU 升级中,增加核心是最常见的提升手段,容易默认应用到 IPU 上。
误区能效比提升 16% 等于芯片总功耗降低 16%。
正解能效比是算力除以功耗。Bow 算力提升 40%、能效比提升 16%,按公式反推总功耗约增加 20.7%。准确说法是“每瓦算力提升了 16%”,而不是整体功耗下降了。
为何常见:能效比中的“能效”容易让人直接理解为省电,忽略了分母是功耗、分子是算力的比值关系。
误区MIMD 就是 GPU 的 SIMD,只是叫法不同。
正解MIMD 指多指令流多数据流,每个核心独立取指、独立执行;GPU 主流架构是 SIMT/SIMD,大量线程执行同一条指令但处理不同数据。IPU 让每个 tile 运行自己的程序,更像每个社区接不同的订单,而不是所有工人做同一道工序。
为何常见:因为 GPU 和 IPU 都是大规模并行处理器,人们容易把并行模式混为一谈。
面试题
Q1. Bow IPU最重要的制造/封装创新是什么?
- A.采用极紫外光刻低节点
- B.3D晶圆级堆叠供电← 正确答案
- C.使用片上液冷散热模块
- D.把处理核数量翻了一倍
答案:B。Bow 最重要的创新是 3D 晶圆级堆叠,它把电源管理晶圆键合在处理器晶圆下方,缩短供电路径、降低 IR 压降。极紫外光刻是前序制造环节,液冷散热和核数翻倍都不是 Bow 的核心变化,因此 B 正确。
Q2. 电源管理晶圆位于Bow的哪个位置?
- A.与处理器晶圆并排封装
- B.键合在处理器晶圆下方← 正确答案
- C.集成在服务器主板上
- D.分布在芯片四周引脚处
答案:B。Bow 的电源管理晶圆位于处理器晶圆下方,通过晶圆级键合贴合,而不是并排或放在主板上。3D 堆叠的目的就是让电源紧贴核心,减少路径电阻,故选 B。
Q3. Bow IPU相对前代的算力提升约多少?
- A.约百分之十六
- B.约百分之四十← 正确答案
- C.约百分之八十
- D.约百分之二百
答案:B。官方数据显示 Bow 算力比前代提升约 40%,这是文章核心数据。16% 是能效比增幅;80% 和 200% 与事实不符,故 B 正确。
Q4. 能效比提升16%的正确含义是什么?
- A.总功耗降低约16%
- B.每瓦算力提升约16%← 正确答案
- C.每颗芯片面积缩小16%
- D.芯片峰值频率提升16%
答案:B。能效比定义为算力除以功耗,能效比提升 16% 即每瓦算力提升约 16%。总功耗并未下降,芯片面积与频率也不直接等于能效比,故选 B。
Q5. 3D堆叠降低IR压降的根本原因是什么?
- A.增大导线横截面积
- B.缩短供电路径距离← 正确答案
- C.提升芯片输入电压
- D.增加外部电源模块
答案:B。IR 压降等于电流乘电阻,而电阻与供电路径长度成正比。3D 堆叠把供电距离从毫米级缩到微米级,路径电阻降低,压降随之减小。增大截面积也有帮助,但根本原因是缩短距离;提升电压和增加电源模块不是解决压降的方向,故 B 正确。
Q6. Bow IPU性能提升的直接工程机制是什么?
- A.处理器核心数量增加
- B.供电更稳推动频率提升← 正确答案
- C.片内存储容量翻倍
- D.采用更先进制程节点
答案:B。Bow 的处理器核心数没有大幅增加,而是通过电源管理晶圆直供提高供电效率,使时钟频率可以更高,从而提升性能。存储容量和制程节点都不是 Bow 的主要改进点,故选 B。
Q7. 关于IPU的MIMD架构说法正确的是?
- A.所有核心共享一条指令流
- B.各个核心各自独立执行← 正确答案
- C.处理器采用单指令多数据
- D.只能使用CUDA进行编程
答案:B。MIMD 的特征是多个核心各自执行独立的指令流。IPU 的每个 tile 有自己的本地存储和程序,可以同时做不同任务。GPU 的 SIMT 更接近单指令多数据,且 IPU 编程并不依赖 CUDA,故选 B。
Q8. Bow IPU带来的主要收益有哪些?
- A.算力提升约四成← 正确答案
- B.能效比提升约16%← 正确答案
- C.核心数量增加40%
- D.训练延迟有所改善← 正确答案
答案:ABD。Bow 的官方收益包括算力提升 40%、能效比提升 16%;由于计算时间缩短,训练延迟也同步改善。核心数量没有增加,因此 C 错误。正确答案是 A、B、D。
Q9. 关于晶圆级堆叠描述正确的有?
- A.两片晶圆整片键合← 正确答案
- B.属于芯片级封装技术
- C.形成密集垂直互连← 正确答案
- D.需要芯片测试分选
答案:AC。晶圆级堆叠是在整片晶圆上完成两片晶圆的键合,形成高密度垂直互连,属于晶圆级制造而非芯片级封装;它不需要先把晶圆切分测试再封装,因此 B、D 错误。正确答案是 A、C。
Q10. 电源管理晶圆的主要作用有哪些?
- A.提供稳定电压输出← 正确答案
- B.缩短电流传输距离← 正确答案
- C.降低供电网络阻抗← 正确答案
- D.参与模型矩阵计算
答案:ABC。电源管理晶圆提供稳定电压、缩短电流传输距离、降低供电网络阻抗,这些正是 3D 堆叠供电改善算力和能效的原因。矩阵计算由处理器核心完成,不属于电源管理晶圆的作用,故 D 错误,正确答案是 A、B、C。