近数据计算：带宽瓶颈

CH-36-04-019·约 19 分钟·量子AI与未来计算·更新 2026-08-14

让我们从一座真实存在过的“小镇工厂”说起。老城区里有一座巨型的原料仓库（内存），新开发区有一间自动化程度极高的加工车间（计算核心），两者之间只有一条陈年双车道公路（内存总线）。车间一天能加工一万件产品，可公路每小时只能从仓库运来一百件原料。车间无论多先进，一大半时间都在空转等料——这就是算力世界里的“存储带宽瓶颈”。随着大模型时代的到来，这种“算力上得去、数据进不来”的矛盾被推到了聚光灯下：模型参数动辄数十亿，每次推理都要把全部参数从仓库搬到车间门口，公路立刻变成全系统最堵的一段。为了突围，工程师们想出了各种办法：把仓库改成立体高楼（HBM堆叠）、把大门拓宽到上千个车道（宽I/O接口）、甚至把加工台直接搬进仓库（近存计算）。这篇文章，就带你读懂这场围绕“带宽”的算力物流战。

岗位关联

对 AI 从业者而言，理解带宽瓶颈是评估大模型推理性能、选择部署方案的底层能力——不懂带宽，就无法解释为什么 GPU 满血却“卡”在数据搬运上。

可视化演示
带宽瓶颈成因
带宽墙本质
内存演进路径
HBM堆叠技术
宽I/O接口
近存计算方案
功耗面积权衡
部署方案比较
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

演示存储带宽瓶颈成因、HBM堆叠与宽I/O接口方案、近存计算架构及带宽优化与功耗面积的系统级权衡。

本节配有交互动效（进入视口后自动加载，约 3KB）。

带宽墙成因分析算力增长远超带宽增长，形成"带宽墙"瓶颈大模型推理受限于访存带宽，而非计算能力每秒需搬运TB级权重数据，带宽成为核心制约 Roofline: Performance = min(Compute, Bandwidth × OI) 带宽墙是大模型推理性能的核心瓶颈

带宽瓶颈成因

让我们从一座真实存在过的“小镇工厂”说起。老城区有一家仓库，新开发区有一个高度自动化的车间，两者之间只有一条陈年双车道公路。车间一天能加工一万件产品，可公路每小时只能从仓库运来一百件原料。车间再先进，也有一大半时间在空转等料。芯片世界里的每一个 AI 模型，都住在这座“算存分离”的小镇里。

冯·诺依曼架构从一开始就把“计算”和“存储”分成了两栋楼：处理器只管算，内存只管存。两者之间的数据通路——内存总线，就是那条公路。在 AI 模型很小的年代，“公路”绰绰有余；如今大模型动辄数十亿参数，每次前向推理都要把全部参数从 DRAM 搬到计算单元面前，这条路立刻成了全系统最堵的一段。

这种“算力上得去、数据进不来”的现象，被计算机体系结构研究者称为内存墙。判断一个负载是否撞上内存墙，最常用的指标是计算强度——单位数据量上承载了多少运算量：

回到小镇工厂：运输一次只能搬回 36 箱原料，却在每箱上只做一次加工，那还不如把加工台搬到仓库门口——这正是近存计算将在后文登场的理由。先记下这座“小镇”：车间是算力，仓库是存储，而那条公路，就是如今整个 AI 硬件行业最想拓宽的路。

\displaystyle \text{计算强度} = \frac{N_{\text{运算}}(\text{FLOPs})}{N_{\text{搬运}}(\text{Bytes})}

计算强度描述“每一字节数据进来后，计算单元能对它做多少次运算”。数值越低，说明系统越依赖数据搬运，越容易撞上带宽瓶颈。

分子 N_运算一次模型推理需要完成的浮点运算总量，约等于两倍的模型参数量。
$N_{\text{运算}}\approx 2\times N_{\text{参数}}$
分母 N_搬运从内存读写的总字节数，等于参数量乘以每个参数的存储字节数。
$N_{\text{搬运}}=N_{\text{参数}}\times B_{\text{字节}}$
比值判定计算强度远小于 1 时，每个字节数据只对应不到一次运算，属于典型的带宽受限场景。
$\text{计算强度} \ll 1 \Rightarrow \text{带宽受限}$

带宽墙本质

小镇的难题还有另一个层面：车间扩建的速度极其惊人，每十八个月规模几乎翻倍；而公路拓宽呢？三五年才多一个车道。这种“扩建速度远快于修路速度”的差距，被形象地称为带宽墙——它像一堵横在算力和存储之间、逐年长高的墙。

在硬件层面，算力的增长遵循摩尔定律式的指数曲线：晶体管密度、核心数量、并行度都在翻倍。而内存带宽的增长主要依赖提高接口频率和增加引脚数量，这两者都被功耗和信号完整性问题死死压住，只能近似线性增长。这个剪刀差决定了“墙”的高度。

以近十年数据为参考，GPU 算力增长了约 100 倍，而内存带宽仅增长了约 10 倍。结果就是：同样一个模型，十年前瓶颈在计算，今天瓶颈几乎都落在数据搬运上。用公式表达就是：

带宽墙就是小镇路面与车间产能之间的天堑。想翻墙，要么填土（提升带宽），要么把车间搬过去（近存计算）——而第一条路的主角，正是下一章登场的 HBM。

\displaystyle \text{算力增长}=2^{kt},\quad \text{带宽增长}=kt,\quad \text{墙高}=\frac{2^{kt}}{kt}

墙高是算力与带宽的比值。只要算力按指数增长、带宽按线性增长，这个比值就会越来越大，构成一堵不断升高的“墙”。

k 增长系数刻画每年算力和带宽的改进速率，算力约为 0.5，带宽约为 0.15。
$k_{\text{算力}}\approx 0.5,\quad k_{\text{带宽}}\approx 0.15$
t 时间单位以年为单位递增。
$t=1,2,3,\dots$
墙高比值算力与带宽的比值逐年扩大，大约五年后差距就超过一个数量级。
$\frac{2^{kt}}{kt}\to\infty$

内存演进路径

小镇上最古老的仓库，是那种一层的“大平房”——这就是经典的 DRAM 内存颗粒。想把东西多运一点，只能把房门口的路从单车道拓宽到双车道、四车道。DRAM 的演进，就是一遍遍拓宽门口路面（加宽数据总线）和提升车速（提高频率）的历史。

DDR 系列内存从 DDR2 一路走到 DDR5，每次换代都把数据率翻倍。然而，无论怎么换代，DDR 颗粒与处理器之间的接口宽度始终是 64 位——四车道就是法律允许的上限。要继续提高带宽，只能提高频率，而高频带来的功耗和信号干扰让这条路越走越窄。

当平面化的“拓宽+提速”路线走到极限，工程师开始思考第三个维度：向上堆叠。既然一层仓库的地面面积有限，那就盖成多层楼房——这为后来的 HBM（高带宽内存）埋下伏笔。DDR 接口的带宽模型如下：

大平房仓库的运输效率正在触顶。下一章，工程师们把仓库搬进了垂直楼宇——HBM 登场。

\displaystyle \text{DDR带宽}=\frac{64\times f_{\text{数据率}}\times \text{通道数}}{8}

DDR 的接口宽度被锁死在 64 位，想提高带宽只能靠频率和通道数。这个天花板正是催生 HBM 的原始动力。

64 位接口DDR 标准固定的数据总线宽度。
$W_{\text{DDR}}=64$
数据率 f每秒钟数据传输次数，例如 DDR5-4800 的数据率为 4800MT/s。
$f=4800\times10^6$
换算字节位除以 8 变成字节，得到每秒字节数带宽。
$\frac{W\times f}{8} \Rightarrow \text{GB/s}$

HBM堆叠技术

如果平房不能再扩建，那就向上盖楼。HBM（高带宽内存）就是这么一栋“立体仓库”：把原本平铺的 DRAM 芯片像楼板一样一层层叠起来，中间用无数根垂直的“升降机”——硅通孔（TSV）——沟通上下层，让数据在楼层间飞速穿梭。

TSV 是一种穿透硅芯片的金属通孔，相当于在每层楼板之间打通了数百根直达电梯。相比传统封装边沿打线，TSV 路径更短、密度更高、功耗更低。HBM 通过 TSV 将 8 至 16 层 DRAM 垂直堆叠，并用硅中介层把整栋“楼”和 GPU 封装在同一块基板上，单位面积的存储容量成倍提升，数据通路也大幅缩短。

堆叠带来的核心指标是 TSV 密度——单位芯片面积上能打多少个垂直通孔。通孔越密，楼层之间搬运数据的“电梯”越多，堆叠带来的性能收益就越明显：

立体仓库解决了“楼层内部运输”，但还差最后一步：如何把整栋楼的货高效送进隔壁的车间？答案是——把大门拓宽到 1024 个车道。

\displaystyle \text{TSV密度}=\frac{N_{\text{通孔}}}{A_{\text{芯片}}}

TSV 密度衡量“立体仓库”内部垂直交通的发达程度。密度越高，上下楼层之间的数据通道越宽，堆叠的容量优势才能真正转化为带宽优势。

N_通孔单颗 DRAM 芯片上 TSV 的数量，HBM2e 中可达数千根。
$N_{\text{通孔}}\sim 5000$
A_芯片芯片水平投影面积。
$A_{\text{芯片}}\approx 100\,\text{mm}^2$
密度意义通孔密度越高，楼层之间“电梯”越多，数据上下楼越顺畅。
$\rho_{\text{TSV}}=\frac{5000}{100}=50\,\text{根/mm}^2$

宽I/O接口

立体仓库建好了，通往车间的路却依旧只有 64 个车道，再多的货也堵在门口。HBM 的工程师们做了一个惊人的决定：把仓库大门直接拓宽到 1024 个车道——这就是宽 I/O 接口。

传统 DDR 的 64 位数据总线，是沿用了数十年的行业惯例，受限于引脚封装和主板布线。HBM 则完全不同：它通过硅中介层与 GPU 互联，可以在芯片封装内部铺设上千根金属走线，根本不需要经过主板。于是接口宽度被一举扩展到 1024 位，HBM2e 提供 1024 位接口，HBM3 进一步通过堆叠和更高的数据率把带宽推到 819 GB/s。

接口宽度加大，等效于单次传输的数据体积变大；再配合更高的数据率，带宽自然飙升。对比一下：DDR5 带宽上限约 80-100 GB/s，而 HBM3 单堆叠带宽高达 819 GB/s——宽 I/O 是决定性的功臣：

1024 个车道的“巨门”让仓库吞吐量翻了十几倍，可大门每拓宽一尺，都要付出面积和功耗的代价。更重要的是，数据终于能欢快地跑进车间时，人们开始思考：为什么非要让数据跑这么远？——于是，近存计算来了。

\displaystyle \text{HBM带宽}=\frac{W_{\text{位宽}}\times f_{\text{数据率}}}{8}

HBM 把“车道数”从 64 直接拉到 1024，单次传输的数据量是 DDR 的 16 倍，这就是它与 DDR 拉开数量级差距的关键。

W_位宽一次传输并行数据位宽，HBM 通道为 1024 位。
$W_{\text{HBM}}=1024$
数据率 f例如 HBM3 每引脚数据率 6.4Gbps。
$f=6.4\times10^9$
换算字节带宽位宽乘以数据率再除以 8 得到字节速率。
$\frac{1024\times 6.4\times10^9}{8}=819.2\times10^9\,\text{B/s}$

近存计算方案

物流再顺畅，也终究是一场“运输游戏”。与其从仓库把原料源源不断运回车间，何不直接把小型加工台搬进仓库？近存计算的思路正是如此——把计算单元搬到存储旁边，让大部分数据根本不需要上路。

近存计算（Near-Memory Computing）将计算逻辑（如简单 ALU、矩阵乘累加单元）迁移至存储芯片的逻辑层或相邻的硅中介层；更激进的做法是存内处理（PIM，Processing in Memory），把计算直接嵌入 DRAM 阵列内部。三星的 HBM-PIM 就在每个内存库中放置了计算单元，使矩阵乘法可以直接在存储内部完成，访存带宽需求减少数倍。

为什么要“少跑路”？因为数据搬运的能耗远比计算本身高。在典型工艺下，一次 DRAM 访问的能耗约是完成一次浮点加法的百倍以上。减少搬运次数，就是同时降低延迟和功耗：

把加工台搬进仓库后，原本要在公路上跑几十趟的原料车，只需要跑最后一公里。不过，这个方案并非没有代价——下一节我们聊聊它背后的“修路账单”。

\displaystyle E_{\text{总}}=E_{\text{计算}}+E_{\text{搬运}},\quad E_{\text{搬运}}\gg E_{\text{计算}}

这个不等式揭示了近存计算的根本动机：大部分能耗和延迟都花在“把数据搬来搬去”上，而不是“计算”本身。把计算搬进存储，本质上是用小代价换掉大代价。

E_计算完成运算本身消耗的能量。
$E_{\text{计算}}=N_{\text{运算}}\times e_{\text{每次运算}}$
E_搬运把数据从 DRAM 搬到寄存器消耗的能量。
$E_{\text{搬运}}=N_{\text{搬运}}\times e_{\text{每次访问}}$
量级悬殊一次访存能耗可达一次浮点运算的 100 倍以上。
$e_{\text{每次访问}}\approx100\times e_{\text{每次运算}}$

功耗面积权衡

任何修路方案都要算一笔账：拓宽车道要征地，建立体仓库要花钢筋水泥。芯片世界里对应的“土地”，就是晶圆面积；“工程款”，就是功耗预算。带宽的天花板从来不只是技术问题，而是成本问题。

HBM 的高带宽来之不易：TSV 制造需要额外的深孔刻蚀和填充工艺，良率下降；硅中介层要消耗一整片晶圆，CoWoS 封装成本昂贵；1024 位宽 I/O 意味着大量并行的高速电路，动态功耗显著上升。设计一颗芯片时，工程师必须在“带宽、功耗、面积”三本账之间掂量。

一个典型的权衡问题：为了把带宽从 2TB/s 提到 4TB/s，内存接口电路的功耗预算可能要翻倍，占芯片总功耗的比例从 10% 升到 20%。对于追求能效比的云端推理芯片而言，这个代价未必划算。于是出现了异构分层的折中方案：一部分计算用大带宽的 HBM，一部分模型参数压缩成低精度以减少搬运量。系统级取舍的量化指标是收益代价比：

修路的账单越来越贵，不同规模的工厂开始做出不同的选择：小作坊只要能跑通就行，超级工厂才愿意为带宽一掷千金。这就是不同部署方案的差异所在。

\displaystyle \text{收益代价比}=\frac{\Delta \text{性能}}{\Delta P_{\text{功耗}}+\Delta A_{\text{面积}}}

收益代价比回答了一个朴素问题：“每付出一点功耗和面积，能换来多少性能？” 当这个比值持续下降时，继续堆带宽就不再划算。

性能增量带宽提升带来的推理吞吐提升。
$\Delta\text{性能}=\text{新带宽}-\text{旧带宽}$
功耗增量接口与 TSV 电路新增的功耗。
$\Delta P_{\text{功耗}}=P_{\text{新}}-P_{\text{旧}}$
面积增量中介层与 I/O 占用的芯片面积。
$\Delta A_{\text{面积}}=A_{\text{新}}-A_{\text{旧}}$
取舍判据该比值下降时，继续提升带宽不再划算。
$\text{比值}\downarrow\Rightarrow\text{停止加宽}$

部署方案比较

小镇上的工厂不只一家：有几个人手的小作坊（端侧小模型），也有上万人的超级工厂（云端大模型）。超级工厂每天吞吐量巨大，必须建专属高速专线；小作坊则用普通卡车就够。带宽方案的选择，本质上是按规模与预算量身定制。

先看大模型推理的需求：每生成一个 token，都要读取一遍全部模型参数。以 7B 参数、FP16 精度（每参数 2 字节）为例，单 token 就必须搬运 14 GB 数据；如果要求每 0.05 秒生成一个 token，需要的带宽高达 280 GB/s。而传统 DDR5 只有约 100 GB/s，直接带不动——所以大模型服务普遍使用 HBM。

三类方案的定位逐渐清晰：DDR 成本低、部署简单，适合小模型与批处理场景；HBM 带宽高、性能强，适合大模型实时推理，但价格昂贵且需要 CoWoS 封装；近存计算处在演进早期，能把有效带宽再放大数倍，一旦成熟，有望以低于 HBM 的成本满足百亿级参数的带宽需求，但当前软件生态和量产成熟度仍是短板。推理带宽需求的下限公式如下：

选择哪条路，取决于你的工厂（模型）吞吐多大、预算多厚。带宽瓶颈不是一个简单的“换个更大内存”的问题，而是一场从道路拓宽（HBM）、到构建专线（宽 I/O）、再到把工厂搬进仓库（近存计算）的系统级物流变革。

\displaystyle \text{推理所需带宽}=\frac{N_{\text{参数}}\times B_{\text{字节}}}{T_{\text{单token}}}

大模型解码是“一次性读遍全部参数”的工作模式。这个公式告诉你：参数越多、生成速度要求越快，带宽门槛就越高。

参数量 N模型权重总个数，如 70 亿。
$N_{\text{参数}}=7\times10^9$
每参数字节 BFP16 为 2 字节，INT8 为 1 字节。
$B_{\text{字节}}=2$
单 token 时长 T用户可容忍的生成延迟。
$T_{\text{单token}}=0.05\,\text{s}$
代入计算得到必须满足的带宽下限。
$\frac{7\times10^9\times2}{0.05}=280\,\text{GB/s}$

AI 应用场景

云端大模型推理服务

阶段：推理部署

解决的问题：传统 DDR 内存带宽只有约 100GB/s，而 70B 参数模型单 token 推理需要 280GB/s 以上，导致 GPU 大量时间空转等数据。用 HBM 方案将有效带宽拉高数倍后，生成延迟从秒级降到毫秒级。

具体案例：某大模型 SaaS 企业部署 7B 模型时，最初配 8 通道 DDR5，单 token 延迟高达 500ms；迁移到 HBM3 平台后延迟降到 90ms，GPU 利用率从 35% 提升到 80%。工程师还通过量化到 INT8 进一步减半搬运量。

端侧 AI 推理优化

阶段：模型部署与压缩

解决的问题：手机、车载芯片的带宽和功耗预算极其有限，搬运数据本身就是续航杀手。通过近存计算把部分矩阵乘加放进内存附近执行，可以减少数据往返次数，在相同带宽下提升有效吞吐。

具体案例：某自动驾驶方案商在车载芯片中集成 LPDDR 近存计算单元，将前融合感知模块的数据搬运量降低约 40%，端到端时延从 120ms 降到 80ms，整板功耗下降 15%。

大规模向量检索系统

阶段：数据检索

解决的问题：向量数据库需要把海量高维向量从内存搬到 CPU 计算相似度，带宽成为吞吐瓶颈。近存计算可以在内存内部完成部分距离计算，只把候选结果传回主机。

具体案例：某推荐系统使用 1 亿条 128 维向量的索引，采用带 PIM 功能的内存后，单节点检索 QPS 从 8000 提升到 21000，同时每条查询的能耗下降约 30%。

Python 演示

python30 行

"""估算不同硬件方案下 7B 大模型单 token 生成的延迟，定位带宽瓶颈""" def estimate_token_latency(param_billions, dtype_bytes, peak_flops,                           memory_bandwidth, move_ratio=1.0):    """返回 (总延迟, 计算时间, 搬运时间, 瓶颈描述)"""    params = param_billions * 1e9    flops = 2 * params    bytes_to_move = params * dtype_bytes * move_ratio    t_compute = flops / peak_flops    t_memory = bytes_to_move / memory_bandwidth    bottleneck = "带宽受限" if t_memory > t_compute else "计算受限"    return max(t_compute, t_memory), t_compute, t_memory, bottleneck  def show_table():    configs = [        ("DDR5 服务器",  800e9,  10e12,  1.0),        ("HBM2e 显卡",   1.6e12, 60e12,  1.0),        ("HBM3 旗舰卡",  3.35e12, 100e12, 1.0),        ("近存计算 PIM", 8e12,   100e12, 0.1),    ]    print("7B 参数模型（FP16），每生成一个 token 的延迟拆分：")    for name, bw, flops, ratio in configs:        lat, tc, tm, bottle = estimate_token_latency(7, 2, flops, bw, ratio)        print(f"{name:<10} 总延迟 {lat*1e3:7.2f} ms | "              f"计算 {tc*1e3:6.3f} ms | 搬运 {tm*1e3:6.2f} ms | {bottle}")  if __name__ == "__main__":    show_table()

目的：模拟 7B 参数大模型在 DDR5、HBM2e、HBM3 和近存计算四种方案下的推理延迟，直观展示带宽墙从“严重受限”到“逐步缓解”的过程。

bytes_to_move = params * dtype_bytes * move_ratio计算单 token 需要搬运的字节数，近存计算通过缩小 move_ratio 省掉大量搬运。
t_compute = flops / peak_flops理论计算时间，由峰值算力决定。
t_memory = bytes_to_move / memory_bandwidth数据搬运时间，由内存带宽决定。
bottleneck = "带宽受限" if t_memory > t_compute else "计算受限"对比两者，较大者成为实际瓶颈。
("近存计算 PIM", 8e12, 100e12, 0.1)近存计算只需搬运 10% 的参数，等效带宽需求大幅下降。

常见误区

误区训练时要来回传梯度和中间结果，带宽需求高；推理只是前向计算，数据量小，普通内存就够用。

正解实际上大模型推理的带宽压力远大于训练。训练可以分 batch 并行，数据重用率高；而自回归解码每生成一个 token 都要把全部参数搬一遍，参数几乎不重用。7B FP16 模型单 token 就要搬 14GB 数据，这正是带宽墙最难的场景。

为何常见：很多人用训练时的批处理视角看待带宽，忽略了自回归推理天生“一个词一个词串行生成”的特性。

误区多堆几层 DRAM，带宽自然成倍增加，堆得越高越快。

正解堆叠主要增加的是容量和存储密度，带宽提升的关键在宽 I/O 接口和 TSV。HBM 的 1024 位接口、数千根 TSV 才是高带宽的功臣。如果接口只有 64 位，堆叠再多层，带宽照样上不去。

为何常见：把“容量”和“带宽”两个概念混为一谈，看到 HBM 外形像“千层饼”就误以为层数就是带宽来源。

误区都是把计算放到存储旁边或里面，只是一个概念的两种叫法。

正解严格来说有层级差异：近存计算（Near-Memory）是把计算逻辑放在存储芯片附近，比如逻辑层或硅中介层；存算一体/存内处理（PIM）是把计算单元直接嵌入存储阵列内部，做得更彻底，设计难度和收益也不同。

为何常见：厂商宣传中两个词经常交替出现，媒体也混用，导致公众把它们当作同义词。

误区只要瓶颈是带宽，就直接上最强 HBM，性能一定最大化。

正解带宽提升伴随功耗、面积、成本三重代价。当系统进入计算受限区后，继续加带宽就没有性能收益；即使仍在带宽受限区，收益代价比也可能低到不划算。要用系统级权衡来判断，而不是无脑堆带宽。

为何常见：只看到“带宽受限”的案例，忽略了功耗和面积是同样稀缺的预算。

面试题

Q1. 以下哪项最能准确描述“内存墙”现象？

单选题 · easy

A.内存芯片外围建起的高墙无法扩展
B.计算速度与内存访问速度差距拉大← 正确答案
C.存储芯片之间通信受墙体阻挡
D.缓存容量不足导致的内存溢出现象

答案：B。内存墙指处理器算力与存储器访问能力的性能差距不断拉大，B 准确。A 和 C 把“墙”误读成物理墙体，D 说的是缓存缺失/溢出的另一个问题。

Q2. HBM 实现高带宽最关键的技术路径是什么？

单选题 · mid

A.把 DDR 时钟频率提高到极限
B.DRAM 垂直堆叠配合 TSV 与宽 I/O← 正确答案
C.使用更大容量的 SSD 做二级缓存
D.用软件压缩算法减少数据量

答案：B。HBM 靠 TSV 垂直堆叠提升容量密度，靠 1024 位宽 I/O 接口大幅提升单次传输量，B 正确。A 是 DDR 的路线且已逼近极限，C/D 与 HBM 物理层设计无关。

Q3. DDR5 内存的数据接口宽度通常是多少位？

单选题 · easy

A.32 位
B.64 位← 正确答案
C.256 位
D.1024 位

答案：B。DDR 标准从诞生起就把数据总线宽度固定在 64 位，这是它与 HBM（1024 位）形成数量级差距的根源，所以选 B。

Q4. 以下哪些属于缓解带宽瓶颈的硬件手段？

多选题 · mid

A.使用 HBM 堆叠内存提升带宽← 正确答案
B.用宽 I/O 接口扩展传输位宽← 正确答案
C.采用近存计算减少数据搬运← 正确答案
D.单纯提高处理器核心时钟频率

答案：ABC。A 提升带宽容量，B 提升单次传输量，C 减少搬运需求，都是针对带宽瓶颈的方案；D 提高的是计算速度，反而可能加剧带宽供需失衡。

Q5. TSV 硅通孔在 HBM 中扮演什么角色？

单选题 · mid

A.连接上下层 DRAM 的垂直导孔← 正确答案
B.提供额外的风冷散热通道
C.将 DRAM 与硬盘直接相连
D.替代 GPU 进行并行计算

答案：A。TSV 是贯穿硅片的金属通孔，像垂直电梯一样连接 HBM 各层 DRAM，A 正确。它与散热、硬盘互联、计算替代都没有关系。

Q6. 大模型解码阶段被称作“带宽受限”的根本原因是什么？

单选题 · hard

A.每生成一个 token 都要搬运全部参数← 正确答案
B.每生成一个 token 只需读取一个词向量
C.模型参数无法全部装进显存缓存
D.解码阶段 GPU 频繁发生缓存未命中

答案：A。自回归解码是逐 token 串行生成，每步都要把全部参数从存储搬到计算核心，参数重用率极低，计算强度很低，所以 A 正确。B 忽略了权重本身，C/D 是现象而非根本原因。

Q7. 近存计算最主要的动机是什么？

单选题 · mid

A.缩小芯片封装体积方便集成
B.让数据少跑路降低搬运延迟能耗← 正确答案
C.用内存替代处理器全部计算功能
D.提高内存颗粒的制造良率

答案：B。近存计算把计算逻辑搬到存储附近，减少数据长途搬运，从而降低延迟和能耗，B 正确。它不是为缩小封装或替代处理器，也与良率无关。

Q8. 关于带宽优化与功耗面积的权衡，下列说法正确的是？

多选题 · hard

A.增加 I/O 位宽会增大面积和动态功耗← 正确答案
B.带宽收益永远值得用面积去换
C.TSV 堆叠会提升制造复杂度与成本← 正确答案
D.收益代价比下降时应重新评估带宽投入← 正确答案

答案：ACD。宽 I/O 意味着更多引脚与高速电路，确实推高面积和功耗，A 正确；TSV 的深孔刻蚀和中介层封装增加成本，C 正确；收益代价比是决策依据，D 正确；B 过于绝对，忽略系统级权衡。

Q9. 7B 参数 FP16 模型，每生成一个 token 至少需要搬运多少字节？

单选题 · easy

A.约 1.4 GB
B.约 14 GB← 正确答案
C.约 140 MB
D.约 14 MB

答案：B。参数量乘每参数字节数：7×10⁹×2 = 14×10⁹ 字节 ≈ 14 GB，所以选 B。A/C/D 把数量级搞错了。

Q10. 选择大模型部署方案时应考虑哪些因素？

多选题 · mid

A.模型参数量与生成延迟目标← 正确答案
B.硬件采购与封装成本← 正确答案
C.软件生态与工具链成熟度← 正确答案
D.办公室装修团队人数

答案：ABC。带宽需求由参数量和延迟目标决定，A 正确；HBM 与近存计算的成本差异影响预算，B 正确；软件生态决定方案能否落地，C 正确；D 与部署决策无关。