想象一座大型智能工厂：CPU 是总调度室，脑瓜灵活，负责拆解复杂任务、处理各种突发指令；GPU 是庞大的加工车间，流水线一眼望不到头，能同时吞吐成千上万份原料。但这两个核心部门之间隔着一条厂区大道——调度室的档案柜（主机内存）和车间的原料库（显存）彼此独立，数据要跨过去，只能依靠物流车一趟趟地在 PCIe 通道上往返。这趟物流，就是异构计算中的数据迁移。 为什么它如此关键？因为 AI 程序跑起来，几乎每一步都在“搬家”：模型参数要从内存搬进显存、中间激活值要在显存间流转、计算结果要搬回内存交给 CPU 做后处理。物流安排得好，GPU 这台“印钞机”就不会因缺料停工；安排不好，再快的 GPU 也只能干等着。异步拷贝、P2P 直传、统一内存……这些听上去高深的名词，本质上都是一个优秀的物流团队在琢磨的事：怎样才能让货物在路上跑的同时，车间一刻不停工？
读懂数据迁移，就掌握了异构 AI 系统性能优化的“命门”。无论做大模型推理、多卡训练还是边缘部署，避不开它。它是 AI Runtime 系统工程师的必修基本功。
目录
可视化演示
三步展示异构计算数据迁移：H2D/D2H/D2D迁移类型、异步迁移四阶段流程（准备/发起/搬运/确认）、以及计算与通信流水线重叠提升吞吐量。
本节配有交互动效（进入视口后自动加载，约 3KB）。
数据迁移类型 H2D: 主机→设备 D2H: 设备→主机 D2D: 设备→设备 H2D最频繁，D2D用NVLink 管理CPU/GPU/加速器间数据移动。
一、迁移原理：厂区布局的先天约束
把一台 AI 服务器想象成一座智能工厂。CPU 是总调度室，机灵但只能一对一想问题；GPU 是大型加工车间，整排流水线同时吞吐海量数据。讽刺的是，两位主力各自守着独立的仓库——调度室的档案柜（主机内存）与车间的原料库（显存）隔着一道厂区大道。数据要跨部门协作，只能靠物流车在 PCIe 通道上往返。这趟物流，正是数据迁移。
异构计算的底层事实是：CPU 内存与 GPU 显存各自拥有独立的地址空间，CPU 不能直接读显存里的变量，GPU 也不能直接取内存里的数组。哪怕只是一次加法，也得先把操作数从档案柜搬到车间料库，算完再把结果送回去。数据迁移的耗时由两部分构成：一是调用驱动 API 发起搬运的固定开销，二是数据本身在通道上流动的传输时间。数据量越大、通道越窄，物流就越慢。
理解这一切，绕不开一个最朴素的公式：
回到工厂视角：瓶颈从来不在调度室的智慧，也不在车间的力气，而在那条唯一的厂区大道。理解了“货量÷路宽”，我们就能明白所有优化策略本质上都在做三件事：少搬（压缩 D）、加宽（提升 B）、或者让物流和加工同时进行。下一节，我们看看厂区里究竟有哪些路可以走。
- D数据量：要搬运的字节总数，比如一个 1GB 的模型权重文件。D 越大，需要拉的趟数越多。
- B有效带宽：PCIe 通道实际每秒能传的字节数。注意它低于理论峰值，因为协议包头、校验都有开销，相当于限速路上的“真实车速”。
- t_trans迁移耗时：计算出的搬运总时长。如果 D 的单位是 GB、B 的单位是 GB/s，那么 t 的单位就是秒。
二、传输路径：厂区物流的四条干道
物流团队的调度表上，其实有四条路线可选。第一条是“主存到显存”（Host to Device，简称 H2D），把模型权重、输入数据从 CPU 内存搬进 GPU 显存，这是训练和推理中最常见的搬运方向。第二条是“显存回主存”（Device to Host，简称 D2H），把损失值、精度统计、最终推理结果从显存搬回内存，供 CPU 做日志、控制或后处理。这两条路都经过 PCIe 总线，方向相反。
第三条路是 GPU 之间的直连通道（Peer-to-Peer，P2P）。多卡机器里，GPU0 和 GPU1 之间如果存在 NVLink 或同属一个 PCIe Switch，那么它们可以绕过 CPU 内存直接交换数据。好比两个车间之间架了一条悬空传送带，成品不用先运回总调度室再转送过去。第四条路是零拷贝映射，它不真正搬运，而是把显存中的某块区域映射到 CPU 的地址空间，让 CPU 像读内存一样直接读取显存数据——适合小批量、低频次的数据交换。
比较这些路径的性价比，可以用带宽比：
回到物流调度：聪明的调度员收到任务后会先查地图——如果目的地是隔壁车间，直接走悬空传送带；如果只是一张小纸条要递给办公室，用零拷贝映射即可，不必搬一整个货柜。选对路线，搬运成本立刻降一个量级。
- B_p2p直连带宽：NVLink 或 PCIe Switch 直连路径上可用的有效带宽，通常远高于普通 PCIe 通道。
- B_via host中转带宽：数据先从 GPU0 拷回 CPU 内存、再由 CPU 拷进 GPU1 的总有效带宽。由于走了两趟 PCIe，实际效率通常只有直连的一半甚至更低。
- R路径倍率：当 R > 1.5 时，P2P 直传值得优先考虑；当 R 接近 1 时，两者差距不大，还要看拓扑是否支持。
三、异步传输：物流队长不再死等
最朴素的搬运方式是同步传输：调用 cudaMemcpy 后，CPU 线程就站在传送带旁边干等，直到货物全部到达 GPU 显存才返回，接着才启动 GPU 计算。这好比调度室的物流队长亲自押车，路上堵车时，整个办公室和车间都停下来等他一辆车——加工线上的机器全部空转，成本极高。
异步传输（cudaMemcpyAsync + CUDA Stream）改变了这一切。物流队长把货交给运输队后立刻回办公室继续工作，GPU 在数据到达后自动开算。CUDA 的 Stream（流）相当于多条独立的运输带，不同流上的搬运可以并行推进；Event（事件）相当于运输带上的铃铛——当某批货到达时摇一下铃，CPU 便可以在关键时刻知道“那批料已经到位了”，而不必全程盯着。这三件套共同构成了现代异构计算中“不等待”的基石。
同步方式的耗时一目了然：
聪明的物流队长当然不会让车间空等。异步传输的本质是“把等待变成工作”——队长该干嘛干嘛，订单照接、图纸照画，车间则在收到货的瞬间自行启动。下一节我们看看，当搬运与加工真正重叠起来，工厂的整体节奏会发生怎样惊人的变化。
- T_copy纯搬运耗时：数据从 CPU 内存完整搬到 GPU 显存的时间，即第一节中的 t_trans。
- T_compute纯计算耗时：GPU 在显存中处理这批数据所需的时间，与搬运互不重叠。
- T_sync同步总耗时：两段时间串联相加的结果。串联意味着等待，等待意味着 GPU 资源被白白浪费。
四、重叠流水线：让运输和加工同时奔跑
同步模式下，工厂是“一车货一停”：搬完 A 算 A，算完 A 再搬 B。异步传输打开了一扇门——为什么不在算 A 的同时搬 B 呢？这就形成了经典的三段流水：第一段把 A 从内存搬进显存；第二段 GPU 加工 A、同时物流车搬运 B；第三段加工 B、同时搬运 C。车间里的机器从此再不必为等待物流而熄火。
这种策略在工程上对应两个常见手段：双缓冲（Double Buffering）和分块传输。双缓冲是在显存里准备两个缓冲区，一个用于当前计算，一个用于接收下一批数据；分块传输则是把一大块数据切成多个小数据块，让流水线“细水长流”。只要切块数量足够多，流水线就能稳定运转，搬运延迟被彻底“藏”在计算背后——这正是摘要中提到的“隐藏数据传输延迟”。
当每块数据的搬运时间与计算时间基本相等时，可以给出漂亮的加速比公式：
回到工厂：流水线让物流与加工从“你方唱罢我登场”变成了“男女声二重唱”。不过，让流水线跑起来的前提是“有人自动补货”。如果每次缺料都要调度室临时下单、等货上门，流水线照样断档。这就引出了下一节的“带轮子的冰柜”——统一内存。
- n分块数量：把整批数据切成 n 个小块，例如把 1GB 权重切成 16 个 64MB 的小箱。
- 2n同步总耗时比例：同步模式每块都要“先搬后算”两段串联，n 块共需 2n 个时间单位。
- n+1异步总耗时比例：流水线稳态下，第一块需搬完才能算，最后一块算完才能收工，中间 n-1 块全部重叠，总共只需搬 n 块加算 1 块的时间。
- S加速比：两者相除得到 2n/(n+1)。随着 n 增大，加速比单调趋近于 2。
五、统一内存：自带轮子的智能冰柜
手动管理数据迁移，就像工厂里每个车间都要专人负责填领料单、催物流、验收货。代码里充斥着 cudaMemcpy，稍不留神就漏搬或重复搬。CUDA 的统一内存（Unified Memory，UVM）试图终结这一切：它提供了一个统一的虚拟地址空间，CPU 和 GPU 都使用同一个指针访问数据，仿佛调度室和车间共用一个“带轮子的智能冰柜”——你随手一拉，食材就在手边。
智能冰柜的秘密在于按需页迁移。GPU 访问某个数据页时，如果该页还在主机内存，系统会触发一个页错误（Page Fault），然后自动把这一页搬运到显存。这相当于冰柜里的“即时补货机制”：发现少了什么，立刻从中央仓库调货。代价是每次页错误都要付出一次搬运开销，如果程序反复横跳访问同一页，反而会频繁缺货。
因此，UVM 还提供了数据预取（Prefetch）和驻留控制提示（cudaMemAdvise）。预取相当于“天气预报式备货”——提前告诉系统接下来 GPU 会用到哪些页，系统趁空闲先把货送到车间；驻留提示则告诉系统“这些货长期放车间，不用搬回总部”。两者配合，能大幅减少页错误的次数。
UVM 的完整访问开销可以写成：
带轮子的冰柜虽好，但“即时补货”始终有隐性成本。资深的物流团队会在使用 UVM 的同时，结合下一节讲到的一系列优化手段，从根上减少缺货次数。
- t_fault缺页处理开销：GPU 访问未驻留内存页时，触发地址翻译、页表更新、驱动通知等固定开销，通常在微秒级。
- t_trans实际搬运时间：数据页从主机内存真正搬到显存的时间，与页大小和带宽有关。
- t_uvm单次访问总耗时：若频繁缺页，t_fault 会主导开销；若能精准预取，t_fault 趋近于零。
六、性能优化：物流部的年度改进方案
数据迁移的优化，本质是物流团队的降本增效。第一招是固定内存（Pinned Memory）。普通主机内存可能被操作系统挪动位置，GPU 的 DMA 引擎无法直接抓取，只能先在内存里复制一份“固定不动的影子”再搬运——多了一次中转。用 cudaHostAlloc 分配固定内存后，数据始终躺在同一个车位，DMA 可以直接拉走，搬运时间显著缩短。
第二招是控制传输粒度。物流常识告诉我们：整车运输比零担运输划算。一次搬运 1GB 大块数据的带宽利用率远高于搬运 1KB 小块；但如果整批数据只算一个小结果，一次搬 1GB 又显得浪费。因此需要权衡“合并搬运”与“按需搬运”。
第三招是方向管控。D2H 回传往往占带宽却不创造计算价值。优秀的工程师会把原本要搬回 CPU 做的后处理（如归一化、精度统计）直接写成 GPU kernel，在显存里算完只把几千字节的结果搬回。第四招是性能剖析工具——NVIDIA Nsight Systems / Compute 就像是物流部的仪表盘，能精确显示每种迁移调用耗时多少、哪些拷贝在等待。
衡量优化成效，要看有效带宽：
物流部的年度报告写得明明白白：固定内存减少中转、大块运输提升效率、减少回传降低空驶率、剖析工具让每辆车的运行轨迹透明化。当这些招数叠加在统一内存和流水线上，整个工厂的吞吐量会出现质的飞跃。最后，我们把目光投向最实际的战场——AI 推理服务。
- D实际数据量：真正有用的字节数，不包含为了对齐或协议填充的冗余数据。
- T_shadow影子耗时：除纯传输外的附加时间，包括启动同步、等待事件、缓存冲刷等，仿佛货车出发前要花时间办一堆手续。
- T_trans纯搬运耗时：数据在通道上流动的时间，与 D/B 有关。
- B_eff有效带宽：分母越小，有效带宽越接近理论值。固定内存减的是 T_shadow，大粒度减的是 T_trans 中的协议开销占比。
七、AI 推理实战：大模型服务的物流之战
今天的 AI 推理服务，尤其是大语言模型（LLM）推理，是一场高强度的“物流持久战”。一个 70B 参数的模型权重就有上百 GB，必须长期驻留在多张 GPU 的显存里；而每次生成一个 token，都要把历史上所有 token 的 KV Cache（键值缓存）搬运出来参与注意力计算。KV Cache 少则几百 MB、多则几十 GB，成为数据迁移的头号大户。
在张量并行推理中，每张 GPU 只持有模型权重的一部分，但每层前向传播都需要各卡之间同步交换激活值。这时，GPU 间的 P2P 直传（NVLink）效率直接决定每一步推理的延迟。在多卡负载均衡场景中，请求不断涌入，负责分发请求的 CPU 需要动态决定把请求和它的历史 KV Cache 迁移到哪张卡上——搬错了，延迟飙升；搬对了，吞吐翻倍。
现代推理引擎会把首发延迟分解来分析瓶颈：
回到工厂全景图：从最初的一趟趟硬搬，到异步传输让物流与加工并行，再到统一内存实现自动补货、优化策略压缩影子时间，最后在推理服务中把每一环节的延迟摊开来看——数据迁移的终极目标始终只有一个：让 GPU 这台印钞机永不停产。理解了这条主线，你便掌握了异构计算性能优化最核心的杠杆。
- L_compute纯计算延迟：GPU 执行矩阵乘法、注意力计算等 kernel 的时间，这是推理延迟的下限。
- L_migrate迁移延迟：包括 KV Cache 的 H2D 拷贝、跨卡 P2P 传输以及权重预取的时间。
- L_overhead额外开销：CPU 调度、CUDA 启动、同步等待等“影子时间”，与第六节的 T_shadow 同源。
- L_serve端到端延迟：用户感受到的总响应时间。三者之和越小，服务越流畅。
AI 应用场景
场景一：大模型推理服务中的 KV Cache 异步预取
阶段：推理服务部署与优化
解决的问题：LLM 推理时每个请求的 KV Cache 需要随请求分页调度，传统同步拷贝会让 GPU 在等待 KV Cache 就位时空转，首 token 延迟居高不下。
具体案例：某云厂商的 70B 模型推理服务，使用 CUDA Stream 将前一个请求的 KV Cache 拷贝与当前请求的 token 生成重叠执行，并用 cudaMemPrefetchAsync 提前把下一批请求的输入从 CPU 内存预取到显存，首 token 延迟从 950ms 降至 620ms，吞吐量提升约 35%。
场景二：多卡训练中的梯度 P2P 直传
阶段：分布式训练通信优化
解决的问题：AllReduce 梯度同步传统做法是每张卡先把梯度拷回 CPU 再分发到其他卡，通信量翻倍且受 PCIe 带宽限制。
具体案例：在 8 卡 A100 训练集群中，改用 NVLink P2P 直传实现环形 AllReduce，梯度数据在 GPU 间直接流转，单次同步耗时从 12ms 降至 4ms，整体训练提速约 28%。配合计算与通信重叠，GPU 利用率从 68% 提升到 91%。
场景三：边缘推理盒子的统一内存简化开发
阶段：边缘端模型部署
解决的问题：边缘设备内存小、开发周期短，手动管理 CPU/GPU 内存拷贝容易出错且占用稀缺的工程师人力。
具体案例：某安防厂商在 Jetson 边缘盒子部署检测模型，使用统一内存后代码中不再出现任何 cudaMemcpy，数据页按需自动迁移，开发周期缩短一半；再通过 cudaMemAdvise 标注权重页常驻显存，推理帧率仅损失 5%，却换来了可维护性的大幅提升。
Python 演示
import randomimport time def transmit(data_mb, bandwidth_mbps): return data_mb / bandwidth_mbps def compute(data_mb, compute_rate_mbps): return data_mb / compute_rate_mbps def sync_schedule(blocks, bw, rate): total = 0.0 for size in blocks: total += transmit(size, bw) # 先搬完 total += compute(size, rate) # 再加工 return total def async_schedule(blocks, bw, rate): total = transmit(blocks[0], bw) # 首块必须搬完才能开算 for size in blocks[1:]: # 之后的块可重叠 total += max(transmit(size, bw), compute(size, rate)) total += compute(blocks[-1], rate) # 尾块算完才彻底结束 return total def simulate(n_blocks=8, mb_per_block=64, bw=100.0, rate=100.0): blocks = [mb_per_block] * n_blocks t_sync = sync_schedule(blocks, bw, rate) t_async = async_schedule(blocks, bw, rate) speedup = t_sync / t_async print("分块数: %d, 每块: %d MB" % (n_blocks, mb_per_block)) print("同步串行总耗时: %.2f ms" % t_sync) print("异步重叠总耗时: %.2f ms" % t_async) print("加速比: %.2f x" % speedup) return speedup if __name__ == "__main__": random.seed(42) simulate(n_blocks=8, mb_per_block=64)
transmit(size, bw)计算搬运一块数据所需时间，对应公式 t = D / B。sync_schedule` 中 `total += transmit; total += compute模拟“先搬完再算”的串行阻塞模式。async_schedule` 中 `total += max(transmit, compute)模拟异步流水线，搬运与加工重叠，谁慢谁主导节奏。speedup = t_sync / t_async输出加速比，分块数越大越接近 2 倍的理论极限。
常见误区
误区我传输的数据才几 MB，用同步 `cudaMemcpy` 跟异步没区别，反正都快。
正解同步拷贝的弊端不止在传输本身，还在于它让 GPU 整条流水线停摆。哪怕只传 4MB（约 0.04ms），若后续计算需要等这个传输完成才能启动，实际浪费的是“传输时间 + GPU 启动延迟 + 任务调度的串联时间”。就像工厂物流车只运一箱货，但整个车间等它到了才开工，损失远不止开那趟车的油钱。
为何常见：初学者只看到传输耗时短，忽略了同步操作导致的计算资源空置和调度链路的串行化。
误区GPU 之间传数据，直接用 P2P 直传肯定最优，反正它们之间“有路”。
正解P2P 直传要求两块 GPU 之间确实存在可用的直接链路，比如 NVLink 或同一 PCIe Switch 下的桥接。若拓扑上两块卡分属不同 CPU 的 PCIe Root，P2P 路径反而可能绕路，实际带宽低于"GPU0→CPU→GPU1"的两次拷贝。工程上应先用 cudaDeviceCanAccessPeer 查询是否可行，再用带宽测试决定走哪条路。
为何常见：把“支持 P2P”等同于“P2P 最快”，忽略了拓扑结构对实际路由的影响。
误区用了统一内存后，所有数据自动搬、自动同步，我什么都不用管。
正解统一内存的按需页迁移靠页错误驱动，而每次页错误都有固定开销。若程序频繁交替访问同一数据页，会触发“乒乓迁移”，性能比手动拷贝更差。正确用法是配合 cudaMemPrefetchAsync 预取和 cudaMemAdvise 驻留提示，把自动补货变成“可预期的智能补货”。
为何常见：UVM 的“统一”二字迷惑了初学者，让人误以为物理内存也统一了，忽略了虚拟化背后的搬运成本。
误区数据迁移的瓶颈在把数据送进显存，结果回传才几 KB，不值一提。
正解在训练场景里，梯度回传、指标汇总都是 D2H；推理场景中，最终结果虽然小，但触发回传前的同步等待和 kernel 排空（memory fence）可能占延迟大头。且 PCIe 是半双工共享链路，D2H 流量会挤占 H2D 带宽，两者必须统筹规划。
为何常见：拷贝字节数少不代表延迟小，同步等待和链路争抢往往才是隐藏的黑洞。
误区既然 DMA 需要固定内存，那把所有主机内存都换成 pinned memory 就能全面加速。
正解pinned 内存的优势是免除一次“页锁定中转”，但它占用了不可换页的物理内存，分配过多会导致系统内存不足，甚至降低整机性能。且对大数据量反复迁移而言，pinned 与 pageable 的带宽差距仅在特定场景明显。正确做法是只为需要频繁 DMA 的缓冲区使用 pinned 内存。
为何常见：把优化手段当成了免费午餐，忽略了 pinned 内存的系统级成本。
面试题
Q1. 在异构计算中，数据迁移的基本路线 H2D 是指什么？
- A.从 GPU 显存拷贝到 CPU 内存
- B.从 CPU 内存拷贝到 GPU 显存← 正确答案
- C.从磁盘拷贝到 CPU 内存
- D.从 GPU 显存拷贝到另一张 GPU
答案：B。H2D 是 Host to Device 的缩写，指从主机（CPU）内存拷贝到设备（GPU）显存，是模型参数和输入数据进入 GPU 的唯一常规通道。选项 A 正好方向相反（D2H），C 属于磁盘 IO，D 属于 P2P 直传。
Q2. 同步拷贝 cudaMemcpy 的主要缺点是？
- A.传输速度太慢
- B.拷贝过程中 CPU 线程阻塞等待← 正确答案
- C.无法传输大块数据
- D.需要额外分配显存
答案：B。同步拷贝会让调用线程一直等待传输完成才返回，期间 GPU 计算也无法启动，造成计算资源空转。它不是传输本身慢，而是“等人”的机制导致整体延迟变大，这正是异步传输诞生的原因。
Q3. 以下哪些属于数据迁移的常见传输路径？
- A.主存到显存（H2D）← 正确答案
- B.显存回主存（D2H）← 正确答案
- C.GPU 间 P2P 直传← 正确答案
- D.主存到磁盘交换
答案：ABC。异构计算的数据迁移专指 CPU 内存（主存）与 GPU 显存之间、以及 GPU 与 GPU 之间的数据移动。主存到磁盘属于换页/存储层次的搬运，不属于异构计算调度中数据迁移的常规路径。
Q4. 异步传输中，CUDA Stream（流）的主要作用是？
- A.显存容量的动态扩展
- B.让不同操作在同一流内并行执行
- C.让不同流上的操作可以相互重叠并发← 正确答案
- D.自动压缩传输数据
答案：C。CUDA Stream 相当于多条独立的运输带，不同流上的拷贝和计算内核可以并发执行，从而实现计算与通信的重叠。同一流内的操作保持顺序执行，不会并行；Stream 也与显存容量和数据压缩无关。
Q5. 设每块数据搬运时间 t 与计算时间 t 相等，分 4 块执行流水线优化后，加速比约为？
- A.1.33 倍
- B.1.60 倍← 正确答案
- C.2.00 倍
- D.4.00 倍
答案：B。根据公式 S = 2n/(n+1)，当 n=4 时 S = 8/5 = 1.6 倍。同步模式耗时 2n×t=8t，异步流水线耗时 (n+1)×t=5t，两者之比为 1.6。极限情况下 n 趋于无穷大时加速比才趋于 2，不可能达到 4 倍。
Q6. 关于统一内存（UVM），下列说法正确的有？
- A.CPU 和 GPU 共享同一个虚拟地址空间← 正确答案
- B.数据页按需自动迁移← 正确答案
- C.使用 UVM 后完全没有数据拷贝开销
- D.可用
cudaMemPrefetchAsync预取数据← 正确答案
答案：ABD。UVM 提供了统一的虚拟地址空间，并通过页错误机制按需迁移数据，也可以用预取 API 主动搬运。但“自动”不等于“免费”，每次页错误仍有搬运和驱动的开销，所以 C 错误。
Q7. Pinned Memory（固定内存）加速数据迁移的根本原因是？
- A.它减少了需要搬运的数据量
- B.它避免了 DMA 搬运前的一次“页锁定中转拷贝”← 正确答案
- C.它提高了 PCIe 通道的物理带宽
- D.它让 GPU 计算速度更快
答案：B。普通 pageable 内存可能被操作系统换页，DMA 引擎无法直接抓取，必须先在固定地址的 shadow 缓冲区中转一次。Pinned 内存把数据锁定在固定物理地址，DMA 可直接搬运，省去中转拷贝的开销，而不是改变数据量或物理带宽。
Q8. 统一内存中，频繁的“乒乓迁移”（数据页在 CPU 与 GPU 间来回搬运）会导致？
- A.传输带宽自动翻倍
- B.页错误开销叠加，性能反而下降← 正确答案
- C.显存容量动态扩充
- D.计算精度自动提高
答案：B。当 CPU 和 GPU 交替高频访问同一个数据页时，每次访问方向切换都可能触发页错误和相应的页迁移，t_fault 与 t_trans 反复叠加，产生大量额外开销，性能可能比手动同步拷贝更差。这是 UVM 最典型的陷阱，也是需要 MemAdvise 提示的原因。
Q9. 以下哪些手段能有效降低数据迁移在端到端延迟中的占比？
- A.用异步拷贝让传输与计算重叠← 正确答案
- B.减小传输粒度让每块更小
- C.用
cudaMemAdvise让权重常驻显存← 正确答案 - D.把 D2H 的后处理合并进 GPU kernel← 正确答案
答案：ACD。异步重叠、驻留控制和减少回传都是降低迁移延迟的有效手段。减小粒度本身并不能降低延迟占比，过小的块反而增加 API 调用开销和协议开销，应选择适中的分块大小，故 B 错误。
Q10. 流水线重叠优化中，若每块搬运时间 t_c 是计算时间 t_q 的 3 倍，分 n 块执行，总耗时的正确表达式是？
- A.(n+1)·t_c
- B.n·t_q + t_c
- C.n·t_c + t_q← 正确答案
- D.t_c + n·t_q
答案：C。当 t_c > t_q 时，流水线的稳态阶段由较慢的搬运环节主导：每新增一块需等待一块的搬运时间 t_c，总耗时 = 首块等待 t_c + 后续 n-1 块每块 t_c + 尾块计算 t_q = n·t_c + t_q。选项 A 只有在 t_c=t_q 时成立，B 和 D 假设计算主导，均不满足 t_c 为瓶颈的条件。