文件系统与IO：DMA直接内存访问与IOMMU隔离

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

1 DMA基础原理

快递仓库里最累的活是什么？是把包裹从车上搬到货架。传统程序 I/O（PIO）模式下，CPU 就像那个亲力亲为的经理：每读一个字节，都要自己把数据从设备搬到内存，读完整个文件等于搬了几万次砖。DMA（Direct Memory Access，直接内存访问）则请来一支专业装卸队：CPU 只负责写一张任务单，之后整个搬运过程都由 DMA 控制器完成，CPU 可以继续算库存、回邮件。等搬运结束，装卸队按铃通知经理“货已上架”，这就是完成中断。

这个故事里，DMA 控制器才是真正拥有“总线主控权”的装卸队。它可以作为总线主设备，在不需要 CPU 逐字节介入的情况下，把设备中的数据成块写入内存，或从内存读出到设备。CPU 的工作被压缩成三个动作：初始化 DMA 通道、启动传输、响应完成中断。正因为省掉了逐字节的 CPU 参与，磁盘、网卡这类高速设备才能把大块数据快速搬进内存，文件系统的 read/write 吞吐也随之大幅提升。

更准确地说，一次 DMA 传输可以用下面三个阶段描述：

回到快递仓库：经理不再亲自搬包裹，只是写单和接单，仓库吞吐自然上去了。但请注意，DMA 并不是“完全不需要 CPU”，而是“CPU 不再逐字节搬运”。这也解释了为什么大块连续数据的 DMA 收益最明显——任务单越厚，省下的搬运时间越多。

2 描述符环

经理虽然不用搬快递，但如果每搬一个包裹都要单独给装卸队下一张单，开单本身也会累死人。于是仓库设计了一根环形传送带：所有待办任务单按顺序挂在传送带上，装货队从一头取单，经理从另一头投单。这个环形队列就是 DMA 描述符环（Descriptor Ring），每一张任务单称为一个描述符，里面写着内存地址、数据长度、读写方向等信息。

描述符环里最关键的是两个指针：head 表示经理下一次放单的位置，tail 表示装卸队下一次取单的位置。两队永远不会跑到对方的位置上：如果 head 和 tail 相等，说明传送带空了；如果 head 再走一步就追上 tail，说明传送带满了。这种“生产者和消费者”模型让 CPU 可以一次投递多个描述符，DMA 硬件则按顺序自动消费，大大减少了 CPU 与设备之间的握手次数。

环的空满判断由下面两个条件决定：

描述符环不仅让 CPU 从“每个字节都管”降到“每个批次才管”，还支持链式描述符：每个描述符可以带一个 Next 指针，串成一条链。硬件消费完一个描述符后自动跳到下一个，这正是“描述符链”一词的由来。仓库里新到的快递再多，也只需要把更多任务单挂上传送带，装卸队就会沿着链一路搬完。

3 散聚收集

现实中的内存并不是一整块干净的仓库空地，而是像堆满杂物的库房：文件系统读一个文件时，数据可能散落在好几片不同的物理页里。如果要求 DMA 只能用一段连续内存，那 CPU 就得先把这些碎片拷贝到一块连续缓冲区，搬一次还要额外搬一次，浪费时间也浪费内存。散聚收集（Scatter-Gather）就是解决这个问题的“多行任务单”。

在 SG 模式中，CPU 可以在描述符链里连续放多个“地址 + 长度”条目。DMA 硬件从设备读取数据后，按顺序把第一段放进第一个地址，第二段放进第二个地址，直到所有分段都填满。对于驱动来说，这相当于把多段不连续内存“拼”成一次逻辑上的 DMA 传输，既不需要物理连续，也不需要临时拼接缓冲。

假设一条描述符链上有 m 个分段，总传输长度就是：

仓库里的装卸队拿着多行任务单，可以先去 A 区放 5 箱，再去 B 区放 3 箱，最后去 C 区放 8 箱，全程不用先把所有货集中到月台再二次分发。对文件系统来说，页缓存天然就是碎片化的，SG DMA 让“读文件”变成了直接在各物理页之间搬数据，这也是高性能存储驱动普遍采用 scatter-gather 的原因。

4 IOMMU映射

如果 DMA 设备直接拿物理地址搬货，等于每辆快递车都知道仓库真实货架布局，一旦司机心怀不轨，就能乱闯到任何房间。IOMMU（I/O Memory Management Unit，输入输出内存管理单元）就是仓库门口那台“门禁翻译机”：设备提交的不是真实货架号，而是一个叫 IOVA（I/O Virtual Address，设备虚拟地址）的门牌号。门禁先把 IOVA 翻译成真实物理地址（PA），再决定放不放行。

这个翻译过程和 CPU 的 MMU 很像：IOMMU 维护一张设备页表，每个表项记录着 IOVA 页面到物理页面的映射。设备说“我要访问地址 0x1000”，IOMMU 查页表发现它对应物理页 0x8000，于是允许它访问 0x8000 所在的那一页。因为设备永远只看到 IOVA，看不到完整物理内存布局，所以即使设备被攻破，攻击者也不知道真实内存是什么样子。

地址翻译的基本关系是：

门禁翻译每查一次页表都要花时间，所以 IOMMU 里还有一块 IOTLB（I/O Translation Lookaside Buffer）缓存最近的映射结果。大多数传输都可以命中 IOTLB 快速放行，只有未命中时才去慢速查页表。仓库的车多了，老面孔走快捷通道，新面孔才需要重新核验门牌，这就是 IOTLB 的作用。

5 访问控制

门禁不仅能翻译门牌号，还能检查“这辆车有没有资格进这个区”。没有 IOMMU 的裸奔时代，网卡、FPGA、GPU 等设备只要拿到总线控制权，就能以 DMA 方式读写任意物理地址。一旦设备固件有漏洞或被黑客控制，它可以直接改写内核内存，瞬间拿到整个系统。IOMMU 的第二个核心功能正是访问控制：它把设备放进一个个保护域，每个域只能访问被明确授权的 IOVA 范围。

IOMMU 在放行一次 DMA 请求前，会检查三件事：第一，请求的 IOVA 是否已经映射到页表；第二，设备所在保护域是否拥有该映射；第三，请求的读写权限是否与页表项中的权限位匹配。例如一个只读了 4KB 数据仓库的快递车，突然要用“写”权限访问一块从未映射的地址，门禁会直接拒绝并上报 DMA 错误。

一次允许的 DMA 访问可以写成逻辑表达式：

这个模型把“设备访问内存”从无条件信任改成了最小权限授权。即使是真快递车，也只能去它该去的货架；假快递车没有门禁卡，连仓库大门都进不去。现代操作系统对不信任设备使用 vfio-pci 等框架时，正是依靠 IOMMU 把这些设备关进独立区域，避免一次 DMA 越权演变成整台机器被攻陷。

6 硬件虚拟化

在 AI 训练和云原生场景里，我们经常希望把 GPU、网卡直接“塞”给一台虚拟机或容器，让设备绕过软件模拟，获得接近裸机的性能。但如果整块物理设备只归一个虚拟机用，物理资源就浪费了。SR-IOV（Single Root I/O Virtualization，单根 I/O 虚拟化）让一块物理设备（PF，Physical Function）切出多个虚拟功能（VF，Virtual Function），每个 VF 看起来都是一个独立设备，可以被分配给不同虚拟机。

这时候 IOMMU 的作用非常关键：每个 VF 都有自己的 IOVA 空间和独立的保护域，虚拟机里的驱动以为自己直接操作真实设备，实际上所有 DMA 仍然要经过 IOMMU 翻译和隔离。这样一来，VF1 只能读写自己的缓冲区，VF2 的 DMA 请求即使地址相同，也会被翻译到另一块物理内存，互相看不见对方。

不同 VF 的 IOMMU 域可以用集合表示：

这就像快递总部给每个分公司发了一条专用送货通道：各分公司共享同一个园区大门，但门禁系统确保 A 公司的车只能去 A 库，B 公司的车只能去 B 库。虚拟化不再靠软件一层层转发数据，而是靠硬件 SR-IOV 切出通道、靠 IOMMU 保证隔离，最终实现高吞吐低延迟的“设备直通”。

7 工程实践

理解 DMA 和 IOMMU 最终要落到工程判断：什么时候依靠 DMA 提升吞吐，什么时候开启 IOMMU 保证安全，两者如何平衡。在大数据与 AI 场景里，磁盘和网卡是数据管道的主力：NVMe SSD 驱动用多个 DMA 描述符环承载高并发 I/O，网卡用 scatter-gather 把数据包直接放进协议栈的多个缓冲区，CPU 只处理协议逻辑而不是参与每一字节拷贝。

安全加固层面，现代内核默认启用 IOMMU，即便在物理机裸金属集群上也建议打开。因为设备是不可信的：一个带 bug 的网卡驱动、一块被植入后门的 FPGA，都可能借 DMA 漏洞读取整机内存。开启 IOMMU 后，即使设备行为异常，最多也只能破坏自己被授权的缓冲区。代价是每次 IOVA 翻译都有开销，因此需要合理配置 IOTLB、使用大页减少页表遍历。

一次 I/O 的 IOPS 可以看作三个阶段时间的倒数：

仓库运营的智慧不在于搬运工更用力，而在于减少等待和空转：DMA 是让专业装卸队干活，IOMMU 是给每个车队划定活动范围，描述符环和散聚收集则是把任务单排得又顺又密。对 AI 基础设施工程师来说，在性能与安全之间找到这个平衡点，就是日常与内核打交道的价值所在。

AI 应用场景

Python 演示

class IOMMU:    def __init__(self, page_size=4096):        self.page_size = page_size        self.mappings = {}     def add_mapping(self, iova, pa, perm="rw"):        self.mappings[iova] = (pa, perm)     def translate(self, iova, length, access):        current = iova        viewed = 0        while viewed < length:            if current not in self.mappings:                raise PermissionError("IOVA not mapped")            pa, perm = self.mappings[current]            if access not in perm:                raise PermissionError("permission denied")            yield pa            current += self.page_size            viewed += self.page_size  class DescRing:    def __init__(self, size=8):        self.size = size        self.slots = [None] * size        self.head = 0        self.tail = 0     def post(self, iova, length):        if (self.head + 1) % self.size == self.tail:            raise OverflowError("ring full")        self.slots[self.head] = (iova, length)        self.head = (self.head + 1) % self.size     def process(self):        batch = []        while self.head != self.tail:            batch.append(self.slots[self.tail])            self.slots[self.tail] = None            self.tail = (self.tail + 1) % self.size        return batch  if __name__ == "__main__":    iommu = IOMMU()    for page in range(4):        iommu.add_mapping(0x1000 + page * 0x1000, 0x8000 + page * 0x1000)    ring = DescRing(8)    ring.post(0x1000, 64)    ring.post(0x3000, 128)    for iova, length in ring.process():        for pa in iommu.translate(iova, length, "w"):            print(hex(iova), "->", hex(pa))    try:        list(iommu.translate(0x9000, 4, "w"))    except PermissionError as exc:        print("blocked:", exc)

1. self.mappings[iova] = (pa, perm)IOMMU 页表保存 IOVA 到物理地址的映射，以及读写权限位。
2. if (self.head + 1) % self.size == self.tail环形队列使用一个空槽位区分“空”和“满”。
3. while self.head != self.tailDMA 控制器作为消费者，不断取出描述符并执行。
4. raise PermissionError("IOVA not mapped")设备访问没有映射的 IOVA 时，IOMMU 直接拒绝。
5. yield pa翻译后返回物理页号，设备自身始终只接触 IOVA，不接触真实物理地址。

常见误区

面试题