分布式存储：存储分层策略

可视化演示

展示数据温度评估与分层迁移、分层存储成本优化效果及访问模式与自动迁移调度，支持模式切换。

分层存储模型

图书馆馆长阿诚上任第一天，老馆长递给他一张平面图：一楼大厅摆热门畅销书，“读者一进门就能拿到”；二楼是普通书库，需要借阅登记；地下档案室堆着旧报刊和绝版书，要预约才能调阅。每层楼的租金不一样，取书的速度也不一样。阿诚立刻意识到：一本书放在哪一层，不仅取决于它有多受欢迎，还取决于空间成本与借阅等待时间的权衡。

在分布式存储系统里，这套逻辑被叫作“存储分层”（Storage Tiering）。系统把数据按访问频率分成热数据、温数据和冷数据：热数据放在 NVMe SSD 或高性能 SSD 上，温数据放在机械硬盘（HDD）上，冷数据则下沉到大容量 HDD 或磁带归档。每一层都有自己的“租金”——单位存储成本，也有自己的“取书速度”——IOPS 与延迟。

分层决策的关键输入是容量分配与单位成本。假设系统有 3 个层级，每层容量为 $V_i$，单位成本为 $C_i$，那么总存储成本的估算公式为：

$$C_{total} = \displaystyle\sum_{i=1}^{3} V_i \times C_i$$

1. 总成本 $C_{total}$：三个层级容量的实际花费总和，是衡量分层策略经济性最直接的指标。

$$C_{total}$$

2. 求和符号 $\sum$：对第 1 层到第 3 层的每一层做累加运算。

$$\displaystyle\sum_{i=1}^{3}$$

3. 容量 $V_i$：第 $i$ 层存储中实际分配的数据容量，通常按 TB 或 GB 计算。

$$V_i$$

4. 单位成本 $C_i$：第 $i$ 层每 TB 存储的采购与运维成本，热层最高、温层次之、冷层最低。

$$C_i$$

阿诚把预算摊开算了一遍：如果畅销书占满一楼大厅，书库和档案室全空着，租金固然奢侈；但如果把所有书都塞进地下室，读者取一本书要等半小时也是灾难。分层的艺术，就是让每一层“各司其职”，把每一分钱花在真正需要速度的数据上。

热度检测算法

阿诚在每一本新书上夹一张借阅卡，读者每借一次就盖一个章。可一段时间后他发现问题：有些书十年前天天被借，今天已经无人问津；另一些书上周刚进了 50 本，借阅记录还很少，却明显是被大量读者盯上的新热书。只看卡片总数会被陈旧记录带偏，他必须给旧记录“打折扣”。

热度检测算法要解决的就是这件事：统计一定时间窗口内的访问事件，距离当前越远的事件对当前热度贡献越小。在实践中，常用“指数衰减”来模拟这种遗忘效应，当前热度 $H(t)$ 由窗口 $[t-\Delta t, t]$ 内所有访问事件加权求和得到：

$$H(t) = \displaystyle\sum_{t'=t-\Delta t}^{t} A(t') \times e^{-\lambda (t-t')}$$

1. 当前热度 $H(t)$：数据块在 $t$ 时刻的实时热度值，用来与分层阈值比较。

$$H(t)$$

2. 访问事件 $A(t')$：在历史时刻 $t'$ 发生的访问请求次数。

$$A(t')$$

3. 衰减因子 $e^{-\lambda(t-t')}$：距离现在越久的事件，贡献越小，呈指数级下降。

$$e^{-\lambda (t-t')}$$

4. 衰减系数 $\lambda$：控制遗忘速度，需要按业务节奏调参。

$$\lambda$$

在实际存储系统中，访问日志通常按分钟或 5 分钟分桶计数，既降低存储开销，又保留足够的衰减精度。系统还会区分“读事件”与“写事件”，因为两类请求对介质的影响不同。热度算出来后，不是立刻迁移，而是用一个观察窗口 $T_{obs}$ 确认数据能“稳定”停留在高温或低温，才进入迁移调度环节。

阿诚把借阅卡改成了“滚动盖章本”：每过一个月就把上一年的格子划掉。这样他看到的永远是最新半年谁在被真正借阅。热度检测的意义，正是用一套可以执行的计算方法代替人脑的模糊判断。

自动迁移调度

规则定了之后，阿诚不再亲自搬书。他在办公室打印机上贴出搬迁规范：热度大于 0.65 且连续 7 天，电梯向上；热度低于 0.3 且连续 14 天，电梯向下；其他情况书在原地不动。每天凌晨两点，管理员按下“开始调度”，一箱一箱书在楼层之间流动。

这套规则对应着迁移调度中的双阈值状态机。假设热度为 $H(d)$，升层阈值是 $\theta_{up}$，降层阈值是 $\theta_{down}$，迁移决策可以写成：

$$M(d) = \begin{cases} \text{升层} & H(d) > \theta_{up} \text{ 且持续 } T_{obs} \\ \text{降层} & H(d) < \theta_{down} \text{ 且持续 } T_{obs} \\ \text{不动} & \text{其他情况} \end{cases}$$

1. 升层规则：热度持续高于 $\theta_{up}$ 时，把数据从低层搬到更高性能层。

$$\text{升层}: H(d) > \theta_{up}$$

2. 降层规则：热度持续低于 $\theta_{down}$ 时，把数据搬迁到更低成本的层。

$$\text{降层}: H(d) < \theta_{down}$$

3. 观察窗口 $T_{obs}$：要求热度连续保持极值一段时间才迁移，过滤瞬时波动。

$$T_{obs}$$

4. 其他情况：位于两个阈值之间时保持当前层不变。

$$\text{不动}: \theta_{down} \leq H(d) \leq \theta_{up}$$

真正的迁移流程是异步执行的。调度器把待迁移数据排出优先级队列，控制并发迁移带宽避免影响在线服务。每份数据的搬移采用“复制—校验—切换”：先在目标层写入副本，再对副本做校验，确认完整后切换元数据指针，最后释放源层空间；若校验失败，保留源数据，下一次调度再次尝试。这样业务读写全程不被中断。

阿诚在电梯调度室还贴了一条补充规则：每天 10 点到 16 点的借阅高峰暂停大件迁移，只在夜里搬书。自动调度系统也一样——迁移不应该与业务高峰抢带宽，否则省下存储成本却赔上了访问延迟。

动态阈值边界

几周后，一楼大厅的书架满了。阿诚试着把热门书往二楼挪了一些，结果读者抱怨取书变慢。他意识到，光有固定的 0.65 阈值不够，当楼层容量紧张时，必须临时提高门槛，让更“热”的书才能进大厅；等大厅有了空位，再放低门槛。

这对应着分层系统中的动态边界调整。升层阈值不再是常数，而是随热层利用率变化的自适应值。一个简化的容量感知公式如下：

$$\theta_{up}(t) = \theta_0 + \alpha \times \frac{U_{hot}(t) - C_{hot}}{C_{hot}}$$

1. 基础阈值 $\theta_0$：由管理员根据业务延迟目标配置的升层基准。

$$\theta_0$$

2. 已用容量 $U_{hot}(t)$：热层当前实际占用的存储容量。

$$U_{hot}(t)$$

3. 热层容量 $C_{hot}$：热层介质的总设计容量，如 SSD 池的全部分区。

$$C_{hot}$$

4. 放大系数 $\alpha$：控制容量压力对阈值的影响强度，防止阈值抖动。

$$\alpha$$

除了容量，延迟 SLA 也是边界设定的硬约束。系统持续监控热层的 P95 延迟，若延迟超过目标，则需要同步提高 $\theta_{up}$ 并暂停低优先级升层迁移，防止热层过载。动态边界不是单一参数，而是容量与性能两条反馈线共同作用的结果。

阿诚在值班日志上写道：“书架满不是静态的，它今天满，明天可能空；读者迁移也有周期。”好的管理员不是守着数字，而是让数字跟随现实变化。

训练数据模式

图书馆来了一个奇怪的“批发客户”——大学 AI 实验室。他们不借书，而是整批借训练集。同一个样本在一小时内可能被读几百次，阿诚把图书馆数据打开一看：这批资料在访问记录里简直像一台“复读机”。后来他学会了：对于这类客户，不能只看一本书被借了几次，还要看它被同一群人反复读了多少轮。

在 AI 训练场景，训练数据集的访问模式与普通业务完全不同。一个模型训练过程会按 epoch 反复遍历整个数据集，读取总请求数可能达到数据集规模的几十倍甚至上百倍。用重复度指标来刻画：

$$R_{repeat} = \frac{N_{read}}{N_{sample}}$$

1. 读取总次数 $N_{read}$：窗口时间内对所有样本发出的读请求总量。

$$N_{read}$$

2. 样本数 $N_{sample}$：数据集包含的样本条数或文件数。

$$N_{sample}$$

3. 重复度 $R_{repeat}$：等于读取次数是样本量的多少倍，反映数据复用强度。

$$R_{repeat}$$

训练时的 checkpoint 文件也一样：每个固定周期模型会做写入量极大的落盘，虽然几乎不读，但写延迟影响训练进度，因此不能简单把它当冷数据处理。历史快照和旧版本数据平时属于冷数据，但一旦发生模型回滚，系统需要把指定快照拉到热层。“预热预案”就是提前把这些可能被用到的数据搬到热层。此外，迁移窗口需要避让训练任务高峰，避免迁移流量与高吞吐读训练数据互相挤占带宽。

阿诚在图书馆系统里给 AI 实验室建了一个“绿色通道”：凡是标注为“训练集”的批次，预约后自动挪到一楼，等实验室成员到馆，书已经在取书台上。存储分层也一样——为 AI 工作负载准备一条由热度驱动的自动通道，训练效率就能提升一个档次。

调优实践方法

每月月底，阿诚都会写一份“书架收益报告”：这月一楼借出率提升了多少？从地下室调上来的书有多少真正被借走？迁移花了多少工时，有没有因为搬书让读者等了太久？如果数据不好看，下个月就把部分参数回滚。

调优实践需要一个明确的量化指标。I/O 延迟改善率是最直观的评价方式：

$$E_{gain} = \frac{L_{before} - L_{after}}{L_{before}} \times 100\%$$

1. 调参前延迟 $L_{before}$：基准周期内的平均读写延迟。

$$L_{before}$$

2. 调参后延迟 $L_{after}$：调整阈值后同等负载下的平均延迟。

$$L_{after}$$

3. 延迟改善率 $E_{gain}$：正数代表改善比例，负数代表性能退化。

$$E_{gain}$$

推荐的工作流是“小步调参”：每次只修改一个参数，例如提高升层阈值或延长观察窗口，运行一周到两周，结合迁移日志和延迟统计评估变化，再决定保留或回滚。另外一个有效措施是“预热预案”：在 AI 大任务启动前，把常见的模型权重、近期训练集主动复制到热层，避免任务启动时临时迁移等待。

阿诚最终把报告格式固定下来：一页是温度地图（各层数据分布迁移），一页是迁移收支（迁移成本与延迟收益）。馆长看了很满意——调优的智慧不在于让参数多漂亮，而在于每一步都能用数据证明自己。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""存储分层:热度衰减检测与自动迁移调度模拟"""import mathimport random  def heat(access_times, now, decay=0.5):    """计算数据块的热度:对所有历史访问做指数衰减求和"""    total = 0.0    for t in access_times:        age = now - t        if age >= 0:            total += math.exp(-decay * age)    return total  def migrate(block, now, up_th=1.0, down_th=0.5):    """根据热度阈值判断数据块是否需要升层或降层"""    h = heat(block["times"], now)    if block["layer"] == 0 and h < down_th:        block["layer"] = 1        print(f"[{now:.1f}s] 块{block['id']} 热度{h:.2f} < {down_th} 降到温层")    elif block["layer"] == 2 and h > up_th:        block["layer"] = 1        print(f"[{now:.1f}s] 块{block['id']} 热度{h:.2f} > {up_th} 升到温层")    elif block["layer"] == 1:        if h > up_th:            block["layer"] = 0            print(f"[{now:.1f}s] 块{block['id']} 热度{h:.2f} > {up_th} 升到热层")        elif h < down_th:            block["layer"] = 2            print(f"[{now:.1f}s] 块{block['id']} 热度{h:.2f} < {down_th} 降到冷层")    return h  def main():    random.seed(7)    blocks = [        {"id": i, "layer": 1, "times": []}        for i in range(5)    ]    now = 0.0    for _ in range(20):        now += 1.0        for b in blocks:            if random.random() < 0.4:                b["times"].append(now)        for b in blocks:            migrate(b, now)    print("最终层级:", [b["layer"] for b in blocks])  if __name__ == "__main__":    main()

1. total += math.exp(-decay * age)把每次历史访问对当前热度的贡献累加起来，越久远的访问贡献越小。
2. if block["layer"] == 0 and h < down_th:热层数据一旦跌破降层阈值，就进入降层流程。
3. elif block["layer"] == 2 and h > up_th:冷层数据热度升高，先升到温层而不是直接顶到热层，留出缓冲。
4. if random.random() < 0.4:用 40% 概率模拟每个时钟周期是否发生一次读访问。
5. for b in blocks: migrate(b, now)每个时钟周期对所有数据块统一执行热度判断与迁移决策。
6. random.seed(7)固定随机种子让模拟可复现，方便对比不同阈值的调优效果。

常见误区

面试题