Ceph：分布式存储系统

可视化演示

演示Ceph的CRUSH数据分布算法、副本与纠删码冗余策略、Quorum读写仲裁机制，交互调节冗余级别查看可用性与容量利用率变化。

1. Ceph架构

城市图书馆的图书总量早已超过中央仓库的容量，于是我们决定改造成“分布式图书馆网络”：一台普通服务器配上几块硬盘，就是一个街区分馆。分馆数量不断增多，但读者并不需要关心书放在哪座分馆，他们面对的始终是同一个“馆藏系统”。

Ceph的架构正是这样：底层是 RADOS（Reliable Autonomic Distributed Object Store，可靠的自主分布式对象存储）——相当于整个馆藏管理系统，负责把所有分馆组织起来，让数据自动分布、自动修复；MON（Monitor）是管理总局，维护一张全城地图，记录每个OSD的状态、集群配置和运行规则；OSD 则是街区分馆，每个OSD进程负责管理一块物理磁盘，真正落盘保存数据；最上层是客户端接口，包括RBD块存储（像一块虚拟硬盘）、RGW对象网关（兼容S3协议）、CephFS文件系统（像共享文件夹）。

用户写入一个大文件时，Ceph不会把这个文件整体塞进某个分馆，而是先把文件切成多个小对象，再交给RADOS统一调度：

回到图书馆的比喻：再宏大的书库，也要先把书拆成一册册可管理的小册子，才能在全城分馆自由流通。Ceph 架构的设计哲学，就是用分层角色把“藏书”“地图”“分馆”各司其职，让整个系统像一座自动运转的图书馆。

2. RADOS对象

图书馆的馆藏管理系统不管理“整本书”，而是管理“一册标着编号的小书”。每一册由三部分构成：索书号（OID）、书的正文（Data）、借阅卡（Metadata）。这种“小书”就是RADOS中的对象。

RADOS 之上还有“池”（Pool）的概念，相当于图书馆的藏书区：不同类型的数据放进不同池子，每个池可单独配置副本数、PG数量、数据安全策略。比如“视频池”配置3副本保证高可靠，“日志池”配置2副本以节省空间。RADOS 的核心承诺是：只要至少一个副本存活，写入的数据就一定能被读回，且对客户端完全透明。

这样，外部世界看到的不再是几十台服务器和几千块硬盘，而是一个干干净净的“对象海洋”。借阅人只要报出索书号，馆藏系统就能在几十个分馆中找到这本书。

3. CRUSH算法

分布式图书馆最巧妙的设计是“每个分馆不用问管理总局就能知道某本册子该放哪”。读者借书时，只需拿一张“算法地图”：报上书名，按地图上的规则一算，精确的分馆号和书架号就出来了。这就是 CRUSH 算法——Controlled Replication Under Scalable Hashing，一种可扩展哈希控制副本放置的算法。

CRUSH 的两个核心优势：一是确定性，客户端在本地就能算出数据位置，无需维护一张巨大的中央索引表，这避免了集中式元数据服务器的瓶颈；二是可控性，通过放置规则实现故障域隔离——机架A宕机不会影响机架B的副本，让系统可靠性不再被局部故障拖垮。

就像校门口的算法地图：谁都能算、几毫秒出结果、规则可以随时调整。这种去中心化正是 Ceph 能扩展到上千节点而性能不衰减的秘密。

4. PG映射

图书馆不会把每一册书直接派送到分馆，而是先把书装进一个个“编目盒”（Placement Group，PG），整盒运往分馆。这样分馆只需要管理有限数量的盒子，而不是上百万册零散的书。PG 是 Ceph 中对象与OSD之间的逻辑中间层。

PG 数量是 Ceph 集群规划的关键参数：PG 太少，单个 PG 管理的数据过多，分布可能不均；PG 太多，每个 PG 的元数据开销会消耗大量内存。实践经验通常建议“每个 OSD 上约 100~200 个 PG”。

编目盒机制把“海量对象”压缩成“有限盒子”。馆藏管理系统不再需要关心每一本小册子，只需知道每个盒子去了哪个分馆。当某个分馆故障时，系统也只需恢复该分馆上的几个盒子，效率极高。

5. OSD管理

每个街区分馆的门卫都要定期向管理总局“报平安”：是否在岗、能否继续服务。管理总局则根据这些汇报维护全城各分馆的状态，并在分馆出现问题时做出调度。Ceph 的 OSD 管理机制与此完全一致。

OSD 之间通过心跳机制互相监控：默认每 6 秒互相发送心跳包，若一个 OSD 超过阈值（如 300 秒）未响应，MON 会将其标记为 down。同时，Ceph 会根据各 OSD 的权重（与磁盘容量、性能相关）自动均衡 PG 分布。新盘加入后，系统会将部分 PG 从过载 OSD 迁移到新盘。

管理总局通过“心跳考勤”动态掌握全城分馆状态。哪个分馆关门，系统自动把它负责的编目盒复制一份到其他分馆——读者完全感知不到这场“救援行动”。

6. 数据可靠性

图书馆的“防火灾策略”非常明确：重要文献复印多份，分散存放在不同街区、不同建筑；甚至把一本书拆成若干段，再加一段“校验段”，任何一段丢失都能逆推出来。Ceph 提供了两种数据冗余方案：副本和纠删码。

三副本模式下，每个对象写 3 份，占用 3 倍空间，可容忍任意 2 个 OSD 同时故障。纠删码则不同：以 4+2 策略为例，把数据拆成 4 个数据块加 2 个校验块，任意丢失 2 块都能恢复，存储开销仅 1.5 倍，远低于三副本的 3 倍。代价是读写时需要更多计算与网络带宽。此外，副本是否真的可靠还取决于故障域隔离——若 3 个副本都在同一机架，整个机架断电，数据照样全丢。

有了防火灾策略，即使某个街区分馆因断电或故障掉线，只要其他分馆还存有相关册子的副本，馆藏系统就能把书“借出来”并自动补印新副本。

7. 集群扩展

城市人口增长，图书馆系统决定兴建新的分馆。新分馆落成后，为了让各分馆的藏书量保持均衡，一部分书需要搬到新分馆。读者好奇地问：要把整个图书馆搬空吗？答案是否定的——只需要搬动一小部分书，而且搬书时图书馆照常营业。

这个特性来自 CRUSH 的“确定性 + 最小扰动”设计。扩容时 Ceph 会把 PG 迁移任务排成后台队列，逐个将部分 PG 从旧 OSD 迁到新 OSD，期间 PG 保持可读写。运维建议：一次不要加入过多 OSD（避免剧烈迁移），也不要太少（数据均衡效果不明显）。

“搬家不搬空全馆”是分布式存储最美的特质之一。扩容不是推倒重建，而是润物无声地让新书架渐渐装满书。

8. 部署管理

图书馆落成后，馆长每天需要看一块“健康仪表盘”：全城分馆是否在线、编目盒是否都排列整齐、系统整体是否处于健康状态。Ceph 的运维管理同样围绕这样一块仪表盘展开。

部署工具从早期的 ceph-deploy、ceph-ansible，已演进到如今主流的 cephadm 容器化部署。日常运维关键命令包括：ceph -s 查看集群整体状态；ceph osd tree 查看 OSD 拓扑与权重；ceph osd pool set <池> size <副本数> 调整副本数；ceph pg stat 查看 PG 状态分布。故障处理黄金三步：先看 ceph -s 健康度，再看 ceph health detail 定位原因，最后按告警执行重建或撤离。

馆长不需要每天跑遍全城分馆，一张仪表盘就能掌握全局。Ceph 的价值，正是把复杂的分布式管理逻辑自动化、工具化、标准化——这也是分布式存储工程师的核心工作日常。

AI 应用场景

Python 演示

import hashlibfrom collections import defaultdict  class SimpleCrush:    """简化版 CRUSH 模拟器：确定性映射对象到 OSD"""     def __init__(self, osd_list, replicas=2):        self.osd_list = list(osd_list)        self.replicas = replicas        self.stats = defaultdict(list)     def _hash(self, text):        return int(hashlib.md5(text.encode("utf-8")).hexdigest(), 16)     def place(self, obj_id):        """返回对象 obj_id 应放置的 OSD 列表（确定性打分）"""        h = self._hash(obj_id)        scored = []        for osd in self.osd_list:            score = h ^ self._hash(osd)            scored.append((score, osd))        scored.sort(reverse=True)        return [osd for _, osd in scored[: self.replicas]]     def write(self, obj_id):        osds = self.place(obj_id)        for osd in osds:            self.stats[osd].append(obj_id)        return osds     def add_osd(self, osd):        if osd not in self.osd_list:            self.osd_list.append(osd)            self.stats[osd] = []     def migrate(self):        """扩容后重新计算映射，统计位置变化的对象数量"""        all_objs = set()        for objs in self.stats.values():            all_objs.update(objs)        old_place = {}        for osd, objs in self.stats.items():            for obj in objs:                old_place.setdefault(obj, set()).add(osd)        new_stats = defaultdict(list)        moved = []        for obj in all_objs:            new_osds = self.place(obj)            for osd in new_osds:                new_stats[osd].append(obj)            if old_place.get(obj, set()) != set(new_osds):                moved.append(obj)        self.stats = new_stats        return len(moved)  def main():    crush = SimpleCrush(["osd-1", "osd-2", "osd-3", "osd-4"])    for i in range(100):        crush.write("obj-%03d" % i)     before = {k: len(v) for k, v in crush.stats.items()}    print("扩容前各 OSD 对象数:", before)     crush.add_osd("osd-5")    moved = crush.migrate()    after = {k: len(v) for k, v in crush.stats.items()}    print("扩容后各 OSD 对象数:", after)    print("发生迁移的对象数:", moved)    print("迁移比例: %.1f%%" % (moved / 100 * 100))  if __name__ == "__main__":    main()

1. score = h ^ self._hash(osd)将对象哈希与 OSD 名字的哈希做异或，得到该 OSD 的“得分”，得分越高越优先。
2. scored.sort(reverse=True)把所有候选 OSD 按分数降序排序，取前 replicas 个作为副本落点。
3. old_place.setdefault(obj, set()).add(osd)建立旧副本位置的倒排索引，记录每个对象当前所在 OSD。
4. if old_place.get(obj, set()) != set(new_osds): moved.append(obj)新旧落点集合不一致，说明该对象在扩容后需要迁移。
5. crush.add_osd("osd-5")模拟扩容操作：加入第 5 个 OSD 并触发重分布。

常见误区

面试题