《Ceph源码分析》读书笔记思维导图

《Ceph源码分析》最新版读书笔记，下载可以直接修改思维导图PPT模板小结第章技术模块数据结构对象实现代码操作过程快照日志数据副本领域处理基本概念状态状态机本书关键字分析思维导图01第1章Ceph整体架构第3章Ceph网络通信第5章Ceph客户端第2章Ceph通用模块第4章CRUSH数据分布算法第6章Ceph的数据读写目录030502040607第7章本地对象存储第9章Ceph快照和克隆第8章Ceph纠删码第10章CephPeering机制目录0908010011第11章Ceph数据修复第13章Ceph自动分层存储第12章Ceph一致性检查目录013012内容摘要众所周知，在过去十年里，IT技术领域中巨大的创新项目很多来自于开源世界，从垄断大数据的Hadoop、Spark，到风靡全球的Docker，都证明了开源力量推动了新技术的产生与发展。而再往以前看十年，从Unix到Linux，从Oracle到MySQL/PostgreSQL，从VMWare到KVM，开源世界从传统商业技术继承并给用户带来更多的选择。处于开源社区一线的我欣喜地看到，在IT基础设施领域，越来越多的创业公司从创立之初就以开源为基石，而越来越多的商业技术公司也受益于开源，大量的复杂商业软件基于开源分布式数据库、缓存存储、中间件构建。相信开源的Ceph也将成为IT创新的驱动力。正如SageWeil在2016CephNext会议上所说，Ceph将成为存储里的Linux！第1章Ceph整体架构适合有代码基础的开发人员看，讲的比较深入，不懂代码看不太明白。1.1Ceph的发展历程1.2Ceph的设计目标1.3Ceph基本架构图1.4Ceph客户端接口1.5RADOS1.6本章小结010302040506第1章Ceph整体架构1.4.1RBD1.4.3RadosGW1.4.2CephFS1.4Ceph客户端接口1.5.1Monitor1.5.2对象存储1.5.3pool和PG的概念1.5.4对象寻址过程1.5.5数据读写过程1.5.6数据均衡0103020405061.5RADOS1.5.7Peering1.5.8Recovery和Backf...1.5.9纠删码1.5.10快照和克隆1.5.11CacheTier1.5.12Scrub0103020405061.5RADOS第2章Ceph通用模块2.1Object2.2Buffer2.3线程池2.4Finisher第2章Ceph通用模块2.5Throttle2.7本章小结2.6SafeTimer第2章Ceph通用模块2.2.1buffer::raw2.2.3buffer::list2.2.2buffer::ptr2.2Buffer2.3.1线程池的启动2.3.2工作队列2.3.3线程池的执行函数2.3.4超时检查2.3.5ShardedThreadP...123452.3线程池第3章Ceph网络通信3.1Ceph网络通信框架3.3本章小结3.2Simple实现第3章Ceph网络通信3.1.1Message3.1.2Connection3.1.3Dispatcher3.1.4Messenger3.1.5网络连接的策略3.1.6网络模块的使用0103020405063.1Ceph网络通信框架3.2.1SimpleMessager3.2.2Accepter3.2.3DispatchQueue3.2.4Pipe3.2Simple实现3.2.5消息的发送3.2.7错误处理3.2.6消息的接收3.2Simple实现第4章CRUSH数据分布算法4.1数据分布算法的挑战4.2CRUSH算法的原理4.3代码实现分析4.4对CRUSH算法的评价4.5本章小结12345第4章CRUSH数据分布算法4.2.1层级化的ClusterMa...4.2.3Bucket随机选择算法4.2.2PlacementRule...4.2CRUSH算法的原理4.3.2代码实现4.3.1相关的数据结构4.3代码实现分析第5章Ceph客户端5.1Librados5.2OSDC5.3客户写操作分析5.4Cls5.5Librbd5.6本章小结010302040506第5章Ceph客户端5.1.2IoCtxImpl5.1.1RadosClient5.1Librados5.2.1ObjectOperatio...5.2.2op_target5.2.3Op5.2.4Striper5.2.5ObjectCacher123455.2OSDC5.3.1写操作消息封装5.3.3对象寻址_calc_targ...5.3.2发送数据op_submit5.3客户写操作分析5.4.1模块以及方法的注册5.4.3举例说明5.4.2模块的方法执行5.4Cls5.5.1RBD的相关的对象5.5.2RBD元数据操作5.5.3RBD数据操作5.5.4RBD的快照和克隆5.5Librbd第6章Ceph的数据读写6.1OSD模块静态类图6.2相关数据结构6.3读写操作的序列图6.4读写流程代码分析6.5本章小结12345第6章Ceph的数据读写6.2.1Pool6.2.2PG6.2.3OSDMap6.2.4OSDOp6.2.5Object_info_t6.2.6ObjectState0103020405066.2相关数据结构6.2.7SnapSetContext6.2.9Session6.2.8ObjectContext6.2相关数据结构6.4.1阶段1：接收请求6.4.2阶段2:OSD的op_wq处...6.4.3阶段3:PGBackend的...6.4.4从副本的处理6.4.5主副本接收到从副本的应答123456.4读写流程代码分析第7章本地对象存储7.1基本概念介绍7.2ObjectStore对象存储接...7.3日志的实现7.4FileStore的实现第7章本地对象存储7.5omap的实现7.7本章小结7.6CollectionIndex第7章本地对象存储7.1.1对象的元数据7.1.3事务的封装7.1.2事务和日志的基本概念7.1基本概念介绍7.2.2ObjectStore代码示...7.2.1对外接口说明7.2ObjectStore对象存储接...7.3.2FileJournal7.3.1Jouanal对外接口7.3日志的实现7.4.1日志的三种类型7.4.2JournalingObje...7.4.3Filestore的更新操作7.4.4日志的应用7.4.5日志的同步123457.4FileStore的实现7.5.1omap存储7.5.3部分代码实现分析7.5.2omap的克隆7.5omap的实现7.6.1CollectIndex接口7.6.3LFNIndex7.6.2HashIndex7.6CollectionIndex第8章Ceph纠删码8.1EC的基本原理8.2EC的不同插件8.3Ceph中EC的实现8.4EC的源代码分析8.5本章小结12345第8章Ceph纠删码8.2.1RS编码8.2.2LRC编码8.2.3SHEC编码8.2.4EC和副本的比较8.2EC的不同插件8.3.1Ceph中EC的基本概念8.3.3EC的回滚机制8.3.2EC支持的写操作8.3Ceph中EC的实现8.4.1EC的写操作8.4.3ECBackend8.4.2EC的write_full8.4EC的源代码分析第9章Ceph快照和克隆9.1基本概念9.2快照实现的核心数据结构9.3快照的工作原理9.4快照读写操作源代码分析9.5本章小结12345第9章Ceph快照和克隆9.1.2RBD的快照和克隆比较9.1.1快照和克隆9.1基本概念9.3.1快照的创建9.3.2快照的写操作9.3.3快照的读操作9.3.4快照的回滚9.3.5快照的删除123459.3快照的工作原理9.4.1快照的写操作9.4.3快照的读操作9.4.2make_writeable...9.4快照读写操作源代码分析第10章CephPeering机制10.1statechart状态机10.2PG状态机10.3PG的创建过程10.4PG创建后状态机的状态转换10.5Ceph的Peering过程分...10.6本章小结010302040506第10章CephPeering机制10.1.1状态10.1.2事件10.1.3状态响应事件10.1.4状态机的定义10.1.5context函数10.1.6事件的特殊处理01030204050610.1statechart状态机10.3.1PG在主OSD上的创建10.3.3PG的加载10.3.2PG在从OSD上的创建10.3PG的创建过程10.5.1基本概念10.5.2PG日志10.5.3Peering的状态转换图10.5.4pg_info数据结构10.5.5GetInfo10.5.6GetLog01030204050610.5Ceph的Peering过程分...10.5.7GetMissing10.5.8Active操作10.5.9副本端的状态转移10.5.10状态机异常处理10.5Ceph的Peering过程分...第11章Ceph数据修复11.1资源预约11.2数据修复状态转换图11.3Recovery过程11.4Backfill过程11.5本章小结12345第11章Ceph数据修复11.3.1触发修复11.3.3pgbackend11.3.2ReplicatedPG11.3Recovery过程11.4.2Backfill的具体实现11.4.1相关数据结构11.4Backfill过程第12章Ceph一致性检查12.1端到端的数据校验12.2Scrub概念介绍12.3Scrub的调度12.4Scrub的执行12.5本章小结12345第12章Ceph一致性检查12.3.2Scrub的调度实现12.3.1相关数据结构12.3Scrub的调度12.4.1相关数据结构12.4.2Scrub的控制流程12.4.3构建ScrubMap12.4.4从副本处理12.4.5副本对比12.4.6结束Scrub过程01030204050612.4Scrub的执行第13章Ceph自动分层存储