何雨：统一存储Ceph之RADOS简介

CephRADOS简介(Reliable,AutonomicDistributedObjectStore)京东虚拟化总监何雨heyu@2021/6/271架构简介两个部分组成:由数目可变的大规模OSDs（ObjectStorageDevices）组成的集群，负责存储所有的Objects数据由少量Monitors组成的强耦合、小规模集群，负责管理ClusterMap，其中ClusterMap是整个RADOS系统的关键数据结构，管理集群中的所有成员、关系、属性等信息以及数据的分发。2021/6/2722021/6/273ClusterMap管理cluster的核心数据结构指定了OSDs和数据分布信息monitor上存有最新副本依靠epoch增加来维护及时更新增量信息2021/6/274ClusterMap1.TheMonitorMapclusterfsid,theposition,nameaddressandportofeachmonitor2.TheOSDMapclusterfsid，alistofpools,replicasizes,PGnumbers,alistofOSDsandtheirstatus3.ThePGMap：PGversion,itstimestamp,thelastOSDmapepoch,thefullratios,anddetailsoneachplacementgroupsuchasthePGID,theUpSet,theActingSet,thestateofthePG(e.g.,active+clean),anddatausagestatisticsforeachpool.4.TheCRUSHMapalistofstoragedevices,thefailuredomainhierarchy(e.g.,device,host,rack,row,room,etc.),andrulesfortraversingthehierarchywhenstoringdata5.TheMDSMapMDSmapepoch，thepoolforstoringmetadata,alistofmetadataservers,andwhichmetadataserversareupandin2021/6/275数据存放1．Object到PG的映射。PG(PlacementGroup)是Objects的逻辑集合。相同PG里的Object会被系统分发到相同的OSDs集合中。由Object的名称通过Hash算法得到的结果结合其他一些修正参数可以得到Object所对应的PG。2．RADOS系统根据根据ClusterMap将PGs分配到相应的OSDs。这组OSDs正是PG中的Objects数据的存储位置。RADOS采用CRUSH算法实现了一种稳定、伪随机的hash算法。CRUSH实现了平衡的和与容量相关的数据分配策略。CRUSH得到的一组OSDs还不是最终的数据存储目标，需要经过初步的filter，因为对于大规模的分布式机群，宕机等原因使得部分节点可能失效，filter就是为过滤这些节点，如果过滤后存储目标不能满足使用则阻塞当前操作。2021/6/2762021/6/277关于pools是一个存储对象的逻辑分区概念所有权/访问对象对象副本的数目PG数目CRUSH规则集的使用以上后三项决定ceph最后如何存储数据2021/6/278计算PG的ID1.Client输入poolID和对象ID（如pool=‘liverpool’，object-id=‘john’）2.CRUSH获得对象ID并对其hash3.CRUSH计算OSD个数hash取模获得PG的ID（如0x58）4.CRUSH获得已命名pool的ID（如liverpool=4）5.CRUSH预先考虑到poolID相同的PGID（如4.0x58）2021/6/279DeviceState

— in out— — assignedPGs notassignedPGsup online active online&idle &reachabledown unreachable unreachable failed ¬remapped2021/6/2710peer和setpeer属于同一个PG彼此检查心跳数据同步setActingsetPG内所有osd属于ActingsetUpsetPG内up&in的osd2021/6/2711map传播所有消息传播都有一个epochclient端：首次进入去找monitor要最新副本存取时找OSD对比epochOSD端：peers之间保持心跳只保证两个OSD之间同步2021/6/2712数据复制读文件通过一个OSD主OSD写文件通过多个OSD复制Client把对象写进一个确定的PG组中的主OSD主OSD利用CRUSHmap用来确定二级OSDs，复制的对象放入其中。对象存储成功后进行响应client。2021/6/2713数据复制2021/6/2714错误检测和恢复错误检测：利用心跳上报monitor更新map错误恢复主osd主持恢复工作若主osd挂掉，二级osd选择一个顶上2021/6/27152021/6/2716数据条带化由于存储设备吞吐量的限制，影响性能和可伸缩性。跨多个存储设备的连续块条带化存储信息，以提高吞吐量和性能Ceph条带化相似于RAID0注意：ceph条带化属于client端，不在RADOS范畴2021/6/2717注意：条带化是独立于对象副本的。由于CRUSH副本对象跨越OSDs，所以条带自动的被复制。2021/6/2718条带化参数ObjectSize:足够大可以容纳条带单元，必须容纳一个或者多个条带单元