分布式软件定义存储Ceph介绍

1、Ceph - 分布式软件定义存储介绍社区最佳开源项目红帽存储目标工作负载什么是CEPHCeph是一种基于通用硬件设计的高可靠性、高可扩展统一分布式存储软件。统一：提供三种存储功能文件存储块存储对象存储分布式：Ceph可以被部署于上千台服务器上。Ceph的优势并不是一个新兴的开源项目，经历了十多年的发展，已经相当成熟；可靠性高，无单点故障；在不同场景下都可以达到高性能（并发和吞吐量）；可以轻松扩展到PB级的存储容量；Ceph客户端早已进入主流内核（2.6.34）；Ceph的历史2003年项目成立；2006年作者将其开源；2009年Inktank公司成立并发布Ceph的第一个稳定版本”Argona

2、ut”；2014年红帽公司收购了Inktank，丰富了自己的软件定义存储的产品线，此次收购使红帽成为领先的开源存储产品供应商，包括对象存储、块存储和文件存储。CEPH社区目前的活跃情况从Ceph项目诞生以来，红帽公司总共贡献了86%的代码CEPH的广大用户群Ceph的设计架构RADOS(Reliable,Autonomic,Distributed Object Store)可靠通过复制来避免数据丢失；自动自动检测失效；自动恢复失效自动replicate；自动re-balance；分布式无中心结构设计，理论上无上限；可轻松扩展到上千台服务器，PB级容量；对象存储RADOS就是一个完整的对象存储系

3、统，所有存储在Ceph系统中的用户数据事实上最终都是由这一层来存储的，包括Ceph FS的元数据RADOS包含2个组件：mon和osdCRUSH算法APPLICATIONMMMMMRADOS CLUSTEROSD(O)bject (S)torage (D)aemon（Device）系统部分守护进程部分每一个磁盘都会对应一个OSD用于与mon和其他osd通讯以及维护更新状态与其他osd完成数据存储和维护与client端完成对各种数据对象的操作目前主要使用文件系统作为其后端，如XfsBtrfsExt4新版本中将支持更多的后端形式，如直接管理块设备在一个集群中支持3-10000+的OSDFSDISK

4、OSDDISKOSDFSDISKOSDFSDISKOSDFSbtrfsxfsext4MMMMONMonitoring daemon维护集群的视图和状态OSD和monitor之间相互传输节点状态信息，共同得出系统的总体工作状态，并形成一个全局系统状态记录数据结构，即所谓的集群视图（cluster map）Mon1Mon2Mon3如何定位对象RADOS通过CRUSH（Controlled Replication Under Scalable Hashing)算法来定位对象不像其他的分布式文件系统，没有单独的元数据服务器用来维护数据和存储对应关系的数据结构（延时、单点、性能瓶颈、扩展性）；通过纯计算

5、来定位对象；无中央元数据服务器任何一个ceph客户端只是不定期更新少量本地元数据，加以简单的计算，就可以根据一个数据的ID来定位其存储位置（无单点、高效、无瓶颈、无限扩展）；如何对对象（Objects）进行寻址RADOS GWRADOS GW是与Amazon S3和Swift兼容的RESTful API的gateway。RADOS GW提供的API抽象层次更高，但功能则不如librados强大通过RADOS来存储对象通过RADOSGW可以实现对象存储的异地容灾RBDRBD(Reliable Block Device)提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建volume。目

6、前，Red Hat已经将RBD驱动集成在KVM/QEMU中，以提高虚拟机访问性能RBD的客户端模块已经包含在RHEL7.1中可直接挂接rbd map foo -pool rbdmkfs.xfs /dev/rbd/rbd/foo与openstack集成支持cinder与glance支持snapshot支持COWCeph FS在RADOS之上构建的POSIX兼容的文件系统可以通过linux内核native的驱动cephfs.ko或者fuse来直接挂载Ceph FS需要元数据服务器（MDS）来定位文件，元数据记录目录层次文件元数据（属组、权限、时间戳等等）元数据存储在RADOS中只有Ceph FS才

7、使用MDSCeph和Openstack特性总结-扩展性高度可扩展架构通过强大的CRUSH算法可以将集群扩展到上千个节点自动re-balance自动复制数据，可随意扩容或者缩小容量在线分阶段升级实现零宕机升级特性总结-API互操作性API兼容亚马逊S3和Openstack对象存储（Swift）与Openstack的块存储完全整合（Cinder/Glance）多开发语言支持librados支持各种k开发语言：PHP、Ruby、JAVA、Python、C&C+完整的管理API通过RESTFUL API管理所有的集群和对象存储功能特性总结-安全访问控制列表高细腻度的对象存储用户和用户组的安全控制配额支

8、持对Cephfs设定使用额度特性总结-可用性在集群节点之间条带和复制数据保证数据的持久性、高可用和高性能动态块设备大小调整扩卷缩卷不会导致宕机快速数据定位不需要查找-客户端通过计算就可以快速定位自动失效恢复可防止影响数据一致性和可用性的故障特性总结-性能支持Copy On Write的克隆可以快速的部署虚拟机的块设备（block only）客户端内存的缓存内核和Hypervisor（block only）支持大并发的数据IO是client/cluster方式而不是client/server分层缓存可将热数据缓存于SSD设备以加速访问Flash Journal以加速写性能可定制的条带大小针对诸如

9、视频类的大文件或者图片类小文件实现最优化存储多站点的对象存储WEB APPLICATIONAPP SERVERCEPH OBJECT GATEWAY(RGW)CEPH STORAGE CLUSTER(US-EAST)WEB APPLICATIONAPP SERVERCEPH OBJECT GATEWAY(RGW)CEPH STORAGE CLUSTER(EU-WEST)多站点和灾难恢复支持Zone和Region通过全局名字空间来实现和S3类似的部署拓扑（Object only）数据中心复制同步可在不同数据中心之间实现部分或者完全备份（Object only）读亲和力始终为本地用户提供本地数据副本（Object only）将快照export给其他的数据中心异地灾难恢复（Block only）支持增量快照export降低网络开销，只同步变化部分（block only）扩展的RADOSRADOS可以横跨2个异地的数据中心并经过优化设计（低网络延时）归档/冷 存储APPLICATIONCACHE POOL (REPLI