【大数据软件】Gcluster集群的文件系统

1、1理论知识1.1 概念1.1.1 全局统一命名空间的定义全局统一命名空间将磁盘和内存资源集成一个单一的虚拟存储池，对上层用户屏蔽了底层的物理硬件。1.1.2 GlusterFS的定义GlusterFS是一套可扩展的开源群集文件系统，并能够轻松地为客户提供全局命名空间、分布式前端以及高达数百PB级别的扩展性。1.1.3 元数据的定义元数据，是用来描述一个给定的文件或是区块在分布式文件系统中所处的位置。注：元数据时网络附加存储解决方案在规模化方面的致命弱点，因其所有节点都必须不断与服务器（或集群组）保持联系以延续真个群集的元数据，故增加了额外的开销，致使硬件在等待响应元数据请求过程中而效率低下。1

2、.2 数据定位技术Gluster通过其自有的弹性Hash算法可计算出文件在群集中每个节点的位置，而无需联系群集内的其他节点，从而降低了追踪元数据的变化而带来额外的开销。1.2.1 数据访问流程- 根据输入的文件路径和文件名计算hash值- 根据hash值在群集中选择子卷（存储服务器），进行文件定位- 对所选择的子卷进行数据访问1.2.2 Davies-Meyer算法Gluster使用Davies-Meyer算法计算文件名的hash值，获得一个32位整数，算法特点如下：非常好的hash分布性高效率的计算1.3 Gluster的架构StorageBrick1StorageBrick2Storage

3、Brick3StorageBrick4GlusterFSVolumeGlusterFSVolumeGlusterFSVolumeGlusterFSVdune（通过Glusterfsd来处理EXT3/EXT4/XFS/ZFS1.3.1 存储服务器(BrickServer)- 存储服务器主要提供基本的数据存储功能- 最终通过统一调度策略分布在不同的存储服务器上数据服务请求)- 数据以原始格式直接存储于服务器本地文件系统(1.3.2 客户端和存储网关(NFS/Samba)- 客户端的Glusterfs进程负责数据卷管理、I/O调度、文件定位、数据缓存等功能- 客户端利用FUSE(FileSystem

4、inUserSpace)模块将GlusterFS挂载到本地文件系统上- GlusterFS存储网关提供弹性卷管理和NFS/GIFS访问代理功能1.3.3 节点间互联GlusterFS支持一下网络互联-TCP/IP-InfiniBandRDMA1.4 Gluster的优点1.4.1 弹性存储Gluster群集可根据业务需求灵活地增加或缩减数据存储以及增删存储池中的资源，而不会中断系统的运行。1.4.2 横向扩展Gluster群集可通过增加存储节点来提升整个系统的容量或性能1.4.3 高可靠性Gluster群集通过自动复制与自动修复来保证数据的可靠性（利用EXT3/ZFS等磁盘文件系统日志）1.5

5、 Cluster的后端部署1.5.1 兼容性1）Cluster工作于Linux系统上层，其通过操作系统去解决与硬件的兼容性问题2）可被部署与任何品牌的Linux系统（主要是RHEL和CentOS）注：以上使得用户可自由选择硬件1.1.2 数据存储方式- 只分布型，模拟了RAID0分布情况，文件只存储于Gluster群集的单个节点,但性能表现优良。- 分布式副本型，类似于RAID10,文件通过两个节点（镜像节点）同步使得单点故障不影响数据存取。- 分段模型，执行上接近于标准化区块层RAID0模式，该模式将文件拆分且分布于多个节点上。1.1.3 跨站点备份Cluster群集允许不同群集键的多线路跨

6、地域备份。注：该方案用于避免群集整体故障或数据迁移、异地备份。1.1.4 跨站点延伸Cluster群集允许内部节点跨物理站点。注：跨站点的带宽或延迟可能会影响群集的性能表现1.6 客户端部署1.6.1 支持的客户端Cluster可通过多种不同的协议实现客户端访问，如：- Gluster客户端- NFS- CIFS- WebDAV- HTTP- 其他注：只有本地的Gluster客户端才正常支持高可用性、大规模的并行文件访问或使用循环域名服务、UCARP（虚拟路由冗余协议的简化版）、CTDB（用于群集存储的Samba项目）相结合的硬件负载群衡器。1.6.2 客户端高可用原理- 客户端主动联系群集中

7、的所有节点- 客户端使用Hash算法计算出自己位于拓扑结构中的位置- 客户端从所需求的托管节点处接收数据- 应用程序可通过Gluster分卷获知镜像节点单点故障1.7 Gluster群集管理工具-WebGUI-命令行工具（管理非常简单便捷）1.8卷的类型卷是块的集合且更多的gluster文件系统的操作发生在卷。Gluster文件系统基于需求支持不同类型的卷。某些擅长卷缩放存储大小，某些擅长提高性能和冗余。1.8.1 DistributedGlusterfsVolume分布式卷是Glusterfs的默认卷，当你创建一个卷如果没有指定卷的类型，将使用这个默认的选项去创建分布式卷。1）特点- 文件分

8、布在不同的块服务器（文件1可分布在块服务器1或2,但不能两台同时分布，没有冗余）- 更容易和廉价地扩展卷的大小2）缺点- 单点故障会造成数据丢失- 依赖底层的数据保护3）创建分布式卷1#glustervolumecreatetest-volumeserver1:/exp1server2:/exp2server3:2/exp3server4:/exp43Creationoftest-volumehasbeensuccessfulPleasestartthevolumetoaccessdata4）显示分布式卷信息1#glustervolumeinfoVolumeName:test-volumeTy

9、pe:DistributeStatus:Created3NumberofBricks:4Transport-type:tcpBricks:Brick1:server1:/exp1Brick2:server2:/exp2Brick3:server3:/exp3Brick4:server4:/exp41.8.2 ReplicatedGlusterfsVolume复制卷将克服分布式卷的数据丢失问题，其用于可靠的数据冗余1）特点- 该模式在所有的块服务器被保持一个精确的副本- 卷的副本数量可由客户创建的时候决定- 至少由两个块服务器或3个来创建一个卷- 一个块服务故障仍然可从其他块服务器读取数据2）创

10、建复制卷1#glustervolumecreatetest-volumereplica2transporttcpserver1:/ex2p1server2:/exp23Creationoftest-volumehasbeensuccessfulPleasestartthevolumetoaccessdata1.8.3 DistributedReplicatedGlusterfsVolume分布式复制卷文件分布在另外一个块的复制集合，该类型用于数据冗余的高可用和存储缩放1）搭建条件- 块服务器的数量必须是复制的倍数- 将按块服务器的排列顺序指定相邻的块服务器成为彼此的复制例如，8台服务器：- 当

11、复制副本为2时，按照服务器列表的顺序，服务器1和2作为一个复制,3和4作为一个复制,5和6作为一个复制,7和8作为一个复制- 当复制副本为4时，按照服务器列表的顺序，服务器1/2/3/4作为一个复制,5/6/7/8作为一个复制2）创建分布式复制卷1 #glustervolumecreatetest-volumereplica2transporttcpserver1:/ex2 p1server2:/exp2server3:/exp3server4:/exp43 Creationoftest-volumehasbeensuccessfulPleasestartthevolumetoaccessda

12、ta1.8.4StripedGlusterfsVolume条带卷适用于解决大文件高并发下带来的高负载和低性能问题。1 ）特点- 数据被分割成更小块分布到块服务器群中的不同条带区- 分布减少了负载且更小的文件加速了存取的速度2）缺点- 没有数据冗余3）创建条带卷格式：1 glustervolumecreateNEW-VOLNAMEstripeCOUNTtransporttcp|dma|tcp,rdmaNEW-BRICK.范例：1 #glustervolumecreatetest-volumestripe2transporttcpserver1:/exp2 1server2:/exp23 Creationoftest-volumehasbeensuccessfulPleasestartthevolumetoaccessdata1.8.5DistributedStripedGlusterfsVolume1）特点-相对于条带卷文件可被分割成更小的块分布到块服务器中的多个块中的不同条带区2）创建格式：1glustervolumecreateNEW-VOLNAMEstripeCOUNTtransporttcp|rdma|