PL-XDFS分布式存储系统

PL-XDFS分布式存储系统

技术白皮书V2.0一、产品概述数据的爆炸式增长和数据的高频交互共享对存储系统的存储规模、扩展能力、共享能力提出了更为严苛的需求，同时，IT平台开放化、硬件标准化的趋势要求存储软件具有更强的灵活性，以基于各类硬件平台实现快速、高效的软件定义存储。XDFS是宝德基于业界领先和广泛使用的GlusterFS分布式文件系统，结合宝徳技术团队多年的工程化及系统优化经验，针对非结构化数据应用环境推出的海量分布式存储系统。XDFS遵循软件定义存储的设计哲学，可部署于任意工业标准的X86服务器上，甚至可利用不同配置和规格的硬件服务器组建大规模分布式集群。XDFS可实现64PB的海量存储规模、可线性扩展的高性能。XDFS可实现动态的容量及性能扩展、卓越的系统高可用性；借助虚拟化和并行化的卷组、文件系统资源管理，可构建大规模、高性能、动态可扩展的共享存储架构。满足各类海虽文件应用场景POSIXICIFSINFSIHDFS|S3|iSCSI故障自愈PL-XDFS故障自愈冷数据无鏗归档丹云fflnNASM丹云fflnNASM技术架构Linux/Unix原生客户端'：Windows/Mac/Linux

Lc/fS/NFS宣口遍jI/O谒反clientttlf理dient1TCP/IP'*TCPflP(or)InfiniBandXDFS逻辑上由存储服务器(brickserver)、客户端以及NFS/CIFS存储网关组成。XDFS分布于存储服务器之上，最终的文件数据通过统一的调度策略分布在不同的存储服务器上。所有被打散的数据以XDFS格式存储在各个存储服务器之上，多个存储服务器通过客户端或存储网关上的卷管理器组成集群。XDFS将文件系统管理、卷管理以及RAID管理集合在一起，横跨集群内的所有节点，向前端应用呈现智能对称文件系统，实现提供统一的管理、更快的文件访问速度，以及极高的可用性，最高可实现64PB的集群管理容量。XDFS分布式存储系统提供NFS/CIFS.POSIX、FTP、OpenStack等接口，可完整支持文件存储、虚机镜像文件存储、大规模U录服务、高性价比备份存储等应用场景。

囂层文件共拿I「石录服务I「繭设备I删镜像系统管理用户管理权限管理存储服务层囂层文件共拿I「石录服务I「繭设备I删镜像系统管理用户管理权限管理存储服务层集群管理」复制、纠删码自删|]IL数据均衡]■资源池育理「数据分层1存储硬件层X86CPU MemorySSD SATA/SAS1lOGbEInfiniband文件I 共享服努服务层 文件及目录服努性能监控事件日志4-软件定义存储XDFS采用软件定义存储的设计，可有效实现软硬解耦，逻辑抽象、资源池化，可灵活支持各类标准X86硬件；通过2次开发，可支持飞腾、龙芯等国产化平台。XDFS提供了可堆叠模块化设计的强大机制，借助这种机制可以高效简便地扩展XDFS的功能。每个功能以模块形式实现，以积木方式进行简单组合，即可实现复杂功能。4-无中心的系统架构XDFS釆用去中心化的对等设计，每个节点既是数据服务器，也是元数据服务器，因此不再需要独立的元数据服务器，也不存在独立元数据服务器导致的系统扩展瓶颈。XDFS可以弹性扩展至数白个集群节点，实现超大的存储规模。£基于Hash算法的快速数据定位对于分布式存储系统而言，元数据处理是决定系统扩展性、性能以及稳定性的关键因素。传统分布式存储系统使用集中式或分布式元数据服务来维护元数据，在用多户高并发等应用环境下，对于集中式元数据处理，MDC无疑会成为整套系统中的单点故障和性能瓶颈，而分布式元数据服务乂存

在性能负载和元数据同步致性问题。特别是对于海量文件的应用，元数据管理面临巨大的挑战。XDFS采用无元数据服务设计，取而代之使用弹性Hash算法来定位文件，从根本上解决元数据管理这一难题，从而获得近乎无限规模的线性高扩展性，同时也大幅提高了系统性能和可黑性。集群中任何节点只需要相对路径和文件名就可以对数据进快速定位和读写，无元数据交互过程，文件定位可以独立并行化进行，其具体流程如下：根据文件名111SFL算法计算出对应hash值根据hash值在集群中确定数据所在节点•对所选节点路径下的数据进行数据访问丰富的客户端支持XDFS支持标准POSIX接口，NFS/CIFS接口，FTP接口，可完整支持各类数据访问模式；对于特定应用，宝德可通过2次开发提供API级的接口调用。数据智能XDFS提供智能的数据管理策略，包括智能的数据定位，智能的数据分布，智能的数据均衡。基于Hwhg法的快速文件定位智能分布智能均衡全基于Hwhg法的快速文件定位智能分布智能均衡全底罚載均fij存储高可用XDFS提供副本和纠删码两种数据/集群保护模式，用户可根据应用类型、数据重要性、性能、成本平衡选择配置模式，实现数据高可用保护和存储服务高可用保护。XDFS可实现不停机的在线扩展，大大缩减或消除计•划内的停机时间。数据高可用复制卷纠删码RAID存储高可用XDFS提供副本和纠删码两种数据/集群保护模式，用户可根据应用类型、数据重要性、性能、成本平衡选择配置模式，实现数据高可用保护和存储服务高可用保护。XDFS可实现不停机的在线扩展，大大缩减或消除计•划内的停机时间。数据高可用复制卷纠删码RAID（可选）存储服务

高可用复制卷可坏心2节点纠删码M:N,可坏点链路高可用多网F绑定多链路血载均衡不停机扩展在线扩展节点无籌停41或手工敖据迁移三、产品形态XDFS是一套高效的分布式文件系统，结合X86、国产芯片服务器硬件，可迅速组建一套高性能、高可靠、弹性化的分布式文件存储系统，XDFS以软件的形态交付，用户可根据自己的使用和采购习惯选择硬件平台。XDFS采用软件定义设讣哲学，理论上支持任何工业标准的X86.鲍鹏、飞腾硬件，为保障稳定性和性能，建议采用如下的硬件配置：项目建议配置（品牌）备注机架规格2U/3U/4U存储服务器8/16/24/48盘位均可服务器厂家主流厂家宝德、华为、飞腾、DELL、HP等CPU鲍鹏、飞腾、X86每路处理器建议8核配置内存64GB+如釆用纠删码，建议配置96GB+万兆网卡Intel、Chelsio千兆网卡板载即可SATASSDIntek东芝、日立HDD希捷、西数、日立四、产品优势£全分布式海量存储集群•完全分布式存储架构，无独立元数据服务器设计，消除元数据信息交互瓶颈，提升系统扩展能力•Scale-out动态扩展，快速在线增删节点，最高1024集群节点•最大支持64PB集群管理规模•全局命名空间，为客户端提供统一的逻辑视图和资源访问入口•支持虚拟化和自动精简配置技术，按需配置、随需扩展•支持海量数据应用环境，支持64PB集群容量管理和10亿个文件/文件系统支持£弹性的存储架构•可在线增加或减少存储节点•动态变更的虚拟化存储资源池•可根据需求，选择容量型或性能型节点进行初始化或扩容配置•可按需增加软件功能堆栈极高的可靠性与可用性•全活冗余节点，节点故障后可在数秒内实现故障接管•自动数据复制保护以及智能自我修复机制•多种数据保护机制，实现多种级别的容错处理•提供快照、卷复制/卷镜像、远程复制数据保护卓越的性能•高效分布式文件系统，集FS管理、卷管理以及RAID管理于一体•智能存储定位算法，无MDC设计，消除元数据访问瓶颈•多种数据分布机制以及组合，优化并发读写性能•端到端自动负载均衡以及多链路聚合技术支持万兆网卡及Infiniband网络，支持RDMA协议•每节点可实现500MB+的高带宽性能，多节点性能线性扩展出色的兼容性•支持主流X86硬件•支持所有主流操作系统和虚拟化架构，快速构建复杂的共享访问环境•支持SSD、SAS、SATA多种磁盘介质，便于用户灵活选择•同时支持NFS/CIFS/FTP/POSIX访问协议，可实现灵活的跨平台访问便捷管理•基于Web的多语言图形化管理界面，轻松配置，监控、管理•支持命令行管理，可与用户自有的运维平台相集成•与AD、LDAP相集成，实现复杂的用户与权限管理支持Quat