云存储平台建设方案

云存储平台建设方案1.1.1.1云存储简介cStor云存储系统是xxxx技股份有限公司自主研发的高科技产品，是一种软件与硬件相结合的系统，其中专有技术和软件是高附加值部分。与目前国际上知名的云存储技术相比，具有低功耗、超高性价比、高可靠、通用、免维护的优势，可以广泛应用于需要存储大量数据的应用场合，cStor每个标准机架的最高容量可达1024TB以上，是国际最高水平的3倍，拥有成本和运营成本都仅为同类产品的几分之一。cStor系列产品存储机柜1.1.1.2云存储架构设计存储资源管理系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括卷管理服务器、元数据管理服务器(MasterServer)、数据存储节点服务器(ChunkServer)和挂接访问客户端以及管理监控中心服务器的结构构成虚拟统一的海量存储空间。在每个服务器节点上运行存储资源管理系统相应的软件服务程序模块，系统架构框图如下：用户挂戟客户端卷管理节一C卷A工元姓X百理3孕工元打兔真理七点I包三三熨上管理〒占::三三泄上管在〒占：：卷C工元姓X百理用户挂戟客户端卷管理节一C卷A工元姓X百理3孕工元打兔真理七点I包三三熨上管理〒占::三三泄上管在〒占：：卷C工元姓X百理工元打兔真理七兰•元颤据管理节点存世=1毛上归设者状态监控首理监控中心对打不空栏:，.壮对打通■据节点n树也与二1力布'X.二触据节点:]辘节点M监控中心用七状二上技U崖主控Vlj±窖存储资源管理系统架构图其中，MasterServer保存系统的元数据，负责对整个文件系统的管理，MasterServer在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；ChunkServer负责具体的数据存储工作，数据以文件的形式存储在ChunkServer上，ChunkServer的个数可以有多个，它的数目直接决定了存储系统的规模；挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在ChunkServer上，每一个块数据服务器，既可以作为存储服务器同时也可以作为客户端服务器。由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的ChunkServer即可，而不需要添加整套设备。在实现大规模扩展时也可方便地添加整个卷设备。管理监控中心管理监控中心为系统管理员配置和维护cStor云存储资源管理系统的有效工具，充分体现了系统的可维护性。管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。以下为部分系统管理界面。＞设备管理＞系统监控＞告警信息平台优势特性＞高度可靠存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7X24小时不间断服务。＞优异性能cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。＞无限容量系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为1024X1024X1024PB（1G个PB容量）。＞在线伸缩cStor云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。＞通用易用cStor云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的API接口，供开发人员调用。＞智能管理提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cStor中的所有节点实行实时监控，用户通过监控