ParaStor200云存储系统介绍

曙光云存储终极解决方案ParaStor面向海量数据面向非结构化数据面向高性能需求面向高可靠需求ParaStor200定位141.管理控制器

-提供命令行和图形界面两种接口-内嵌并行存储管理系统，对软硬件进行一体化监控管理2.索引控制器

-管理存储系统中所有元数据和命名空间-集群架构，Active-Active运行方式3.数据控制器

-提供数据存储空间-支持多副本容错，自动处理磁盘失效234.客户端驱动

-向应用提供POSIX文件访问接口-支持Linux/Windows客户端系统构成ParaStor200并行存储系统并行群集存储架构设计数据控制器数据控制器数据控制器……索引控制器索引控制器索引控制器索引控制器数据控制器数据控制器数据控制器……管理控制器管理控制器客户端管理网归档数据迁移并发读写并发读写并发读写数据迁移元数据读写采用分布式并行存储系统架构，相对San共享式文件系统拥有更好的扩展性。采用非对称集群架构，IO节点间耦合较松，节点间通讯更为简单高效，扩展性更好。全active元数据集群设计，系统性能、可靠性以及可扩展性更高。元数据分布：成对扩展，对内元数据主副本轮询存放，对间根据哈希策略存放。真正的SingleFileSystemImage（SFI，区别于SinglePathImage），实现容量和IO负载的高度均衡，可支持更大的文件和更高的单流IO。硬件基于通用的存储服务器，通过多副本、N+M、网络负载均衡等技术构建高可靠、高性能、高可扩展的高端存储系统。先进的架构设计超大容量超强扩展超高性能全方位数据保护超高易用性高性价比方案面向HPC特别优化面向云计算特别优化面向大数据处理支持九大特性超大容量数据中心存储容量需求小型专用DC50TB~100TB中等综合DC100TB~500TB大型DC500TB~5PB超大规模DC5PB~50PB根据摩尔定律以及当前数据快速增长的事实，这一分类标准还将不断的被刷新纪录。系统特点及优势超大容量集群架构设计，集小流以成江海系统可达到EB级，是国家863计划“EB级云存储系统”原型部署于深圳超算中心的存储系统16PB，是目前国内最大的单一名字空间存储系统。超大文件切片均衡分布，突破本地文件系统限制满足大数据处理、高性能计算、云计算等领域大文件需求单系统容量16PB!目前国内最大！系统特点及优势国家超算中心深圳中心超强扩展设备级扩展跨设备扩展跨中心扩展系统可扩展性需求性能随容量线性增长、不增加管理的复杂性在线扩容需求如意乾坤袋扩容时不停业务，平滑在线无限扩容。LAN123412341234数据控制器数据控制器数据控制器初始状态并行数据I/O数据控制器数据控制器数据控制器123412341234数据控制器数据控制器数据控制器扩展后“海纳百川”——在线无限扩展并行数据I/O增加数据控制器按策略自动数据迁移超高性能海量小文件高并发IO高单流带宽高聚合带宽存储性能需求超高IO性能并行集群架构设计满足高并发IO需求条带优化提供高单流IO带宽聚合带宽=数据控制器带宽线性叠加，随容量线性增长全Active索引集群提升海量小文件处理能力2.5GBps2.5GBps2.5GBps2.5GBps2.5GBps2.5GBps全方位数据保护7*24小时业务连续性需求设备故障不可避免，要求设备故障情况下，仍可保证业务连续性，时刻满足系统工作负载需求数据安全防止非法篡改防止未授权主机挂载防止数据静默损坏防御病毒攻击关键数据保护需求宝石的形成需要数万年100亿个中微子才会有一个与物质发生作用CERN上帝粒子探测器花费25亿欧元……宝贵的原始数据以太网交换机1以太网交换机2索引控制器索引控制器/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg

逻辑层0123456789101101234567891011abcdefghijklabcdefghijklABCDEFGHIJKLABCDEFGHIJKL02ABC全冗余架构设计

物理层1重建无人值守数据重建无人值守。如，深夜磁盘出现故障，传统RAID要立即人工更换磁盘，而ParaStor只要有剩余空间就可以进行数据重建。更快重建速度数据重建并发进行，1TB数据半小时内重建完成相比传统RAID优势

意外断电保护UPS管理节点关闭服务机柜断电防止全系统掉电后数据丢失ParaStor系统UPS监控与存储系统自我保护联动WORM（WriteOnceReadMany）文件写入超过设定时间文件只读模拟磁带库存储，防恶意篡改满足法规要求防恶意篡改数据双重保密ParaStor数据服务器数据服务器……管理控制器元数据服务器允许挂载拒绝挂载Ⅹ未授权客户端授权客户端未加密数据加密数据正确输入密钥超高易用性使用运维简易性需求运维压力传统方式数量庞大、关系复杂、操作繁琐、效率低下、成本高、安全隐患大数量庞大、关系复杂、操作复杂、效率低下、成本高、安全隐患大使用方便高效，对IT资源进行透明、统一的管理易用性需求“八仙过海”——丰富的访问接口Parastor应用节点●●●应用节点应用节点I/O节点I/O节点I/O节点oAppVFSoAppVFSoAppVFS互联网应用服务器FTP等文件存储服务器管理监控SNMPNFS,CIFS,REST……●●●丰富的接口访问接口专有Linux、Windows内核态访问接口标准NFS，CIFS接口POSIXAPIMapReduce编程接口REST编程接口SOAP编程接口SNMP接口网络接口20Gb/40Gb/56GbIB10Gb/1Gb以太网支持负载均衡和冗余治大国如烹小鲜——运维简易型ParaStor并行存储管理系统是曙光公司专为ParaStor系列产品开发的统一监控管理平台。直观易懂的图形界面方便用户管理和监控系统的软硬件资源。管理功能监控系统：网络、节点磁盘、内存、RAID卡状态监控，节点服务状态监控，系统故障告警，运维报表，管理事件记录。系统管理：系统的启停、卸载、升级，异常情况下进行强制启动。客户端授权、挂载及状态管理，管理控制器、索引控制器和数据控制器的增删、启停以及更换。高级管理：配额管理，文件系统创建、删除、配置，在线参数配置，阈值管理，资源配置。管理功能亮点功能亮点故障处理操作GUI指导在线版本升级在线更改配置GUI客户端授权、挂载管理操作记录网络拓扑发现、监控异构OS用户管理用户、组、文件系统配额支持Windows本地盘支持SOAP、SNMP管理接口全局监控视图系统管理视图网络拓扑视图高性价比方案高利用率数据保护方案D0D1D2D3D4D5D6D7Node1D0D4Node2D1D5Node3P0D6Node4D2P1Node5D3D7N+M:B，N代表数据对象个数或数据分布磁盘数量；M代表校验对象个数或容忍故障的磁盘数量，B代表容忍故障的节点数量。例如本例8+2:1，表示集群可以丢失任意2块磁盘或任意1个节点而不至于数据丢失。在这种配置下，空间利用率可达到80%。N+M是保证数据可靠性前提下，利用率较高的方案N+M:B配置4+1:1至少配置6个数据节点4+2:1

至少配置4个数据节点（推荐配置，67%利用率）4+2:2

至少配置8个数据节点8+2:1至少配置6个数据节点（推荐配置，80%利用率）8+2:2至少配置12个数据节点（推荐配置，80%利用率）16+4:4至少配置24个数据节点各模式最小节点数量B（N+M）/M，此时仅能满足数据分布。为了节点失效后能够即刻进行数据恢复，推荐节点数量为：(B(N+M)/M)+B，空间利用率为：N/(N+M)N+M:B优势空间率利用率高最高可达94%（16+1：1）高可靠性在空间利用率达到80%的同时，可以允许多块硬盘同时失效（最多任意4块），可以允许多个节点同时失效（最多任意4台），而使用副本模式要达到这个可靠性只有20%的空间利用率高IO性能冗余数据量减少，聚合写性能较副本提高数据生命周期管理数据控制器数据控制器数据控制器……索引控制器索引控制器索引控制器索引控制器数据控制器数据控制器数据控制器……管理控制器管理控制器客户端管理网归档数据迁移并发读写并发读写并发读写数据迁移元数据读写高性能在线存储高性价比近线存储归档至离线存储根据访问频率、文件名规则、路径名规则等策略进行文件分级数据生命周期管理减少昂贵高速存储设备投入按需关闭部分设备节能……D0D1D2D3D4D5D6D7D8D0D1D2D3D4D5D6D7D8D0D1D2D3D4D5D6D7D8数据可按目录分区常用目录所在分区硬件健康前提下，可暂时关闭不常用分区低采购成本采用X86架构硬件软硬一体存储系统低管理成本自动化故障处理管理员参与程度低5年原厂商软硬件服务按需购买可动态扩展容量和性能无需一次性占用大量资金低TCO面向HPC特别优化高聚合

带宽高并发IO和IO密集型高性能计算带来极高的聚合带宽激增IO性能部分应用在计算过程中，突然会有大量的IO，需要存储能够处理这种激增IOIOQoS平台应用多样，对IO需求不同，要求能为不同应用提供不同级别的服务海量小文件检索部分高性能计算，在计算过程中或之后产生海量小文件。高并发IO并行计算是高性能计算的重要特征。大量并行程序带来大并发IO存储性能极限需求内核态客户端IO效率高占用计算节点资源少高速通讯网络支持56GbpsIB网络优化支持10Gbps、40Gbps万兆网络优化支持全活索引集群支持均衡元数据压力，支持海量小文件处理分级存储高速在线存储支撑热点数据访问。ParaStor解决之道客户端数据一致性写入~nsecnsec后其他客户端并发更新

并行计算要求：统一用户集、统一存储映像矛盾：越高的一致性要求，系统开销越大。解决之道：根据应用对不一致性的容忍度来进行调优，ParaStor可在100ms级一致下保证性能不受影响。存储管理支持C