云存储之龙存存储解决方案

目录关于龙存12334435应用案例石油高性能计算数据存储困境龙存集群存储系统解决方案P2P5P9P3611、关于龙存2关于龙存中科院计算所多名博士于2005年发起，2007年公司正式成立多名核心团队成员参加过曙光4000A设计、研制开发及建设公司拥有100%自主知识产权的集群存储技术，处于全球业界领先地位核心团队技术投资服务合作管理研发体系严格遵循CMM体系标准业务流程不断优化的灵活性机制独特的考核和激励机制德同资本初期投资德同也是无锡尚德太阳能、百度的早期投资者原厂商快速反应和解决问题能力快速的用户定制开发能力本地运行辅导能力开放的产品体系架构灵活的产品组合合作方式广泛的行业应用合作3关于龙存软件著作权和产品证书42、石油高性能计算数据存储困境5石油高性能计算数据存储困境如何保证存储系统共享访问的性能？如何保证海量数据的可靠？如何实现扩容时业务不中断？如何保证性能随存储规模线性增长？6如何走出困境？尝试一：SAN+共享文件系统FCSAN控制器控制器LUNnLUN1FS客户端FS客户端FS客户端FS客户端…共享文件系统支持并发客户端数量有限且普遍性能较低控制器成为系统瓶颈，多任务会造成性能急剧下降Raid只能在某一块Raid控制卡上实现，一个Raid组内同时损坏两块硬盘，或者raid组设备失效，会造成数据丢失不能在线扩容扩容造成多个LUN空间，不能形成单一命名空间不满意！7如何走出困境？尝试二：NAS头+SAN，或集群NASFCSAN控制器控制器LUNnLUN1…NAS头数量有限，整体输出带宽受限同一个LUN空间同时只能被一台NAS头访问，实际性能并未得到提升仍然不能解决可靠性问题不能在线扩容还是不满意！IP网络83、龙存集群存储系统解决方案

9采用集群化技术构建全局统一的大规模文件系统数据分发在各个存储节点上，解决传统存储系统单一数据出口造成的数据访问瓶颈问题以工业标准的硬件作为构建单元，降低系统的整体拥有成本集群化架构使得存储系统构建单元可以灵活扩展，提高系统长期的数据存储和处理能力集群化消除了单一故障点，提高了系统的可靠性

突破传统存储系统的思路，面向海量并发、高I/O吞吐率的应用场合

高达数百万次的IOPS(OSissuedIOrequest)

突破10GB的I/O带宽，高效支持上百亿的文件单一目录40,000/秒的文件查询操作系统软件设计思想10LoongStore集群存储系统架构图11应用服务器（ApplicationServer，AS）计算节点系统架构：功能模块组成智能存储服务器(IntelligentStorageServer，iStore)存储用户的实际数据，是系统的存储资源提供者元数据服务器（MetadataServer，MDS）管理文件系统的元数据（包括文件目录树组织、属性维护、文件操作日志记录、授权访问等）管理整个存储系统的名字空间为前端应用服务器集群提供全局一致的文件系统映像12MDS集群AS->MDS文件访问请求MDS->AS文件访问应答3.AS->iStore文件读写访问访问请求获取文件相关信息数据读写…iStore

集群AS系统架构：工作流程13带外的元数据管理方式元数据操作占文件系统总操作数的60%元数据与数据分开独立存储管理由专门的元数据服务器管理所有的元数据内容减少元数据操作与数据读写操作之间的互相干扰元数据操作粒度小数据读写操作粒度大多元数据服务器集群技术14完全自主研发的多元数据服务器集群技术文件系统的整个名字空间按照元数据服务器的个数进行均分每个元数据服务器负责其中的一份元数据服务器两两配对，互相备份一旦某元数据服务器出现故障，将由另一台自动接管故障元数据服务器的服务当故障元数据服务器恢复后，可以将由它主管的服务从另一台上切回来高速文件查询技术单个目录下可高效存放几百万甚至上千万个文件或子目录可提供高并发、快速文件查询操作高效支持海量文件多元数据服务器集群技术15将应用的数据分散存储在后端的多个存储设备上

自动兼顾不同设备的能力由后端多个设备同时服务前端的数据读写请求请求负载的分配兼顾不同设备的能力充分发挥后端所有硬件的读写能力高效数据读写聚合技术16networkLoongStore

集群存储系统存储服务器MDSAS数据数据IO通道networkLoongStore

集群存储系统存储服务器MDSAS数据数据IO通道高效数据读写聚合技术（续）单任务多任务17聚合带宽随着存储集群规模扩大而线性增长

规模扩大I/O通道线性增加

规模扩大I/O控制器线性增加充分发挥所有存储硬件的空间资源与性能性能：线性增长聚合带宽存储容量、并发访问量18可兼容所有的存储设备

低端设备-JBOD-低端盘阵无RAID控制器的存储服务器硬件拥有成本低中端设备普通盘阵：SAS、SATA盘阵带RAID控制器的存储服务器IP-SAN：iSCSI硬件拥有成本低高端设备所有的光纤盘阵：HDS、EMC、IBM…硬件拥有成本高基于开放架构硬件构建19基于低端设备—跨服务器文件数据冗余技术基于中端设备—LeoRAID

以文件为单位跨网络、跨存储服务器可设置不同的RAID跨度支持RAID5和RAID6等通用RAID机制基于高端设备—动态存储服务器切换技术可靠性技术20将每个数据段跨物理存储服务器冗余允许在一套系统中为不同应用的数据设置不同的冗余度冗余度可以动态在线设置LoongStore系统内置了自动故障探测机制，可以动态探测不同的故障，并自动启动数据的恢复流程自动数据恢复全系统规模快速数据恢复技术恢复过程中无须管理员参与，完全自动进行恢复过程将数据直接生成在现有的其它未发生故障的存储服务器上与传统RAID技术相比，只要系统中有足够的存储空间，恢复过程无须加入新的设备恢复流程在后台完成，极大降低对前端应用服务器的影响基于低端设备的数据高可靠技术21文件A存储服务器集群应用服务器集群元数据服务器集群A3恢复动态删除A1副本设置副本策略消除单点故障交换机A2副本A1A2A1副本A2副本A3副本A4A4副本恢复基于低端设备的数据高可靠技术…22自主研发的LeoRAID技术

以文件为单位进行RAID设置允许为不同的文件设置不同的级别和跨度支持RAID5、RAID6等常用RAID机制LoongStore系统内置了自动故障探测机制，可以动态探测不同的故障，并自动启动数据的恢复流程快速自动数据恢复全系统规模快速数据恢复技术恢复过程中无须管理员参与，完全自动进行恢复过程将数据直接生成在现有的其它未发生故障的存储服务器上与传统RAID技术相比，只要系统中有足够的存储空间，恢复过程无须加入新的设备恢复流程在后台完成，极大降低对前端应用服务器的影响基于中端设备的数据高可靠技术23基于中端设备的数据高可靠技术（续）文件存储服务器集群24基于中端设备的数据高可靠技术（续）文件存储服务器集群25前提：高端SAN硬件可靠性高、故障率小需要解决的问题：存储服务器的故障正常情况下一个存储服务器负责其中的一个LUN当发现存储服务器故障时，自动进行LUN管理权的自动切换切换过程对前端应用透明当故障存储服务器恢复时，可回切LUN管理权基于高端设备的数据高可靠技术network元数据服务器FCSwitchFCSwitchLUN1LUN2LUN3LUN4存储服务器应用服务器集群26基于高端设备的数据高可靠技术（续）network元数据服务器FCSwitchFCSwitchLUN1LUN2LUN3LUN4存储服务器应用服务器集群27基于高端设备的数据高可靠技术（续）network元数据服务器FCSwitchFCSwitchLUN1,2LUN3,4存储服务器应用服务器集群28动态在线增加存储设备允许动态增加单块存储设备允许动态增加存储服务器用户在使用的过程中随时都可以进行扩容操作扩容过程无需中断应用的正常使用新增容量即插即用为用户规划未来存储空间提供了极大的便利节省了用户的一次性投资规模，真正做到按需扩容扩容成本低扩展性：卓越的平滑扩展能力29智能化管理应用服务器集群动态添加存储设备交换机后台进行数据迁移LoongStore的负载均衡机制允许用户根据当前负载的情况选择合适的时机触发启动，并且可以随时停止负载均衡过程不影响前端应用元数据服务器集群存储服务器集群扩展性：动态在线扩容和智能化的I/O平衡30传统的存储系统随着存储规模的扩大，相互独立的存储系统逐渐增多管理维护工作量成倍增加数据迁移、同步手工故障恢复LoongStore集群存储系统单点管理、监控内置全自动管理机制，减少管理员的参与管理1PB的存储与10TB的存储工作量几乎相同中英文界面切换简易管理31单点管理监控简易管理（续）32应用服务器龙存集群存储系统（S系列）MDS元数据服务器集群IS存储服务节点集群龙存LeoFS协议标准IP网络支持异构环境共享存储系统33存储系统的价值评估：一个类比

决定飞机场吞吐能力的，还包括跑道的数量!机场的建设与管理者关心的，并不只是停机坪是否宽敞豪华，因为整个机场的吞吐能力，主要取决于跑道的数量；而整个机场的运营效率，还与通信导航、安保、空管配合等因素相关。同理，存储系统的性能，也不仅仅取决于局部硬件设备，用户购买存储系统，不只看局部硬件的性能指标，而是从系统整体的角度，关心业务应用能够获得的性能和功能，以及整体拥有成本（TCO）。

34存储系统价值的评估：核心要素总体拥有成本（TCO）包括：系统性能可靠性共享访问灵活扩展按需扩容跨平台应用易管理维修、扩容成本总体拥有成本（TCO）容量？局部性能？并不是系统性能可靠性共享访问维修成本···容量35石油高性能计算应用案例军队高性能计算应用案例电信综合计费高可靠应用案例4、应用案例互联网高并发应用案例36石油高性能计算37石油高性能计算LoongStore集群文件系统硬件环境配置16台智能存储服务器集群，2台元数据服务器集群特点上百台计算服务器并发访问，读写带宽要求非常高；地震资料文件非常大；要求系统性能和容量同步增加；不中断业务扩容；提供高效、稳定的数据读写性能支持提供99.999%的系统可靠性。38军队应用案例高速IP网络…卫星图像接收站高性能计算中心监测中心编辑制作中心LoongStore集群存储系统39硬件配置

90台智能存储服务器集群，4台元数据服务器集群特点海量数据存储，每天处理数据量在80TB以上，系统存储总容量高达1PB

跨平台共享：高性能计算并行处理，非线性编辑制作超过14GB/s（即150Gbps）的持续IO带宽超过500台客户端的并发访问要求系统性能和容量同步增加不中断业务扩容提供99.999%的系统可靠性军队应用案例406间房：互联网视频存储解决方案41应用特点大量的高清视频文件，文件大小从几兆至几GB不等极高的并发请求量：接近10万个并发访问进程原有存储方案-NAS容量扩展需要业务停机切换，过程复杂限制用户每天上传视频的容量原计划高清视频点播由于存储系统性能和容量限制，难以上线数个管理员进行24×7小时的监控管理现有的LoongStore存储方案放开了互联网用户的上传容量限制，视频爆炸性增长高清视频点播快速上线，吸引大量用户无停机的存储容量快速扩展，现容量已达600TB以上视频内容快速丰富，点击率快速上升用户投入更多的精力到业务开发中从正式上线至今，实施过多次大规模扩容以及硬件升级，存储系统无任何停机事故6间房：互联网视频存储解决方案42电信BOSS数据集中存储与备份43硬件配置：10台智能存储节点集群，2台元数据服务器集群；2台NAS网关集群，系统总容量36TB（采用15K转300GBSAS磁盘）。电信运营商的实时计费数据存储、银行的实时交易数据存储是对存储系统可靠性要求最高