联想LeoStor云存储系统技术白皮书

`DOCPROPERTYTitle中央人民广播电台云平台系统联想LeoStor技术白皮书04/11，2015DOCPROPERTY部门联想中国服务器事业部版权声明本DOCPROPERTYCategory方案书版权属于DOCPROPERTYCompany联想（北京）有限公司。未经DOCPROPERTYCompany联想（北京）有限公司事先书面授权，不得复制、转载、出版、泄露或用作原用途以外的其他目的。地址：地址：中国北京市海淀区上地创业路6号邮编： 100085网址：作者联系AGEi目录TOC\o"1-3"\h\z第1章概述 11.1项目描述 11.2一期需求 11.3LeoStor配置 2第2章联想LeoStor并行存储系统特点 42.1综合扩展方案 42.2高可用体系架构 42.3硬盘输出指标 52.4系统输出接口 62.5系统拓扑扁平化 62.6存储的池化能力 72.7应用更简单 82.8与大数据分析软件的结合 8第3章联想LeoStor并行存储系统技术优势 103.1线性的I/O和IOPS输出能力 103.2统一名称空间技术 113.3前端智能切片技术 123.4基于目录的数据保护技术 133.5基于目录的分级存储技术 143.6多级缓存技术 153.7存储容量均衡技术 163.8基于智能碎片技术的异步复制 17-PAGE1-关键词：并行存储，LeoStor第1章概述1.1项目描述我国电台主要由中央、省、市、县四级电台构成，各级电台有着各自的覆盖范围和听众群体，从而构成了一个完整严密的广播网络。因此，国内的广播竞争也主要是在中央电台、省级电台和市级电台之间展开。2013年中国广播收听市场的竞争格局，表现为市县级电台在本地市场竞争优势明显，省级电台大多在省会城市市场领先，而中央电台凭借其全国覆盖的优势，保持10%左右的市场份额。在广播领域，移动互联时代与手机终端的发展推动了收听的移动化、听众的网民化与广播的网络融媒化。手机、车载收音系统等新媒体已经成为广播的主要收听终端，呈现出智能化和移动化的特点。中央台为加快媒体融合方针的落实，中国广播云平台项目中一个方向就是打造网络广播平台，发展自己的移动互联终端。央广云平台十二个分系统组成。它主要以采集音频、编辑制作、音频检索、版权控制为库的核心；通过数据中心分系统做库内音频的数据挖掘与分析；通过互联网集成播控分系统实现节目的播出、分发与集成；以媒资安全分系统控制整系统的数据安全；运营管理分系统以运营为出发点，包括用户管理、合作伙伴管理、运营终端管理及平台管理。业务规划上，未来两年存储规模达到1.7PB，业务带宽需求为1Gbps。综上所述，我们建议央广云平台系统的存储子系统采用联想LeoStor大规模分布式集群并行存储系统，其采用X86存储服务器作为存储载体，提供高性能、低成本、多数据冗余的扩展方案，并且可以由物理服务器、虚拟服务器、虚拟服务器宿主机等设备直接加载使用，也可以将原有的存储设备进行利旧。1.2一期需求央广云平台实行统一规划，分期实施，一期需求如下：存储：可用100TB,采用三个副本的模式，裸容量为300TB；带宽：输出1Gbps1.3LeoStor配置由于带宽需求相对较少，采用容量优先的配置方案，并满足副本数据冗余对节点数量的需求。系统指标如下：系统裸容量为360TB，I/O输出20Gbps，IOPS打开文件数量8万/秒类别序号技术指标技术要求描述基本需求1存储阵列类型分布式并行存储系统硬件要求2控制器及其架构支持采用多控制器集群模式，控制器需支持双Active模式，支持256个及以上控制器扩展，扩展的控制器硬件可不同；本次实际配置≥2个，为避免控制器输出瓶颈，每个存储管理节点响应数据均可直接输出给应用设备端，无需通过控制端。3数据一级缓存容量每个数据控制器缓存≥32GB，可扩展到256GB。4网络端口主机端口或后端互联端口支持GE、10GE、IB；每控制器节点实际配置10GE主机端口≥2个，其它端口依据容量和效率按需配置。5驱动器类型支持盘体外插和内插两种模式；支持SAS、SATA、SSD硬盘。6驱动器数量最大支持≥7200块磁盘，本次实际配置≥180块4TBSAS/SATA磁盘（转速≥7200转/分钟），必须是无微码硬盘。7最大支持容量≥200PB8高可靠性所有部件采用冗余设计，确保无任何单点故障，如电源、数据通道等，采用内存保护技术，在任何一部件发生故障时，系统仍能保持正常运行。应具有完全在线，无需停机的扩充能力，包括系统微码升级、系统处理能力的扩充、存储容量的扩充等。9机柜配置原厂机柜及运行维护管理套件性能要求10NAS指标系统每秒fopen()IOPS不小于每秒6万次，延迟不超过10ms；单一NAS文件系统≥100PB。11读写指标大数据顺序I/O：读≥5GB/sec，写≥4GB/sec。功能要求12数据可靠性保护支持多副本和N+M纠删码数据模式，最大可用空间可达80%，本次配置最大利用率为66%；支持每个目录不同的数据保护模式。13协议输出系统输出LUN设备数量不少于65536，同时配置完备的NAS存储相关协议，如NFS、CIFS协议等，支持前端切片技术的高速私有协议。14支持主机操作系统类型支持Windows、Linux、Solaris、AIX、MACOS等主机系统。15分级存储功能支持每个目录可管理不同存储介质，并设定不同数据保护级别16数据本地迁移功能要求存储系统配置具有内部数据迁移功能的软件；基于存储系统本身的控制器实现数据在文件系统之间的数据迁移，迁移和切换且无需中断应用访问。17数据容灾功能支持存储间数据复制协议，支持异步模式实现远程数据同步及容灾，支持双活数据。18存储利旧可挂载客户原有IP-SAN、FC-SAN或NAS存储阵列，可在单一目录下合并存储容量19通道负载均衡管理无需额外软件，即可实现数据访问流量的负载均衡，自动切换故障通道20配额管理支持基目录的空间配额管理。软件要求21管理软件免费提供管理控制台及完整的存储系统管理软件，提供集中式Web管理，在单一管理界面实现监控，提供与主流网络管理软件的集成。22安全管理软件免费提供基于存储阵列的安全控制管理软件，以保证不同主机系统对存储阵列访问的安全性。23性能分析软件免费提供存储性能、流量分析软件集成与售后服务24与现有系统集成与现有应用软件和系统无缝连接，无需应用系统二次开发，保证磁盘阵列充分共享。25售后服务三年原厂免费质保及后续技术服务

第2章联想LeoStor并行存储系统特点2.1综合扩展方案LeoStor并行存储系统 联想LeoStor系统采用ThinkServer等性价比极高的存储服务器和JBOD，构筑并行存储系统，支持千兆、万兆和40G以太网络以及Infiniband网络。 联想LeoStor并行存储系统包含元数据集群节点（MDS）和存储集群节点（OSS），其功能如下：MDS节点：存储文件节点信息，每个MDS节点的文件并行打开能力（IOPS）可达4万/秒，MDS节点需要成对部署。OSS节点：存储文件数据信息，每个OSS节点的带宽有效输出能力（I/O）可达4Gbps，由于本项目需要做2副本模式，所以，系统至少要配置OSS节点4台，且可以单数增加。LeoStor可采用简单的通过增加存储服务器的方式实现横向扩展（Scale-Out）方式增加MDS节点和OSS存储节点，系统并不限制节点数量，节点数量依赖于交换机的端口数量。LeoStorOSS节点支持的硬盘为更稳定、更经济、性价比更高的服务器硬盘，硬盘上没有任何微码，客户可以在市场随意采购，方便客户降低使用成本。 联想LeoStor并行存储系统支持任何时期的MDS/OSS节点硬件，且每个MDS/OSS节点的配置不需要完全一致，可在长时间内保护用户的总体投资（TCO）。2.2高可用体系架构 LeoStor采用“带外管理”架构，系统架构分成元数据节点和存储数据节点，每个节点都可以形成自己的集群，集群数量越多，系统故障概率越低，随着节点的数量增加，故障概率递减，并趋近零。 元数据节点（MDS）采用Active-Active模型，负载均衡模型，实时接管，其他公司产品多采用Active-Standby模型，当元数据节点故障时，元数据节点有个数秒的切换时间，而LeoStor的一个数据节点出现故障，应用服务器节点（MDC）可直接访问另外一台Active节点，无需故障切换机制。 在写数据方面，有些公司分布式存储产品，由于没有采用高效的切片存储算法，而是通过内存做缓存的方式，提高写速度，即客户端的写文件的时候，数据先写入内存中，再定期将内存数据刷新到硬盘介质中，假如此时系统断电，系统将丢失大量数据，丢失数据的存储，无论多便宜，都是不可使用的；而LeoStor的存储有着高效的切片算法，所有数据都是直接写入硬盘，只有全部片段写入成功，MDC中的应用程序中的fwrite()函数，才会返回正确。 在数据冗余方面，其他公司产品仅提供一备一数据冗余方案，而LeoStor提供两类冗余方案，包括副本模式，N+M纠删码模式，其中副本模式，可以做多个副本，纠删码一般有2份数据一个校验，4份校验1个校验的数据保护模式。 在链路冗余方面，LeoStor支持802.3冗余链路协议，可以兼容所有主流交换机构造的冗余网络，并支持虚拟交换机网络，所有冗余链路均为Active状态，不仅做到冗余，而且做到链路带宽的聚合。 LeoStor的MDS、OSS节点均采用高品质LenovoThinkServer或SystemX存储服务器硬件，标配冗余电源，实时远程监控、管理服务器部件状态，可准确预警、报警，可实现集中式管理。2.3硬盘输出指标 LeoStor可以使用SAS、SATA、NL-SAS、SSD、PCI-SSD作为OSS节点的存储介质，LeoStor具有高效的“带外”数据流管理机制，应用服务器/客户端节点在获得MDS文件索引信息后，可直接与OSS节点通讯，可充分发挥每块硬盘的I/O潜能。LeoStor硬盘输出能力 使用LeoStor的场景包括大并发的实时业务系统，比如广电流媒体、互联网视频点播、虚拟化vDC，考虑更多是带宽的输出和时效；网盘、教育课件库、图书馆、金融的电子扫描件、视频监控，考虑更多的是更大的存储容量，通过使用LeoStor的分级存储功能，为不同的业务配置不同类型的硬盘，就可以满足业务的各种需求。2.4系统输出接口 LeoStor输出两类或三种接口：LUN，块设备；网络文件系统：高速LeoStorFS文件系统和NAS（CIFS/NFS）协议； 在云平台系统中，LUN块设备可以应用在VMware、KVM、Citrix等宿主机的镜像文件加载，以及OracleRAC系统中，其他的，非结构化数据，以及MySQL、SQLServer、HBase等均可使用高速LeoStorFS文件系统，而不需要先加载LeoStor的块设备，再在上面格式化EXT3/4、NTFS等文件系统。 LeoStor为IaaS基础存储平台，可为上层应用VMCerter提供PaaS层接口，包括符合RESTful、JSON、XML等格式的接口。2.5系统拓扑扁平化 LeoStor构筑在标准以太网和Infiniband网络，应用服务器节点通过网路直接访问存储系统，而无需再通过NAS协议，从而减少系统部署复杂性，并提高系统的可靠性。 LeoStor与周边系统的连接方式有两种：独立拓扑模式：LeoStor独立拓扑模式混合拓扑模式LeoStor混合拓扑模式 独立拓扑模式和混合拓扑模式各有优缺点，这个要根据客户的实际需求来确定，一般的说，如果预算许可，建议做独立拓扑。2.6存储的池化能力 联想LeoStor并行存储系统具备更有弹性的目录级存储空间管理策略，系统可对不同的目录做不同的配额管理，配合管理可基于设备、应用和用户等粒度进行管理，并可以通过RESTful、XML等接口与管理系统对接。 LeoStor池化能力 在LeoStor中，所有存储空间的分配都是逻辑的，每个目录在逻辑边界上做数据隔离，当某一个目录空间不够的时候，如果还有未分配的空间，系统管理员可以将其目录空间扩大到预定数值，无需停止部署在该目录上的应用；如果没有分配的空间，用户可以通过两个策略获得可用空间：缩减其他目录的空间，回收可用空间；增加OSS节点，增加系统可用空间；联想LeoStor并行存储系统可对目录进行安全管理，可设置基于应用层ACL权限管理，确保池化数据的安全访问。2.7应用更简单 传统的磁盘阵列或其他公司的虚拟化存储，对外提供的是基于LUN技术的块存储，客户需要使用挂载文件系统才能使用。在配合负载均衡使用的时候，需要挂载并行文件系统或者CIFS/NFS协议的网络文件系统，虽然在底层实现LUN的条带化，但是网络文件系统的低效会降低存储的I/O和IOPS，此外，部署也比较复杂，不是系统运维管理的未来方向。联想LeoStor并行存储系统提供高效的、网络级的、共享文件协议，用户无需面对传统存储阵列上各种复杂概念，使得部署起来更加得心应手。 高效的LeoStor并行存储系统，可以充当统一存储的要求，使得无论是结构化数据（数据库数据）还是非结构化数据（图片/视频），均可以按照不同目录的方式统一存储和配置。 联想LeoStor并行存储系统在客户端提供符合国际标准的POSIX协议的LEOFS文件系统，LEOFS支持Windows、Linux和苹果的MacOS操作系统，使得LeoStor的客户端可以是Windows和Linux操作系统的服务器，也可以是WindowsXP/Win7/Win8、Linux和苹果iOS工作站，从而让LeoStor云存储既可以面对后台系统，也可以面对前台OA系统、工程制图系统。2.8与大数据分析软件的结合 Hadoop是大数据存储和分析系统，其中，HDFS系统负责数据的存储，MapReduce系统负责数据的分析。 联想LeoStor系统较HDFS系统相比，具有一定的性能和部署优势。HadoopHDFSLeoStorLEOFS开发语言Java应用程序级别C内核级模块定位处理行应用通用大规模文件共享存储应用接口JavaAPI适用于一次写多次读的应用，同一时间只能有一位写用户，不支持软、硬连接，应用程序需要更改文件读写API函数POSIX标准文件系统接口，同一个文件可以多读多写，应用程序无需更改文件读写API函数文件类型优化大文件大、小文件文件数量支持百万致千万级（白皮书公布）千亿级，现有案例中超过300亿文件数量数据迁移不支持（当因服务器容量写满后进行扩容时无法利用起OSS存储系统整体聚合带宽）支持（按需迁移数据，所有OSS存储服务器容量负载均衡，可以充分利用存储整体带宽）名字节点（MDS）单台，存在单点故障集群架构（最大可扩展到128台） LeoStor的LEOFS和Hadoop的HDFS的对比MapReduceMapReduceHadoopHDFSLeoStorLEOFS存储服务器 MapReduce的访问架构 由于LEOFS具备标准的POSIX接口，MapReduce可以无缝接入，用户在MapReduce上配置的分析脚本可以正常使用。 使用联想LeoStor并行存储系统，用户无需再架构一套HadoopHDFS，减少客户的硬件投资和降低维护成本。

第3章联想LeoStor并行存储系统技术优势3.1线性的I/O和IOPS输出能力传统的，构筑存储阵列池的方式，一般会使用阵列上的FC端口形成FC-SAN架构，或使用阵列上的以太网口形成IP-SAN架构，但是，受制于物理硬件的限制，其FC端口和以太网口不能无限制扩充，只能有个固定的最高值，如EMC5300存储阵列支持16个8Gbps的FC端口，8个1Gbps或10Gbps的以太网端口。对于数据库类的应用，存储阵列提供LUN设备，对于文件类的应用，存储阵列可以提供给应用服务器LUN设备，然后由应用服务器上的NAS协议，对外提供网络文件服务，或者由存储阵列上的NAS协议对外提供服务。 在存储阵列中，由于带宽受到物理通道的限制，增加容量的同时，并不能增加I/O，或者IOPS，因此，客户需要通过CDN系统的方式，来解决I/O或者IOPS，但是，这种方案对于系统管理和应用软件来说，系统会过于复杂，会带来灾难性的后果。 联想LeoStor并行存储系统可以从容面对大数据和云应用，其通过Scale-Out方式，横向增加MDS元数据节点，提升IOPS能力，横向增加OSS存储节点，提升系统I/O能力。LeoStor线性I/O能力 LeoStor并行存储系统可扩展1024个OSS节点，能够提供有效带宽达到6Tbps。LeoStor线性IOPS能力 LeoStor定义的IOPS能力为每个并发打开文件，即执行fopen()能力，不同的型号其MDS节点的输出能力不同，高端P系列的MDS节点可达15万/秒，如果需要达到100万，则需要配置6台MDS节点即可。3.2统一名称空间技术 联想LeoStor并行存储系统One-View统一名称空间就是在不同的应用服务器视角，都能看到同一个目录空间或者目录视图。LeoStorOne-View统一名称空间技术 传统的应用系统采用NAS技术实现统一名称空间，但是NAS在解决大数据有天然不足，包括I/O、IOPS等，并且NAS系统有潜在热点，造成系统阻塞，从而降低用户的体验效果。集群NAS具有潜在热点风险集群NAS的文件一致性靠NAS控制节点来保证，所以要不间断的同步NAS控制器，致使控制器存在数量限制。 LeoStor较集群NAS系统更强壮 LeoStor并行存储系统依靠元数据MDS子系统维持文件的一致性的，其4万/秒的IOPS能力远大于MAS控制器的数千个IOPS能力，而集群MDS可以提供超过百万个IOPS，满足数十万并发用户的访问。3.3前端智能切片技术 联想LeoStor云存储的前端切片（Front-EndSlicing）技术，就是将文件根据OSS节点和硬盘数量等条件按照策略自动切成多个数据片段，将数据片段存储在不同的OSS存储节点上的不同硬盘区域中。LeoStorFront-EndSlicing前端切片技术相对于不切片存储技术具有天然的优势：不切片的存储只能存储在单一一台存储设备中，而LeoStor存储在不同OSS节点中，可以避免单设备的硬盘和硬盘控制器的I/O和IOPS的瓶颈；不切片的存储只能利用RAID控制器将数据平铺到同一设备的不同硬盘中，虽然在同一设备中确保数据的安全，但是如果设备出现故障，比如控制器损坏或掉电，那么其中的数据将不可访问，而LeoStor将数据保存到不同OSS存储节点中，大大减少整体数据不可读的概率；相对于后端切片技术，LeoStor仍具有更大的优势。虽然，后端切片可从不同OSS节点中获得切片数据，但是其必须开更多的内存去接收这些中间数据，当面对大数据和大并发时，内存不足将使得系统无法继续；进一步的，由于后端切片需要在该系统的控制部分进行，需要占用本机大量的CPU资源，而为了能正确切片，需要更多内存接收数据，当面对大数据和大并发时，内存不足将使得系统无法继续。3.4基于目录的数据保护技术 联想LeoStor并行存储系统UltraRaid是新一代的数据保护技术，如同服务器或者存储阵列提供Raid0,1,3,5,50等传统基于单一设备硬盘的数据保护技术，LeoStor提供更先进的基于多个设备和硬盘的数据保护技术，满足不同应用的需求。UltraRaidR11：一份数据，一份拷贝，存储利用率为50%；UltraRaidR12：一份数据，二份拷贝，存储利用率为33%；UltraRaidR52：二份数据，一个校验值，存储利用率为66%；UltraRaidR54：四份数据，四个校验值，存储利用率为80%；LeoStorUltraRaid数据保护技术 LeoStor并行存储系统的UltraRaid技术并不要求硬盘的型号、容量等指标一致，可长期保护用户的投资。 LeoStor的丰富的数据保护模式，可以为客户带来显而易见的费用节省。比如某项目需要配置1PB的可用存储空间，如果采用其他公司的产品，数据冗余程度只能做到50%，则其必须配置到2PB，而LeoStor只需要配置1.25PB，节省0.75PB的存储，折合到4TB硬盘，可以节省192块硬盘，4TB的企业级硬盘的价格约2000元左右，则可以节省38.4万元。LeoStorUltraRaid基于目录的数据保护技术LeoStor并行存储系统的UltraRaid技术又一显著优势，就是可以根据目录的业务要求配置不同的数据保护类型，比如客户档案目录，配置成RaidR11，而某些中间档案文件、图片可以配置成RaidR54，这样，可以最大限度利用系统空间，以及满足各种数据的保护要求。3.5基于目录的分级存储技术联想LeoStor并行存储系统Tiered-Storage分级存储技术，提供基于目录的混合存储介质解决方案，使得用户在任何阶段都能根据业务需求部署性价比更高的存储介质，而无需一步到位。LeoStorTiered-Storage可使用说有的存储介质 随着存储技术的发展，市场上可采购到SATA、SAS、SSD、PCI-SSD等存储介质，其各有特点，SATA是机械式的，一般是7200转/秒，读取能力较低，但是容量大，价格便宜，受到用户的广泛欢迎；PCI-SSD是电子的，具有跟内存一样的读取速度，但是单机容量低，价格昂贵，在强调存取速度的业务中独树一帜。LeoStorTiered-Storage基于目录的分级存储技术 LeoStorTiered-Storage分级存储技术，可让用户将资金投入到最需要的业务中，比如在广电视频播放业务，经常会有热播剧或热点栏目，当流行一段时间后，用户访问量降低，面对这种业务，用户可以配置两种规格存储，SATA介质的目录，放置数百TB的视频库和资料库，而PCI-SSD/SSD介质的目录，放置热播剧和7天回放的节目，可显著降低每流的成本以及每用户的成本，提高客户的业务收益率。 LeoStor可实现在同一个目录中的“混合介质存储”技术，即将低速的SATA和高速的SSD混合部署，通过手动迁移，将可识别的热点文件，迁移到高速SSD介质上，文件相对路径不变，在减少系统抖动情况下，确保系统的高速输出。3.6多级缓存技术联想LeoStor并行存储系统MultiCache多级缓存技术，在客户端（应用服务器节点）、MDS元数据节点和OSS存储节点等三个地方可配置内存级缓存，能够显著提升有效输出带宽和首次响应时间，MultiCache多级缓存技术适合多读一写或多读少写的应用场景，比如传媒、教育和互联网。LeoStorMultiCache多级缓存技术LeoStorOSS存储节点可将来自应用服务器的数据（切片）请求读/预读到内存中，形成缓存，如果来自其他应用服务器的数据（切片）请求，刚好在内存中，则OSS根据TTL规则，会将缓存中的数据返回给应用服务器端，而无需再从慢速的硬件介质中读取。用户经过应用服务器（相对LeoStor，为客户端）从LeoStor中观看一个视频，LeoStorClientAgent将视频的相关片段，根据策略会保留在应用服务器的内存中，形成切片缓存，切片缓存有一定TTL生命时间，在TTL有效期内，如果，另外一个客户恰好也访问该视频片段（切片），则LeoStor会将该缓存的切片数据返回给客户，而不会再向OSS存储节点索取数据。如果一部影片都缓存在该应用服务器中，则用户的并发访问数与应用服务器的网络带宽密切有关，因此，类似