FusionStorage存储资源池方案介绍

1、华为FusionStorage存储资源池方案介绍Content华为FusionStorage典型应用场景及解决方案23华为FusionStorage 应用案例从SAN到Server SAN14Q&A信息化与存储发展历程1980s 个人电脑1960s 大型机1990s 互联网2000s 移动互联网2010s 大数据，云计算分布式存储最早诞生在互联网行业，随着技术的产品化成熟，越来越多的企业级用户也在尝试，将传统的业务迁移到弹性，灵活的分布式存储资源池IBM DS8000EMC VMAXHuawei 180001956年世界第一台磁盘存储系统IBM 305磁盘介质取代打孔卡，容量5MB读写速率10

2、K/s1980年，薄膜磁头技术，性能飞跃，容量8*2.52GB读写速率3MB/s1993年 EMC Symmetrix16MB DRAM, 1 GB Global Memory,容量1 TB, Hypervolume ExtensionIAAS 2.0以服务器、SAN/NAS为主TB时代，GB/sIAAS 1.0以主机和终端、DAS为主GB时代，MB/sIAAS 3.0以云服务、移动宽带网络、大数据分析、社交网络技术为依托PB时代，10100GB/s，分布式架构Facebook每天20亿照片存储系统揭秘应用推出快。每天上线140，已达24000应用更新淘汰率高活动用户0到1亿55月，1亿到4亿

3、18个月元数据与图片数据绑定NAS元数据超大（26T=2600亿*100字节)，无法缓存到内存。检索单个图片超过10次磁盘IO。NAS服务器成本高昂元数据与图片数据分离Haystack目录元数据大幅减小（3.5T =2600亿*50字节*1/4)可缓存内存中检索单个图片数据仅需1次磁盘IO。商用服务器承载存储，每TB成本降低28%2600亿图片（20P）时，NAS层出现性能瓶颈，无法满足每秒查询1百万图片的需求。爆发增长带来海量数据，推动IT系统改造业务特点NAS无法满足海量照片存储自研分布式存储目前每天新增照片20亿，每秒查询最高4百万图片浏览器CDNNASNASNASNFS照片服务器Hay

4、stack目录浏览器CDNHaystack 存储缓存可写卷数据，减少读写混合IOHTTP获取对象元数据照片服务下载到存储层获取图片数据历史照访问片符合长尾理论传统行业存储面临的挑战分布式Server SAN的架构Server本地存储ServerServerServerVMVMVMVMVMVM ControllerHDDSAN/NASHDDSAN/NASServerVMVMVMVM传统SAN的架构FC/IP NetworkFC/IP NetworkServerVMVMVMVMCacheCache中国企业客户面临哪些存储挑战？架构转型*数据来源：中桥国际调研咨询有限公司InfiniBand /10

5、GE Network传统企业客户考虑引入新的存储的架构，构建面向未来灵活可扩展的存储资源池50.1%44.4%40.2%39.3%33.2%20.9%3.1%全球存储市场发展趋势：分布式存储快速增长专有设备变通用设备计算与存储线性扩展简单管理、低TCO现在未来10年全球企业分布式存储市场快速增长，预计2027将占存储市场的70%份额定义：Server SAN 是由多个独立的服务器自带的存储组成的一个存储资源池，同时融合了计算和存储资源国内的分布式存储也在快速增长*数据来源：中桥国际调研咨询有限公司（2015）基础条件已经成熟专有设备变通用设备X86服务器增长为Server SAN 的普及奠定了

6、计算基础10Gb以太网技术成为企业首选网络技术，为Server SAN的普及奠定了网络基础中国市场趋势未来24个月内向企业级用户使用Server SAN的比例将从9.8%上升至20.8%， 增长率200%运营商，金融机构数据中心已开始建立相关的分布式存储资源池已使用未来12个月会使用未来12-24个月会使用不会使用没听过 不知道（不确定）中小企业（1000人以下，N=295）企业级（1000人以上，N=183）所有受访者（N=478）贵公司是否会考虑Server SAN ？42%已使用或即将使用海外客户可考虑删除,或者标题换成该地区的名字，如香港、某国等Content华为FusionStora

7、ge典型应用场景及解决方案23华为FusionStorage 应用案例从SAN到Server SAN14Q&AFusionStorage应用场景FusionStorageSCSI/iSCSI物理部署虚拟化平台OpenStack查询检索财务报表数据分析HANA公有云VDI开发测试私有云两大应用场景CRMERP市场营销分布式Cache分布式Cachex86服务器DHT环强一致性算法x86服务器高速网络 IB /GE/10GEDB及关键应用高吞吐高性价比开放兼容场景特点 云资源池大规模池化低TCO统一管理业务敏捷分布式哈希算法可伸缩DHT环分布式Cache高速P2P网络强一致性算法核心亮点云资源池D

8、B及关键应用云及虚拟化场景相比传统存储给客户带来的价值业务上线快，存储供应时间减少3倍以上1、弹性扩展/自动供应，减少规划/采购/配置时间2、削峰填谷，满足业务爆发式增长1大规模池化，水平扩展至4096节点1、消除数据孤岛，数据整合提升数据利用价值2、性能容量水平扩展，节省投资2低TCO(自愈/简单管理维护/通用硬件）1、按订阅收费，采用通用硬件、减少初始投资成本60%2、简化管理维护、系统自愈、减少管理维护成本60%3、资源利用率从20%提升至80%35M10M2011.42011.550M2011.10200M2012.09300M2012.10相比业界SeverSAN的独特优势高性能，1

9、000万IOPS1、P2P架构/Hash寻址，时延小于1ms，120GB/柜2、分布式cache，支持读/写cache、1000万IOPS1成熟可靠1、支持企业关键应用，已商用1PB/16节点RAC2、已商用2PB存储资源池,承载短信等核心电信业务3、100+成熟商用案例2兼容开放1、支持所有x86服务器2、支持各种虚拟化平台、Vmware/FusionSphere/KVM3、支持各种应用、Oracle/DB2/MySQL/SAP3FusionStorageCRMERP集中式分布式VS.FusionStorageFusionStorage1PB SSD存储池16节点RAC2PB HDD存储池V

10、MwareDBDBDB短信教育云业务快速上线采用传统存储的缺点：1、无法应对业务的快速增长，机头瓶颈无法扩展2、存储供应周期长，专有硬件、专有用途的采购3、上线前规划设计周期长，设备型号杂，厂商能力参差不齐4、上线是安装部署复杂，手动分配资源，复杂的配置项目启动多厂商采购分批到货系统集成应用部署综合调试平台安装业务上线多厂商安装调试1-3周4-8周1周1周1周1周1周方案设计1-3周传统项目1018周采用FusionStorage带来的好处：1、水平扩展轻松应对业务的快速增长，全分布式设计2、零采购周期：采用通用服务器，提前采购3、上线前规划设计简单，硬件标准化，功能服务化4、上线时安装部署简

11、单，自动分配资源，根据预定的SLA处理项目启动应用部署综合调试业务上线0.5周0.5周方案设计0.5周采用资源池化建设后12周完成业务上线APP1APP2APP3APP4APPnAPP1APPnSAN2APP1APPnSAN1APP1APPnSANn业界最大规模，性能与容量同步提升传统存储难以横向扩展： 规划太多-投资浪费 规划太少-阻碍业务发展需要准确预测未来业务发展规模！FusionStorage轻松应对： 三节点起步，最大支持4096节点，100+PB级容量，架构满足10年需求 性能容量同时扩容，按需增减，投资可预期从前：要想拉更多，只能换个车现在：要想拉更多，直接加个车.在线扩容，不影

12、响业务结合当前值、峰值和阈值的长周期趋势，提前预测业务洪峰基于性能指标的TOP分析，提供扩容建议三步完成在线扩容（主机）：1、添加主机2、安装代理3、设置参数三步完成在线扩容（磁盘）：1、添加硬盘2、选择目标主机3、设置参数高效运维：互联网运维与传统企业运维对比融合IP网络FC存储网络数据IP网络应用环境部署引擎自服务服务化基础设施运维管理定制标准化机架服务器分布式软件存储小型机+高端服务器+刀片+机架服务器SAN/NAS存储自维护/开发开源软件+ 存储/计算资源标准化商业软件+存储/计算资源基线多多部门运维流程自动化配置半自动化/手工配置互联网企业运维的主要特点与优势： 标准化/规模化/服务

13、化/自动化/自服务基础设施： 采用通用X86服务器+分布式软件存储+融合IP网络的架构，低成本、大资源池、高可扩展性 运行维护： 服务化和自动化部署方式 应用环境： 标准化与自服务分布式哈希无性能瓶颈查询内存元数据通过查询集中元数据节点获知目标通过内部计算获知目标键Hash键p1osd1p2osd2映射osdHash映射osdClientClientClientServer端到端4步，IO路径短Client元数据节点成为性能瓶颈扩展有限ClientClientClientServer业界方案：元数据方式FusionStorage：分布式哈希并行Hash计算与本地内存元数据，无性能瓶颈任意水平扩

14、展端到端6步，IO路径长12ClientDataNodeDataNodeDataNodeDataNode1 文件映射对象2 对象映射PG3 PG映射OSD1 消息分发2 写 Journal3 写Filestore DataNodeDataNodeNameNode1 Hash计算Partition2 Partition映射OSD1 映射盘内位置2写缓存Cache共享，水平任意扩展分布式Cache提升性能主机APP1主机APP2存储SRV1存储SRV2存储SRV3存储SRV1存储SRV2存储SRV3存储SRV4主机APP1主机APP2写入Cache返回后故障，分布式Cache确保数据可安全写入，数

15、据保持一致主OSD备OSDApp写Cache写CacheCache资源池Cache资源池主机APP1Cache主机APP2Cache存储层写入Cache返回后故障，Cache未下盘，数据不一致。无法提供可靠写Cache不支持写Cache，高写时延Cache孤岛，无法水平扩展AppCache存储应用端本地CacheBAFusionStorage：分布式Cache资源池9.6TB7.2TB支持写Cache，低写时延12分布式Cache提升性能（续）内存高利用率带来高命中率灵活多样的介质，满足不同需求读占用写占用OSD1nBA2BA链接克隆等只读场景NVDIMM/NVRAM时延敏感，高IOPS数据库

16、应用SSD卡、SSD盘时延较敏感，IO均衡，如VDI等场景读A同时预先将B读入Cache按需动态调节读、写Cache高效的QoS流控算法重建速度：10MBPS-60MBPS, 6倍提升带宽受限下，确保业务IO平稳处理ServerServerServerVMVMVMVMVMVM FusionStorage ControllerInfiniBand /10GE Network业务量比较大，减慢在线数据重构，优先满足业务需求ServerServerServerVMVMVMVMVMVM FusionStorage ControllerInfiniBand /10GE Network业务量比较小，加速在

17、线数据重构，降低数据丢失风险APPAPPAPPAPPFusionStorage Controller网络的带宽受限，容易造成IO阻塞，甚至降低到0基于时延和吞吐量的情况，对业务IO进行流量控制多副本平衡分区算法FusionStorageControllerFusionStorageController智能切换，确保数据安全性智能过滤，消除迁移风暴Server 1Server N新增Server X无效迁移FusionStorage采用的多副本平衡分区算法，可确保均衡性的同时，自动过滤无效迁移，提升迁移效率，扩减容时最大限度降低对正常业务的影响。CRUSH算法使用的随机机制导致无效迁移，随着系统

18、不断的更新（扩减容、故障恢复），无效迁移率不可控，最终会造成迁移风暴。服务器数量增多，主动提升安全级别，副本自动保存到其他服务器上保证各个磁盘读写负载均衡，防止热点出现，CRUSH算法无法保证均衡性项目初期服务器数量少，降级排布，副本尽可能在不同服务器和不同的磁盘上数据库及关键应用场景高吞吐高性价比开放兼容.20 * 56Gb =1120Gb服务器1服务器2服务器3服务器20机架控制器1控制器28Gb * 8 = 64GbPCIE交换vs680.5 秒163.8秒FusionStorageExadataAvg. TimeExaData的性能，性价比ExaData的2倍HANA支持Oracle,

19、DB2,SAP HANA, MySQL，SybaseIQ，SQL Server，人大金仓,达梦各种数据库世界500强财报系统测试结果客户痛点：数据仓库系统，传统SAN速度慢，无法满足客户需求。复杂的全表扫描与关联操作，要求存储数据IO吞吐极大（比如超过100GB）通过叠加服务器线性扩展IO吞吐量FusionStorageSAN机头瓶颈，吞吐量受限客户痛点：1、除了ExaData有对Oracle数据库加速的方案之外，其他主流数据库DB2/HANA/SybaseIQ等仍然采用小机+SAN的解决方案，性价比低客户痛点：1、小机+SAN的方案性能无法满足要求，价格昂贵2、ExaData性能比有所提升，

20、但性价比依然不高高性能、高吞吐主机RACRACHDDHDDHDDSAN Controller瓶颈主机DB2DB2主机RACRACVBSOSD PCIESSDOSD PCIESSDOSD PCIESSD主机DB2DB2VBS10GE或8Gb FC网络带宽有限20us时延FC网络56Gb高带宽IB网络ns级通信时延IB网络存储层DB层算得快运得快吐得快管道管道管道集中控制器成性能瓶颈3400us读时延，3900us写时延15KRPMSAS硬盘分布式控制器无瓶颈，提升IOPS 3-5倍RDMA减少中间环节49us读时延，8us写时延PCIE SSD卡存储层存储层传统SAN存储华为FusionStor

21、age方案高性能数据库系统要求小型机+高端存储架构运维及扩容成本高成本结构 小型机、FC交换机、高端存储投资和运维成本高昂 对IT人员能力要求高典型的小机+高端存储成本结构复杂的整体系统评估 单点优化可能无法解决系统瓶颈 需要多厂商配合软件调优 更快的服务器 更高端或更大的存储 功能更强大的交换机 硬件调优高昂的“Scale-out税”DB License费用随CPU数量增加而增加，但往往瓶颈在于IO而不在计算性能 传统存储只有最高端才支持Scale-out能力，部分产品每TB成本高达十万RMB以上$高性价比融合一体机：FusionCube（内置FusionStorage）成本结构硬件部分：

22、x86服务器替代小型机 无外置交换机（内置交换模块） 无需HBA卡、外部连接线缆 FusionStorage替换中高端SAN人员技能部分： 预安装预集成，一天完成交付 统一管理平台，半小时掌握运维端到端性能提升 计算、存储、网络全面消除性能瓶颈，不存在“木桶短板” 单一厂商服务，统一调优软硬件统一调优无“扩容税” 部分场景可减少CPU数量，从而降低DB License费用（最高法项目减少25%的Sybase IQ license） 增加刀片即可完成扩容，容量和性能同步线性增长，每TB成本降低20%+56G计算单框支持64个CPU网络业界最快56G IB存储FusionStorage提供单框80

23、万IOPS开放兼容：支持主流的数据库应用，支持混合部署OracleIBM DB2SAP HANA虚拟化环境物理环境OpenStackFusionStorage通过主流数据库应用的认证，包括Oracle、DB2、HANA等大规模成熟应用案例：1）业界最大商用2T HANA集群（中国石化）2）业界最大Oracle RAC数据仓库存储池（华为财经数据仓库）3）最高法Sybase IQ，唯一通过64亿条数据处理测试支持云和非云环境混合部署典型场景：虚拟化部署的web应用需要一套高性能的数据库应用，通过简单增加服务器，即可满足性能和存储容量的要求，无需额外采购网络、存储设备，上线效率高，管理简单VMwa

24、re多重数据安全保障机制多副本备份：根据安全级别可灵活配置1副本（相当于RAID10）或多副本（3副本情况下，数据可用性达到7个9)PCI-E SSD Cache技术：读写速度快，掉电数据不丢失强一致性复制协议：应用程序写入一份数据时，如果成功，后端的一份或多份副本必然一致，再次读时，无论从哪个副本都可读到正确的数据CacheNod1Nod2Nod3CacheCacheEthernet / InfiniBand多重数据安全保障机制，确保数据安全可靠并行、快速数据重建Disk1P1P2Disk2Disk3Disk6Disk4Disk5Server 1Server 2Server 3P3P4P5P

25、6P7P8P13P14P15P16P17P18P19P20P1P3P5P7P9P10P11P12P13P15P17P19P21P22P23P24P4P8P16P20P21P22P23P24P9P10P2P6P14P18P11P12数据分布可以跨服务器或跨机柜，不会因某个服务器、机柜故障导致数据不可访问数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，仅重建实际数据，无需单独热备盘P9P10P11P12P2P6P14P18P21P22P23P24P4P8P16P20重建1TB数据时间30分钟（传统SAN需要12小时），提升数据可靠性支持机柜级可靠性机柜1存储池服务器1服务器1机

26、柜2服务器1服务器2机柜n服务器n服务器3主副本备副本主副本备副本APP1APP2APPn传统SANFusionStorage机柜1SAN1机柜2机柜nAPP2APPn主副本备副本主副本备副本服务器1服务器2服务器3服务器n 故障业务无影响和故障自恢复 故障业务中断并需手动恢复运维研发生产环境实验FA实验室振动实验室联合测试性能实验ERT实验室超十年存储硬盘和工具技术积累自研工具及系统 Vdisk-硬盘故障模 Randisk-硬盘读写测试 DiskTool-在线硬盘综合测试及分析 自动化FA工具-现场故障分析自动化Content华为FusionStorage典型应用场景及解决方案绍23华为Fu

27、sionStorage 应用案例从SAN到Server SAN14Q&AFusionStorage已在全球广泛应用 运营商教育金融 公共部门China Customs能源China TelecomPeking UniversityCNPC截止2014年底，FusionStorage已在全球超过30+国家及地区使用，客户数超过100ICBCSpanish Xanit hospitalChina MobileChina Merchants BankSINOPECSaudi Arabia TVTCSupreme Peoples Court VodafoneBeijing Jiaotong Unive

28、rsityChina HuaNeng GroupHong Kong InfocastGuangdong MSAShanghai Maritime UniversityTelefonicaSpanish BMESAP Labs China客户的选择：方案一：再扩容一套SAN，扩容。方案二：直接选择FusionStorage，一套搞定vSphere计算资源池云资源管理平台vSphere计算资源池FusionStorage存储资源池FusionStorage存储资源池金华数据中心绍兴数据中心浙江教育云短信平台WAP网关网上营业厅彩信中心选择FusionStorage后： 按需线性扩容，构建海量存储资

29、源池 业务快速上线，大幅缩短交付扩容时间海量资源池： 2PB容量+3000+VM高I/O性能 ： 130万+IOPS, 3X高效率扩容： 90天10天, 8X 唯一一家既能够满足客户性能要求，又支持分布式存储架构的厂商客户的挑战：业务量高速增长：超过110+业务，每年30%增长数据量快速增长，性能瓶颈突显现有存储容量1.1PB，部署10+套中高端存储仅网规网优新业务，容量达PB级，每天新增300G数据浙江电信：国内运营商首个PB级SDS资源池辽宁移动：分布式+x86 构建PB级数据库资源池 原架构：小型机+老旧式传统存储，63台IBM/HP/Oracle小型机，64套Oracle数据库，承载1

30、64套系统，数据总量达到699TB 性能越来越低，经分系统分析处理100TB数据需要10小时18分 最大并发用户数400，满足不了业务需求必须整柜扩容(EMC DMX4)，维保费用甚至高于新购128Gbps InfiniBandCPU 经分电渠X86计算节点1开通结算X86计算节点2VGOP计费X86计算节点NPCI-E 存储节点：FusionStorage PCI-E PCI-E RAMCPU RAMCPU RAMOracle RACOracle RACOracle RAC10小时18分2小时9分FusionStorage 数据库资源池小型机+老旧传统存储数据库百T数据分析处理时长针对100

31、T经分数据进行分析处理，效果明显：处理时长缩短至2小时9分，性能提升5-6倍；最大并发用户数由400增加至1000，提升2.5倍节省扩容投资及维护费用：根据计划迁移的数据量估算，节省投资约36%替换1台小型机，每年可节省维保费用59万，替换1T传统老旧存储，每年可节省维保费用1.8万投资小型机+传统老旧存储 (按柜扩容）规模分布式x86数据库（按服务器扩容）招商银行依托分布式云平台向互联网金融转型核心系统ATM/VTM柜面手机银行呼叫中心外围生产系统开发测试系统银行IT系统示意FusionSphereFusionStorage开发测试系统(1.2PB)DB三类业务被互联网金融产品如余额宝、财付通等抢夺客户，存在沦为交易工具的风险零售业务：依靠存款和带宽利息差额，占银行收益的70%批发业务：企业有议价权，收益比重接近于零中间业务：买卖黄金等理财产品，收手续费，占银行收益的30%DB外围生产系统(2PB)DBFusionStorage外围生产系统严重制约银行发展线上业务，例如手机银行和微信红包依托分布式云平台，发力线上业务3年预计10P