聊聊软件定义存储

1、1980s 个人电脑1960s 大型机1990s 互联网2000s 移动互联网2010s 大数据，云计算分布式存储最早诞生在互联网行业，随着技术的产品化成熟，越来越多的企业级用户也在尝试，将传统的业务迁移到弹性，灵活的分布式存储资源池IBM DS8000EMC VMAXHuawei 180001956年世界第一台磁盘存储系统IBM 305磁盘介质取代打孔卡，容量5MB读写速率10K/s1980年，薄膜磁头技术，性能飞跃，容量8*2.52GB读写速率3MB/s1993年 EMC Symmetrix16MB DRAM, 1 GB Global Memory,容量1 TB, Hypervolume

2、ExtensionIAAS 2.0IAAS 2.0以服务器、SAN/NAS为主TB时代，GB/sIAAS 1.0IAAS 1.0以主机和终端、DAS为主GB时代，MB/sIAAS 3.0IAAS 3.0以云服务、移动宽带网络、大数据分析、社交网络技术为依托PB时代，10100GB/s，分布式架构RAID（Redundant Array of Independent Disks）即独立磁盘冗余阵列，RAID将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性RAID5和RAID10 计算机发展初期，大容量硬盘价格非常高，而需要存储的数据量越来越大容量性能 CP

3、U运算速度飞速提高，数据读写速度不应该成为计算机系统处理的瓶颈 信息时代，数据对企业和个人的重要性越来越大，数据存储安全更需要保障RAID可靠性槽点：RAID横行30年，技术越来越复杂，维护难度加大l 物理卷由几个硬盘通过RAID方式组成 ，从整体上看相当于一个盘组l 在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷，通过LUN（Logic Unit Number）来标识l 槽点：卷管理的概念，既在存储设备中存在，也在主机操作系统中使用，因此传统块存储的IO层级较为复杂，维护工作量较大RAID10RAID5物理卷物理卷逻辑卷逻辑卷单个物理卷上创建1个逻辑卷单个物理卷上创建2个逻辑卷LUN1

4、LUN2LUN3控制器是磁盘阵列的“大脑”，主要部件为处理器和缓存，最先主要实现简单IO操作、RAID管理功能，随着技术发展，能够提供各种各样的数据管理功能，如快照、镜像、复制等磁盘柜包含了多块的磁盘，本身既没有处理器，也没有缓存，RAID及数据管理功能通过控制器实现槽点：中高端存储经过crossbar架构、全点对点总线架构等演进，掌握架构基本靠想象，黑盒子形成控制器磁盘柜磁盘线缆 主机DASFC SAN应用文件/操作系统I/O 重定向器TCP/IP 协议栈NFS/CIFS网络接口卡 主机文件处理 I/ONAS IP Network网络接口卡TCP/IP 协议栈NFS/CIFS文件系统+ 逻辑

5、卷管理器数据管理系统RAID块处理 I/O设备驱动应用逻辑卷管理器 裸卷SCSI 设备驱动块处理 I/OIP SAN应用逻辑卷管理器 裸卷iSCSI LayerTCP/IP Stack网络接口卡 主机块处理 I/O块处理 I/O IP Network FC Network网络接口卡TCP/IP协议栈数据管理系统RAID块处理 I/OFC总线卡FC协议栈数据管理系统RAID块处理 I/O应用逻辑卷管理器 裸卷SCSI 设备驱动FC协议栈FC总线卡设备驱动设备驱动SCSI 设备驱动 主机文件/操作系统数据库文件/操作系统数据库文件/操作系统数据库RAIDSCSI/FC 总线卡l 投资：一次性成本较

6、高，中高端集采单价1.5W/TB，光交30-40万一对，FC适配器可忽略；如无规模优势，维保成本高；维护人员成本高，令人艳羡的待遇；能耗成本高。l 工程集成：zone、LUN、RAID、owner、多链路、卷管理、备份、冗余、容灾。工作量较大，技能get投入大l 维护监控：一套存储三种软件，有额外软件成本；厂家异构型号异构让统一存储运维只是一个梦想；运维数据难于导出和解读，“拿去！你看不懂！”；故障处理往往需要多方会诊，问题定位周期长，分析靠创意，排查靠遍历。l 扩容升级：需要停机、扩容周期长、实施风险高，0点以后3小时起刷大夜。l 性能表现：需根据实际配置进行计算，从不能相信技术指标；性能数

7、据需专业解读，性能优化基本靠扩l 高可用及稳定性：稳定性高的背后，是大量的更换备件和升级版本操作；高可用演练环节多，药不能停；设备老旧，稳定性骤减，老干部要好好伺候。l 存储本质上是IT硬件集成，IT软件定义。无非是集成和定义谁来做的问题。20032005新三年20062008新三年20092011新三年20122014新三年旧三年旧三年旧三年旧三年修三年修三年修三年修三年旧三年旧三年再修三年再修三年l设备投入生产年限很久，故障率高，年均2次的文件系统数据丢失问题l非资源池设备原厂已EOS，EOS比率40%以上l存储变更暴增，TOP1l性能问题难解，高可用问题风险较大l不断启动专项治理，201

8、4年IBM，2015年华为，2016年惠普光交201520171）核心一层为底端的Brocade4900，性能差，不如二层的交换机性能好，且容易造成单点故障，会导致大量业务主机宕机，但替换风险和难度很大，待实施。2）整个SAN环境中共计有24台光纤交换机，极连时都是单线，无Truck，即有IO瓶颈，也有可能某个极连节点单线故障影响到下连所有光纤交换机上的业务主机；3）由于各类主机共用一个SAN，早期的一些服务器不支持8GB或16GB速率，导致光纤交换机必须设置最高为4GB才能兼容使用，4）由于主机端挂载了多个存储，跨多个光纤交换机节点，且有些光纤交换机节点工程时随意设置DomainID，导致改

9、造困难；5）节点多，加上存储分配等随意性，排障非常困难，原厂经常找不到原因。传统存储网络不宜大规模池化IBM DS8800IBM DS8800HP 3Par SS7440IBM SVCIBM SVCIBM SVCIBM SVCIBM SVCIBM SVCCluster 1Cluster 2Cluster 3Cluster 4Exsi集群少量物理机IBM 2499-384IBM 2499-384IBM SVCIBM SVCl 架构的致命缺点是IBM SVC为A/P模式，单个SVC故障时，Cluster需要软切换，敏感数据库业务无法接受切换时长，会Crash，已发生多次，无法避免；l 该架构还有个

10、前提条件是任何存储不能出现致命故障，否则全网业务可能宕机，甚至是数据丢失；l IBM SVC原厂早已停止进一步研发投入，且一线人员基本无法排障，升级到二线也多次排查无果；l 只余20TB空间，且IBM DS8800/HP 3par Ss7440存储已满配，无法扩容，只能新增存储；l 分配给了上千台虚拟机及少量物理机，数据库近30套，偶尔个别业务主机有延时，怀疑是SVC性能问题，但一直无数据支撑，且原厂也分析不出根因；HDS Vspg1000Hp 3Par V800HP 3Par SS7440IBM SVCIBM SVCIBM SVCIBM SVCCluster 1Cluster 2Exsi集群

11、少量物理机Brocade DCXBrocade DCXl架构缺陷与石桥网管资源池相同lHP 3PAR SS7440存储为2TB的SATA盘，降低了存储整体性能，厂家检测： Vlun的read latancy为 368ms，高峰为438ms， Write latancy为 44 ms，高峰为59ms，可承受的合理IOPS不超过9000，目前的实际IOPS为24068，超负核近2.5倍，风险非常高。l产业园后端FC的3台存储硬盘总数（819块），远低于其他两个资源池，整池IOPS性能较低，需要扩容。软件定义存储：存储资源由软件自动控制，通过抽象、池化和自动化，将标准服务器内存存储、直连存储、外置存

12、储或云存储等存储资源整合起来，实现应用感知，或者基于策略驱动的部署、变更和管理，最终达到存储即服务的目标超融合（HCI）：是指同一套单元设备（如X86通用服务器）同时具备提供计算、存储和网络服务的能力Server SAN（基于服务器的分布式块存储）：采用标准服务器作为硬件，通过软件对外提供存储服务的产品对象存储（基于服务器的分布式对象存储）：采用标准服务器作为硬件，通过软件对外提供对象服务的产品，对象是一种数据集合，如图片、视频等，每个对象都在一个被称作存储池的扁平地址空间的同一级别里拥有唯一OID，一个对象不会属于另一个对象的下一级基于服务器的分布式文件存储：采用标准服务器作为硬件，通过软件

13、对外提供文件存储服务的产品，主流还是NAS，使用NFS/CIFS文件共享传输协议，树形目录+inode管理方法VMVMVMSANCPUCPU硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘传统集中存储Scale-Up架构分布式存储Scale-Out架构X86服务器1X86服务器2X86服务器N1.通过昂贵硬件保证系统的高可用性2.管理维护要求能力高3.扩展方式通过增加硬件配置实现1.X86硬件，软件定义实现自动化、智能机制2.管理维护要求能力低3.扩展容易，可以达到PB级扩容空间X86服务器1VMVMVMVMVMVM软件定义存储硬盘硬盘硬盘硬盘硬盘硬盘.X86服务器2X86服务器N计算存储存储计算计算计算

14、存储存储ControllerControllerControllerControllerControllerCacheControllerCacheControllerCacheControllerCache分布式无状态机头 IOPS提升35倍，性能线性扩展分布式Cache 支持400G/800G/1.2T/2.4T的PCIE-SSD做高速缓存 支持多个SSD盘做高速缓存在SATA盘场景下，平均每盘100 IOPS以上，每节点最高可达到2000 IOPS最小时延1mS平均时延5ms在PCIE-SSD做场景下平均每存储节点100K IOPS最小时延0.3MS平均时延存储SRV2存储SRV3存储S

15、RV1存储SRV2存储SRV3存储SRV4主机APP1主机APP2写入Cache返回后故障，分布式Cache确保数据可安全写入，数据保持一致主OSD备OSDApp写Cache写CacheCache资源池Cache资源池主机APP1Cache主机APP2Cache存储层写入Cache返回后故障，Cache未下盘，数据不一致。无法提供可靠写Cache不支持写Cache，高写时延Cache孤岛，无法水平扩展AppCache存储应用端本地CacheBAServer San：分布式Cache资源池Cache 2 Cache 1 支持写Cache，低写时延12l 槽点：全局模式，缓存调整只能进行读写比例优

16、化，不能进行单业务QOS容忍同时2服务器故障支持双点故障容忍同时2机柜故障支持机柜级安全2副本场景下，数据可靠性=7个9l 槽点：成本成本成本，Erasure Code的商用及成熟期估计还要3年；X86故障率高，维护不敢怠慢重建速度：10MBPS-60MBPS, 6倍提升带宽受限下，确保业务IO平稳处理ServerServerServerVMVMVMVMVMVM FusionStorage ControllerInfiniBand /10GE Network业务量比较大，减慢在线数据重构，优先满足业务需求ServerServerServerVMVMVMVMVMVM FusionStorage

17、ControllerInfiniBand /10GE Network业务量比较小，加速在线数据重构，降低数据丢失风险APPAPPAPPAPPFusionStorage Controller网络的带宽受限，容易造成IO阻塞，甚至降低到0基于时延和吞吐量的情况，对业务IO进行流量控制Disk1P1P2Disk2Disk3Disk6Disk4Disk5Server 1Server 1Server 2Server 2Server 3Server 3P3P4P5P6P7P8P13P14P15P16P17P18P19P20P1P3P5P7P9P10P11P12P13P15P17P19P21P22P23P2

18、4P4P8P16P20P21P22P23P24P9P10P2P6P14P18P11P12p 数据分布可以跨服务器或跨机柜，不会因某个服务器、机柜故障导致数据不可访问p 数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，仅重建实际数据，无需单独热备盘P9P10P11P12P2P6P14P18P21P22P23P24P4P8P16P20重建1TB数据时间30分钟（传统SAN需要12小时），提升数据可靠性VSAN与其他 VMware 产品集成部署在一起，主要针对虚拟机应用进行了优化，聚合了虚拟化管理程序的体系结构，按虚拟机设置的存储策略进行管理。要合理搭配服务器内存和硬盘占比，以最

19、大化利用存储资源和计算资源。l 槽点：Vsphere ONLY，计算+存储一体，成本较高FusionStorage对外提供存储服务时更为灵活，可以提供给虚拟机、也可以提供给数据库应用。当采用分离部署模式时，要调整服务器配置，增大硬盘容量以提高资源利用率。Fibre Channel/(iSCSI)协议层存储层NFS/CIFSFile SystemObjectObject SystemObjectKeyMetadatadataUser defined meta-dataS3/SwiftObjectObjectObjectObjectl主要协议：FC，iSCSIl应用场景：结构化，数据库应用，低延时

20、，高性能，如Oraclel主要协议：NFS，CIFSl应用场景：非结构化，文件共享的服务l主要协议：S3，Swift，RESTful/soapl 应用场景：对象数据，互联网服务存储，数据归档或备份iSCSI/FC SANNASObjectbucketbucketbucket说明：近年出现分布式架构，主要以传统架构为主说明：逐渐演进到分布式架构，也支持传统架构说明：从出现开始就是分布式架构，集中式架构极少业务场景场景详情医疗影像云1）医疗影像文件较大，且多跨医院与地域访问，云存储可以方便的解决跨医院访问的问题。2）医疗影像要求保存10年以上，长期保存在本地的成本高企业网盘1）文件备份2）文件共享

21、云备份icloud、EMUI、公有云l1）桶数量l2）对象尺寸带宽要求TPS接口调用时延l3）每日读写量、删除量l4）单桶对象数l5）最大并发数l6）上层业务平台引入评估指标项ObjectKey元数据数据User defined 元数据metadata ObjectObjectObject业务主机APPeSDK调用本地API直接调用Web服务开发软件使用工具BucketObjectObjectBucketObjectObject用户OceanStor 9000存储系统架构应用层数据处理层硬件节点层P系列节点C系列节点HPC视频监控媒体娱乐精准营销文件存储备份、归档软件备份、归档商业推广网盘FT

22、P NFS CIFS数据分析与Hadoop生态系统对接HDFSNDMP分布式存储资源池 对象存储服务重删多租户Https传输加密 NAS存储服务HDFSInfoTier(动态分级)InfoAllocator(配额)InfoLocker(WORM)InfoReplicator(远程复制)InfoStamper(快照）InfoRevive（视频图像修复）InfoEqualizer(负载均衡)Swift/S3管理系统InfoTurbo(性能加速)HttpsInfoScanner(防病毒)InfoMigrator(数据迁移)对象存储资源池灵活开放的接口协议，适配多业务场景NFSRESTful APIH

23、TTPCIFSSwiftFTPHDFSS3l 传统接口：NFS、CIFS、FTP、S3/SwiftlHDFS: 无缝对接Hadoop，高效率存储+高效率分析多种访问接口开放的架构l 通用硬件l广泛的接口定义，几乎适用所有半结构化，非结构化数据处理l 槽点：政企云提供客户服务时，需要考虑客户的基于SDK或者web的APP开发能力，有可能需要提供开发指导或模版等软硬件及组网介绍l前后端网络隔离l对象存储、NAS存储可以在一套系统配置l同一节点NAS接口、S3接口和Swift接口三选一l对象存储和NAS存储增值特性各自独立吞吐能力每TB成本大容量归档节点C系列高性能存储节点P系列C72C36P36P

24、12多种节点类型组合，性能、容量与成本完美平衡P2510GE交换机、IB交换机应用服务器OceanStor 9000管理交换机管理终端P25/P36/P12/C36/C72节点NAS接口对象接口l 槽点：不同接口使用的底层架构仍需隔离，需要提前做好规划RSM副本在线EC负载均衡 数据布局 数据恢复 分布式文件存储快照配额分级WORM远程复制租户管理SLA管理资源管理业务发放告警拓朴资源管理报表通用硬件统一部署统一升级统一扩容巡检信息收集日志分析统一网络规划ToolkitCloudNative应用云基础设施VM资源池桌面云云视频媒体云网盘云备份归档NFSCIFSSwiftS3HDFS应用超市开发

25、测试 基础设施服务大数据分析OpenStack多接口协议SCSIIaaSBKaaSDRaaS云服务平台统一北向DSS & OMS分布式对象存储配额重删远程复制分布式块存储快照精简配置链接克隆双活QoS传输加速防病毒iSCSI资源池层数据服务层系统编排层存储产品全闪存阵列分布式块存储分布式文件存储对象存储性能业界最高性能，百万级IOPS，1ms时延对位业界中端SAN存储，性能与中端SAN存储相仿。IOPS可达10万级别，时延一般在5ms-40ms之间性能随节点数增加而线性上涨。对于全对称式结构分布式，单节点带宽一般在400MB/s到800MB/s之间，时延在5ms-40ms之间非性能敏感

26、场景下使用，性能一般不重点关注，性能与中端SAN存储相仿。功能SANSANNAS对象商用情况企业或者机构核心业务、关键业务中，其稳定性、性能、对技术的成熟度要求高，例如数据库应用场景在非关键环境中，在建设成本相对有限、数据量较大的条件下使用较多，例如云资源池、虚拟主机、桌面云等等文件存储场景，在强调系统扩展性及文件系统性能的场景下使用，例如视频监控、媒体云、大数据分析等场景对外提供对象存储接口（如S3，Openstack Swift），多用于互联网行业，关注数据共享功能及容量，在云盘类应用使用广泛。生态链兼容性测试已非常充分，所有高端、中端、以及低端的服务器均能支持，所有存储厂家均有相关产品。主要完成的是Windows，Linux等较低端的服务器的兼容性