存储虚拟化(非常详细)

存储虚拟化技术

什么是存储虚拟化SNIA(存储网络工业协会)对存储虚拟化的定义：

Theactofabstracting,hidingorisolatingtheinternalfunctionofastorage(sub)systemorservicefromapplications,computeserversorgeneralnetworkresourcesforthepurposeofenablingapplicationandnetworkindependentmanagementofstorageordata.Theapplicationofvirtualizationtostorageservicesordevicesforthepurposeofaggregating,hidingcomplexityoraddingnewcapabilitiestolowerlevelstorageresources.Storagecanbevirtualizedsimultaneouslyinmultiplelayersofasystem,forinstancetocreateHSM-likesystems.参考译文：通过对存储(子)系统或存储服务的内部功能进行抽象、隐藏或隔离，使存储或数据的管理与应用、服务器、网络资源的管理分离，从而实现应用和网络的独立管理。对存储服务和设备进行虚拟化，能够在对下一层存储资源进行扩展时进行资源合并、降低实现的复杂度。存储虚拟化可以在系统的多个层面实现，比如建立类似于HSM(分级存储管理)的系统。什么是存储虚拟化虚拟化的原理16857管理2客户管理员物理资源逻辑资源为什么要存储虚拟化存储虚拟化的原动力虚拟存储池复制空间资源整合镜像快照统一数据管理迁移标准化接入存储虚拟化的目的抽象Abstract统一数据管理功能“Virtualization”降低管理难度数据跨设备流动提高可扩展性提高设备使用效率隐藏Hide隔离Isolate设备构件化1、融合：技术基础（更可靠、更可控、更灵活、更易扩展、更低成本）2、开放：个性化基础（SOA的标准中间件架构和应用开发接口）3、面向应用：以应用为先导，资源动态分配、统一管理用虚拟化简化IT架构存储系统计算节点互连网络虚拟信息架构VirtualInformationInfrastructure应用Applications(ERP,SCM,CRM,OA…)WhatyouhaveWhatyouwant基础架构技术融合；面向应用的计算、网络、存储的IT资源池开放中间件，实现可定制应用与基础架构分离ESG报告表明，早期采用虚拟化技术平均每年可节约:24%硬件成本16%软件成本19%管理成本如果预算共$1，000，000，花费$500，000于硬件，

$200，000于软件和$300，000于管理。存储虚拟化的价值每年可节约$209，000存储虚拟化实现模式存储虚拟化实现的结果存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式两条存储路线的斗争—ScaleUp&ScaleOutConventionalStorageClusteredStorageFaster…………….Slower…………….TRAINSTOPS!!!!!!!!!!!!TRAINKEEPSGOING!!1.磁盘扇区的物理地址一般用C-H-S(柱面号-磁头号-扇区号）表示2.磁盘虚拟化就是将扇区地址用LBA（逻辑块地址）表示，屏蔽底层物理磁盘的概念3.磁盘虚拟由磁盘自身固件完成4.磁盘虚拟化的结果是使磁盘的使用者无须了解磁盘的内部硬件细节，通过块地址就可以访问磁盘磁盘虚拟化001002003004005006007…磁盘虚拟化LBA1、块虚拟化是指对多块硬盘建立RAID，划分逻辑卷（LUN）。2、每个逻辑卷对于使用者都完全等同于一块物理硬盘。物理上来说，这个逻辑卷的所有数据块，都是通过RAID处理，分布在不同的物理硬盘上。3、块虚拟化的结果是使存储的使用者无须关心RAID实现的具体过程，只要象读写普通硬盘一样读写这个逻辑卷，就能获得RAID对数据的保护功能。块虚拟化物理磁盘Raid、磁盘分区逻辑资源块虚拟化1.采用类似RAID的技术对多盘磁带进行条带化和校验，以期提高磁带使用的可靠性和性能2.由于磁带读写缓慢，难以满足条带和校验的需要，因此RAIT技术很少使用磁带、磁带驱动器、磁带库虚拟化VTL虚拟磁带库磁带虚拟化RAIT条带化功能多个磁带驱动器一个逻辑驱动器磁盘1.提高磁带驱动器使用效率2.加快数据备份的速度VTL将磁盘阵列虚拟为磁带库，使用户在无须改变备份习惯和现有备份软件配置的情况下，获得以下优点：1、大幅度提高性能，缩短数据备份和恢复窗口2.获得磁盘阵列的RAID保护功能，避免磁带介质故障3.持续扩展备份的性能和容量NAS虚拟化NAS的特点支持异构主机成熟的网络拓扑结构高度集成的存储子系统设备简单化虚拟文件系统NFS/CIFS客户端文件文件LANNAS设备虚拟硬盘提供专用文件系统NAS虚拟化典型产品——EMCIsilonNFS,CIFS,FTP,HTTPClient/ApplicationLayerStandardGigabitEthernetLayerIsilonIQClusteredStorageLayerIntracluster

CommunicationInfiniBandLayerWindowsUNIX/LINUXMAC(optional2ndswitchforadditionalsubnet)(optional2ndswitchforhighavailability)(optional2ndswitch)IsilonIQStorageLayerIntraclusterCommunicationInfinibandorGigELayerServersClient/ApplicationLayerNFS,CIFS,FTP,HTTP(optional2ndswitch)StandardGigabitEthernetLayerServersServersEMCIsilonArchitectureWritingaFilewithEMCIsilon(optional2ndswitch)(optional2ndswitch)ServersNFS,CIFS,FTP,HTTP(optional2ndswitch)ServersServersWorkVert-SpecificWritingaFilewithEMCIsilon(optional2ndswitch)WorkVert-Specific(optional2ndswitch)ServersNFS,CIFS,FTP,HTTP(optional2ndswitch)ServersServers(optional2ndswitch)ReadingaFilewithEMCIsilonWorkVert-SpecificReadingaFilewithEMCIsilon(optional2ndswitch)ServersNFS,CIFS,FTP,HTTP(optional2ndswitch)ServersServersWorkVert-Specific存储虚拟化实现的位置存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式基于主机的存储虚拟化主要用途：使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于在不同磁盘阵列之间做数据镜像保护。优点：支持异构的存储系统。缺点：占用主机资源，降低应用性能。存在操作系统和应用的兼容性问题。导致主机升级、维护和扩展非常复杂，而且容易造成系统不稳定性。需要复杂的数据迁移过程，影响业务连续性。常见产品：SymantecVeritasVolumeManagerAgentAgentAgentAgentDAS或SAN存储网络实现方式：一般由操作系统下的逻辑卷管理软件完成（安装客户端软件），不同操作系统的逻辑卷管理软件也不相同。基于存储设备的存储虚拟化主要用途：在同一存储设备内部，进行数据保护和数据迁移。优点：与主机无关，不占用主机资源。数据管理功能丰富。AgentAgentAgentAgentSAN存储网络虚拟化引擎实现方式：在存储控制器上添加虚拟化功能，常见于中高端存储设备。缺点：一般只能实现对本设备内磁盘的虚拟化。不同厂商间的数据管理功能不能互操作。多套存储设备需配置多套数据管理软件，成本较高。常见产品H3CIX/EX系列HPEVAHDSTagmaStorSUN6920系列基于网络的存储虚拟化主要用途：异构存储系统整合和统一数据管理。优点：与主机无关，不占用主机资源。能够支持异构主机、异构存储设备。使不同存储设备的数据管理功能统一。构建统一管理平台，可扩展性好。SAN+虚拟化引擎实现方式：通过在存储域网（SAN）中添加虚拟化引擎实现。缺点：部分厂商数据管理功能弱，难以达到虚拟化统一数据管理的目的。部分厂商产品成熟度较低，仍然存在和不同存储和主机的兼容性问题。常见产品H3CIV系列IBMSVCEMCVPLEXNetAppGFiler系列存储虚拟化实现技术比较好较好较差很差存储虚拟化实现的方式存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式带内虚拟化主机层网络层存储层虚拟化引擎①逻辑读写指令②物理磁盘指令SAN数据读写流用途：异构存储系统整合统一数据管理，在业务运行同时完成复制、镜像、CDP等各种数据管理功能优点：服务器、存储设备的兼容性好虚拟化和数据管理功能由专用硬件实现，不占用主机资源丰富的数据管理功能配置简单，易于实施缺点：虚拟化设备发生故障，整个系统将中断逻辑指令转换物理指令带内虚拟化典型产品——EMCVPLEX分布式.动态.智能.数据中心内VPLEXLocalVPLEXMetro远距离AccessAnywhere同步VPLEXGeo远距离AccessAnywhere异步VPLEX系列使用案例可用性高可用性消除故障切换所进行的

存储操作随时随地访问移动性灾难避免数据中心迁移工作负载重新平衡随时随地访问群集A群集B协作远距离即时和同时数据访问优化工作流程随时随地访问远距离移动和重新定位虚拟机、应用程序和数据支持跨地点并发读/

写数据访问通过跨位置镜像保持可用性和无中断访问带外虚拟化主机层网络层存储层SAN①注册请求②存储列表②注册响应③建立连接，进行读写AgentAgentAgent控制信息流虚拟化引擎数据读写流用途：一般用于不同存储设备之间的数据复制优点：虚拟化设备发生故障，整个系统将不会中断缺点：主机资源占用较大大部分产品缺乏数据管理功能主机和存储系统需要严格的兼容性认证数据初始化同步复杂配置复杂，实施难度高存储虚拟化的应用难点原数据卷磁盘阵列Question：

如何保证虚拟化之后的数据状态不变，同时避免复杂的数据备份和迁移？

Answer：

SSE(存储服务使能）实现对已有数据的卷的虚拟化：

数据状态不变

访问路径不变

无需数据迁移

丰富的数据管理功能应用主机虚拟化之后的数据卷虚拟化信息无缝接入用户原有环境！难点一：数据状态的一致性保证难点二：多存储访问协议支持应用服务器DAS设备IPSAN设备FCSAN设备FCiSCSINFSCIFS虚拟化引擎Question：虚拟化如何同时支持IPSAN、FCSAN、NAS等多种存储访问协议？Answer：虚拟化设备内置高效的多协议数据转换引擎，将来自前端服务器的多种主机数据访问单元，与后端存储阵列的存储数据访问单元，进行解析和转换，保证数据的正确读写访问。多协议数据转换引擎存储设备难点三：存储多链路负载均衡Question：针对多样化的存储阵列，如何部署多链路负载均衡软件，保证后端存储访问路径的高可用？Answer：MultiPath是一种多路径软件,安装在虚拟化管理设备上后，可为虚拟化引擎到后端存储提供多路径功能支持负载均衡支持故障切换LUN0LUN1存储系统LUN0LUN0LUN0LUN0LUN1LUN1LUN1LUN1LUN0LUN1LUN0虚拟化虚拟化虚拟化引擎MultiPathFC交换机FC交换机控制器2控制器1难点四：主机多链路负载均衡FCHBA卡1FC交换机FCHBA卡2FC交换机LUN1LUN0应用主机IV5000LUN0LUN0LUN1LUN1LUN0LUN1虚拟化虚拟化DynaPathQuestion：针对不同的应用主机，如何部署多链路负载均衡软件，保证前端主机访问路径的高可用？Answer：DynaPath是安装在主机端，为了实现FC环境下的多路径的一种软件支持负载均衡支持故障切换难点五：统一数据管理功能虚拟存储池HA功能镜像连续数据保护跨设备数据保护跨设备数据迁移远程数据复制应用服务器虚拟化引擎存储设备Question：虚拟化存储资源整合后，能否提供统一的丰富的数据管理功能，实现跨设备、跨地域的全面数据保护？Answer：H3CNeocean虚拟化数据管理平台，在提供数据虚拟化整合的基础上，提供镜像、快照、网络复制等数据管理功能，提供丰富的数据保护解决方案。计算云和存储云LOB用户访问服务虚拟或物理服务器App1App2App3App4App5App6App7App8云管理员LOB用户访问服务Unix计算云Systemp,xzApp1App2App3App4App5App6App7App8LOB用户访问服务虚拟存储云管理员LOB用户访问服务存储云XIV/SoFS计算云:通过互联网或内部网提供给云用户的是一个可扩展的弹性的服务器(物理或虚拟),存储对用户是透明的。存储云:通过互联网或内部网提供给云用户的是一个可扩展的弹性的存储或数据服务，物理存储设备对用户是透明的。存储云技术参考架构动态基础架构OSS虚拟化管理IT服务自动化&控制BSS存储云服务管理平台业务管理存储云服务用户服务交付门户平台服务管理门户Customerin-houseIT合作伙伴云用户管理员用户业务经理云服务用户云管理员资源虚拟化平台服务器磁盘存储磁带存储服务监控/报告服务请求与目录管理服务自动化管理数据备份/归档资源管理资源部署与回收费用管理计价管理用户管理服务业务目录服务报告订单管理集群管理网络云操作员云服务开发者资源管理员服务接入文件级别的存储云服务NFSCIFSHTTPFTPGPFS+HSMSystemDirectorTSMGPFSClusterSoFSPackageLDAPorGPFSUsermgmtGPFS+SAMBA+ApachFileService从存储虚拟化走向云存储的路线图整合&虚拟化面向服务的管理管理自动化减少设备投资成本(CAPEX)资产利用率提高三倍空间节省可达80%减少维护成本(OPEX)资源部署从几个星期减少到几个小时提高标准化水平实现硬件平台的自动管理建立自我服务的门户自动响应业务的变化IT架构与业务管理紧密联系云存储存储虚拟化存储云与传统存储平台的区别块存储云文件存储云块存储用户文件存储用户LUN,iSCSILUNTargetsPOSIX(NFS,CIFS,WebDAV),快速为用户部署存储空间按实际用量计费降低存储成本(存储共享，重复数据删除，数据压缩)系统管理简单弹性扩展存储云的潜在用例面向互联网应用：流媒体、社交网站、图片非结构化数据