云计算虚拟化培训-2存储虚拟化技术

1、云计算虚拟化技术存储虚拟化技术爆炸性增长的数据全球数据量的发展2011年全球数据量 1.8 ZB1 ZB= 1024 EB= 1024*1024 PB = 1024*1024*0124TB=1024*1024*1024*1024GB问题：计算机里面的存储设备或部件有哪些？存储的类型.存储的概念存储的概念非常广泛 (Storage)，广义的存储是指基本的数据保存的概念。用于计算机设备的专用存储设备（Storage Array/Disk Array）Array 的含义 1.(军队等的)列阵U2.(排列整齐的)一批;一系列;大量存储阵列 / 磁盘阵列 网络存储阵列磁盘阵列（Disk Array）是由

2、一个或多个硬盘控制器来控制多个硬盘的相互连接，使多个硬盘的读写同步，减少错误，增加效率和可靠度的技术。 存储重要历史回顾1956年9月IBM的一个工程小组向世界展示了第一台磁盘存储系统IBM 350 RAMAC（Random Access Method of Accounting and Control），其磁头可以直接移动到盘片上的任何一块存储区域，从而成功地实现了随机存储，这套系统的总容量只有5MB，共使用了50个直径为24英寸的磁盘，这些盘片表面涂有一层磁性物质，它们被叠起来固定在一起，绕着同一个轴旋转。此款RAMAC在那时主要用于飞机预约、自动银行、医学诊断及太空领域内。1987年 -

3、 RAID 技术出现加州柏克大学的三位人员发表了名为“磁盘阵列控制器研究”的论文，正式提到了RAID也就是磁盘阵列控制器，论文提出廉价的5.25及3.5的硬盘也能如大机器上的8盘般提供大容量、高性能和数据的一致性，并详述了RAID 1至5的技术。磁盘阵列的发展过程DASD direct access storage device 直接存取存储设备JBODJust Bundle Of Disks 简单磁盘捆绑或者“磁盘簇”Disk Array磁盘阵列“Intelligent” Disk Arrays智能磁盘阵列Types of Disk Systems: DASDMainframeDiskInt

4、roduced by IBM in 1956.JBOD 阵列 - “傻盘”HostDisk Disk DiskDisk Disk Multiple physical disks in an external cabinet.Array connects to a single server only.Data not protected by JBODArray基本磁盘阵列Host BDisk 1Disk 2Disk 3Disk 4Disk 5Disk ArrayControllerArray controllers for optimized I/O operations and RAID

5、calculations.Higher speed interconnects between drives than JBODs.Multiple host I/O channels.Can be partitioned to allow each host to access its own set of drives.Host AHost CHost AHost BHost C现在的阵列产品: 智能磁盘阵列产品Disk 1Disk 2Disk 3Disk 4Disk 5Disk ArrayControllerHighly optimized for I/O processing.Cach

6、e for improving I/O performance.Operating environments provide: Intelligence for managing Cache, Array resource allocation, Host access to Array resources, Connectivity for heterogeneous HostsHost BHost AHost CDisk Storage Systems - 12智能存储系统的构成组件智能磁盘系统CacheFront EndBack EndCachePhysical DisksHostCon

7、nectivityDisk Storage Systems - 13智能存储系统: 前端Note: Include redundancy in the channels to and from the ports. 智能磁盘系统PortsHostConnectivityControllersFront EndBack EndCachePhysical DisksDisk Storage Systems - 14前端请求队列排序技术- 智能技术之一FRONTENDRequest 1Request 2Request 3Request 41234FRONTENDRequest 1Request 2R

8、equest 3Request 41324Without Command QueuingWith Command Queuing12341234Disk Storage Systems - 15智能存储系统: 缓存智能磁盘系统HostConnectivityFront EndBack EndCachePhysical DisksDisk Storage Systems - 16智能存储系统: 后端HostConnectivityPortsControllersFront EndBack EndCachePhysical Disks智能磁盘系统Disk Storage Systems - 17智

9、能存储系统: 硬盘HostConnectivityFront EndBack EndCachePhysical Disks智能磁盘系统我们对存储的要求快速寻找Storage System我们对存储的要求InterfaceBufferHBADisk DriveInternal transfer rate measured hereExternal transfer rate measured hereHead Disk Assembly高速获得我们对存储的要求 可靠RAIDControllerHard DisksLogical ArrayPhysical ArrayRAID ArrayHost“

10、A Case for Redundant Arrays of Inexpensive Disks (RAID).”如何进行磁盘空间管理Stripe 1Stripe 2StripsStrip 1Strip 2Strip 3StripeStripStripeRaid 分级0 Striped array with no fault tolerance1 Disk mirroring Nested RAID (i.e., 1 + 0, 0 + 1, etc.) 3 Parallel access array with dedicated parity disk4 Striped array with

11、independent disks and a dedicated parity disk5 Striped array with independent disks and distributed parity6 Striped array with independent disks and dual distributed parityRaid 5HostBlock 0P 0 1 2 3Block 7RAIDControllerP 0 1 2 3Block 0Block 4Block 0Block 1Block 5Block 2Block 6Block 3ParityGeneratedB

12、lock 0P 0 1 2 3Block 4P 4 5 6 7P 4 5 6 7Block 4P 4 5 6 7Block 4ParityGenerated计算IOPSTotal IOPS at peak workload is 1200Read/Write ratio 2:1Calculate IOPS requirement at peak activity forRAID 1/0RAID 5Raid 级别划分RAIDMinDisksStorage Efficiency %CostRead PerformanceWrite Performance02100LowVery good for

13、both random and sequential readVery good1250HighGoodBetter than a single diskGoodSlower than a single disk, as every write must be committed to two disks33(n-1)*100/nwhere n= number of disksModerateGood for random reads and very good for sequential readsPoor to fair for small random writesGood for l

14、arge, sequential writes53(n-1)*100/nwhere n= number of disksModerateVery good for random readsGood for sequential readsFair for random writeSlower due to parity overhead Fair to good for sequential writes64(n-2)*100/nwhere n= number of disksModerate but more than RAID 5Very good for random readsGood

15、 for sequential readsGood for small, random writes (has write penalty)1+0and0+1450HighVery goodGood 数据存储的分类IP SANMulti Protocol RouterSAN / NASFC SANLANRAID ArrayJBODInternal DAS数据如何存储Storage System - 28连接协议Tightly ConnectedEntities DirectlyAttachedEntitiesNetwork ConnectedEntities什么是DASInternal Dir

16、ect ConnectExternal Direct ConnectDAS的几种类型IDE优点：价格低廉、兼容性好SCSI优点：适应面广、高性能、同时具备内外置FC优点：带宽高、连接距离长、连接设备数量大SATA优点：一对一连接、独享带宽、支持热插拔、低电压SAS优点：兼容性好、数据传输率高SCSI的地址分类Initiator IDTarget IDLUNc0t0d0PortPortPortPortPortHostStorage ArrayTarget (Front-end port)Target t0Initiator (HBA)Controller c0d0d1d2Storage Volu

17、mesHost Addressing:Storage Volume 1 - c0t0d0 Storage Volume 2 - c0t0d1 Storage Volume 3 - c0t0d2LUNLUNLUNSAN 和 NASBLOCK访问FC SANIP SAN文件系统访问NFSCIFS什么是FC SANStorage ArrayStorage ArrayServersFC SAN高速的专用的存储连接网络提供Block级别的设备访问采用FC协议进行传输FC SAN的演变Zone的概念IP SAN使用IP协议封装和承载SCSI协议。早期的IPSAN是采用TCP/IP和FC技术相结合的方式传输

18、SCSI指令，逐渐发展成可以采用iSCSI封装技术传输SCSI指令和数据。ISCSIIETF提出的基于IP协议的技术标准不包含任何FC的内容SCSI命令和数据帧压缩为IP帧传输工作于SCSI和TCP/IP之间iSCSI帧封装什么是NASFCoIP Entire Fibre Channel Frame Over IP基于IP的光纤通道（FCIP）是连接TCP/IP网络链路上的光纤通道架构的一项IETF建议标准。FCOE以太网光纤通道（FCoE）是一个封装协议，它通过被称为融合增强型以太网（CEE）的新以太网版本，传输光纤通道存储流量。DAS、NAS、SAN剖析 主机DASFC SAN应用文件/操

19、作系统I/O 重定向器TCP/IP 协议栈NFS/CIFS网络接口卡 主机文件处理 I/ONAS IP Network网络接口卡TCP/IP 协议栈NFS/CIFS文件系统+ 逻辑卷管理器数据管理系统RAID块处理 I/O设备驱动应用逻辑卷管理器 裸卷SCSI 设备驱动块处理 I/OIP SAN应用逻辑卷管理器 裸卷iSCSI LayerTCP/IP Stack网络接口卡 主机块处理 I/O块处理 I/O IP Network FC Network网络接口卡TCP/IP协议栈数据管理系统RAID块处理 I/OFC总线卡FC协议栈数据管理系统RAID块处理 I/O应用逻辑卷管理器 裸卷SCSI

20、设备驱动FC协议栈FC总线卡设备驱动设备驱动SCSI 设备驱动 主机文件/操作系统数据库文件/操作系统数据库文件/操作系统数据库RAIDSCSI/FC 总线卡本地数据拷贝克隆生产信息克隆BCV完整映像拷贝BCVBCVBCVBCVBCVBCVBCV物理上独立的源卷时间点拷贝对应用程序性能的影响最小适合于备份恢复 测试数据库提取需要迁移的数据源亦称为业务连续性卷 (BCV)如果需要大量的克隆，成本会很可观克隆容量必须等于生产容量本地数据拷贝 快照数据的逻辑时间点拷贝基于指针的数据拷贝可能会对应用程序的性能产生一定的影响适合于备份恢复测试 管理一段时间内的数据更改比克隆便宜所需容量通常是生产容量的

21、20%2 GB 的生产容量仅需要 400 MB 的快照容量NAS 存储通常使用快照而非克隆生产信息Snap快照逻辑时间点视图快照快照快照快照快照快照快照远程复制恢复点目标 (RPO)数据丢失时，需要恢复多久之前的数据？恢复时间目标 (RTO)发生数据丢失事件之后，需要多长时间才能恢复正常运行？ RPO：恢复点目标由于灾难导致系统停机RTO：恢复时间目标周天小时分钟时间周天小时分钟同步模式1234I/OI/OACKACK从主机到本地存储系统的 I/O从本地存储系统到远程（目标）系统的 I/O从远程系统返回到本地系统的确认从本地存储系统返回到主机的确认带定期更新的异步复制1234I/OACK从主机

22、到存储系统的 I/O从本地存储系统返回到主机的确认触发事件从本地存储系统到远程（目标）系统的增量集从远程系统返回到本地系统的确认区块增量集ACK5很常用的备份/恢复方法单个磁带机可以连接到每台服务器备份可以通过 LAN 完成速度慢且容易出错，但价格低廉备份也可以通过 SAN 完成速度快但价格高昂 可以使用某种类型的磁带库随着信息量的增加，磁带的数量也必须增加，这可能导致成本高昂且难以管理安全是一个问题，因为磁带可能会丢失或被盗磁带难以保存，运输期间可能会受损特点使用磁带进行备份和恢复磁带库基本体系结构异构客户端备份服务器关键应用程序LANSANNAS (NDMP)存储节点问题：备份到磁带的速度

23、很快，但恢复起来往往要慢的多使用磁盘进行备份和恢复磁盘备份目标磁带库Backup-to-Disk 体系结构异构客户端备份服务器关键应用程序LANNAS存储节点SAN越来越普遍的备份/恢复方法备份目标可以是存储阵列中的大型 ATA 驱动器生产环境中可能使用同样的存储阵列备份目标可以是虚拟磁带库这是一个带仿真硬件和软件的存储阵列同时支持多种类型的磁带机和磁带库对于备份应用程序而言，虚拟磁带库“就像真的磁带库一样” 特点解决方案：从磁盘恢复和备份的速度一样快，因此恢复效果更好什么是存储虚拟化SNIA(存储网络工业协会)对存储虚拟化的定义： The act of abstracting, hiding

24、 or isolating the internal function of a storage (sub) system or service from applications, compute servers or general network resources for the purpose of enabling application and network independent management of storage or data. The application of virtualization to storage services or devices for

25、 the purpose of aggregating, hiding complexity or adding new capabilities to lower level storage resources. Storage can be virtualized simultaneously in multiple layers of a system, for instance to create HSM-like systems.参考译文： 通过对存储(子)系统或存储服务的内部功能进行抽象、隐藏或隔离，使存储或数据的管理与应用、服务器、网络资源的管理分离，从而实现应用和网络的独立管理

26、。 对存储服务和设备进行虚拟化，能够在对下一层存储资源进行扩展时进行资源合并、降低实现的复杂度。存储虚拟化可以在系统的多个层面实现，比如建立类似于HSM(分级存储管理)的系统。什么是存储虚拟化虚拟化的原理16857管理2客 户管理员物理资源逻辑资源为什么要存储虚拟化存储虚拟化的原动力虚拟存储池复制空间资源整合镜像快照统一数据管理迁移标准化接入存储虚拟化的目的抽象Abstract统一数据管理功能“Virtualization”降低管理难度数据跨设备流动提高可扩展性提高设备使用效率隐藏Hide隔离Isolate设备构件化1、融合：技术基础（更可靠、更可控、更灵活、更易扩展、更低成本）2、开放：个性

27、化基础（SOA的标准中间件架构和应用开发接口）3、面向应用：以应用为先导，资源动态分配、统一管理用虚拟化简化IT架构存储系统计算节点互连网络虚拟信息架构Virtual Information Infrastructure应用Applications(ERP,SCM,CRM,OA)What you haveWhat you want基础架构技术融合；面向应用的计算、网络、存储的IT资源池开放中间件，实现可定制应用与基础架构分离ESG报告表明，早期采用虚拟化技术平均每年可节约:24% 硬件成本16% 软件成本19% 管理成本如果预算共$1，000，000，花费$500，000于硬件， $ 200，

28、000于软件和$300，000于管理。存储虚拟化的价值每年可节约$209，000存储虚拟化实现模式存储虚拟化实现的结果存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式两条存储路线的斗争Scale Up & Scale OutConventional StorageClustered StorageFaster.Slower.TRAIN STOPS!TRAIN KEEPS GOING!1. 磁盘扇区的物理地址一般用C-H-S(柱面号-磁头号-扇区号）

29、表示2. 磁盘虚拟化就是将扇区地址用LBA（逻辑块地址）表示，屏蔽底层物理磁盘的概念3. 磁盘虚拟由磁盘自身固件完成4. 磁盘虚拟化的结果是使磁盘的使用者无须了解磁盘的内部硬件细节，通过块地址就可以访问磁盘磁盘虚拟化001002003004005006007磁盘虚拟化LBA1、块虚拟化是指对多块硬盘建立RAID，划分逻辑卷（LUN）。2、每个逻辑卷对于使用者都完全等同于一块物理硬盘。物理上来说，这个逻辑卷的所有数据块，都是通过RAID处理，分布在不同的物理硬盘上。3、块虚拟化的结果是使存储的使用者无须关心RAID实现的具体过程，只要象读写普通硬盘一样读写这个逻辑卷，就能获得RAID对数据的保护

30、功能。块虚拟化物理磁盘Raid、磁盘分区逻辑资源块虚拟化1.采用类似RAID的技术对多盘磁带进行条带化和校验，以期提高磁带使用的可靠性和性能2.由于磁带读写缓慢，难以满足条带和校验的需要，因此RAIT技术很少使用磁带、磁带驱动器、磁带库虚拟化VTL虚拟磁带库磁带虚拟化RAIT条带化功能多个磁带驱动器一个逻辑驱动器磁盘1.提高磁带驱动器使用效率2.加快数据备份的速度VTL将磁盘阵列虚拟为磁带库，使用户在无须改变备份习惯和现有备份软件配置的情况下，获得以下优点：1、大幅度提高性能，缩短数据备份和恢复窗口2.获得磁盘阵列的RAID保护功能，避免磁带介质故障3.持续扩展备份的性能和容量NAS虚拟化NA

31、S的特点支持异构主机成熟的网络拓扑结构高度集成的存储子系统设备简单化虚拟文件系统NFS/CIFS 客户端文件文件LANNAS设备虚拟硬盘提供专用文件系统NAS虚拟化典型产品EMCIsilonNFS, CIFS,FTP, HTTPClient/ApplicationLayerStandard GigabitEthernet LayerIsilon IQClustered Storage LayerIntraclusterCommunicationInfiniBand LayerWindowsUNIX/LINUXMAC(optional 2nd switch for additional subn

32、et)(optional 2nd switch for high availability)(optional 2nd switch)Isilon IQ Storage LayerIntracluster Communication Infiniband or GigE LayerServersClient/Application LayerNFS, CIFS,FTP, HTTP(optional 2nd switch)Standard Gigabit Ethernet LayerServersServersEMC Isilon ArchitectureWriting a File with

33、EMC Isilon(optional 2nd switch)(optional 2nd switch)ServersNFS, CIFS,FTP, HTTP(optional 2nd switch)ServersServersWorkVert-SpecificWriting a File with EMC Isilon(optional 2nd switch)WorkVert-Specific(optional 2nd switch)ServersNFS, CIFS,FTP, HTTP(optional 2nd switch)ServersServers(optional 2nd switch

34、)Reading a File with EMC IsilonWorkVert-SpecificReading a File with EMC Isilon(optional 2nd switch)ServersNFS, CIFS,FTP, HTTP(optional 2nd switch)ServersServersWorkVert-Specific存储虚拟化实现的位置存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式基于主机的存储虚拟化主要用途：

35、使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于在不同磁盘阵列之间做数据镜像保护。优点： 支持异构的存储系统。缺点： 占用主机资源，降低应用性能。 存在操作系统和应用的兼容性问题。 导致主机升级、维护和扩展非常复杂，而且容易造成系统不稳定性。 需要复杂的数据迁移过程，影响业务连续性。常见产品：Symantec Veritas VolumeManagerAgentAgentAgentAgentDAS或SAN存储网络实现方式：一般由操作系统下的逻辑卷管理软件完成（安装客户端软件），不同操作系统的逻辑卷管理软件也不相同。基于存储设备的存储虚拟化主要用途：在同一存储设备内部，进行数据保护和数据迁移

36、。优点： 与主机无关，不占用主机资源。 数据管理功能丰富。AgentAgentAgentAgentSAN存储网络虚拟化引擎实现方式：在存储控制器上添加虚拟化功能，常见于中高端存储设备。缺点： 一般只能实现对本设备内磁盘的虚拟化。 不同厂商间的数据管理功能不能互操作。 多套存储设备需配置多套数据管理软件，成本较高。 常见产品H3C IX/EX系列HP EVAHDS TagmaStorSUN 6920系列基于网络的存储虚拟化主要用途：异构存储系统整合和统一数据管理。优点： 与主机无关，不占用主机资源。 能够支持异构主机、异构存储设备。 使不同存储设备的数据管理功能统一。 构建统一管理平台，可扩展性

37、好。SAN+虚拟化引擎实现方式：通过在存储域网（SAN）中添加虚拟化引擎实现。缺点： 部分厂商数据管理功能弱，难以达到虚拟化统一数据管理的目的。 部分厂商产品成熟度较低，仍然存在和不同存储和主机的兼容性问题。常见产品H3C IV系列IBM SVCEMC VPLEXNetApp GFiler系列存储虚拟化实现技术比较主机影响主机兼容性存储兼容性业务功能性能影响可扩展性实施影响基于主机基于存储基于网络好较好较差很差存储虚拟化实现的方式存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外

38、虚拟化实现结果实现位置实现方式带内虚拟化主机层网络层存储层虚拟化引擎逻辑读写指令物理磁盘指令SAN数据读写流用途： 异构存储系统整合 统一数据管理，在业务运行同时完成复制、镜像、CDP等各种数据管理功能优点： 服务器、存储设备的兼容性好 虚拟化和数据管理功能由专用硬件实现，不占用主机资源 丰富的数据管理功能 配置简单，易于实施缺点： 虚拟化设备发生故障，整个系统将中断逻辑指令转换物理指令带内虚拟化典型产品EMC VPLEX分布式. 动态. 智能.数据中心内VPLEX LocalVPLEX Metro远距离 AccessAnywhere 同步VPLEX Geo远距离 AccessAnywhere

39、 异步VPLEX 系列使用案例可用性高可用性消除故障切换所进行的存储操作随时随地访问移动性灾难避免数据中心迁移工作负载重新平衡随时随地访问群集 A群集 B协作远距离即时和同时数据访问优化工作流程随时随地访问远距离移动和重新定位虚拟机、应用程序和数据支持跨地点并发读/写数据访问通过跨位置镜像保持可用性和无中断访问带外虚拟化主机层网络层存储层SAN注册请求存储列表注册响应建立连接，进行读写AgentAgentAgent控制信息流虚拟化引擎数据读写流用途： 一般用于不同存储设备之间的数据复制 优点： 虚拟化设备发生故障，整个系统将不会中断缺点： 主机资源占用较大 大部分产品缺乏数据管理功能 主机和存

40、储系统需要严格的兼容性认证 数据初始化同步复杂 配置复杂，实施难度高存储虚拟化的应用难点原数据卷磁盘阵列Question：如何保证虚拟化之后的数据状态不变，同时避免复杂的数据备份和迁移？Answer：SSE ( 存储服务使能）实现对已有数据的卷的虚拟化：数据状态不变访问路径不变无需数据迁移丰富的数据管理功能应用主机虚拟化之后的数据卷虚拟化信息无缝接入用户原有环境！难点一：数据状态的一致性保证难点二：多存储访问协议支持应用服务器DAS设备IP SAN设备FC SAN设备FCiSCSINFSCIFS虚拟化引擎Question：虚拟化如何同时支持IP SAN、FC SAN、NAS等多种存储访问协议？

41、Answer：虚拟化设备内置高效的多协议数据转换引擎，将来自前端服务器的多种主机数据访问单元，与后端存储阵列的存储数据访问单元，进行解析和转换，保证数据的正确读写访问。多协议数据转换引擎存储设备难点三：存储多链路负载均衡Question：针对多样化的存储阵列，如何部署多链路负载均衡软件，保证后端存储访问路径的高可用？Answer：MultiPath是一种多路径软件,安装在虚拟化管理设备上后，可为虚拟化引擎到后端存储提供多路径功能支持负载均衡支持故障切换LUN 0LUN 1存储系统LUN0LUN0LUN0LUN0LUN1LUN1LUN1LUN1LUN0LUN1LUN 0虚拟化虚拟化虚拟化引擎Mu

42、ltiPathFC 交换机FC 交换机控制器2控制器1难点四：主机多链路负载均衡FC HBA 卡 1FC 交换机FC HBA 卡 2FC 交换机LUN 1LUN 0应用主机IV5000LUN0LUN0LUN1LUN1LUN0LUN1虚拟化虚拟化DynaPathQuestion：针对不同的应用主机，如何部署多链路负载均衡软件，保证前端主机访问路径的高可用？Answer：DynaPath 是安装在主机端，为了实现FC环境下的多路径的一种软件支持负载均衡支持故障切换难点五：统一数据管理功能虚拟存储池HA功能镜像 连续数据保护跨设备数据保护跨设备数据迁移远程数据复制 应用服务器虚拟化引擎存储设备Que

43、stion：虚拟化存储资源整合后，能否提供统一的丰富的数据管理功能，实现跨设备、跨地域的全面数据保护？Answer：H3C Neocean虚拟化数据管理平台，在提供数据虚拟化整合的基础上，提供镜像、快照、网络复制等数据管理功能，提供丰富的数据保护解决方案。85计算云和存储云LOB 用户访问服务虚拟或物理服务器App1App2App3App4App5App6App7App8云管理员LOB 用户访问服务Unix 计算云System p, x zApp1App2App3App4App5App6App7App8LOB 用户访问服务虚拟存储云管理员LOB 用户访问服务存储云XIV/SoFS计算云: 通过

44、互联网或内部网提供给云用户的是一个可扩展的弹性的服务器(物理或虚拟), 存储对用户是透明的。存储云:通过互联网或内部网提供给云用户的是一个可扩展的弹性的存储或数据服务，物理存储设备对用户是透明的。存储云技术参考架构动态基础架构OSS虚拟化管理IT服务自动化 & 控制BSS存储云服务管理平台业务管理存储云服务用户服务交付门户平台服务管理门户Customer in-houseIT合作伙伴云用户管理员用户业务经理云服务用户云管理员资源虚拟化平台服务器磁盘存储磁带存储服务监控/报告服务请求与目录管理服务自动化管理数据备份/归档资源管理资源部署与回收费用管理计价管理用户管理服务业务目录服务报告订单管理集

45、群管理网络云操作员云服务开发者资源管理员服务接入文件级别的存储云服务NFSCIFSHTTPFTPGPFS + HSMSystem DirectorTSMGPFS ClusterSoFS PackageLDAP or GPFS User mgmtGPFS+SAMBA+Apach File Service87从存储虚拟化走向云存储的路线图整合 &虚拟化面向服务的管理管理自动化减少设备投资成本(CAPEX)资产利用率提高三倍空间节省可达 80%减少维护成本(OPEX)资源部署从几个星期减少到几个小时提高标准化水平实现硬件平台的自动管理建立自我服务的门户自动响应业务的变化IT架构与业务管理紧密联系云存

46、储存储虚拟化88存储云与传统存储平台的区别块存储云文件存储云块存储用户文件存储用户LUN,iSCSI LUNTargetsPOSIX(NFS,CIFS,WebDAV),快速为用户部署存储空间按实际用量计费降低存储成本(存储共享，重复数据删除，数据压缩)系统管理简单弹性扩展89存储云的潜在用例面向互联网应用：流媒体、社交网站、图片非结构化数据：通用内容存储(“云盘”): 通过POSIX进行访问，如iCloud, ThingGrid等具备与云数据同步功能的通用内容存储：数据的访问可能通过不标准的协议，如MobileMe, Google Docs, Windows Live Mesh等数据备份：把数

47、据备份到存储云，在需要的时候进行恢复数据归档和保留：把数据保存一段时间，然后安全地删除数据保存：数据保存很长一段时间，如图书馆、大学的资料等数据库：为云应用存放表数据，如Microsoft Azure Tables, Google BigTable, SimpleDB云计算需要的存储：主要为laaS服务，存放映像，应用映象等，如Amazon S3等内容分发：全球性的发布数据，减少延迟和提高扩展性云存储之间的相互操作：存储云之间的数据共享、数据复制、数据分布等Source: SNIA CloudStorage Use Case version 0.590存储云的框架 Framework物理设备层

48、设备管理层数据管理层服务接入层高可用性数据在线迁移数据备份数据归档数据合规重复数据删除内容管理专用APINFSCIFSLUN/iSCSI LUNWebDAV数据安全信息挖掘存储资源部署存储云用户Tier-1 DiskTier-2 DiskTier-3 DiskSAN SwitchTape块存储云(LUN服务)文件存储云(文件服务)IBM存储云解决方案数据快照应 用 相 关 性0100存储虚拟化91存储云建设的考虑因素数据服务的对象：公共存储云还是私有存储云？存储数据服务的种类：块存储还是文件存储？性能和吞吐量：对性能要求比较高的应用，如OLTP，服务器与存储云应该放在一起，避免网络延迟带来的影

49、响。高可用性: 99.999%的可用性需要可靠的硬件，更需要有效的系统管理手段数据安全：如何保障公共存储云上数据的安全性？数据加密？92厂商C厂商B厂商A驱动A驱动A驱动B驱动B驱动C远程镜像 ?没空间了没空间了没空间了空余空间010101010101010101010010101101001000数据迁移SAN管理控制台A管理控制台 C管理控制台 B快照?是否能利用现有的存储网络进行数据拷贝服务？管理多个存储通过多个管理接口？整合需要为新增加的存储容量购买各种功能的软件授权？存储的空间没有得到有效的利用？整合是否支持非中断的数据迁移，以及所需时间?应对7X24小时需求空间、制冷、电费？面临的

50、信息挑战在物理存储系统和服务器之间增加一个虚拟层，它管理和控制所有存储并对服务器提供存储服务。服务器不直接与存储硬件打交道，存储硬件的增减、调换、分拆、合并对服务器层完全透明。 隐藏了复杂程度 允许将现有的功能集成使用 摆脱了物理容量的局限虚拟化逻辑表现物理设备什么是存储虚拟化DS / TSStorageSubsystemEVA RAIDSAN 卷控制器SAN 文件系统NASStorageNetworkSVC SVSPGPFS EFS IBRIXp5 HypervisorVIOS/ VMFS操作系统LVMLVM ServerOperatingSystemVIOS虚拟化逻辑表现物理设备存储虚拟化

51、技术块设备访问(Storage Volume)存储集合管理VM MobilityOSOSOSHypervisorN-waySMPOSOSOSN-waySMP服务器集合管理HypervisorStorage ControllersSANSwitchesBlock Storage EnsembleStorage MobilityStorage ControllersSANSwitchesVirtualized Block Storage EnsembleStorage MobilityStorage ControllersSANSwitchesBackup & Archive EnsembleSt

52、orage ControllersSANSwitchesFile Storage Ensemble高扩展文件系统存储虚拟层文件访问(File)OSOSOSHypervisorN-waySMPTape存储的变化应该对上层应用透明，不影响上层应用的配置和运行存储虚拟化架构Time应用成长功能 扩展部分功能迁移到其他应用存储初始规划应用逐步下线部分正确定级部分正确定级快速发布简单的流程没有浪费没有浪费 应用生命周期部分正确定级主动 并且 没有痛苦的存储管理深入了解应用特性预测并消除应用QoS问题简单的初始定级简单的再定级在应用生命周期的所有阶段都有效利用空间存储服务在应用生命周期的所有阶段都可以很好

53、地匹配 业务的需求少数卓越的大型企业IO负载应用初始上线有限测试动态优化存储架构97聚集多个磁盘系统建立一个大的存储池一套拷贝服务适用于所有存储系统从一个点管理所有存储系统存储改变不影响应用VirtualDiskVirtualDiskVirtualDiskVirtualDiskSANSAN Volume ControllerAdvanced Copy ServicesStorage PoolHPEMCDS4000DS8000HDS异构环境构建存储虚拟化虚拟化存储整合解决方案Storage Virtualization客户拥有很多的异构的存储和不同平台的主机系统整体低的利用率通过提高存储的全部的

54、存储的利用率，节省电源消耗；提升IO性能和吞吐量通过统一的任务窗口对异构存储实施高级拷贝，备份和生命周期管理，降低存储管理成本IBM, HP, EMC, HDSCombined 50% utilizationStorage PoolIBM, HP, EMC, HDSCombined 80% utilizationIBM SAN Volume Controller推荐的解决方案 价值主张目标客户 IBM的虚拟化解决方案绿色策略整合存储，提高存储的利用率，降低能耗；构成一个大的存储池；采用更大容量的SATA磁盘；减少磁盘数量；相同容量的SATA磁盘的耗电是FC磁盘的一半；迁移数据，更有效的利用存储

55、；根据策略，将数据迁移到SATA磁盘上；集中备份，占用更少的存储；存储池内基于COW进行快照；4Q2007只备份变更的数据；重复数据删除技术；减少测试、开发所需的存储空间；存储池内，通过基于时间点的快照，而非克隆技术;存储空间精简配置存储按需分配；2Q2008空间、电源、制冷成本！Windows 服务器Linux 服务器UNIX 服务器计算能力和数据的孤岛不同的管理工具人工资源分配管理服务器物理整合复杂逻辑简化Windows 服务器UNIX 服务器Linux 服务器网络网络较少的设备和许可证不同的管理工具耗费大量人力的资源分配资源池 每台服务器多种操作系统快速资源分配自动管理存储虚拟化虚拟服务器、存储、网络存储服务器需要突破性技术降低复杂性简化IT存储架构网络101Hidden Cost : Storage Virtualization潛在成本：儲存虛擬化資料整合為跨單位整合的第一步!導入評量指標：資料所有權/散佈權/重覆比例資料成長量= ? PB/Year現有資料副本個數/災害復原能力商業硬體方案：EMC、NetApp商業軟體方案：IBM GPFS自由軟體方案：Lustre、ZFS、GlusterFS.預期效益：減少資料重覆(Data Deduplica