存储虚拟化技术详解

1、存储虚拟化技术详解技术创新，变革未来存储模型虚拟化存储连接存储虚拟化原理存储虚拟化特性存储虚拟化常用功能存储概念存储资源存储资源表示物理存储设备，例如IPSAN、Advanced SAN、NAS等。存储设备存储设备表示存储资源中的管理单元，类似LUN、 Advanced SAN存储池、NAS共享目录等。数据存储数据存储表示虚拟化平台中可管理、操作的存储逻辑单元。FusionStorageOceanstor9000OceanstorV3LUN共享文件夹DataStore华为云计算存储模型逻辑对象物理实体存储资源存储设备存储设备存储池LUN数据存储数据存储卷卷FusionStorageSAN本地磁

2、盘NAS共享目录存储资源选择存储资源类型，FCSAN，IPSAN，NAS，Advanced SAN，FusionStorage。FusionCompute对接存储资源的管理接口，包括IP地址，用户名密码等。根据不同类型存储资源进行配置。存储资源类型0102关联存储资源到主机选择存储资源需要关联的主机。使用IPSAN时需要在FusionCompute中导出主机的WWN号，用于后续在存储上配置主机启动器。存储设备存储设备包括LUN, 本地磁盘，Advanced SAN存储池，FusionStorage存储池和NAS共享目录。存储设备需要在存储侧创建。创建存储设备0102发现存储设备在存储侧需要将存

3、储设备通过链路关联到主机。存储设备需要在FusionCompute中进行扫描来发现。数据存储数据存储是在存储设备上创建的逻辑管理单元：数据存储需要创建在指定的存储设备上，且一个存储设备只能创建一个数据存储。数据存储和主机关联，为主机提供资源，数据存储可以关联到多个主机，一个主机也可以使用多个数据存储。数据存储的使用：存储设备必须被添加为数据存储才能被使用。数据存储可用于存放虚拟机磁盘、快照文件。数据存储的大小依赖于存储设备的大小。存储模型虚拟化存储连接存储虚拟化原理存储虚拟化特性存储虚拟化常用功能FCSAN存储场景存储资源：OceanStor V3存储SAN网络，光纤连接，使用光纤交换机存储设

4、备：LUN，常见为共享存储方式，LUN挂载给多台主机服务器通过HBA卡连接到SAN网络FusionComputeFusionComputeDatastore1FusionCompute中使用存储设备创建数据存储如“Datastore1”虚拟机磁盘文件直接存放在数据存储中iSCSI存储场景存储资源：OceanStor V3存储LAN网络，TCP/IP连接，以太网交换机存储设备：LUN，常见为共享存储方式，LUN挂载给多台主机服务器通过网卡连接到LAN网络FusionComputeFusionComputeDatastore1FusionCompute中使用存储设备创建数据存储如“Datastor

5、e1”虚拟机磁盘文件直接存放在数据存储中NAS存储场景存储资源：OceanStor V3存储LAN网络，TCP/IP连接，以太网交换机存储设备：共享文件夹，常见为共享存储方式，共享文件夹映射给多台主机服务器通过网卡连接到LAN网络FusionComputeFusionComputeDatastore1FusionCompute中使用存储设备创建数据存储如“Datastore1”虚拟机磁盘文件直接存放在数据存储中虚拟化的存储栈存储虚拟化技术可以将不同存储设备进行格式化，屏蔽存储设备的能力、接口协议等差异性，将各种存储资源转化为统一管理的数据存储资源，可以用来存储虚拟机磁盘、虚拟机配置信息、快照等

6、信息，使得用户对存储的管理更加同质化。用户虚拟机用户虚拟机后端卷挂载驱动前端驱动前端驱动虚拟磁盘文件通用块层驱动层SANNAS主机内核空间本地磁盘文件系统主机用户空间用户态挂载驱动存储模型虚拟化存储连接存储虚拟化原理存储虚拟化特性存储虚拟化常用功能文件系统文件系统作用在于提供文件操作接口，屏蔽存储设备的差异，为虚拟化卷文件提供存放空间。当前FusionCompute所使用的文件系统为：VIMS、EXT4、NFS。所需存储设备是否创建文件系统是否支持共享是否支持延迟置零卷VIMSLUN是是是EXT4本地磁盘是否是NFS共享目录否是否VIMS (Virtual Image Manage Syste

7、m)VIMS高性能集群文件系统，是Thin Provisioning、快照、存储迁移等高级特性的技术基础。兼容FC SAN、IPSAN、NAS、本地磁盘。支持固定空间磁盘、动态空间磁盘、差分磁盘等。应用场景需要存储迁移、快照、链接克隆等高级存储特性虚拟机。FC SAN文件系统NAS文件系统IP 网络ISCSI SANFC 交换机物理机物理机本地磁盘虚拟磁盘文件VHD镜像格式是FusionCompute实现精简卷、快照等功能的基本载体，实现了FusionCompute虚拟机镜像数据的基本储存 功能。虚拟机的一个虚拟磁盘对应一个VHD文件。虚拟磁盘文件的格式：固态磁盘文件动态磁盘文件差分磁盘文件

8、Datastore1固态磁盘文件创建时需要将磁盘文件对应的存储块空间全部进行初始化成”0”，创建速度慢，IO性能最佳；用于对IOPS要求较高的场景。磁盘大小恒定，创建后使用空间和预留空间相等。未写满的时候内部空间包含大量0，数据冗余度很高。应用在系统中的普通卷。0扇区 最后一个扇区数据区磁盘属性信息动态磁盘文件创建时只需写头和结束块，创建速度块，IO性能较差；应用于精简磁盘和普通延迟置零磁盘。磁盘大小会随着用户写入数据而增长，但不随着用户删除数据而缩减，只能通过磁盘空间回收来手动缩减应用在系统中的精简磁盘空间。通过工具可以和静态磁盘互相转换；例如，可以从一个精简磁盘的模板部署一个普通磁盘的虚拟

9、机。0扇区12m扇区n0n1最后一个扇区属性信息位表0数据区0位表1数据区1属性信息差分磁盘文件差分磁盘的结构和动态磁盘一模一样，只是文件头中会记录它的父文件路径。差分卷不能独立存在，必须能够访问到父文件才能正常工作。差分卷也可以成为父文件。差分磁盘的特性和动态盘类似，但是很多业务有限制。差分磁盘以块为单位记录相对于父文件的修改。配合快照、非持久化磁盘、链接克隆等功能被使用，起到保护源盘不被修改，并可以跟踪虚拟机磁盘差异数据的作用。0扇区12m扇区12K扇区n0n1最后一个扇区属性信息父文件信息位表0数据区0位表1数据区1属性信息存储模型虚拟化存储连接存储虚拟化原理存储虚拟化特性存储虚拟化常用

10、功能精简磁盘和空间回收功能特性支持创建精简磁盘，可以随着用户使用而自动分配空间。膨胀的精简磁盘不会随着用户删除数据而缩小，使用空间回收工具可以将用户删除的数据空间释放到数据存储。适用场景精简磁盘可应用于局点运行初期，用户磁盘使用率低的情况。能够降低初始存储投资及维护成本。存储设备只保存有效数据，不保存预留空间，可以提高存储资源利用率。空间回收可以提高精简磁盘的使用/分配比，提高存储利用率。分配但未使用未使用精简配置在主机上占用的容量 ：21TB2TB2TB2TB6TB5TB4TB分配且已使用在主机上占用的容量 ：15TB4TB6TB5TB使用精简配置未分配分配已使用快照原理和应用快照功能特性快

11、照记录了虚拟机在某一时间点的内容和状态。通过恢复虚拟机快照使虚拟机多次快速恢复到这一时间点。快照包含磁盘内容、虚拟机配置信息、内存数据。多次快照之间保存差量数据，节约存储空间。适用场景虚拟机用户在执行一些重大、高危操作前，例如系统补丁，升级，破坏性测试前执行快照，可以用于故障时的快速还原。用户触发的创建快照和恢复快照操作。存储虚拟化的快照创建快照时会生成一个新的差分卷，虚拟机会挂载这个差分卷作为磁盘文件，虚拟机的读请求会重定向到源卷中。创建快照采用了ROW（Redirect on write）技术，快照后的写操作会进行重定向，所有的写IO都被重定向到新卷中。所有旧数据均保留在只读的源卷中。磁盘

12、文件快照文件（原磁盘文件）磁盘文件读写操作读操作写操作快照前快照后快照链磁盘做多个快照后，会产生一个快照链。虚拟机卷始终挂载在快照链的最末端。VOLSNAP1VOLSNAP1SNAP2VOL快照前第一次快照第二次快照VMVMVM链接克隆链接克隆功能特性链接克隆技术是一种通过将源卷和差分卷组合映射为一个链接克隆卷，提供给虚拟机使用的技术。一个链接克隆模板可以创建多个链接克隆差分卷，对应创建多个链接克隆虚拟机。新创建的差分卷占用空间很小，随着虚拟机的使用，空间会逐渐膨胀。适用场景能够快速、批量部署虚拟机。对于类似的虚拟机，公用的数据可以放在模板中，提高存储利用率。链接克隆图解10101101011

13、010110101101010110101001011010110101101111011110110100101111010110101VM1差分卷VM2差分卷VM1链接克隆卷VM2链接克隆卷虚拟机虚拟磁盘文件迁移虚拟机虚拟磁盘文件迁移功能特性存储虚拟化支持将虚拟机的磁盘从一个数据存储迁移到另一个数据存储。可以将虚拟机的所有磁盘整体迁移，也可以单个磁盘分别迁移。虚拟机的快照可以一起迁移。虚拟机开启或者关闭时都可以迁移。适用场景将数据存储的所有卷迁移后，可以对数据存储进行减容。可以调整数据存储之间的负荷。 CNA数据存储1数据存储2VMVMVM存储热迁移原理在目的存储上创建一个与源相同的空镜像

14、文件。将目的存储的镜像文件设置为源镜像文件的mirror，使虚拟机的IO写也能落盘在目的存储上，保证了脏块数据的同步。通过迭代迁移的技术，将源镜像的数据迁移到目的镜像中，保证了基线数据的同步。在基线数据同步完成后，短暂的时间内暂停虚拟机的IO请求，将虚拟机的存储文件从源镜像切换到目的镜像上，这样就完成了存储的迁移。存储热迁移同时迁移虚拟机磁盘镜像和系统内存状态。存储虚拟化文件系统通用块层SCSISATANFS协议VHDVHD存储虚拟化Vol ManagerSCSIVolumeVolumeXVELUNSANlocaldisk存储热迁移+流控存储模型虚拟化存储连接存储虚拟化原理存储虚拟化特性存储虚

15、拟化常用功能数据存储扩容原理存储网络存储设备存储设备数据存储原有LUN新LUN虚拟机磁盘扩容虚拟机磁盘扩容功能特性可以在不影响虚拟机磁盘现有数据的情况下，将虚拟机磁盘容量扩大。支持系统磁盘和用户磁盘的扩容，但分区合并需要操作系统支持（XP和WIN7支持用户分区扩容）或第三方工具。部分操作系统支持进行在线磁盘扩容。适用场景初始磁盘分配空间时，可以按需分配，后续不够了可以进行扩容，提高存储设备利用率。注意点：虚拟化存储支持以磁盘扩容的方式，增加虚拟机存储空间。非虚拟化存储场景下，只能通过增加独立的磁盘来实现。磁盘裸设备映射存储直通技术（又称裸设备映射，RDM）为虚拟机提供了一种机制来直接访问物理存

16、储子系统（IPSAN或FCSAN）上的LUN，VM的业务能够直接访问存储设备或直接对存储设备下发控制命令。技术特点虚拟机直接通过SCSI命令操作裸存储设备。兼容FC光纤存储和IP SAN存储。通过使用裸设备映射，可以让虚拟机识别SCSI磁盘，实现在虚拟机内部下发SCSI命令，交给主机然后透传给存储设备进行处理，最后将应答返回。适用场景集群系统软件，降低大量使用物理服务器的成本比如Oracle RAC或MSCS 。FusionComputeLUNSCSISCSISAN存储设备LUNLUNLUNAppAppAppAppSCSISCSI设置虚拟机磁盘IO上限特性功能：支持查询虚拟机各磁盘实时的IO数据。支持设置磁盘的最大BPS（每秒读写字节数）和最大IOPS（每秒处理IO个数）。所有存储类型的虚拟机，都能设置IO上限值，该设置在pvdriver运行时生效。适用场景：设置非重要虚拟机磁盘的IO上限，保证在这些虚拟机业务量大时，不会影响到重要的虚拟机业务。业务IOBlock fronteddriverGuset OSGuest 1业务IOBlock fronteddriverGuset OSGuest 2Block backdriverTask controlBlock backdriverTas