OceanStore存储与VMWare VAAI最佳实践指南

1、华为OceanStore存储与VMWare VAAI最佳实践指南目 录 TOC o 1-3 h z u HYPERLINK l _Toc528100494 1.概 述 PAGEREF _Toc528100494 h 3 HYPERLINK l _Toc528100495 1.1内容简介 PAGEREF _Toc528100495 h 3 HYPERLINK l _Toc528100496 1.2写作目的 PAGEREF _Toc528100496 h 3 HYPERLINK l _Toc528100497 1.3面向读者 PAGEREF _Toc528100497 h 3 HYPERLINK

2、l _Toc528100498 1.4用户收益 PAGEREF _Toc528100498 h 4 HYPERLINK l _Toc528100499 1.5关键组件 PAGEREF _Toc528100499 h 4 HYPERLINK l _Toc528100500 2.存储产品介绍 PAGEREF _Toc528100500 h 5 HYPERLINK l _Toc528100501 3.华为存储与 VMware VAAI 的最佳实践 PAGEREF _Toc528100501 h 5 HYPERLINK l _Toc528100502 3.1.注意事项 PAGEREF _Toc5281

3、00502 h 5 HYPERLINK l _Toc528100503 3.2.参考架构 PAGEREF _Toc528100503 h 6 HYPERLINK l _Toc528100504 3.3.操作配置 PAGEREF _Toc528100504 h 7 HYPERLINK l _Toc528100505 3.3.1.存储侧 PAGEREF _Toc528100505 h 7 HYPERLINK l _Toc528100506 3.3.2.主机侧 PAGEREF _Toc528100506 h 11 HYPERLINK l _Toc528100507 3.4.场景证实 PAGEREF

4、_Toc528100507 h 13 HYPERLINK l _Toc528100508 3.4.1.使用 NFS 共享空间作为虚拟机的存储空间 PAGEREF _Toc528100508 h 14 HYPERLINK l _Toc528100509 3.4.2.File Cloning PAGEREF _Toc528100509 h 15概 述内容简介华为 OceanStor V5 & OceanStor F V5 一体化融合存储（下文简称 V5 & F V5 存储）是面向企业级应用的新一代融合存储产品。本文档针对 V5 & F V5 系列存储 NAS 功能配套 VMware 的存储插件进行

5、阐述。聚焦如何高效利用 V5 & F V5 存储，进行 VMware 的业务部署。写作目的本文档的写作目的在于描述 V5 & F V5 存储系统 NAS 功能结合 VMware 的存储插件的配合使用，旨在为华为合作伙伴和华为用户提供参考，以期简化 IT 系统的规划部署，提升运维效率。面向读者本文档面向华为员工、合作伙伴与客户，阅读本文档，需要熟悉如下技术：华为 OceanStor V5 & OceanStor F V5 系列存储华为 DeviceManager 等软件VMware ESXi 操作系统基础知识VMware VCenter 基础知识VMware vRealize Operation

6、s ManagerVMware vRealize Orchestrator用户收益本方案提供了 V5 & F V5 存储 NAS 功能结合 VMware 存储插件的配合使用的证实解决方案，期望用户能够使用该证实解决方案，简化运维，提升存储利用率，获取最高投资回报率。关键组件本文中描述的内容基于以下硬件和软件进行描述：华为 OceanStor 5500F V500R007C00 版本存储系统VMware ESXi 操作系统VMware Vcenter 管理软件VMware vRealize Operations ManagerVMware vRealize Orchestrator存储产品介绍华

7、为 OceanStor V5 & OceanStor F V5 系列融合存储（下文简称 V5 & F V5 系列存储） 是面向企业级应用的新一代融合存储产品。凭借面向云架构的存储操作系统、强劲的 新一代硬件平台和丰富的智能管理软件，V5 & F V5 系列存储在功能、性能、效率、可靠性和易用性上都达到业界领先水平，很好的满足了大型数据库 OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求，广泛适用于政府、金融、电信、能源、媒 资等行业。同时，V5 & F V5 系列存储能够提供高效、灵活、丰富的备份、容灾解决方案，有效保证用户业务连续性和数据安全，为用户提供卓越的存储服务。图2-1

8、 华为 OceanStor V5 & F V5 融合存储更多详细信息，请查看下面的链接： HYPERLINK /cn/products/cloud-computing-dc/storage/massive-storage/5300-5500-5600-5800-v5 OceanStor 5300/5500/5600/5800 V5 混合闪存存储系统 HYPERLINK /cn/products/cloud-computing-dc/storage/massive-storage/6800-v5 OceanStor 6800 V5 高端混合闪存存储系统 HYPERLINK /cn/product

9、s/cloud-computing-dc/storage/unified-storage/5300f-5500f-5600f-5800f-v5 OceanStor 5300F/5500F/5600F/5800F V5 全闪存存储系统 HYPERLINK /cn/products/cloud-computing-dc/storage/unified-storage/6800f-v5 OceanStor 6800F V5 高端全闪存存储系统 HYPERLINK /cn/products/cloud-computing-dc/storage/unified-storage/18500f-18800f

10、-v5 OceanStor 18500F/18800F V5 高端全闪存存储系统华为存储与 VMware VAAI 的最佳实践注意事项华为存储与 VMware VAAI-NAS 功能配合使用的时候，有如下注意事项。当使用 VMware NAS 的 VAAI 功能的时候，需要在 VMware ESXi 主机上安装插件：eSDK_Storage_VAAI_NAS。该插件在使用过程中有如下注意事项。当前版本不支持 LazyClone、本机快照特性。如果源数据存储和目标数据存储位于不同 OceanStor 存储系统，复制操作将不会被卸载到存储系统上。可以从下面的地址获取华为插件 eSDK_Storag

11、e_VAAI_NAS 的相关信息。 HYPERLINK /enterprise/zh/cloud-storage/esdk-storage-plugins-pid-22130779 /enterprise/zh/cloud-storage/esdk-storage-plugins-pid-22130779同时使用该功能的时候，要求存储已经获得了对应的认证。目前，华为 OceanStor V5 存储的 VAAI-NAS 功能已经获得了相关的认证。存储产品与 VMware 的认证信息可以通过下面的链接搜索到。 HYPERLINK /resources/compatibility/search.ph

12、p?deviceCategory=san /resources/compatibility/search.php?deviceCategory=san参考架构VMware VAAI-NAS 的参考架构组网图如下所示。图4-1 VMware VAAI-NAS 参考架构图存储系统与服务器通过 10GE 组网建立连接。存储系统上提供 NFS 共享文件系统给服务器，服务器上使用该共享文件创建 datastore。通过 vCenter Server 来管理 VMware ESXi 服务器。操作配置存储侧存储系统上的资源分配流程图如下图所示：图4-2 存储系统上的资源分配流程图整体操作配置流程描述如下：存

13、储系统和主机之间建立 10GE 的物理连接。存储系统上按照规划配置逻辑端口，包括选定物理端口和配置业务 IP。存储系统上创建硬盘域。存储系统上创建存储池。存储系统上创建文件系统。存储系统上为已经创建的文件系统创建共享。下面对其中的关键步骤进行描述。创建硬盘域硬盘域（Disk Domain）即多个硬盘的组合，将硬盘整合并预留热备容量后统一向存储池提供存储资源。OceanStor V5 系列存储可以配置一个或多个硬盘域。一个硬盘域上可以创建多个存储池（Storage Pool）。一个硬盘域的硬盘可以选择 SSD、SAS、NL-SAS 中的一种或者多种。不同硬盘域之间是完全隔离的，包括故障域、性能和

14、存储资源等。硬盘域的热备容量比例与热备策略和硬盘的类型和数量相关，该比例关系由存储系统根据可靠性工程方法自动维护。OceanStor V5 系列存储系统支持 SSD、SAS、NL SAS 三种硬盘，并支持分级存储。建议使用 SSD 和 SAS 硬盘部署，不建议使用性能和可靠性较低的 NL SAS 盘。OceanStor V5 系列存储系统的硬盘域可以跨所有引擎，但基于性能考虑，不建议跨引擎创建硬盘域，以避免过于频繁的内部交换网络数据传输。OceanStor V5 系列存储系统的硬盘域可以包含多达上千块硬盘，但基于性能和可靠性考虑，建议硬盘域每存储层的硬盘数不超过 100 个。创建存储池存储池（

15、Storage Pool），是存放存储空间资源的容器，创建于硬盘域内，可以从硬盘域上动态分配资源，并定义每个存储层级的“RAID 级别”。V5 存储支持 RAID6、RAID10、RAID5、RAID3、RAID50、RAID1、RAID0 七种RAID 级别，建议按如下策略为 Oracle OLTP 数据库配置 RAID 级别。首选 RAID6，尤其是虚拟机 OS，核心业务等可靠性要求高的场景。性能的重要性高于可靠性时，建议选择 RAID10。容量的重要性高于可靠性时，建议选择 RAID5。创建存储池的界面如下图所示。创建文件系统图4-3 创建存储池创建文件系统时，为了能使存储系统的性能达到

16、最优状态，需要根据实际的数据存储情况，选择合适的策略。主要参数的推荐配置策略如下。Thin：启用 Thin 功能后，存储系统不会一次性分配已设置的容量给文件系统。在文件系统容量范围内，存储系统会根据主机实际使用的容量动态分配存储资源， 实现按需分配。建议开启。快照空间比例：文件系统快照空间占文件系统空间的百分比。建议保持默认值20%。应用场景：文件系统的应用场景，选择“VM”。其他参数：建议保持保持默认。创建文件系统的界面如下图所示。图4-4 创建文件系统创建共享创建 NFS 共享后，操作系统的客户端用户能够通过网络访问共享的文件系统，建议按如下策略。客户端选择，如果只允许少数特定的主机，则可

17、以配置 IP 或者网段；如果允许所有主机都访问，则直接配置为“*”。客户端权限选择“Read-write”读写权限，允许数据库对文件进行任意操作。写模式保持默认，选择“Synchronous”同步模式，写入共享的数据立即写入硬盘。权限限制保持，选择“no_all_squash”，保留共享文件的 UID 和 GID。Root 权限限制选择“no_all_squash”，允许客户端以 root 用户访问，root 用户具有共享目录的完全控制访问权限。源端口校验限制保持默认，选择“insecure”，允许客户端使用 11023 的端口访问 NFS 共享资源。创建共享的界面如下图所示。图4-5 共享权

18、限配置主机侧VMware ESXi 服务器上的操作流程如下：安装 eSDK_Storage_VAAI-NAS 插件创建 datastore确认 VAAI 功能已经打开下面对其中的关键步骤进行描述。安装插件VMware 主机侧需要安装 eSDK_Storage_VAAI_NAS 插件，安装包和指导手册可以从下面的地址获取。 HYPERLINK /enterprise/zh/cloud-storage/esdk-storage-plugins-pid-22130779 /enterprise/zh/cloud-storage/esdk-storage-plugins-pid-22130779创建

19、datastoreVMware ESXi 主机上选择 NFS V3 协议，其他参数解释如下：Datastore name：datastore 的名称，可以自己定义。Folder：选择之前存储系统上创建的共享文件系统。Server：添加之前存储系统上配置的逻辑 IP。创建 datastore 的界面如下图所示。图4-6 创建 Datastore确认 VAAI 开关已经打开主机上先查看 nfs 文件共享所生成的卷名称，如下所示。图4-7 查看存储卷信息rootlocalhost: esxcli storage filesystem listMount PointVolume NameUUIDMou

20、nted TypeSizeFree /vmfs/volumes/0b81d9bf-db62142enfs_withreduce0b81d9bf-db62142e true NFS879609298944 879393812480/vmfs/volumes/b0de35d5-59dd2d9anfs_noreduce_104 b0de35d5-59dd2d9a true NFS879609298944 793382764544/vmfs/volumes/5a5cd103-4087e29f-637d-90e2ba6ababc Storage_2600_35a5cd103- 4087e29f-637d

21、-90e2ba6ababctrue VMFS-5 321854111744 320832798720/vmfs/volumes/5a5cd113-bac605e2-630d-90e2ba6ababc Storage_2600_45a5cd113- bac605e2-630d-90e2ba6ababctrue VMFS-5 321854111744 234931355648/vmfs/volumes/5a74b033-82b3791a-abdc-90e2ba6ababc extend_test5a74b033- 82b3791a-abdc-90e2ba6ababctrue VMFS-510468

22、9827849544138752/vmfs/volumes/5a3d502a-1c38d6e9-9433-90e2ba6ababc datastore15a3d502a- 1c38d6e9-9433-90e2ba6ababctrue VMFS-5 590826438656 589803028480/vmfs/volumes/5a5cd120-f872e4d6-d945-90e2ba6ababc Storage_2600_55a5cd120- f872e4d6-d945-90e2ba6ababctrue VMFS-5 321854111744 320832798720/vmfs/volumes/

23、5a5cd0e6-21ff1d19-3d46-90e2ba6ababc Storage_2600_15a5cd0e6- 21ff1d19-3d46-90e2ba6ababctrue VMFS-5 321854111744 208968613888/vmfs/volumes/5a5cd0f6-74cdf5ae-f388-90e2ba6ababc Storage_2600_25a5cd0f6- 74cdf5ae-f388-90e2ba6ababctrue VMFS-5 321854111744 208968613888/vmfs/volumes/5a3d502b-3f273588-7111-90e

24、2ba6ababc5a3d502b-3f273588- 7111-90e2ba6ababctrue vfat42935910404261740544/vmfs/volumes/f1263374-abda829d-c3a5-901f31406da8f1263374-abda829d- c3a5-901f31406da8true vfat26185318470705152/vmfs/volumes/b522797b-9f10300e-a26a-c1b586ba3a77b522797b-9f10300e- a26a-c1b586ba3a77true vfat26185318470823936/vmf

25、s/volumes/5a3d5029-a4ff38d9-4eb3-90e2ba6ababc5a3d5029-a4ff38d9- 4eb3-90e2ba6ababctrue vfat29971251286228992然后使用下面的命令确认其支持 NAS VAAI 功能。rootlocalhost: vmkfstools -P -h /vmfs/volumes/0b81d9bf-db62142eNFS-1.00 file system spanning 1 partitions. File system label (if any): nfs_withreduceMode: publicCapac

26、ity 819.2 GB, 819 GB available, file block size 4 KB, max supported file size256 TBUUID: 0b81d9bf-db62142e-0000-000000000000Partitions spanned (on notDCS): nfs:nfs_withreduceNAS VAAI Supported: YESIs Native Snapshot Capable: YES rootlocalhost:场景证实证实环境中，硬件信息如下表所示。表4-1 硬件信息组件类型详细信息备注存储系统OceanStor 5500

27、F V5版本：V500R007C00SPC100主机VMware ESXi 6.0交换机HUAWEI CE6810vCenter ServervCenter 6.5从之前的介绍，可以看到支持 VAAI-NAS 和不支持 VAAI-NAS 的差异如下表所示。表4-2 支持 VAAI-NAS 和不支持 VAAI-NAS 的差异场景支持 VAAI-NAS不支持 VAAI-NAS使用 NFS 共享空间作为虚拟机的存储空间同时支持下面 3 种类型：Thick provision lazy zeroedThick provision eager zeroedThin provision只支持 Thin p

28、rovision。克隆主机的 CPU 使用率低链路带宽低克隆速率快主机的 CPU 使用率高链路带宽高克隆速率慢下面分别对这些场景进行描述。使用 NFS 共享空间作为虚拟机的存储空间当支持 VAAI-NAS 功能时，客户可以在 NFS 文件系统中创建 Thick VMDK。当不支持 VAAI-NAS 功能时，客户只能创建 Thin VMDK。操作步骤新创建一个虚拟机或者给已有的虚拟机添加新的磁盘，查看支持的硬盘格式。验证结果在已经安装 eSDK_Storage_VAAI_NAS 插件的 VMware ESXi 主机上，我们发现其支持的磁盘格式如下：图4-8 安装 eSDK_Storage_VAA

29、I_NAS 插件的服务器所支持的硬盘格式可以发现，在安装 eSDK_Storage_VAAI_NAS 插件的 VMware ESXi 主机上，其支持如下 3 种硬盘格式。Thick provision lazy zeroedThick provision eager zeroedThin provision在该场景下，NFS 共享文件并不支持存储的负载卸载，如果选择“Thick provision eager zeroed”，则可以发现链路上会有大量的 IO。这里我们给主机分配两块磁盘，一个类型为“Thick provision eager zeroed”，另外一个类型为“Thin provision”。如果需要查看“Thin provision”磁盘已经分配的空间，则可以在 VMware ESXi 虚拟机上执行下面的命令进行查看：rootlocalhost: vmkfstools -extendedstat /vmfs/volu