vsan6.1poc指南VMware存储与可用性业务部门

VirtualVirtualSAN6.1简 准备工 这一点为何重要 硬件、驱动程序和固 外来驱动程序与自带驱动程序（随ESXi提供并在VCG上列出 磁盘使用RAID-0还是直通模 控制器配 VIRTUALSAN网络设 为VirtualSAN创建VMkernel端 在群集上启用VIRTUAL 手动磁盘-创建磁盘 启用VIRTUALSAN运行状况检查插 这一点为何重要 创建群集后查看网络分区 使用运行状况检查插件验证VirtualSAN功 使用《故障排除参考手册》验证网络功 VSPHERE在VIRTUALSAN上的功 将NFS数据挂载到主机 使用StoragevMotion将虚拟机从VirtualSAN迁移到另一个数据类 使用StoragevMotion将虚拟机从另一个数据类型迁移到Virtual 横向扩展VIRTUAL VMware与可用性业务部门文档 验证新的VIRTUALSAN数据的容 虚拟机策略和VIRTUAL 策 VIRTUALSAN10.1VIRTUALSAN群 10.2VIRTUALSAN群集中的虚拟设 默认的VIRTUALSAN警 使用VSANOBSERVERVIRTUAL 性能测 单工作线程和多工作线 工作 顺序工作负载与随机工作负 未完成 块大 缓存预热注意事 混合配置中的磁盘驱动器数 条带化注意事 客户机文件系统注意事 故障和重新构建期间的性 从哪里获取 部署 定义测试工作负载的注意事 结 测试硬件故 虚拟机打开电源，但虚拟机主页命名空间对象不可虚拟机打开电源，但磁盘对象不可 预期行 从ESXI主机意外拔出 预期行 预期行 预期行 拔出磁盘/容量层SSD并在超时之前装 拔出磁盘/容量层SSD并在超时之前未装 拔出缓存层SSD且不重新/装 清除错 缺乏资 底层故 VIRTUALSAN管 打开和关闭磁盘 VIRTUALSAN6.1延伸群集配 添加静态路由 添加静态路由 添加静态路由 VSPHEREHA设 主机响 接入控 高级设 VIRTUALSAN延伸群集网络故障切换情 触发事 发生故障时的群集行 结 修复故 触发事 发生故障时的群集行 结 修复故 触发事 发生故障时的群集行 结 修复故 信 VMWAREVIRTUALSAN社 VMWARE支 附录A-容错 附录B-从标准VSWITCH迁移到DISTRIBUTED 迁移 迁移VIRTUALSAN网 简VMware®VirtualSAN准备工署VirtualSAN时支持的硬件配置以及注意事项，请参见《VMwareVirtualSAN6.0全闪存或VirtualSAN6.0在期间迁移走一个节点上的所有数据。这是因为三节点群集上的虚拟机无法配更大的群集，我们强烈建议您测试四节点或四个以上节点。有关三节点群集的中的具体建议有关。此联机工具会定期更新，确保客户始终都可以从VMware获VCG针对器I/O控制器、SSD、PCI-E闪存卡及磁盘驱动器的硬件型号给BIOS设置。《VMwareVirtualSAN诊断和故障排除参考手册》包含使用“esxclihardwarepcilist”和“vmkload_mods”I/O控制器的驱动程序版外来驱动程序与自带驱动程序（ESXiVCG上列出（也可能未通过）VirtualSANVCG能。为此，请定期查阅VCG，确认有无驱动程序和固件更新。尽管已经对此作了详细说明，但人们有时还是会忘记VirtualSAN无法已经有VirtualSAN时，请确保检查磁盘，确认它是RAID-0法禁用时将缓存设为100%。对于特定供应商控制器上的其他特有功能，例HPSSDSmartPath，我们也建议您禁用。在许多情况下，这些功能只能从控制器的BIOS进行禁用。vSphere如果您正在考虑评估VirtualSAN，强烈建议您使用的软件版本。VMwarevSphere6.0u1VirtualSAN6.1VirtualSAN概念证明设置的假设条件和必备vMotionVirtualSANVirtualSAN储，例如NFS或VMFS。这是可选的概念证明练习。图3.1：初始管理、虚拟机和vMotion网络都通过各自的上行链路通过VSS（标准虚拟交换在此概念证明示例中，VirtualSANVSSvSwitch1上，而且该VSS在此配置中有许多条上行链路。您不一定非要采用这种设计，而且如果您愿创建VirtualSANVMkernel网络接口的步骤。为VirtualSAN网络使用一个1GbE网卡被视为最佳做法。使用10GbE网络图3.4：初始主机网络配置示例如何从VSS迁移到DistributedSwitch。VirtualSAN网络设VirtualSAN概念证明时都应该熟读《VMwareVirtualSAN6.0vSphere5.5VirtualSANVMkernel端口类型。以下示例说明了如何在ESXi主机上配置VirtualSAN网络。DistributedSwitch相比标准交换机的优NetworkI/OControlNIOC)VirtualSAN流量上提(QoS)DistributedVirtualSwitchDVS)。如果您不打算使用NIOC，则可使用标准交换机(VSS)进行评估。VirtualSANVMkernel在许多部署中，VirtualSANvMotionSwitchNetworkI/OControlVirtualSAN流量提供服务质量(QoS)。该功能仅在使用DistributedSwitch时可用。VirtualSAN证还包括使用DistributedSwitch的，即便是在较低版本的vSphere上也是如此（只能在启用了VirtualSAN的群集中使用）。vSwitchVirtualSAN流量的上行链路。在本示例中，已经为VirtualSAN流量创建了具有1Gbe网图4.1：添加主机网确保已选择“VMkernel网络适配器”图4.2：选择“VMkernel网络适配器”VirtualSANvSwitch。在该示例中，已有的vSwitch1包含用于VirtualSAN流量的上行链路。如果您的环境中尚未进行此配置，您可以使用已有的交换机或选择创建新的标准vSwitch的选项。如果只能使210GbE上行链路，不妨使用同一个VSS。如果您有很多条上行链路，而的流量使用具有自己上行链路的不同VSS时，管理起来也会比较容易。网络上行链路，那么如下所示，可以使用“浏览”按钮选择该vSwitch。图4.3：使用“浏览”按钮选择现有标准交换图4.4：选择图4.5：显示选择的图4.6：默认端口属4.7VirtualSAN流量配置的端口属在以上示例中，指定的网络为“VirtualSAN”，而且VirtualSAN流量不会在将此VLAN从“(0)”更改为相应的VLANID。条件和必备条件一节所述，您应该在开始前就获得此类IP地址和子网掩码。此时，您只需添加这些信息即可，即如下所示，单击“IPv4设置”为每台主IPDHCPIP地址，请保留默认设置“自动获取IPv4设置”。图4.8：IP地址和子图4.9：检查复此操作，包括目前不在群集中但稍后将用于VirtualSAN的主机。vSwitchDistributedvSwitchvSwitchVSS迁移到DVS的步骤。在群集上启用VirtualVirtualSANvSphereWebClient中点击几下鼠标即可完VirtualSANVirtualSANESXi主机上的所有未使用本地，或者您（作为管理员）是否要决定哪些物理磁盘和闪存设备用于VirtualSAN数据。>“设置”>“VirtualSAN”>“常规”要启用VirtualSAN，请在vCenter中选择群集对象，然后依次选>“设置”>“VirtualSAN”>“常规”只需单击“编辑”按钮，即可开始启用VirtualSAN的流程。这将打开以下弹出窗口，从中使用打开VirtualSAN的选项，然后手动或自 图图5.4： 中添加磁成。在以下示例中，已选择手动磁盘，以便在概念证明期间了解VirtualSAN磁盘组。手动磁盘-创建磁盘现在，VirtualSAN未闪存设备或磁盘。目前，VirtualSAN的“常规”视图类似于下图图图5.5：VirtualSAN已启用，但尚 磁盘或闪存设VirtualSAN格式版本和旧版磁盘有关的所有警告均可忽略。这些警下一步是为VirtualSAN一些和闪存设备并创建磁盘组这里有几个关于磁盘组的图标需要进一步解释表5.1：磁盘组图图 将磁盘添加到磁盘图5.7：创建的磁盘它还应当显示VirtualSAN数据的总容量，在本例中约为812GB。即6x图5.8：磁盘格式版VirtualSAN运行状况检查插VirtualSAN6.0GA版本起，我们发布了一个名为“运行状况检查”的详细信息，请参阅《VMwareVirtualSAN运行状况检查插件指南》。从vSphere6.0Update1和vCenter6.0Update1开始，运行状况检查插件预装在vCenter中并且作为VIB预装在每个ESXi主机上。您只需在启用VirtualSAN次单击群集的“管理”选>“设置”>“VirtualSAN”>“运行状况”。启用后，VirtualSAN6.1中的全新运行状况检查服务在默认情况下每小时运行一次，但也可以在 >“VirtualSAN”>“运行状况”来运行此服务。图6.1：管理VirtualSAN运行状在中选择了已启用VirtualSAN的群集对象后，导航到“”选>“Virtual项目都会像下图6.2所示显示为已通过。图6.2：运行状况检查顶级列表VirtualSANVirtualSANVirtualSAN群集中每（在“VirtualSAN群集”>“管理”选>“设置”下可找到）提供关于您的群集中是否有网络分区的即时信息。如果网络正常运行，所有主机都将在组1中。仅当正确配置了多播路由时，VirtualSAN才有多个分区组。请参阅“群集”>“”>“Virtual图6.3：网VirtualSAN耗时。幸运的是，VirtualSAN6.0支持一个新的运行状况检查插件，而其中的一VirtualSAN配置错误问图6.4：网络运行状况检查项目详情咨询VMwareVMware知识库文章，其中对问题进行VirtualSANvmknic图6.5：网络运行状况故障示例VirtualSANVMware(VCG)》检查硬件，验证网络连接况。仅在您开始将虚拟机部署到VirtualSAN数据后，数据运行状况才变得有图6.7：扩展运行状况检查插件的之间的网络连接。这其中就包括vmk和tcpdump-uw。《VMwareVirtualVirtualSAN功能的不同部分。VirtualSAN（包括运行状况检查功能）现已成功部署。本概念证明指南的其vSphere在VirtualSAN上的功在本节中，虚拟机使用默认策略部署到VirtualSAN数据中。此默认策图7.1：虚拟机策从这里，选择“VirtualSAN默认策略”，然后选择“管理”选。在“管理”选项卡下，选择规则集1：VirtualSAN，以便查看策略设置：7.2：规1：VirtualSAN（默认策略0%，意味着对象应“精简”部署。部署虚拟机后，我们将验证VirtualSAN是否遵循这两项功能。用容量。这可以从“VirtualSAN群集”>“管理”选>“设置”>“常规”视图中查看。在此概念证明中，可用容量为811.95GB。图7.3：VirtualSAN数据的当前可用容图7.4：新建虚图7.5：创建新虚拟图7.6：选择图7.7：选择计算资在下一个菜单中，您可以选择VirtualSAN数据，而“默认数据”策略实际上将指向前面看到的“VirtualSAN默认策略”。图图7.8：选择VirtualSAN默 策 有VirtualSAN数据 能够理解VirtualSAN默认策略中的策略设置，因此，它是数据列表中唯一显示为兼容的数据。图7.10：选择ESXi兼容性（单击“下一步图7.11：选择客户机操作系统（单击“下一步图7.12：自定义硬件（单击“下一步图7.13：完成虚拟机创建操作创建虚拟机后，选择中的新虚拟机，导航到“管理”选，然后选择“策略”。规状态，意味着VirtualSAN能够根据策略设置部署这些对象。图7.14：虚拟机符合策略设置要进行验证，请导航到“”选，然后选择“策略”。再次说明，这里应显示“虚拟机主页”和“硬盘1”。选择“硬盘1”，然后在窗口下方，选择“物理磁盘放置”选项像副本。此外，还应注意，不同组件位于不同主机上。这意味着符合允许1个故图7.15：物理磁盘放置位置显示对象的底层布局的信息，请参考《VMwareVirtualSAN6.0设计和大小调整指南》。据上预留多少空间。默认情况下，设置为0%，表示虚拟机的对象完全图7.16：创建虚拟机后的可用容量目前为止仅使用了一丁点VirtualSAN数据，这证实0%（本质上为精简配快照虚图7.17：拍摄虚拟机快照图7.18：提供快照名称和可选描述下拉窗口中的附加操作将变得可用。例如，这里会有一项新的“恢复为快照”操图7.19：新建快照操作图7.20：管VMDKUI查(RVC)。要熟悉RVCVirtualSANVMwareRubyvSphere控制台命令参考》。 /ie-vcsa-09.ie.local/VSAN6-DC/vms>vsan.vm_object_info1VMVSAN6-poc-test-vm-1:NamespaceDOMObject:95122555-8061-3328-cf10-001f29595f9f(v2,owner:cs-ie-h01.ie.local,policy:forceProvisioning=0,hostFailuresToTolerate=1,spbmProfileId=aa6d5a82-1c88-45da-85d3-3d74b91a5bad,proportionalCapacity=[0,100],spbmProfileGenerationNumber=0,cacheReservation=0,stripeWidth=1)Component:96122555-80ad-3c97-dadf-001f29595f9f(state:ACTIVE(5),host:cs-ie-h01.ie.local,md:52fc637f-ecf9-2b53-ff31-9e8d75d2b43f,ssd:528ba019-e369-151e-01b3-26b103d7de0f,votes:1,usage:0.3Component:96122555-dc90-3e97-9c6f-001f29595f9f(state:ACTIVE(5),host:cs-ie-h02.ie.local,md:52edaed1-2b04-b3af-ba3f-2b03ebaa9fce,ssd:521963f0-33f5-eaaf-d2e1-f7a218b13be4,votes:1,usage:0.3Witness:96122555-fc7b-3f97-5d9a-001f29595f9f(state:ACTIVE(5),host:cs-ie-h03.ie.local,md:527aade4-cec7-0661-b621-6e22d69c3042,ssd:52a4acab-f622-6025-bee3-746d436627cf,votes:1,usage:0.0Diskbacking:[vsanDatastore]95122555-8061-3328-cf10-001f29595f9f/VSAN6-poc-test-vm-1-DOMObject:2a2a2555-946f-292b-2e23-001f29595f9f(v2,owner:cs-ie-h01.ie.local,policy:spbmProfileGenerationNumber=0,forceProvisioning=0,cacheReservation=0,hostFailuresToTolerate=1,stripeWidth=1,spbmProfileId=aa6d5a82-1c88-45da-85d3-3d74b91a5bad,proportionalCapacity=[0,100],objectVersion=2)Component:2a2a2555-8ce3-a171-fb8e-001f29595f9f(state:ACTIVE(5),host:cs-ie-h01.ie.local,md:5255fd2b-83cc-911f-452b-13b4ca74e03e,ssd:528ba019-e369-151e-01b3-26b103d7de0f,votes:1,usage:0.0Component:2a2a2555-78d0-a371-b90d-001f29595f9f(state:ACTIVE(5),host:cs-ie-h02.ie.local,md:52edaed1-2b04-b3af-ba3f-2b03ebaa9fce,ssd:521963f0-33f5-eaaf-d2e1-f7a218b13be4,votes:1,usage:0.0Witness:2a2a2555-ce29-a571-da2b-001f29595f9f(state:ACTIVE(5),host:cs-ie-h03.ie.local,md:527aade4-cec7-0661-b621-6e22d69c3042,ssd:52a4acab-f622-6025-bee3-746d436627cf,votes:1,usage:0.0Diskbacking:[vsanDatastore]95122555-8061-3328-cf10-001f29595f9f/VSAN6-poc-test-vm-DOMObject:97122555-78d5-5580-bffc-001f29595f9f(v2,owner:cs-ie-h03.ie.local,policy:forceProvisioning=0,hostFailuresToTolerate=1,spbmProfileId=aa6d5a82-1c88-45da-85d3-3d74b91a5bad,proportionalCapacity=0,spbmProfileGenerationNumber=0,cacheReservation=0,stripeWidth=1)Component:98122555-3ec9-d1d6-01f4-001f29595f9f(state:ACTIVE(5),host:cs-ie-h02.ie.local,md:52edaed1-2b04-b3af-ba3f-2b03ebaa9fce,ssd:521963f0-33f5-eaaf-d2e1-f7a218b13be4,votes:1,usage:0.0Component:98122555-5c6f-d3d6-55a7-001f29595f9f(state:ACTIVE(5),host:cs-ie-h03.ie.local,md:523de844-6b48-6bda-44ad-c28df042c16e,ssd:52a4acab-f622-6025-bee3-746d436627cf,votes:1,usage:0.0Witness:98122555-2028-d4d6-6ee6-001f29595f9f(state:ACTIVE(5),host:cs-ie-h01.ie.local,md:5255fd2b-83cc-911f-452b-13b4ca74e03e,ssd:528ba019-e369-151e-01b3-26b103d7de0f,votes:1,usage:0.0/ie-vcsa-09.ie.local/VSAN6-名空间（虚拟机主页）VSAN6-poc-test-vm-1.vmdk，还有了快照增量VSAN6-poc-test-vm-1-000001.vmdk。快照增量在上文中用蓝色突出显示。stripeWidth1，hostFailuresToTolerate为1，而且对象空间预留（在这里显示为proportionalCapacity）为0%。图7.21：管理快照…快照已删这将完成此概念验证过程的快照部分。VirtualSAN数据中的快照非常直观，因为它们利用了vSphere本机快照功能。从VirtualSAN6.0开始，它们使用“vsansparse”技术高效快照，因此相比VirtualSAN5.5，快照性能有明显改善。在VirtualSAN6.1中，快照链最多有16个快照。克隆虚图7.22：克图7.23：选择名称和文件VirtualSAN图7.24：选择计算资源vsanDatastore上，将为您预选择此。图图7.25：选图7.26：选择选项（不选中此项-默认设置作。虚拟机任务，了解克隆操作状态。图7.27：即格式，VirtualSANVirtualSANVirtualSAN首先，确定虚拟机目前驻留在哪个ESXi主机上。选择虚拟机的“”选可了图图7.28：虚拟机 ”–显示主右键单击虚拟机，选择迁移图7.29：迁图7.30：仅更改计算资源图7.31：选择目标主机图7.32：选择目标网络图7.33：优先级可以保留为高（默认图7.34：验证虚拟机已迁移到新主机可以与VirtualSAN很好地协同运行。可选：使用StoragevMotion在数据之间迁移虚拟试。如果可行，该测试的目标是将虚拟机从另一个数据类型迁移到VirtualSAN。VMFS数据甚至可以是主机上的本地VMFS磁盘。将NFS数 《vSphere6.0管理员指南》中介绍了将NFS数据 步骤。请参阅在vSphereClient中创建NFS数据 目前，虚拟机驻留在VirtualSAN数据上。启动迁移向导，就像我们在上一个练习中做的那样。然而，这一次，为了将虚拟机从VirtualSAN数据迁移到其图图7.35：仅 图图7.36值”，因为NFS数据不会理解VirtualSAN策略设置。图7.37：即图图7.38现在，使用StoragevMotion将虚拟机迁移回VirtualSAN数据，证明vMotion迁移虚拟机”可选部分。在迁移过程中可以选择不同的策略。StoragevMotionVirtualSANVirtual图图8.1：当 状图8.2：VirtualSAN数据的总容量和可用容VirtualSAN现在，向VirtualSAN群集添加第四个主机如果未设置，请重新回到第5节，在第四个主机上设置VirtualSAN网络。图8.3：将图8.4：选择要移动到群图8.5：资源图8.6：资源4个主机。然而，您还会发现，VirtualSAN数据的总容量和可用容量并未发生变化。这是因为群集已在第6节中配置为“手动”模式。因此，VirtualSAN不会自动任何磁盘。您需要为新主机创建磁盘第四个主机存在任何问题，请使用VirtualSAN运行状况检查来查看问题所在位6.2节已对此过程做了说明。导航到“磁盘管理”图8.7：创建新磁盘图8.8：选择闪存和容量设创建磁盘组后，应重 创建磁盘组后，应重 图8.9：查看磁盘组运行状验证新的VirtualSAN数据的容 的容量设备出现了增长。返回“常规” 图8.10：VirtualSAN数据容量详示为1.06TB，因为已占用空间极小。虚拟 策略和Virtual虚拟机策略构成了VMware的软件定义愿景的基础。部署虚拟机时，部署的虚拟机都使用默认策略，具备以下设置：NumberOfFailuresToTolerate=NumberOfDiskObjectsToStripe=ObjectSpaceReservation=FlashReadCacheReservation=ForceProvisioning=新建虚拟机策 条带宽度2。虚拟机 策略可从vSphereWebClient的主页，如下所示。图图9.1：虚拟 策这里会出现一些现有策略，例如VirtualSAN默认策略，我们已经在此概念证明指南的第7节用它们部署了虚拟机。此外，这里还有一项名为“VVol无要求策表9.1：虚拟机策略图图9.2：新建虚拟 策SAN策略的名称。图图9.3：虚拟 策略名称和描图9.4：规则储策略中创建一个规则集）。第一步是选择“VirtualSAN”作为“基于数据服务的规则”。选择后会显示五个与VirtualSAN关联的可自定义功能。由于此虚拟机图9.5：每个对象的磁盘带我们还需要将该值设为2。选择磁盘条带规则后，将默认值从1更改为2，如下所示。图9.6：将条带宽度设为单击下一步，移动到“兼容性”屏幕。请注意，这将显示哪个“理解”这些策略设置。在本例中，vsanDatastore是唯一兼容这些策略设置的数据。注意：这并不意味着，注意：这并不意味着，VirtualSAN只是表示VirtualSAN数 理解策略中的规则或要求图 兼容使用新虚拟机策略部署新虚拟图9.8：选而且像前面一样，vsanDatastore应显示为兼容的数据，因此，如果我们希望将此虚拟机置备到符合策略要求的数据，我们要选择vsanDatastore。9.9：vsanDatastore兼容储对象的条带宽度是否为2。首先，导航到“虚拟机”>“管理”选>“策略”，确保图9.10：虚拟机符合策略要求下一步是选择“”选>“策略”，然后检查虚拟机对象的布局。第一个查放置”选。这里仍然显示只有一个镜像组件，但无条带宽度（显示为RAID0图9.11：虚拟机主页命名空间忽略了条带宽度地看到差异。现在，数据的每个副本或镜像副本都包含RAID0配置中的两个组件。这表示硬盘对象的确符合“虚拟机策略”中列出的条带宽度要求。图9.12：硬盘符合条带宽度策略设置分开来。VirtualSANNumberOfFailuresToTolerate唯一方式是在策略中设置NumberOfFailuresToTolerate=0。向现有虚拟机添加新虚拟机策NumberOfFailuresToTolerate的值增大时。它也可能涉及创建与原始对象同步的到，例如，当NumberOfDiskStripesPerObject的值增大时。图9.13：编辑虚拟 策图9.13：编辑虚拟 策图图9.14：管理虚拟 策图图9.15：选择新的虚拟 策图9.16：应用于全图9.17：重新配置完成–新策虚拟机的虚拟机策略，情况会怎样呢？修改虚拟机策所以预留值为4GB。较，并确认每个VMDK有4GB的预留空间。接下来，重新我们之前的“虚拟机策略”部分。这可以通过“主页”再次。图 虚拟机策略VirtualSAN”，然后单击最右侧的“编辑”按钮。图9.19：编图9.20：将对象空间预留(%)作为一项规则添加到策略中 图9.21：将对象空间预留设为图9.22：稍后手动应用图9.23：已过图图9.24：重新应用虚拟 策图9.25：再SAN数据上的可用容量已减少。例如，应用新的策略更改后，两个虚拟机有40GB对象。因此，由于使用了10%ObjectSpaceReservation，这表示每个VMDK预留4GB。每个VMDKVMDK也会被镜像，因此VirtualSAN数据上总共预留16GB。图9.26：对象空间预留消耗容量这将完成本概念证明过程的“虚拟机策略”部分。现在，您应该会惊叹于虚拟机策略的强大功能，以及使用单一VirtualSAN数据时，底层的特性如何按VMDK粒度被精确分配给虚拟机。VirtualSAN谈到VirtualSAN，有许多方面需要特别注意。以下内容不分先后，都VirtualSAN时需要考虑的注意事项： VirtualSAN群集 VirtualSAN群集中的虚拟设备 VirtualSAN数据中的物理设备 VirtualSAN群集中的重新同步和重新平衡操作VirtualSANVMkernelVirtualSANVirtualSAN数据的预期容量是否正确，以及是否会出现任何容量问题。图10.1：“常规”SAN6.1概念证明过程中都应启用。VirtualSAN群集中的虚拟设备要虚拟设备，请导航到“”>“VirtualSAN”>“虚拟磁盘”。这将列出与每个虚图10.2：“虚拟磁盘”在同一“”>“VirtualSAN”视图中，也会显示物理磁盘。当您想查看哪些对象图10.3：“物理磁盘”重新同步和重新平衡操在此“”>“VirtualSAN”选中，另一个非常有用的视图是“正在重新同步组除或主机发生故障，并且CLOMd（群集逻辑对象管理器守护进程）计时器过期至于重新平衡，VirtualSAN80%以群集中的设备或主机发生故设备已从群集中物理磁盘消耗的容量超过其容量的图10.4：正在重新同步组VirtualSANvCenterServer6.0u156VirtualSAN10.5：警报使用VSANObserverVirtualVMwareVSANObserver是一个面向VirtualSAN的性能和故障排除工具。控VirtualSAN的性能统计信息。在实时模式下运行时，Web浏览器可以指向vCenterServer，供您查看与VirtualSAN性能相关的实时图形。该实用程序可用于了解VirtualSAN性能特性，旨在帮助您更深入地洞察VirtualSAN性能特性和分析。VSANObserver主机级别性能统计信息（客户端统计信息VirtualSANVSANObserverUIJavaScriptCSS库（JQuery、d3、angular、VSANObserver页面时，这些库文件可在运行时通过Internet和加载。此工具要求上文提及的库，才能正确运行。这意味着vCenterServer要求InternetVSANObserver配置为在无法Internet的环境中运行。关于VSANObserver的讨论不在本概念证明指南的范围之内。对于有详VirtualSANObserver的读者，请参阅《VMwareVirtualSAN诊断和故障排除参考手册》和《使用VSANObserverVMwareVirtualSAN》。性能测评估任何很有性，而且客户可能会采取不同的方式。此外，客户也可以选择各种工具来VirtualSAN性能取决于主机中有哪些设备（SSD、磁盘）、虚拟机上的策略（数决定虚拟机性能的主要因素是虚拟硬件，即有多少虚拟SCSI控制器、VMDK多SCSI控制器和VMDK可以实现最大性能。VirtualSAN的分布式架构决定了，当群集中的池化计算和资源得到很好利用VirtualSAN也依赖VSANObserver进行详细的性能和分析。作为一个独立工具，VSANObserver很容易在测试后才会被想起来。VSAN（RubyvSphere控制台）。如果您计划执行任何类型的性能测试，请计划使用VSANObserver进行观察。VMware2064240VSANObserver /kb/2064240。见使用VSANObserverVMwareVirtualSAN。性能注意VirtualSAN当许多虚拟机跨群集中的主机分布并同时运行时，VirtualSAN支持实现良能。在单一虚拟机中运行单一测试不会体现出启用了VirtualSAN的群集的聚合性能。无论您正在使用什么工具——IOmeter、Vdbench或其他，都要计划为多个虚拟磁盘使用多个“工作线程”或I/O处理器，以获得具有代表性的结果。定为已消耗的虚拟机的10%（不包含对象）。尽管这对于大多数工作负VMwareInfrastructurePlanner(VIP)工具帮助完成此任务– VirtualSAN上运行的持续顺序写入工作负载（例如虚拟机克隆操作）I/O写入缓存，因此性能反映的是旋转磁盘而非闪存的运行状况。持续顺序读取工作流也是这样。如果块不在缓存中，则必须从旋转磁盘中提取。VirtualSAN未完成28之间的设置，具体情况取决于您计划运如果虚拟机和VMDK的数量较大，请考虑将其设为小一点的值。Windows客户机操作系统的块大小在5121MB之间，但最常见的块大小为4KBSQLServerMSExchange工作负载，您可能假设有一个VirtualSAN环境，需要将大量的虚拟机克隆到VirtualSAN数据存SSD100MB。假设写入同时没有操作，我们在转储时可能需要2-3个磁盘来与SSD速度匹配。是实现2000IOPS。VirtualSAN能够实现90%的 缓存（大约）。这意味着，全部操作中将有10%不会命中 的要求，这部分操作为200IOPS。单个磁盘或以实现大约100IOPS。因VMDK在忙于其他事务的磁盘上进行VirtualSANVirtualSAN已完全重新构建完毕并且没有任何底层问题。使用下列RVC命令（我们面讨论过）执试之前，1：VirtualSANVirtualSAN运行状况检查附带了自己的专有性能测试。因此，您无需部署其的“”选>“VirtualSAN”>“主动测试”，选择“性能测试”，然后单击下面图图 性能测然后会显示一个弹出窗口，显示测试持续时间（10分钟）以及将要运行的工图11.2：性能测试持续时间和工作负图图11.3：VirtualSAN群 负 用的池贡献。建模此架构的用例时，最好调用大量的测试虚拟机，而且每个虚拟机多个的VMDK。目标是模拟非常繁忙的群集。遗憾的是，常见性能测试工具不直接支持此模型。因此，测试超融合架构（例如VirtualSAN）的性能会带来许多不同的。为正确模拟生产群集的工作负为解决在超融合环境中正确运行性能测试的，VMware设计了一个叫作HCIbench的性能测试自动化工具，它能自动运行常见的Vdbench测试工HCIbench旨在通过一致、可控的方式，简化和加速客户的概念证明(POC)性能配置文件，剩下的工作就交给HCIbench快速、轻松地完成。流程，请参阅《HCIbench安装和用户指南》。该指南可从。从哪里获取HCIbench和完整文档可从以下地址：HCIbench自动化测试工具此工具免费提供，并且。支持完全由VMwareVirtualSAN社区在时间部署第1步–部署第2步HCIbench部署后，导航到VMIP:8080/，开始配置和启动测试vSphereVirtualSANvSpherevCenterIP地址、vCenter凭据、数据中心名称、VirtualSAN群集名称和数据名称。VMNetworkDHCP服务不可用，DHCP服务数据名称参数指定要测试的数据。所有虚拟机数据将部署在此数据上。出于本指南的目的，应当指定VirtualSAN数据。这里也支持同时测试多个数据。您可以输入数据名称，每行一个。在本例100个虚拟机，每个数据上将部署50个虚拟机。图11.4：性能自动化工具配置第3步VirtualSAN配置群集主机信息是可选的。如果此参数未选中，HCIbenchVdbench客部署的Vdbench客户机虚拟机名约定是“vdbench-<DATASTORE_NAME>-<#>”HCIbench将虚拟机平均分布到每个主机上。第4步Vdbench在本部分，唯一的必需参数是虚拟机数量Vdbench客户的总数为虚拟机数*（乘以）数据磁盘数。图11.5：Vdbench客户机虚拟机规第5步–和添加vdbench压缩文件并添加参数文dbench从Oracle。这里会供 bench的Oracle有racle帐户能 载dbench压缩件后必须将其上到设备。装的下一成dbench括IO及I/O在本质上序/O等信息。此外，您还指明要让测试运行多长时间（3600秒=1小时）先dd（即初始化）。最后，决定是否要在测试完成后清除基准虚拟机。保存配置。为确保一切正常，请运行验证测试。这将验证所有配置参数是否正确，以及指明是否可以开始测试。11.6：Vdbench测试配能，虚拟机的工作集应当主要在缓存中。估算VirtualSAN闪存大小时，必须谨慎虚拟机的10%（不包含对象）。尽管这对于大多数工作负载已足够，但在估算大小之前了解工作负载的工作集是很有帮助的做法。考虑使用VMwareInfrastructurePlanner(VIP)工具帮助完成此任务–htt 以程举例说明了使用HCIbench执行性能测试时，如何估算相应工作集的大总缓存。VirtualSAN中的可用总缓存的70%分给缓存，30%分给写入缓存。在我们的示例中，可用缓存为1120GB，可用写入缓存为480GB。为了HCIbenchI/OVMDK的总容量不应当超过1,120GB。800GB。这允许测试工作集放在缓存中。每个虚拟机中的数据磁盘数量默认设置为2，而数据磁盘的默认大5GB。调整这些值，使得虚拟机总数、每个虚拟机中的数据磁盘数量、数据磁盘大者的乘积小于SSD的大小乘以70%4*5*10GB400GBSSD*70%*1*4800GB的工作集大小<群集中的1,120GB缓实际应用程序或应用程序特定测试工具执试时，设计一个尽可能匹配生产工作负载的测试很重要。不同的工作负载类型在VirtualSAN上有不同的表现。VirtualSAN上运行的持续顺序写入工作负载（例如虚拟机克隆操作）首先只填I/O写入缓存，因此性能反映的是旋转磁盘而非闪存的运行状况。持续顺序读取工作流也是这样。如果块不在缓存中，则必须从旋转磁盘中提取。VirtualSANHCIbench允许您更改百分比和随机百分比参数。开始时，建议将百分比参数设为70，将随机百分比参数设为30%。15分钟预热期。此外，还请记住，测试运行时间越长，结果越精确。在缓存预热期之外，HCIbench测试应配置为至少一个小时。结且您可以使用Web浏览器在VMIP/results上查看结果。您可以 中，查找Vdbench实例生成的所有原始结果文 中还有另一个名为iotest-vdbench-<VM#>vm的子，它是VirtualSANObserver生成的统计信息 。VirtualSAN性能数据可 中打开stats.html文件查看。测试硬件故了解预期遇到多个故障时的虚拟机行像副本可用并且大于构成虚拟机的组件的50%时，虚拟机仍可；可协助NumberOfFailuresToTolerate设置时的虚拟机行为则可能会发生许多不同的情况。虚拟机关闭电源之后，将在vSphereWebClientUI中被标记为“不可”。这也可能有其他副作用，例如虚拟机在UI中被重命名VMDKI/OI/O超时。行版）可能会使受影响的VMDK上的文件系统降级为只读。客户机操作系统的行为，甚至是虚拟机的行为，并非都特定于VirtualSANESXi主机遭遇APD服务器发生故障或重新引导时，会发生什么主机故障可能会通过多种方式发生。它可能是主机，也可能是网络问题（我而且当重新引导流程完成后，主机将恢复联机状态。同样，VirtualSAN必须能够么这些组件将被标记为“不存在”I/O5-7秒之内还原，具体但马上又重新。VirtualSAN设计为允许主机有足够的时间来进行重新引导，VirtualSAN无法60分钟定vSphereHA，它还会引起“vSphereHA主机状态”警报以及“主机无法与已启用VirtualSAN的群集中的所有其他节点进行通信”消息。如果虚拟机策略中设置了NumberOfFailuresToTolerate=1或更高设置且vSphereHAvSphereHAESXi主机之一上件驻留在故障主机上的虚拟机将无法通过vSphereWebClientUI。vSphereHA我们来看一个虚拟机在主机(cs-ie-h02.ie.local)上运行的例子。12.1：未使vSphereHA时的主机故图12.2：重新引导主机vSphereHA，虚拟机无法在群集中的其他主机上重新启动。图12.3：ESXi主机无响应，虚拟机断ESXi主机正在重新引导），此虚拟机又不允许另一次故障，因此它不符件也驻留在重新引导的主机的上。当主机完全重新引导后，我们可以确认此推图12.4：虚拟机不合规图12.5：ESXi主机已重新引导，虚拟机电源已关(cs-ie-h02.ie.local)上的用于虚拟机的组件图12.6：重新引导的主vSphereHA务”>“vSphereHA”。当前，vSphereHA已关闭。12.8：打开vSphere控。vSphereHA任务配置完成后，选择群集对象，然后单击“”选，打开vSphereHA窗口并确保其已配置并且正在进行。现在，群集上的VirtualSAN、DRS和vSphereHA应当已启用。h02.ie.local，重复先前的测试，查看启用了vSphereHA后有何不同。图12.10：重新引导主机，但这一次启用了vSphere要刷新WebClient才能看到这些事件）：在另一主机上重新启动，也就是在本例中的cs-ie-h03.ie.local上重新启动。图12.12：虚拟机在其他主如果您记得，我们面曾，有些属于此虚拟机的对象的组件驻留在已重新引导的主机的本地上。现在，这些组件在“虚拟机”>“”>“策略”>“物理磁盘放图12.13：不存在的组件ESXi拔出了磁盘，所有驻留在该磁盘上的VirtualSAN组件都变得“不存在”且不可非“已降级”。如果磁盘在60分钟超时之前重新装回服务器，则不会产生不利影VirtualSAN会将数据同步回到磁盘。在此情形下，VirtualSAN由完全那么虚拟机的对象依然可以从VirtualSAN群集中的另一个ESXi主机。磁盘状态被标记为“不存在”vSphereWebClientUII/OVirtualSAN重新评估对用），所有进行中的I/O会重新启动。停和恢复I/O流的时间大约为5-7秒。60分钟仍没有将原始磁盘重新主机，在容量（VirtualSAN的任何新的磁盘上的容量）可用的情况下，已移除磁盘上的组件将在 策略包含NumberOfFailuresToTolerate=0时，如果其中一个VMDK组件（可以是条带或完整镜像的一个组件）驻留在已移除磁盘上，目前没有恢复VMDK的其他方案。ESXiClientUI进行验证。用），所有进行中的I/O会重新启动。通常，物理移除磁盘、VirtualSAN处理此事件、将组件标记为“不存在”以及暂停和恢复I/O流的时间大约为5-7秒。如果虚拟机策略包含NumberOfFailuresToTolerate=0，而且如果其中一个VMDK组件（可以是条带或完整镜像的一个组件）SSD所属的磁盘组上，VMDK将变得不可。要恢复VMDK，必须将同一SSD放回此ESXi主机。目前没有恢复VMDK的方案。为故障是性的。磁盘状态被标记为“已降级”vSphereWebClientUI用），所有进行中的I/O会重新启动。通常，物理移除驱动器、VirtualSAN处理此事件、将组件标记为“已降级”以及暂停和恢复I/O流的时间大约为5-7秒。有充足的可用磁盘空间并考虑放置位置规则（例如，2个镜像不能共享同一主机）。如果找到此类资源，则VirtualSAN将在其中创建新组件并立即启动恢虚拟机策略包含NumberOfFailuresToTolerate=0时，如果其中一个VMDK组件（可以是条带的一个组件）驻留在拔出的磁盘上，VMDK将变得不 SSD故障时发生的一系列事件与磁盘故障时的情形类似，唯一的主要区别是VirtualSAN会将整个磁盘组标记为“已降级”。VirtualSANSSD和磁盘组中那么虚拟机的对象依然可以从VirtualSAN群集中的另一个ESXi主机。ClientUI进行验证。如果VirtualSAN认为对象仍然可用（根据可用的完整镜像副本和 有进行中的I/O会重新启动。通常，物理移除驱动器、VirtualSAN处理此事件、将组件标记为“已降级”以及暂停和恢复I/O流的时间大约为5-7秒。同一主机）。如果找到此类资源，则VirtualSAN将在其中创建新组件并立即如果虚拟机策略包含NumberOfFailuresToTolerate=0，且拔出的SSD所VMDK组件之一（可以是条带的一个组件）VMDK将警告：在以下概念证骤中，请每次只开展一项测试。根据误之前尚未解决上一个错误，则会给VirtualSAN带来它可能处理不了的多个故用于概念证明故障测试的VirtualSAN磁盘故障植入脚开展概念证明磁盘故障测试的python在所有ESXi主机上都可用。此叫vsanDiskFaultInjection.pyc，可在/usr/lib/vmware/vsan/bin中的ESXi主机上injectError.py-t-rerror_durationSecs-ddeviceNameinjectError.py-p-ddeviceNameinjectError.py-c-d-h,-- showthishelpmessageand- Injecthot- Injecttransient- Injectpermanent- Clearinjected-r Transienterrordurationin-dDEVICENAME,--使用。使用此命令将磁盘标记为“失败”会对VirtualSAN群集产生性影响。读者也应当注意，此工具允许“热拔出”hpssacli命令执行拔出磁盘/SSD此外，还请注意，不是所有I/O控制器都支持热拔出驱动器。请参阅《VirtualSAN兼容性指南》，了解您的控制器型号是否支持热拔出特性。稍后，检查此操作对VirtualSAN以及在VirtualSAN上运行的虚拟机产生图12.14：选择具有正在运行的虚拟机的主接下来，导航到虚拟机的“”选>“策略”，选择硬盘，然后在屏幕下半部分选择“物理磁盘放置”选。识别组件对象。我们非常感的列是“HDD磁盘名称”NAASCSI标识符。我们的目的是从主机移除这些磁盘中图12.15：显示磁盘标识件的磁盘。此组件驻留在物理磁盘上，NAAID字符串为过SSH登录到要拔出的磁盘所在的主机。使用vsanDiskFaultInjection.pycpython注入热拔出事件：[root@cs-ie-h01:~]python/usr/lib/vmware/vsan/bin/vsanDiskFaultInjection.pyc–u–dInjectinghotunplugondevice图12.16：磁盘已移除，组件不存在理 图12.17：重新扫描适配ESXi主机。在NAAID重新出现后，使用–c选项清除先前设置的任何热拔出标志：[root@cs-ie-h01:~]python/usr/lib/vmware/vsan/bin/vsanDiskFaultInjection.pyc–c–dClearingerrorsondevicevsish-eset/storage/scsifths/vmhba1:C0:T4:L0/injectError0x00000vsish-eset/reliability/vmkstress/ScsiPathInjectError0x00000拔出磁盘/容量 SSD并在超时之前未装而，这一次，等待60分钟以上，然后再扫描HBA有无新磁盘。60分钟后，VirtualSAN将在群集的其他地方重新构建缺失磁盘上的组件。60分钟，以确保重新构建活动发生。首先，识别组件驻留在哪个磁12.18：识NAAMonDec1413:36:02UTC[root@cs-ie-h01:~]python/usr/lib/vmware/vsan/bin/vsanDiskFaultInjection.pyc–u–dInjectinghotunplugondevicevsish-eset/reliability/vmkstress/ScsiPathInjectError图12.19：组件不存在请注意，组件驻留在新磁盘上（NAAid不同）。图12.20：重新构建组件12.18ESXi主机。在NAAID重新出现后，使用–c选项清除先前设置的任何热拔出标志：[root@cs-ie-h01:~]python/usr/lib/vmware/vsan/bin/vsanDiskFaultInjection.pyc–c–dClearingerrorsondevicevsish-eset/storage/scsifths/vmhba1:C0:T4:L0/injectError0x00000vsish-eset/reliability/vmkstress/ScsiPathInjectError0x00000拔出缓存层SSD且不重新/装集”>“管理”>“设置”>“VirtualSAN”>“磁盘管理”。从顶部窗口选择磁盘组，并在底部窗口识别其SSD。如果使用的是全闪存配置，请确保它是担任“缓存”磁盘角色的“闪存”设备。记录SSD的NAAID字符串。图12.21：找到缓存层在上面的屏幕截图中，我们找到了主机w2-stsds-139上的一个SSD，它的NAAIDnaa.55cd2e404b66fcc5。接下来，通SSH登录到要拔出SSD所在的主机。使用vsanDiskFaultInjection.pycpython注入热拔出事件：[root@w2-stsds-139:~]python/usr/lib/vmware/vsan/bin/vsanDiskFaultInjection.pyc-u-dInjectinghotunplugondevice12.22：不存在缓存SSD=不正常12.23：SSD已移–所有组件机cs-ie-h01.ie.local的本地上。12.24：SSD已移–所有组件SSD故障会影响整个磁60分钟过后，应重新构建新组件，以替代不存在的组件。如果您恰好在正确的时图12.25：clomd超时后，新组件重新同步12.18我们来看看已移除的SSD的NAAID的设备列表。如果由于某种原因，SSDESXiNAAID–c选项清除先前设置的任何热拔出[root@cs-ie-h01:~]python/usr/lib/vmware/vsan/bin/vsanDiskFaultInjection.pyc–c–dClearingerrorsondevicevsish-eset/storage/scsifths/vmhba1:C0:T4:L0/injectError0x00000vsish-eset/reliability/vmkstress/ScsiPathInjectError0x00000图12.26：验证磁盘组恢复正常状态了逻辑RAID0设备，您可能还要再次将驱动器标记为SSD。检查重新构建/VirtualSAN6.0显示关于重新同步组件的详细信息。导航到“”选>“Virtual图12.27：重新同步组件重新同步完成后，此命令将报告“0个要同步的字节”植入磁盘图12.28：正常磁盘组错误只能从ESXi主机 使用SSH以root用户 登录ESXi主机，然后运行以下命令：[root@cs-ie-h03:/usr/lib/vmware/vsan/bin]pythonvsanDiskFaultInjection.pyc-p-dInjectingpermanenterrorondevicevmhba1:C0:T0:L4vsish-eset/reliability/vmkstress/ScsiPathInjectError0x1vsish-eset/storage/scsifths/vmhba1:C0:T0:L4/injectError0x03110300000002图12.29：不正常磁盘组上的所有组件都进入降级状态（可通过虚拟机的“物理磁盘放置”观察到），并且立即启动组件重新构建。导航到“群集”>“”>“VirtualSAN”>“重新同步组件”后，图12.30：在磁盘故障后重新同步组清除错我们提供–c(clear)选项：[root@cs-ie-h03:/usr/lib/vmware/vsan/bin]pythonvsanDiskFaultInjection.pyc-c-dClearingerrorsondevicevsish-eset/storage/scsifths/vmhba1:C0:T0:L4/injectError0x00000vsish-eset/reliability/vmkstress/ScsiPathInjectError0x00000图12.31：从磁盘组中删除磁盘 12.32：默认情况下数据会撤出，但在该测试中可取消选中此选考虑到本概念证明的目的，您可以取消选中磁盘。移除并重新添加磁盘后，磁盘组将恢复正常状态。这时便完成了磁盘故障测试。当然，如果您使用3节点群集进试，而且您引入了一个主机故障，这时自然更适合评估VirtualSAN。些问题，否则您有可能将多个故障引入群集，导致虚拟机不可。VirtualSAN管让主机进 模选择虚拟机的“”选，验证虚拟机所在的主机图图13.1：虚拟机 ”图13.2：物理磁盘放置行，而且它也有组件驻留在该主机上。我们接下来会让该主机进入模式。图图13.3：进 模选中模式时会显示三个选项：(i)确保可性、(ii)迁移全部数据以及(iii)不图13.4：模式选。 。一个完全自动化的DRS群集，所以虚拟机应会自动迁移。13.5：迁移态。您应当发现，这些组件现在处于“不存在”状态。然而，虚拟机仍可，因为我们在进入“模式”时选择了选项“确保可性”。图图13.6：组件 模式期间不存式”，然后选择“退出模式”。图图13.7：退 模图13.8：组件再次进现在，让主机再次进入模式，但这一次不选择“确保可性”，而是选择“迁移全部数据”。这意味着，尽管处于模式的主机上的组件不再可用，但这注意：这仅在NumberOfFailuresToTolerate=1并且群集中有4个或主机时3NumberOfFailuresToTolerate1时则不可行，因为需要有另外一个主机用于重新构建组件。NumberOfFailuresToTolerate值更大时也图13.9：迁移全部数据现在，如果主机cs-ie-h02.ie.local上的组件，您会看到没有处于“不存在”状态的组件，它们已在群集的其他主机上重新构建。主机进入模式时，您会发现虚拟机的所有组件都处于活动状态，但没有组件驻留在处于模式的主机中。 13.10：当主机处于“迁移全部数据”模式时，所有组件都处于活动状退 导航到群集>“管理”选>“VirtualSAN”>“磁盘管理”，然后选择某个主机中的磁x的磁盘图标将会显示出来。如果群集处于自动模式下，则不会显示此图标。图13.11：删除磁表13.1：磁盘组图时将弹出以下窗口，选择撤出数据（已自动选择）。单击“是”继续：图13.12：撤出数撤出磁图13.13：删除磁盘组图13.14：撤出数图13.15：磁盘组现已删除并撤出图13.16：重新创建磁盘打开和关闭磁盘我们的最后一个任务是打开和关闭磁盘驱动器上的定位符LED。这是Virtual和添加逻辑设备的重要性。这是一个“锦上添花”HP控LED12.10图13.17：打开磁盘定位符这将启动“打开磁盘定位符LED”任务。要查看任务是否成功，请转至“ LED图13.18：关闭磁盘定位符图13.19：最后运行VirtualSAN6.1延伸群集配2015年9月的vSphere6.0U1包含许多新的VirtualSAN特性。这些特性括延伸群集解决方案，也就是本章的讨论对象。请注意，vSphere6.0U1VirtualSANVirtualSAN6.1VirtualSAN延伸群集的设计和架构有着很好的了解。如果读者不VirtualSAN延伸群集基础知识，则需要在开展这部分概念证明前查阅相关文VirtualSAN延伸群集的详细信息可在《Vir