VMware vSAN设计与规模设定指南

1、VMware vSAN 设计与规模设定指南VMware 虚拟 SAN 设计与规模设定指南 简介目 录概述vSAN 设计概述遵守 VMware 兼容性指南 (VCG)均衡配置vSAN 集群的生命周期针对容量维护和可用性的规模设定运行状况服务使用受支持的 vSphere 软件版本全闪存注意事项设计概述注意事项摘要vSAN 限制ESXi 主机和虚拟机限制虚拟机存储策略最大值最大 VMDK 大小vSAN 限制设计注意事项摘要网络设计注意事项网络连接性和带宽使用网卡绑定实现冗余MTU 和巨型帧注意事项多播注意事项通过 Network I/O Control 实现网络服务质量网络设计注意事项摘要存储设计注

2、意事项硬盘组缓存规模设定概述vSAN 中的闪存设备缓存算法混合配置的闪存缓存大小设定全闪存配置的闪存缓存规模设定闪存耐久性注意事项纵向扩展容量，确保足够缓存SATA、SAS、PCI-E 和 NVMe 闪存设备磁盘我需要多少容量？我应当保留多少空闲空间？格式化开销注意事项快照缓存规模设定注意事项选择存储 I/O 控制器硬盘组设计小型硬盘驱动器容量注意事项非常大的 VMDK 注意事项硬盘更换/升级的人体工程学存储设计注意事项摘要虚拟机存储策略设计注意事项概述对象和组件见证和副本虚拟机快照注意事项从 UI 中查看对象布局策略设计决策虚拟机命名空间和交换文件注意事项动态更改虚拟机存储策略调配无法实施的

3、策略使用默认策略调配存储策略设计注意事项摘要主机设计注意事项CPU 注意事项内存注意事项主机存储要求引导设备注意事项仅限计算的主机的注意事项维护模式注意事项刀片系统注意事项外部存储柜注意事项处理器电源管理注意事项集群设计注意事项8.1.3 节点配置8.2.vSphere HA 注意事项8.3.故障域8.4.重复数据消除和压缩注意事项确定工作负载是否适用于 vSAN 9.1.概述使用 View Planner 进行 vSAN 规模设定VMware Infrastructure Planner VIP设计和规模设定示例容量大小设定示例 I容量大小设定示例 II概述概述更多信息VMware 就绪节点

4、VMware 兼容性指南vSAN规模设定工具12.4.vSphere 社区页面12.5.vSAN 资源链接VMware 技术支持附加阅读旧版本13.1.版本 6.5简介VMware vSAN 是超融合的软件定义的存储平台，与 VMware vSphere 全面集成。概述VMware vSAN 是超融合的软件定义的存储 (SDS) 平台，与 VMware vSphere 全面集成。vSAN 将vSphere 集群中各主机的本地连接硬盘聚合起来，以创建分布式共享存储解决方案。vSAN 支持在虚拟机创建和部署操作过程中在VMware vCenter 内快速调配存储。vSAN 是首款专为 vSpher

5、e 环境设计的策略驱动型存储产品，可简化和精简存储调配与管理。使用虚拟机级存储策略，vSAN 可自动且动态地将要求与底层存储资源匹配。借助vSAN，许多手动存储任务都将自动化，从而实现更高效且经济实惠的运维模式。vSAN 提供两种不同的配置选项，即同时利用基于闪存的设备和磁盘的混合配置，以及全闪存配置。混合配置使用基于服务器的闪存设备提供缓存层以实现最佳性能，同时使用磁盘提供容量和永久性数据存储。这样既能实现企业级性能又能提供具有强大恢复能力的存储平台。全闪存配置的缓存层和容量层都使用闪存。本指南侧重于帮助管理员正确设计vSAN 集群和设定规模，并回答关于主机数量、硬盘组数量、缓存大小设定和容

6、量设备数量的部分常见问题以及详细的配置问题，以帮助正确、成功地部署vSAN。构建vSAN 集群的方式有三种：使用 HYPERLINK /en-us/converged-infrastructure/vxrail/index.htm Dell EMC VxRail 和 HYPERLINK /zh-cn/products-solutions/converged-infrastructure/ucp-hyperconverged.html Hitachi UCP-HC 等设备的全包式部署来自任何一家领先服务器OEM 的认证 HYPERLINK / vSAN 就绪节点使用 HYPERLINK /res

7、ources/compatibility/search.php?deviceCategory=vsan 适用于 vSAN 的 VMware 兼容性指南 中的组件定制Dell EMC VxRAIL 可将 VMware 的计算、网络连接和存储资源组合到超融合基础架构设备中，从而创建一个简单且易于部署的一体式解决方案。VxRAIL 软件完整加载到合作伙伴硬件设备上，并且包含 VMware vSAN。vSAN 就绪节点是一种经验证的服务器配置，采用经过测试和认证的硬件规格，用于 vSAN 部署，由服务器OEM 和 VMware 联合推荐。vSAN 就绪节点是理想的超融合构造块，非常适用于寻求自动化的大

8、型数据中心环境，以及满足自定义硬件和软件配置的需求。选定的vSAN 就绪节点合作伙伴在就绪节点上提供预安装的vSAN。vSAN 设计概述此部分对 vSAN 设计进行了简要介绍。遵守 VMware 兼容性指南 (VCG)对于主机型号、存储控制器、闪存设备和磁盘，您有许多选择。按照 HYPERLINK /resources/compatibility/search.php VMware 兼容性指南 (VCG) 来选择这些硬件组件极其重要。此在线工具定期更新，以确保客户随时获得VMware 为其提供的最新指南。硬件、驱动程序、固件VCG 对存储 I/O 控制器、固态硬盘 (SSD)、PCIe 闪存卡

9、、NVMe 存储设备和硬盘驱动器的硬件型号提出非常具体的建议。此外，它还指定哪些驱动程序已针对vSAN 进行完整测试，并在许多情况下标识所需的最低固件级别。对于固态硬盘，指定最低版本。对于控制器和NVMe 驱动器，指定受支持的具体版本。请确保硬件组件具有这些固件级别，并且在设计中确保ESXi 主机上安装的任何关联驱动程序都具有最新版本的受支持驱动程序。vSAN 运行状况服务将检测控制器的驱动器和固件的新版本。最佳实践： 始终验证 VMware 是否支持 SAN 部署中使用的硬件组件。最佳实践： 通过查看 VCG 和使用 vSAN 运行状况服务验证是否所有软件、驱动程序和固件版本都受支持。下面的

10、屏幕截图显示的是VCG 中未列出的控制器驱动程序的一个示例。均衡配置作为最佳实践，VMware 建议在所有集群成员上都使用相似或相同的配置部署 ESXi 主机，包括相似或相同的存储配置。这样可以确保虚拟机存储组件在硬盘和主机集群中保持均衡。尽管当主机属于同一个vSphere 集群时，即便不贡献存储仍然可以利用vSAN 数据存储，但在遇到问题时，可能会造成额外的支持负担。因此， VMware 建议采用均衡配置。如果组件无法再购买到，请尝试添加相等数量的更大、更快的设备。例如，当200 GB 固态硬盘难以找到时，添加相当的 400 GB 固态硬盘应当不会对性能造成负面影响。最佳实践： 应当为 vS

11、AN 集群使用配置和规模相似的 ESXi 主机。vSAN 集群的生命周期vSAN 为客户提供出色的存储解决方案，该解决方案可通过向 ESXi 主机添加新的或更大的硬盘轻松实现纵向扩展，可通过向集群添加新主机轻松实现横向扩展。这样方便客户从非常小的环境起步，再逐步添加新主机和/或更多硬盘进行扩展。大部分情况下，通过向vSAN 集群添加额外主机来横向扩展优于在现有主机中添加或更换驱动器。添加主机不会造成中断，详情可参见此点击演示： HYPERLINK /%23!/vmware-vsan/vmware-vsan-demonstrations/vsan-6-5-scale-out-by-adding-

12、a-host 通过添加主机横向扩展 。但是，对于混合配置和全闪存配置两者来说，通过为工作负载留有足够缓存量以及容量的方式进行横向扩展很重要。本指南深入地介绍了这一点。特别需要指出的是，在设计中应当考虑选择具有额外硬盘插槽的主机以便增加容量，并提供将额外设备安装到这些插槽的简便方法。请注意，增加缓存容量需要移除硬盘组（撤出数据），用新的缓存设备替换现有缓存设备，然后将该硬盘组重新添加到vSAN 配置中。这是因为硬盘组只能有一个缓存设备。最佳实践 ：通过向 vSAN 集群添加一个或多个额外主机来进行横向扩展，优于在现有主机中更换或添加新硬盘。针对容量维护和可用性的规模设定vSAN 所需的最低配置是

13、 3 节点或 2 节点搭配一个外部见证节点。但是，需要考虑到较小的配置具有的重要限制。在vSAN 中，如果发生故障，将尝试在剩余集群上重新构建发生故障的设备或主机中的任何虚拟机组件。在 3 节点集群中，如果一个节点发生故障，将没有位置可以用来重新构建发生故障的组件。相同的原则适用于置于维护模式下的主机。维护模式选项之一是从主机中撤出所有数据。但是，这仅在集群中有 4 个或更多节点，并且集群具有足够备用容量时可行。另一个注意事项是容量层的大小。由于vSAN 上部署的虚拟机由策略驱动，并且其中一个策略设置 ( NumberOfFailuresToTolerate ) 将创建虚拟机数据的镜像副本，因

14、此需要考虑容许一个或多个故障需要多少容量。本指南稍后将更详细地讨论此设计注意事项。设计决策 ：N+1，其中 N 等于主机或故障域的最小数量，以达到可对数据进行快速重新保护的标准。请确保存储容量和故障域足以满足可用性要求，并在发生故障后能够重新构建组件。运行状况服务从vSAN 版本 6.1 开始，vSAN 包含 vSAN 运行状况服务。此功能定期检查 vSAN 集群运行状况的多个不同方面，并帮助深入了解许多潜在vSAN 问题的原因。检测到问题后，运行状况服务将亮显该问题，并且在大多数情况下，会为管理员提供相应的 HYPERLINK / VMware 知识库文章 ，以使其获得有关更正该问题的指导。

15、版本 6.6 引入了在线运行状况检查，使此功能无需更新ESXi 即可更新。设计决策： 验证 vSAN 运行状况服务是否已启用。在所有项目显示为“Passed”（通过）并带有绿色勾号标记之前，不要继续向vSAN 数据存储添加工作负载。使用受支持的 vSphere 软件版本验证您环境中的vSphere 组件是否满足使用 vSAN 的软件要求。若要使用 vSAN 6.6 和更高版本的全套功能， ESXi 主机必须为版本 6.5 EP2 或更高版本。VMware 不断解决客户遇到的问题，因此使用最新版本的软件， 客户便可免于遇到已经解决的问题。最佳实践： 请确保在进行新的部署时使用 vSphere 的

16、最新补丁程序/更新级别，并考虑将现有部署更新到最新的补丁程序版本，以处理已得到解决的已知问题。全闪存注意事项在vSAN 6.0 中，VMware 引入了对全闪存 vSAN 配置的支持。与混合版本相比，全闪存版本有一些显著差异，本指南相应部分中详细介绍了这些差异。与混合配置相比，无论工作负载如何，全闪存vSAN 配置都可以提供经过提升、高度可预测且统一的性能。全闪存还支持RAID-5/6 纠删码容错方法，这可提高恢复能力。对于全闪存配置，可以启用重复数据消除和压缩，以最大限度减少原始容量消耗。有关这些功能特性的更多信息，请参阅 HYPERLINK /%23!/vmware-vsan/vsan-s

17、pace-efficiency-technologies vSAN 空间效率技术 指南。vSAN 全闪存配置：需要 10 Gb 网络最多允许 64 个节点/主机使用闪存设备提供缓存和容量不将缓存设备用于读取，因为这些由全闪存容量层直接提供将耐久性较高、容量较低的闪存设备用于缓存层（写缓冲区），将耐久性较低、容量较高的闪存设备用于容量层设计概述注意事项摘要查看VMware 兼容性指南 (VCG)，确保设计中使用的所有硬件都受支持查看VCG，确保设计中使用的所有软件、驱动程序和固件版本都受支持在集群中使用相似配置，避免配置不均衡在设计时考虑到增长。在进行初始部署时，考虑在集群中留出容量用于未来的虚

18、拟机部署，并留出足够的闪存缓存来容纳未来的容量增长。在向vSAN 集群添加容量时，首选方法是通过添加主机来横向扩展。在设计时考虑可用性。考虑设计三个以上的主机和额外容量，以使集群能够在发生故障时自动修复验证vSAN 运行状况服务是否已启用。在向 vSAN 数据存储添加工作负载之前，解决运行状况服务指出的所有问题。请确保在进行新的部署时使用vSphere 的最新补丁程序/更新级别，并考虑将现有部署更新到最新的补丁程序版本，以处理已得到解决的已知问题vSAN 限制这些是在设计 vSAN 集群时必须考虑的 vSAN 限制条件。ESXi 主机和虚拟机限制vSAN 配置具有一些限制，会影响您的设计和规模

19、设定。请参阅 VMware Docs 上 vSphere 文档中的“最高配置”。请注意，vSAN 延伸集群有着特殊的限制。有关更多信息，请参阅 VMware Docs 上的 vSAN 文档。设计决策： 具有四个或更多节点的 vSAN 集群可以提供更高的灵活性。请尽量考虑在集群中最少设计四个节点。虚拟机存储策略最大值虚拟机存储策略会影响规模设定，将在本指南的后面部分详细讨论。最小值最大值默认值说明每个对象的条带宽度NumberOfDiskStripesPerObject1121vSAN 可以决定某个对象可能需要跨多个硬盘条带化，而无需在策略中设置任何条带宽度要求。这其中的原因可能各有不同， 但通

20、常是因为管理员要求创建的 VMDK 过大，不适合单个物理驱动器。还应当注意，vSAN 上最大的组件为 255 GB。对于规模大于 255 GB 的对象，vSAN 会自动将它们分成多个组件。因此，如果管理员部署一个 2 TB VMDK，则有可能在构成该 VMDK 对象的同一 RAID-0 条带配置中看到 8 个或更多组件。容许的主要故障NumberOfFailuresToTolerate031此策略设置确定要防范的集群级别的故障数量。主机或故障域（如果使用） 的数量必须符合镜像的公式“2n+1”或纠删码的公式“2n+2”，才能应对vSAN 集群中的“n”个故障。请注意，容许 3 个故障是 RAI

21、D-1 镜像容错方法支持的最大数量。如果使用 RAID-5/6 纠删码， 则支持容许的最大故障数为 2。在延伸集群体系结构中，这将是跨站点使用的保护措施，并且仅限最多 1 个故障。容许的次要故障030此策略设置用于确定是在vSAN 延伸集群的一个站点还是两个站点中使用本地保护。此策略设置要求， 对于镜像或纠删码，延伸集群的每个站点内都必须满足“2n+1”或“2n+2”的条件。这将决定每个站点可容许的故障数量。此规则的例外情况是，当 PFTT 值为 0 并且使用保护单个站点中的 vSAN 对象的关联性策略设置时。闪存读缓存预留FlashReadCacheReservation0%100%0%仅适

22、用于混合配置。对象的 IOPS 限制ObjectSpaceReservation不适用2,147,483,647无此策略设置限制一个 vSAN 对象可以使用的 IOPS 数量。对于不超过 32 KB 的数据块，其 IOPS 限制为1:1。对于大于 32 KB 的数据块，其限制以 32 KB 的大小为基础进行计算。示例：1000 的 IOPS 限制将允许最多 1000 个 32 KB或 500 个 64 KB。设计决策 ：确保容量层中有足够的物理设备来满足所需的条带宽度要求。设计决策 ：确保集群中有足够多的主机（和故障域）来满足所需的 NumberOfFailuresToTolerate 要求。

23、最大 VMDK 大小vSAN 上部署的虚拟机由一组对象组成。例如，VMDK 是一个对象，快照是一个对象，虚拟机交换空间是一个对象，虚拟机主目录命名空间（.vmx 文件、日志文件等存储在其中）也是一个对象。所有这些对象均由一组组件构成，具体组成内容由虚拟机存储策略中的功能确定。例如，如果为虚拟机部署了容许一个故障的策略，则对象将由两个副本组件组成。如果策略包含条带宽度，则对象将跨容量层中的多个设备条带化。其中每一个条带都是该对象的一个组件。本指南后面部分将详细介绍对象和组件的概念，下表显示了影响规模设定的限制：vSAN 5.5vSAN 6.x最大组件数 3,000/ESXi 主机9,000/ES

24、Xi 主机vSAN 6.1 和更高版本中每个 ESXi 主机 45,000 个见证组件最大 VMDK 大小2 TB62 TB如上一部分所述，在vSAN 6.x 中，对象仍然以 255 GB 的大小条带化。假设默认策略为NumberOfFailuresToTolerate = 1，如果管理员部署一个 62 TB 的对象，则将创建大约 500 个组件。在vSAN 上创建非常大的 VMDK 时，需要考虑最大组件数。vSAN 限制设计注意事项摘要强烈 建议在 vSAN 集群上启用 vSphere HA，以最大限度减少由主机故障引起的停机。版本 6.x 中的vSphere HA 可以保护最多 6,400

25、 个虚拟机。请考虑容许故障所需的主机（和故障域）数。请考虑在集群中最少设计 4 个节点。请考虑为了实施所需的条带宽度而需要的容量层中的设备数。请在部署非常大的虚拟机时考虑组件数量。不太可能有很多客户具有为每个主机部署多个 62 TB VMDK的要求。实际上，组件数量在vSAN 6.x 中不应该是问题请记住，VMDK 默认进行精简配置，因此客户应在容量方面为未来的增长做好准备。网络设计注意事项vSAN 网络设计指南介绍了要求和最佳实践。此处就其中一部分进行了讨论。网络连接性和带宽在vSAN 混合配置中，VMware 支持为 vSAN 网络流量使用 1 Gb、10 Gb、25 Gb、40 Gb 和

26、 100 Gb 的网卡 (NIC)。如果使用 1 Gb 网卡，VMware 要求此网卡专用于 vSAN 流量。如果使用 10 Gb 或更高带宽的网卡，则可与其他网络流量类型共享这些网卡。尽管VMware 已在 1 Gb 上成功运行较小的混合 vSAN 部署，但最佳实践是使用 10 Gb 链路。仅 10 Gb 或更高的连接支持 vSAN 全闪存配置。其中一个原因是，通过全闪存配置提升的性能可能消耗主机之间的更多网络带宽，以获得更高的吞吐量。在两种配置中，10 Gb 链路都不需要专用，可以与 vMotion 等其他网络流量类型共享它们。如果 10 Gb 网卡在多种流量类型之间共享，则强烈建议使用N

27、etwork IO Control 防止一种流量类型占用全部带宽。需要注意有多少复制和通信流量在ESXi 主机之间移动，这与集群中的虚拟机数量、每个虚拟机有多少副本以及在虚拟机中运行的应用的I/O 密集程度直接相关。建议： 在 vSAN 集群中的主机之间使用最少 10 Gbps 的网络连接。尽管这些连接可以与其他流量类型共享， 但建议使用Network I/O Control 来优先处理 vSAN 流量。使用网卡绑定实现冗余vSAN 网络流量使用单个 VMkernel 端口。尽管在使用 LACP 时可能发生某些负载均衡，但要 vSAN 网络流量提供更高的可用性，最好的方法可能是绑定网卡。如果一

28、个适配器发生故障，另一个适配器会接管通信。有关更多信息，请参阅 HYPERLINK /%23!/vmware-vsan/vmware-r-virtual-san-tm-network-design/nic-teaming-2 vSAN 网络设计指南 。MTU 和巨型帧注意事项vSAN 支持巨型帧。VMware 测试发现，使用巨型帧可以降低 CPU 使用率并提高吞吐量。但这样做收益甚微， 因为vSphere 已经使用 TCP 分段负载分流 (TSO) 和大量接收负载分流 (LRO) 来达到相似的效果。在已经在网络基础架构中启用巨型帧的数据中心内，建议对vSAN 部署使用巨型帧。否则，不建议使用巨

29、型帧，因为在整个网络基础架构中配置巨型帧的运维开销通常会超出其所带来的收益。建议：如果现有网络环境已经配置为使用巨型帧，请考虑为vSAN 使用巨型帧。多播注意事项vSAN 6.6 不再使用多播。有关更多信息，请参见“ HYPERLINK /%23!/vmware-vsan/vsan-multicast-removal vSAN 多播移除 ”。多播是vSAN 6.5 及更早版本的网络必备条件。多播用于发现加入集群的 ESXi 主机，以及跟踪集群内的元数据更改。必须确保在加入vSAN 集群的所有节点之间允许多播流量。应当注意，只有非常小的一部分 vSAN 流量会使用多播。多播性能也很重要，因此应当

30、确保使用高质量的企业级交换机。如果为vSAN 使用较低端的交换机，应当测试其多播性能，因为单播性能不能反映多播性能。应使用vSAN 运行状况服务验证多播性能是否足够。尽管 IPv6 受支持，也应验证这些环境中的多播性能，因为较旧的网络连接设备可能难以支持IPv6 多播性能。通过 Network I/O Control 实现网络服务质量使用Network I/O Control (NIOC) 可以确保服务质量 (QoS)。此功能特性支持为 vSAN 流量分配专用的网络带宽量。通过使用NIOC，可借助“份额”机制确保其他流量不会影响 vSAN 网络性能。Network I/O Control 需要

31、分布式交换机 (VDS)。Network I/O Control 在标准交换机 (VSS) 上不可用。vSAN 许可随附Virtual Distributed Switch。这意味着任何版本的 vSphere 都可以配置 NIOC。vSAN 支持使用VDS 和 VSS。网络设计注意事项摘要混合配置支持 1 Gb 和 10 Gb 网络（建议使用 10 Gb）全闪存配置需要使用 10 Gb 网络极力建议使用网卡绑定提高可用性/冗余巨型帧在vSAN 环境中提供的优势很少。因此，只有在现有网络基础架构中已经配置了巨型帧的情况下，才应该使用巨型帧必须在vSAN 集群的所有主机之间配置多播，并保证其正常运

32、行请考虑将vDS 与 NIOC 结合，为 vSAN 流量提供服务质量 HYPERLINK /%23!/vmware-vsan/vmware-r-virtual-san-tm-network-design VMware vSAN 网络连接设计指南 中介绍了设计选项、最佳实践和配置详细信息，包括： HYPERLINK /%23!/vmware-vsan/vmware-r-vsan-tm-network-design/nic-teaming-3/1 vSphere 绑定注意事项 - IP 哈希与其他 vSphere 绑定算法 HYPERLINK /%23!/vmware-vsan/vmware-r-

33、vsan-tm-network-design/data-center-network-1/1 物理拓扑注意事项 - 主干/分支拓扑与访问/聚合/核心拓扑在大规模 vSAN 集群中的影响针对高可用性的vSAN 网络设计 - 设计注意事项，用于实现高度可用的 vSAN 网络负载均衡注意事项 - 如何在与其他流量类型结合的情况下，通过多个物理上行链路为 vSAN 流量实现聚合带宽vSAN 和其他流量类型 - 将 Network I/O Control 用于 vSAN 和其他流量类型的详细体系结构示例和测试结果存储设计注意事项必须先了解重要的 vSAN 概念，才能针对 vSAN 确定适当的存储空间大小

34、。这种了解有助于对 vSAN 进行总体存储设计。硬盘组可将硬盘组视为vSAN 的存储容器。一个硬盘组可以有最多一个闪存缓存设备和最多七个容量设备。容量设备可以是磁盘或在全闪存配置中作为容量盘的闪存设备。简而言之，硬盘组用一个缓存设备为给定的容量设备提供缓存。这样可在一定程度上控制性能，因为缓存容量比取决于硬盘组配置。如果所需的缓存容量比非常高，每个主机可能需要多个闪存缓存设备。在这种情况下，由于每个硬盘组只能有一个闪存缓存设备，必须创建多个硬盘组才能满足要求。不过，使用具有较小闪存缓存设备的多个硬盘组也有一定的优势。它们通常可提供更高的IOPS，还能缩小故障域。缓存容量比越高，虚拟机可用的缓存

35、就越多，性能也就越高。但是，这样会增加成本。设计决策： 单个大型硬盘组配置或多个较小的硬盘组配置。缓存规模设定概述客户应根据其虚拟机的活动工作集设定vSAN 中的缓存规模要求。理想情况下，缓存规模应足以保存工作负载中重复使用的数据块。我们称之为活动工作集。但是，获取工作负载的活动工作集并不轻松，因为典型的工作负载会随时间的推移而有所不同，从而改变工作集和相关联的缓存要求。作为指导原则，VMware 建议在混合 vSAN 配置中，闪存缓存与占用容量之比至少为 10%。相同的建议同样适用于 6.5 之前的全闪存。虽然该指导原则仍然适用，但现在又有了关于规模设定的新指导原则，对目标性能指标和工作负载

36、的读写比提供建议。 HYPERLINK /virtualblocks/2017/01/18/designing-vsan-disk-groups-cache-ratio-revisited/ 有关更多信息，请查看此文章。vSAN 中的闪存设备在vSAN 混合配置中，闪存设备具有两个作用：读缓存和写缓冲区。在全闪存配置中，指定一个闪存设备用于缓存，而其他闪存设备用于容量层。这两种配置都可以显著提高vSAN 上运行的虚拟机性能。可以在 HYPERLINK /files/pdf/products/vsan/vmware-virtual-san-caching-whitepaper.pdf vSAN

37、缓存算法概述 中找到更多信息。读缓存的作用读缓存仅与混合配置有关，可保留最近读取的盘块集合。这可在缓存命中时降低I/O 读延迟，也就是说，可从缓存中而不是磁盘中获取盘块。对于给定的虚拟机数据块，vSAN 始终从同一副本/镜像中读取。但如果有多个副本（用于容错），vSAN 会在各个副本之间均匀划分数据块的缓存。如果要从第一个副本中读取的数据块不在缓存中，将参考目录服务以了解相应数据块是否在集群中其他镜像（位于另一台主机上）的缓存中。如果数据块位于该处，则从该处检索数据。如果数据块不在其他主机的缓存中，则表明读缓存未命中。在这种情况下，将直接从磁盘中检索数据。写缓存的作用混合配置和全闪存配置中采用

38、的写缓存相当于非易失性写缓冲区。这可显著提高混合配置和全闪存配置中的性能，还可延长全闪存配置中闪存容量设备的使用寿命。当内容写入闪存时，vSAN 会确保将该数据的副本写入集群中的其他位置。部署到 vSAN 的所有虚拟机都具有一个默认的可用性策略设置，用于确保至少有一个额外的虚拟机数据副本可用，这包括确保写入会保存在集群中的多个写缓存中。当客户操作系统中运行的应用启动写入之后，会将写入数据复制到包含存储对象副本的主机上的写缓存中。这意味着，如果主机发生故障，我们还有缓存中的数据副本可用，并不会发生数据丢失的情况；虚拟机只需重新使用复制的缓存副本以及复制的容量数据即可。客户端缓存vSAN 6.2

39、中引入的客户端缓存适用于混合和全闪存 vSAN 配置，可利用虚拟机本地的 DRAM 内存来提高读取性能。分配的内存量为每台主机 0.4%，最高 1 GB。由于缓存相对于虚拟机而言位于本地，因此它无需通过网络搜寻数据，可适当利用内存延迟。在读缓存适用的工作负载测试中，它可显著降低读延迟。该技术是对CBRC 的补充，除了 CBRC 限定的只读副本，还能够缓存 VMDK。缓存算法对混合配置中容量层大小设定的所有注意事项也同样适用于全闪存vSAN 配置。例如，都需要考虑虚拟机数量、VMDK 大小、同时拍摄的快照数量以及根据虚拟机存储策略中 NumberOfFailuresToTolerate 要求创建

40、的副本数量。全闪存配置的缓存算法不同于混合模式的算法。读取请求不再需要缓存层以提高性能。通过在全闪存配置中去除读缓存，整个设备将可只用于实现写缓冲并保护容量层的耐久性。这意味着耐久性和性能现已成为全闪存配置中容量层的考虑事项。在vSAN 5.5 中，只能使用闪存和磁盘的混合配置，缓存既要用作写缓冲区 (30%)，又要用作读缓存 (70%)。如果缓存未能满足读取请求，换句话说，读缓存未命中，则从容量层检索数据块。这是一个成本很高的操作， 尤其在延迟方面，因此当时的建议是尽可能在缓存中保留您的工作集。由于大多数虚拟化应用的工作集的大小约为 10%，因此建议为其配置缓存大小的 10%。使用混合配置时

41、，通常会将数据块从写缓存降级到磁盘。这是一个近似算法，该算法旨在降级连续（彼此相邻）的数据块。这可加快降级操作。全闪存vSAN 仍有写缓存，并且所有虚拟机写入会进入此缓存设备。除没有读缓存之外，主要的算法更改是写缓存的使用方式。写缓存现在可用于保留“常用”数据块（处于变更状态下的数据）。仅当数据块变得“不常用”（不再进行更新/写入）时，才会将这些数据块移动到容量层。在全闪存配置中，具有高耐久性闪存缓存设备（或写入密集型闪存设备）对缓存层的写入延迟一致性至关重要。如果虚拟机中运行的应用的工作集大部分都适合使用闪存写缓存，则闪存容量层的写入次数会减少。混合配置的闪存缓存大小设定一般而言，在不考虑

42、NumberOfFailuresToTolerate 的情况下，建议将 vSAN 闪存容量的大小设置为预计占用存储容量的 10%。例如，用户计划调配 1,000 个虚拟机，每个虚拟机有 100 GB 逻辑地址空间，采用精简配置。但他们预计随着时间的推移，平均每个虚拟机占用的存储容量为 20 GB。因此总体而言，复制前的预计占用存储容量为 1,000 x 20 GB = 20 TB。如果虚拟机的可用性系数定义为NumberOfFailuresToTolerate = 1 (FTT=1)，则此配置将为每个虚拟机创建两个副本。也就是说，占用容量略微大于 40 TB，包括复制的数据在内。但在这种情况下

43、，闪存大小为调配虚拟机的集群中闪存总容量的 10% x20 TB = 2 TB。目标闪存容量百分比的最优值应基于实际工作负载特征，例如硬盘上工作数据集的大小。作为一般原则，10% 可用作进一步优化的初始基础。VMware 建议，应将缓存大小设置为虚拟机存储（即 VMDK）占用容量的至少 10%。对于大多数虚拟化应用，约 10% 的数据会被频繁访问。目的是尝试尽可能将这部分数据（活动工作集）保留在缓存中，以实现最佳性能。此外，还需要考虑出现以下情况的应对措施：主机发生故障或闪存缓存设备发生故障，或者vSAN 集群中的主机处于维护模式。如果希望vSAN 重新构建受故障或维护模式影响的虚拟机的组件，

44、并且策略包含用于读缓存预留的设置，则该数量的读闪存缓存在发生故障后必须可用于重新配置虚拟机。FlashReadCacheReservation 策略设置仅与混合集群有关。全闪存阵列不具有读缓存。除非数据块已在写缓存中，否则将直接从闪存容量层读取。在本指南后文中的“虚拟机存储策略”部分会详细讨论该注意事项。工作示例 - 混合配置客户计划在 4 节点 vSAN 集群中部署 100 个虚拟机。假定每个 VMDK 大小为 100 GB，但估计每个 VMDK 仅50% 的大小将为物理占用。要求是将这些虚拟机使用的策略中的“ NumberOfFailuresToTolerate ”设置为 1。注意 ：尽管

45、在策略中将“ NumberOfFailuresToTolerate ”设置为 1 会将这些虚拟机所占用的硬盘空间翻倍，但不会进入缓存大小设定计算。因此，估计的占用容量将为 100 x 50 GB = 5 TB。因此，缓存大小应设置为 5 TB 的 10% = 需要 500 GB 的闪存。在使用 4 节点集群的情况下，这意味着每台主机中闪存设备的大小至少为 125 GB。然而，如前所述，应考虑使用更大的缓存配置进行设计，这可在未来实现无缝的容量增长。在此示例中，如果VMDK 最终占用 70%，而估计占用为 50%，则缓存配置将不足，从而可能使性能受影响。最佳实践 ：确保缓存大小足以满足设计要求。

46、建议将缓存的大小设置为未考虑 NumberOfFailuresToTolerate时，预计所用存储容量的 10%。设计注意事项 ：在设计时考虑增长。考虑购买足够大的闪存设备，以便可随时间推移轻松地扩展容量层。全闪存配置的闪存缓存规模设定全闪存vSAN 配置仅使用闪存层来进行写缓存，在低于 6.5 的版本中，原则上在全闪存模式下同样设置为10%，并且在现有部署中仍受到支持。从该版本起，该值需要基于性能进行调整。下表显示了耐久性级别以及每台主机所需的写缓冲区总量。注意：虽然每个主机支持 1 到 5 个硬盘组，但我们推荐最少配置 2 个。添加更多硬盘组可提升性能。请注意， 驱动器仍必须专门针对全闪存

47、写缓存使用量进行验证。AF-4 20KIOPSAF-6 50KIOPSAF-8 80KIOPS工作负载类型读写工作负载混合70/30随机读取密集型标准工作负载800GB*400GB*200GB30%随机写入100%连续写入一般性写 入，混合工作负载繁重写入， 连续工作负载1.2TB *1.6TB*800GB*400GBTB*600GB假 设容错方法 = RAID5/RAID6预留 30% 的未来性能增长和重新同步/重新构建的影响假定保持最大吞吐量的情况下，IOPS 会随着数据块大小的增长成比例地下降就绪节点配置的详细信息： HYPERLINK /resources/compatibility/

48、vsan_profile.html https:/ HYPERLINK /resources/compatibility/vsan_profile.html /resources/compatibility/ HYPERLINK /resources/compatibility/vsan_profile.html vsan_prole.html IOPS 的大小假定为 4 KB。会相应地划分较大数据块。* 得出这些结果的测试是对 AF-8 和 AF-6 使用 2 个硬盘组进行的。在 AF-8 的案例中，是使用400、600 和 800 GB 固态硬盘进行的 100 连续测试。注意，使用更多硬盘

49、组可以进一步提升性能。 HYPERLINK /virtualblocks/2017/01/18/designing-vsan-disk-groups-cache-ratio-revisited/ 有关详细信息，请阅读以下博文。最佳实践 ：查看 VCG 并确保闪存设备 (a) 受支持以及 (b) 可提供 vSAN 设计所需的耐久性特征。闪存耐久性注意事项随着在全闪存配置的容量层中引入闪存设备，现在针对容量闪存层和缓存闪存层中的耐久性进行优化就非常重要。在混合配置中，仅缓存闪存层需要考虑闪存耐久性。为了与供应商的驱动器质保使用一致的衡量标准，从vSAN 6.0 开始，耐久性级别已更新为使用写入 T

50、B 数(TBW)。之前使用的规格是完整驱动器每天写入次数 (DWPD)。通过以TBW 为单位标注规格，VMware 允许供应商灵活地使用容量较大但完整 DWPD 规格较低的驱动器。例如，从耐久性方面看，规格为 10 完整 DWPD 的 200 GB 驱动器相当于规格为 5 完整 DWPD 的 400 GB 驱动器。如果VMware 对 vSAN 闪存设备保留使用 10 DWPD 规格，则 5 DWPD 的 400 GB 驱动器将排除在vSAN 认证之外。例如，将规格更改为 2 TBW/天，200 GB 驱动器和 400 GB 驱动器就都能符合条件 - 2 TBW/天相当于 400GB 驱动器的

51、 5 DWPD，也相当于 200 GB 驱动器的 10 DWPD。对于运行高工作负载的全闪存vSAN 而言，闪存缓存设备规格为 4 TBW/天。这相当于 5 年写入 7300 TB。当然，这对于容量层上使用的闪存设备的耐久性也是一个有用的参考，但这些设备往往不需要与用作缓存层的闪存设备具有相同级别的耐久性。最佳实践： 查看 VCG 并确保闪存设备 (a) 受支持以及 (b) 可提供 vSAN 设计所需的耐久性特征。纵向扩展容量，确保足够缓存在vSAN 众多富有吸引力的功能特性中，其中一项就是既能够进行纵向扩展，也能够进行横向扩展。例如，在将vSAN 集群设置为自动模式的情况下，用户只需将新硬盘

52、驱动器添加到集群（假定有可用硬盘插槽）即可， vSAN 会自动申领该硬盘并将其添加到硬盘组，然后增加 vSAN 数据存储的可用容量。这同样适用于通过添加新硬盘组同时纵向扩展缓存和容量的情形。管理员只需为缓存添加一个新的第一层闪存设备并为容量层额外添加至少一个磁盘或闪存设备，即可构建一个新硬盘组。但是，如果想要纵向扩展vSAN 数据存储的容量（在服务器级别添加更多容量），那么，请务必确保有足够的缓存。应注意的是最初要提供较高的缓存容量比，以便容量层能够随影响未来的闪存容量比而扩展。在实现缓存和容量纵向扩展的同时引入新的硬盘组相对比较容易。通过将新硬盘插入到混合中的硬盘组（或用于全闪存的闪存设备）

53、，也可以很容易地添加额外容量。但这样可能更难以添加额外缓存容量。如果需要换出当前缓存设备并将它更换为更新、更大的缓存设备，这就会更加困难。当然，此方法的成本也更加高昂。在一开始就超额分配闪存资源而不是在vSAN 处于生产阶段后再尝试增加闪存资源会容易得多。设计决策： 额外的闪存缓存设计可更容易地实现容量层的纵向扩展。此外，与尝试只更新现有硬盘组中的现有闪存缓存设备相比，通过添加新硬盘组来同时纵向扩展缓存和容量的方法也更容易。SATA、SAS、PCI-E 和 NVMe 闪存设备在决定选择SATA、SAS、PCI-E 还是 NVMe 闪存设备时，有多个注意事项。这些注意事项分为三类：成本、性能和容

54、量。固态硬盘使用SATA 或 SAS 接口。即使闪存的速度在加快，SATA 固态硬盘仍然受制于 SATA 的 6 Gb/秒标准。反之，PCIe (Peripheral Component Interconnect Express)，是为实现主板扩展的物理互连。它可以为PCIe 3.x 设备提供最多 16 个通道用于数据传输，每个方向上每个通道的速率大约为 1 Gb/秒。这样便能为可使用全部 16 个通道的 PCIe 设备提供大约 32 Gb/秒的总带宽。混合使用SATA 和 SAS 时观察到了性能下降，特别是采用较大驱动器配置时更是如此。另一个有用的性能注意事项是，通过使用PCI-E 或 NV

55、Me 缓存设备，可以降低存储控制器上的负载。事实表明，这样一般都可以提高性能。多家闪存供应商在带有非硬盘闪存设备的vSAN 上进行性能测试后提出了这一反馈。vSAN 6.1 中引入了 NVMe 设备支持。NVMe 可为 IO 操作提供更低的延迟、更高的性能和更低的 CPU 开销。获得这样的性能也需要付出相应的成本。通常，PCIe 闪存设备和 NVMe 比固态硬盘更昂贵。写入耐久性是另一个重要的注意事项，耐久性越高，成本就越高。最后，还有容量注意事项。尽管固态硬盘越来越大，在VCG 中查看受支持的 vSAN 闪存设备时会发现，在本指南编写时最大的固态硬盘为 15.36 TB，而最大的 PCIe

56、闪存设备为 6,400 GB。在设定规模时，请确保有足够的第 1 层闪存缓存对应于容量（无论容量层是磁盘还是闪存）。同样，还是要考虑成本因素。设计注意事项 ：请考虑工作负载是否需要 PCI-E 或 NVMe 性能，或者固态硬盘提供的性能是否足够。设计注意事项 ：请考虑，设计中应包含带有单个大型闪存设备的单个大型硬盘组，还是包含带有多个较小闪存设备的多个硬盘组。后者的设计可缩小故障域，并且可能提升性能。磁盘在混合配置中，磁盘构成了vSAN 数据存储的容量。磁盘数量也是条带宽度的一个影响因素。当虚拟机存储策略中指定了条带宽度时，构成该条带的组件将分别安置到不同的硬盘上。如果需要特定的条带宽度，那么

57、在集群中的各个主机上可用的硬盘必须达到所需数量才能满足要求。如果虚拟机在其策略中还具有容许的故障数要求，那么就需要在单独的主机上准备更多硬盘，因为每个条带组件都需要复制。在下面的屏幕截图中，我们可以看到此类配置。条带宽度要求为二 (RAID 0)，容许的故障数为一 (RAID 1)。请注意，观察“HDD Disk Uuid”（硬盘驱动器硬盘 Uuid）列，所有组件都安置在唯一硬盘上：请注意，硬盘驱动器是指容量设备。在混合配置中，充当这一角色的是磁盘。在全闪存配置中，充当这一角色的是闪存设备。磁盘性能 - NL SAS、SAS 或 SATA在混合模式下配置vSAN 时，容量层由磁盘组成。有多种选

58、项可供 vSAN 设计人员选择，设计人员需要考虑可靠性、性能、容量和价格。vSAN 支持三种磁盘类型：串行连接SCSI (SAS)近线串行连接SCSI (NL-SAS)串行高级技术附件 (SATA)NL-SAS 可以视为带有 SAS 接口的企业级 SATA 驱动器。使用 SAS 和 NL-SAS 可以获得最佳结果。SATA 磁盘未针对vSAN 6.0 及更高版本进行认证。磁盘容量 - SAS 或 NL-SAS对于混合vSAN 配置，NL-SAS 驱动器可提供比 SAS 驱动器更高的容量。当前在适用于 vSAN 的 VCG 上，有4 TB NL-SAS 驱动器可用。编写本指南时，SAS 驱动器最

59、大大小为 1.2 TB。必须要在容量层所需的磁盘数量与容量层的性能之间进行权衡。磁盘性能 - RPMSAS 硬盘往往更可靠，性能更出色，但相应的成本也更高。它们一般可实现高达 15,000 RPM（每分钟转数） 的速度。VCG 列出了受支持驱动器的 RPM（驱动器速度）。这样方便设计人员在配置混合 vSAN 时选择容量层上所需的性能级别。尽管无需检查磁盘的驱动程序/固件，但必须检查 SAS 或 SATA 驱动器来确保它们受支持。由于SAS 驱动器的性能远高于 SATA，因此在混合配置中，出于对磁盘层性能的考虑，应郑重考虑使用速度更快的SAS 驱动器。相比缓存不友好的工作负载，缓存友好的工作负载

60、对硬盘性能较不敏感。但是，由于应用性能状况可能随时间的推移而变化，在所需的硬盘驱动器性能上持保守态度一般更为可取，10,000 RPM 驱动器是大部分工作负载组合普遍接受的标准。磁盘数量在混合配置中很重要拥有足够的闪存缓存量固然重要，拥有足够的磁盘同样也很重要。在混合配置中，所有虚拟机写入操作都进入闪存，在之后的某个时间点，这些数据块将转储到磁盘中。拥有多个磁盘可加快转储过程。同样，混合vSAN 配置以 90% 的读缓存命中率为目标。这意味着 10% 的读取将成为读缓存未命中，这些数据块必须从容量层的磁盘中检索。同样，拥有多个磁盘可以加快这些读取操作。设计决策： 磁盘数量在混合配置中很重要，请