VMware vSAN软件平台升级手册

1、VMware vSAN 售后最佳实践第五部：vSAN 升级册3目 录前：4 HYPERLINK l _TOC_250013 概述：5 HYPERLINK l _TOC_250012 实验环境介绍：6 HYPERLINK l _TOC_250011 第部分：vSAN升级评估7 HYPERLINK l _TOC_250010 第部分：备份相关配置16 HYPERLINK l _TOC_250009 第三部分：vSAN环境升级前检查17 HYPERLINK l _TOC_250008 第四部分：跨版本升级vCenter（6.0U2到6.5U1）20 HYPERLINK l _TOC_250007 第

2、五部分：升级ESXi主机29 HYPERLINK l _TOC_250006 第六部分：确认vSAN健康状态43 HYPERLINK l _TOC_250005 第七部分：升级vSAN磁盘格式 （V3升级到V5）45 HYPERLINK l _TOC_250004 第部分：vSAN环境升级后检查47 HYPERLINK l _TOC_250003 附录1：升级vSAN磁盘格式 （V2升级到V5）49 HYPERLINK l _TOC_250002 附录2：使指定的vSAN磁盘格式版本创建磁盘组55 HYPERLINK l _TOC_250001 附录3 : 同版本升级vCenter（6.5GA

3、到6.5U1）59 HYPERLINK l _TOC_250000 参考信息62 PAGE 62概述：vSAN升级过程分为以下8个步骤：vSAN升级评估 - 明确升级的标，确认兼容性备份相关配置 - 包括vCenter和ESXi升级vSAN前检查 - 确认升级前vSAN的健康状态升级vCenter- 需要先升级vCenter升级ESXi主机 - vCenter升级完成后升级ESXi主机检查vSAN状态 - 磁盘格式升级前，需要检查vSAN状态，包括升级相关硬件的驱动固件升级磁盘格式 - 有可能涉及到数据迁移升级vSAN后检查 - 确认升级完成后vSAN的状态实验环境介绍：我们以前客户使最多的v

4、SAN6.2为基础，升级到最新的vSAN6.6.1 (ESXi6.5 U1)版本。整个环境为嵌套环境，包括：VCSA (vCenter Server Appliance) 6.0 U2版本 IP地址4台vSAN6.2节点，ESXi6.0 U2 IP地址为1、2、3和4VCSA我们将使ISO进升级，ESXi主机我们将使3种不同的法进升级：ISO，Offline安装包以 及VMware Update Manger。另外，需要注意点的是，为了模拟特殊场景，我们的vSAN使率保持在80%左右，且不能满“允许台主机故障”的测试，这种vSAN使式是不被推荐的！VMware建议保留30%的可空间来保障数据的

5、冗 余性。这样才能确保台主机发故障后，vSAN 数据存储仍有够的容量来承载重建的数据。参考档：vSAN Health Service - Physical Disk Health - Disk Capacity (2108907)第部分：vSAN升级评估vSAN升级评估包括以下6个步骤：确认升级标检查兼容性要求软件兼容性硬件兼容性检查vSphere升级路线检查vSAN磁盘格式升级路线vSAN络相关变更确定最终vSAN升级标步骤：我们升级前都会有个体的标，例如从版本A升级到版本B，类似下的表格：步骤：检查兼容性需要先介绍下VMware Compatibility Guide站。https:/ H

6、YPERLINK /resources/compatibility/search.php /resources/compatibility/search.php这个站包含VMware所有产品的兼容性要求，例如软件兼容性和硬件兼容性。VMware有专门的团队会 对和VMware产品相关的软件硬件进测试和验证，例如HBA卡的型号、驱动和固件；vCenter使的外置数 据库的类型和版本等。除此以外，VMware产品之间也有兼容关系，新版本的软件会带来新的功能，所以些版本软件并不能与新版本起使，例如版本的vCenter法管理新版本的ESXi。兼容性检查对于户来说常重要，只有使符合VMware兼容性要求

7、的软件和硬件才会让户的业务运在最稳定的环境中。VMware技术持部门对不符合VMware兼容性要求的环境法提供技术持服务。 我们通过点击下链接进软件兼容性检查界：https:/ HYPERLINK /resources/compatibility/sim/interop_matrix.php /resources/compatibility/sim/interop_matrix.php进后界如下：绿对勾表符合兼容性，红表不兼容，灰横线表不持。关于软件兼容性，需要考虑以下点：vSAN和ESXi/vCenter兼容关系先需要了解vSAN和vSphere对应关系，简单来说关系如下：参考档：Build

8、 numbers and versions of VMware vSAN (2150753)vSAN和ESXi兼容关系：https: HYPERLINK /resources/compatibility/sim/interop_matrix.php l interop%26100%3D /www HYPERLINK /resources/compatibility/sim/interop_matrix.php l interop%26100%3D ./resources/compatibility/sim/interop_matrix.php#interop&100=vSAN和vCenter兼

9、容关系：https: HYPERLINK /resources/compatibility/sim/interop_matrix.php l interop%26100%3D /www HYPERLINK /resources/compatibility/sim/interop_matrix.php l interop%26100%3D ./resources/compatibility/sim/interop_matrix.php#interop&100=ESXi和vCenter的兼容关系：https: HYPERLINK /resources/compatibility/sim/inter

10、op_matrix.php l interop%26100%3D /www HYPERLINK /resources/compatibility/sim/interop_matrix.php l interop%26100%3D ./resources/compatibility/sim/interop_matrix.php#interop&100=在考虑完软件兼容性要求后，就需要考虑硬件兼容性要求： 硬件兼容性需要到我们HCL站查询https:/ HYPERLINK /resources/compatibility/search.php /resources/compatibility/se

11、arch.php需要考虑以下点：服务器的兼容性要求：Raid控制器硬件/驱动/固件兼容性要求：SSD/HDD硬件/驱动/固件兼容性要求：步骤三：检查vSphere升级路线注意：vsphere 6.0U3 不持升级到vsphere 6.5GA参考档：vSAN 6.6.1 Upgrade Considerations步骤四：检查vSAN磁盘格式升级路线随着vSAN新功能的加，vSAN使不同的磁盘格式版本。不同的磁盘格式版本之间的升级过程也不相 同。vSAN 磁盘格式版本与vSAN对应关系如下：我们可以通过下的表格确认是否需要数据的迁移：参考档：vSAN 6.6.1 Upgrade Consider

12、ations/s/article/2145267在我们的案例中我们从vSAN6.2升级到vSAN6.6.1(ESXi6.5 U1)，磁盘格式从V3升级到V5，不需要数据迁移。步骤五：关于vSAN 络的变更从vSAN6.6 (ESXi6.5.0d)开始，vSAN节点之间使单播的式在进通信。有以下点需要注意：在升级过程中，vSAN节点之间依旧会使组播进通信，直到所有的节点都升级到vSAN6.6或更（磁盘格式为3.0以及之前的版本）。vSAN6.6节点（即使磁盘格式为3.0以及之前的版本）之间会使单播进通信，如果此时有新的主机 加集群，该主机上安装了vSAN6.6之前的版本（例如vSAN6.2），那

13、么vSAN集群会切换到组播模 式进通信。此时vSAN集群中如果有任意个节点的磁盘格式升级到5，整个vSAN集群会使单播进通信。如果集群中存在vSAN6.6节点和vSAN6.6之前版本的节点（例如vSAN6.2节点），那么vSAN6.6节点与vSAN6.6之前版本的节点之间会发络隔离（例如 vSAN6.6节点和vSAN6.2节点之间发络隔离， 但是vSAN6.6节点之间可以正常通信）。步骤六：确定最终vSAN升级标最后我们会得到下类似的表格，这就是我们升级规划：第部分：备份相关配置升级vSAN之前需要备份相关的配置，其中包括vCenter和ESXi主机。具体法可以参考下的KB，这不 赘述。For

14、 vCenter 6.x Backup and restore options，Please review VMware KB 2149237 for guidance.For vCenter versions prior to 6.x，Please review VMware KB 2119754 for guidance.ESXi configurations can be backed up via command line. Please review vSphere Documentation Backing Up Configuration Information with vic

15、fgcfgbackup for guidance.ESXi systems can also be reverted to a previous image if a host was updated. Please review VMware KB 1033604 for guidance.第三部分：vSAN环境升级前检查在vSAN升级前，我们需要确认以下事情：当前的运环境中，vSAN、ESXi和vSphere符合兼容列表。没有络分区发。所有的vSAN磁盘是健康的。所有的对象都是可以访问的。后台没有数据进同步。在我们的环境中，我们检查下的内容：当前vSAN集群中包含4个vSAN节点：vSAN

16、中没有开启“去重和压缩”的功能，添加磁盘式为动添加。所有vSAN磁盘格式为V3。vSAN使混合模式，每台主机个磁盘组，每个磁盘组个SSD，个HDD。所有主机都在Group1（表没有络分区），磁盘格式为V3。磁盘状态健康。检查vSAN健康检查中的报错。在这套环境中，由于是嵌套环境，所有出现了驱动版本相关的报错。当前的vSAN使率较，达到80%，我们推荐vSAN有30%的可空间。参考档：vSAN Health Service - Physical Disk Health - Disk Capacity (2108907)确认后台没有数据同步，没有不可访问的对象。第四部分：跨版本升级vCenter（

17、6.0U2到6.5U1）由于我们进VCSA版本升级，从6.0U2升级到6.5U1，所以我们使光盘镜像进升级。 如果客户环境需要进VCSA同版本的升级，例如从6.5GA升级到6.5U1，请参考附录3。升级过程分为两个阶段：阶段1: 部署新的VCSA虚拟机阶段2: 把数据从源VCSA导到新的VCSA重要：升级之前我们需要对VCSA进备份，如果没有条件备份整个虚拟机，那么需要对VCSA虚拟机 做个快照。检查源VCSA的版本：挂载VCSA6.5的安装介质后，我们点击“升级”输源VCSA的IP地址为，以及源VCSA所在的主机的IP地址。指定需要新VCSA所在的主机IP地址。这选择了和源VCSA所在的相同

18、的主机 (2)。输新部署的VCSA的VM名称以及root户密码选择VCSA部署的Daststore名称以及是否使Thin模式：输新VCSA的临时IP地址，这使等待阶段1完成阶段1完成后，开始进阶段2：在输标主机进Pre-upgrade Check后，有可能会出现类似如下的报错：VCSA升级需要保证下两点：源VCSA，标VCSA，源VCSA所在主机，标VCSA所在主机可以Ping通。主机保证443端打开。在这个环境中，由于VCSA和主机使不同的端组（VCSA使ISOLATED-VM-NETWORK-Jason端 组，主机使VM-Network端组），并且使不同的IP段（VCSA的IP地址为192

19、.168.100段，主机使10.117.22段），所以VCSA和主机之间法ping通。参考档：Source host is not reachable on address error after upgrading to vCenter Server Appliance 6.5 (2148973) 解决法：在源VCSA和标VCSA的VM各加个新的卡，并且接到主机所使的端组，使得VCSA 新加的卡和主机在同个端组。在VCSA使ifconfig命令把新加的配置个临时IP ifconfig eth1 5/26 up在新VCSA中使ping命令，确保从VM内部可以ping通源VCSA和主机。下是Pr

20、e-upgrade Check的最终结果，我们会看到些络相关的告警信息，但这些可以忽略。选择需要迁移到新VCSA的数据类型：确认误后，开始升级。升级后我们发现，VCSA的版本已经升级到6.5U1。登陆vCenter的web client，确认vSAN主机状态正常，此，VCSA升级完成。第五部分：升级ESXi主机环境中有4台主机，我们会尝试使三种法进升级：法：Host1使ISO升级模式从ESXi6.0U2升级到6.5U1。法：Host2使离线安装包模式从ESXi6.0U2升级到6.5GA。法三：使VUM的式，把Host2，Host3和Host4升级到6.5U1。需要注意的是，如果使的OEM商的安

21、装介质，那么下载新的安装介质时也要选择对应的OEM商。法：Host1使ISO升级模式从ESXi6.0U2升级到6.5U1升级前主机版本检查：把主机置于维护模式，这选择“保证数据可性”。关于进维护模式的式：“迁移全部数据”：时较长，适于长时间的主机维护，超过1时。“保证数据可访问性”：适于短时间主机维护，如主机升级补丁后重启，不超过1时。“不迁移数据”：时最短，主机直接进维护模式。般于关闭所有vSAN节点，或者特殊 情况下关闭/重启主机（建议执前检查所有对象的状态，避免影响VM运）。请根据情况选择适当的式进维护模式。把ESXi6.5U1安装光盘插后，从光盘启动：选择升级选项：如果此时没有“升级”

22、的选项，需要考虑以下情况：是否使了OEM商的定制安装光盘ESXi的主机boot bank已经损坏按F11进升级:升级后版本已经为 ESXi6.5 U1把主机退出维护模式。此时环境中有台vSAN6.5，三台vSAN6.0，vSAN使组播模式。虽然这台主机的级选项磁盘格式参数已经变为5，但是实际上磁盘格式版本还是V3。此，光盘 升级主机的过程完成。法：Host2使离线安装包模式从ESXi6.0U2升级到6.5GA。把主机置于维护模式，这使“确保可性”。从VMware官上下载ESXi6.5GA的安装离线包。把安装包上传到主机可以访问的Datastore，例如local datastore，执下的命令

23、进安装：esxcli software profile update -p ESXi-6.5.0-4564106-standard -d /vmfs/volumes/datastore1/VMware-ESXi-6.5.0- 4564106-depot.zip安装完成后进重启，然后把主机退出维护模式。参考档：https:/ HYPERLINK http:/www.vladan.fr/how-to-upgrade-esxi-6-0-to-esxi-6-5-via-offline-bundle/ www.vladan.fr/how-to-upgrade-esxi-6-0-to-esxi-6-5-v

24、ia-offline-bundle/检查主机的版本为6.5GA。当前环境下，vSAN环境中的4个主机分别为：1台ESXi6.5U1，1台ESXi6.5GA，2台ESXi6.0U2。此时vSAN的磁盘格式还是V3。Host2的级选项磁盘格式依旧为4。法三：使VUM的式，把Host2，Host3和Host4升级到6.5U1。VSCA中集成了VUM，如果是Windows VC的话需要单独安装VUM。在VUM中导ESXi6.5U1介质：导完成后如下：导介质后，创建新的ESXi6.5U1的Baseline。在vSAN Cluster中，选择Attach Baseline。进环境扫描。扫描结果如下Host

25、1由于已经是6.5U1，所以显合规。Host3和Host4 是6.0U2，所以显不合规。Host2 是6.5GA，显部分合规。所以我们需要升级主机的为Host2，Host3和Host4。准备升级，选择Remediate, 选择Baseline。选择标主机：根据实际情况选择具体的选项：执Pre-Check Remediation，确认检查结果。整个升级过程中， 3台主机会依次经历5个阶段：进维护模式，重启，升级系统，启动系统，退出维护模式。升级的过程中会把Image导到主机的Ramdisk中：3台主机升级完成后，再次扫描，4台主机已经全部为合规的状态。此ESXi升级完成。此时vSAN集群中4台主

26、机均已经升级最新版本，虽然磁盘格式仍为V3，但是已经使单播进通信。此，4台主机全部升级完成。第六部分：确认vSAN健康状态我们需要在升级磁盘格式之前对vSAN进健康检查来满下的要求：All hosts are connected and have correct software version.All disks are healthy.All storage controllers and drives adhere to the vSAN HCL minimum requirementsAutomatic disk claiming is disabled.All objects are

27、 accessible and healthyAdequate capacity is available across the vSAN Datastore由于环境中使的嵌套vSAN，所以升级驱动等步骤略过。当前vSAN健康检查有如下报错，我们分别来解决：允许台主机故障报错，为了模拟特殊的场景，所以我们试验中vSAN的使率为80%以上，不能满“允许台主机故障”的要求。再次强调，VMware建议预留30%的可空间。vSAN健康检查到磁盘格式版本过低，建议升级。除此以外，我们还需要确认当前后台没有数据在进同步。在确保了vSAN健康检查的问题解决后，我们可以着开始升级磁盘格式版本。第七部分：升级v

28、SAN磁盘格式 （V3升级到V5）确认Pre-Check Upgrade没有问题，点击Upgrade开始升级。注意：些场景下，必须需要选择“允许降低冗余性”。这些场景下必须选择上“允许降低冗余性”的选项Three-Node clusters.2-Node / 2-Node direct connect cluster.Stretch Clusters that contain a single vSAN Disk Group.Clusters with Failure Tolerance method set to RAID-5/6 (Erasure Coding) with minimum

29、number of hosts (Four Nodes for Raid-5; Six Nodes for Raid-6).Clusters without enough capacity to fully evacuate each disk group参考档：vSAN 6.6.1 Upgrade ConsiderationsV3升级到V5的过程由于只需要升级元数据，所以不需要迁移数据，整个过程很快就完成。升级后磁盘格式版本已经为5，此，磁盘格式升级过程完成。第部分：vSAN环境升级后检查全部升级完成后，需要再次确认ESXi，vCenter，vSAN状态。vCenter版本：ESXi主机版本

30、：磁盘格式以及单播：附录1：升级vSAN磁盘格式 （V2升级到V5）为了更好的模拟客户的实际情况，我们同时也模拟从vSAN6.1升级到vSAN6.6.1 (ESXi6.5 U1)的场景。这时候磁盘格式就是从V2升级到V5。vSAN会按照顺序把主机的磁盘组移除，然后创建新的磁盘组，这期间会涉 及数据迁移。先在现有的VCSA6.5U1中添加6台ESXi6.1的主机。针对这个集群，vSAN使组播，并且磁盘格式为V2。注意：为了模拟极端的情况，vSAN使率在90%左右，这是不推荐的！VMware推荐保留30%的可空间。VUM扫描时候可以检测到6台不合规的主机。使VUM对这六台ESXi6.1主机进升级。

31、整个升级流程不再赘述，与之前的升级过程相同。升级后版本如下：升级完成后，我们就得到了下的状态：6台vSAN6.6.1 (ESXi6.5 U1)的节点使单播通信，但是磁盘格式是V2。在升级磁盘格式版本前，我们需要对vSAN进健康检查，包括相关驱动固件升级。前的报错包括：建议升级磁盘格式。为了模拟特殊情况，我们使90%的vSAN存储空间，所以现在不能满“允许台主机故障”的场景。磁盘使空间过。Raid卡驱动升级，由于这个环境中是嵌套环境，所以这个报错我们忽略。准备升级磁盘格式前，需要进Pre-check Upgrade。点击Upgrade后，出现如下界：当前环境下，由于vSAN剩余的空间不满个磁盘组

32、的容量，所以如果不选择“允许降低冗余性”的选项 的话，在移除磁盘组时候会报空间不的报错。我们需要选择上“允许降低冗余性”的选项。vSAN会正常进，按照顺序删除磁盘组-添加磁盘组。升级后检查：磁盘格式变成V5，单播模式。此，vSAN6.1升级到vSAN6.6.1过程完成。附录2：使指定的vSAN磁盘格式版本创建磁盘组客户有可能会遇到同个vSAN集群中不同的主机的磁盘格式版本不样的情景，出现这些场景通常因 为：vSAN集群中有部分主机升级。vSAN集群中节点版本不致。所有的vSAN节点已经升级，但是没有升级磁盘格式版本。每台主机重建磁盘组，没有使正确的法升级vSAN磁盘格式版本。VMware推荐使

33、标准的流程来进 vSAN磁盘格式版本升级，但是在某些场景下，我们可以通过调整ESXi的级选项来指定vSAN磁盘格式版本。如果客户环境中已经出现了“错误”版本的磁盘组，那么vSAN不 会放置数据在这个磁盘组内，因此我们需要移除这个磁盘组，然后在调整参数后创建新的磁盘组。注意：该法只适vSAN 6.x原磁盘格式版本。如果调整了该参数，使vSAN标准的磁盘格式版本升级流程会失败，需要先调整回原来的数值。如果调整了该参数，vSAN健康检查会有相应的报错，这是正常现象。更多的信息请参考KB：How to format vSAN Disk Groups with a legacy format versi

34、on (2146221)下是具体过程：vCenter版本为6.0U2vSAN集群包括4台主机，ESXi主机版本为6.0U1其中台主机已经升级到ESXi6.0 U2这台主机重新创建磁盘组，磁盘格式为V3，其他主机磁盘格式为V2。需要调整这台主机的磁盘格式版本参数Virsto.DiskFormatVersion。或者使下命令进操作：esxcli system settings advanced list -o /Virsto/DiskFormatVersion esxcli system settings advanced set -i 2 -o /Virsto/DiskFormatVersion

35、删除当前V3的磁盘组，创建新的磁盘组。新创建的磁盘版本为V2，可以正常的使后续如果需要升级整个vSAN集群的磁盘格式版本，需要先把刚才修改的数值改回4。通过vSAN集群进磁盘格式版本升级。附录3 : 同版本升级vCenter（6.5GA到6.5U1）vCenter的同版本升级和跨版本升级有些不同：跨版本升级需要完整的安装介质，同版本升级则需要 从VMware站下载升级包，我们以最新版本的vCenter为例：重要：升级之前我们需要对VCSA进备份，如果没有条件备份整个虚拟机，那么需要对VCSA虚拟机做个快照。使My VMware的账户登陆/group/vmware/patch输需要下载的版本的Build Num