VMwarevSAN环境搭建操作文档

1、vSAN 配置文档1 配置前的基本准备工作1.1 准备磁盘和网络搭建 vSAN 最小环境，需要3 台主机做一个vSAN Cluster 。每台主机需要配备一块以上的SSD，和 vSAN 流量网络。1.2 搭建 vSphere 基础环境在目标主机上安装好ESXi 系统，和vCenter 管理软件。vCenter Server Appliance5vCSA1.3识别、添加SSD 存储在主机-管理-存储器-存储适配器-适配器详细信息页面下，可以看到识别到的各存储卷 和存储类型。1.4 web 界面配置SSD 存储在某些情况下，比如两块SSD 硬盘做 raid 后， SSD raid 卷可能被ESX

2、错误识别成HDD硬盘， 这时候需要手动标记SSD raid 卷为闪存盘，也就是 SSD 类型。 点击网页中的F 图标，可以手动标记磁盘类型，需要确认在适配器详细信息中，至少有一个闪存类型的存储卷。1.4.1 命令行配置SSD存储标记 SSD 存储卷的过程，也可以在命令行中完成。执行 esxcli storage corelist，可以列出主机上的详细存储信息：用以下两条指令，可以配置指定的存储卷为SSD 类型：esxcli storage nmpsatp rule add -s VMW_SATP_LOCAL -o enable_ssd -d naa.5000039638212730esxcli

3、 storage core claiming reclaim -dnaa.5000039638212730再执行 list 可以看到已经被配置为SSD 闪存类型。1.4.2 清除磁盘上的原文件系统vSAN 要求磁盘组中所有磁盘上，都没有任何文件系统、分区表。要清除磁盘上的原有文件系统，需要使用parted 的 vmware 版本，在ESX 命令行里，这个工具叫partedUtil 。可以用 partedUtil 工具对 /vmfs/devices/disks 目录下的各设备进行分区操作，在清除文件系统操作中，主要用到get 子命令来查看分区，用delete子命令来删除分区。清除磁盘上的所有分区

4、后，就可以在vSAN web 管理界面上识别出这块磁盘，加入 vSAN 磁盘组。2 配置 vSAN 群集2.1 创建群集，开启vSAN 功能。创建 vSAN 群集，把ESX主机加入vSAN群集。点击群集-vSAN 群集名 -管理-设置-虚拟SAN- 常规 -编辑-打开虚拟SAN 。建议先选择手动向存储中添加磁盘。这个操作只能在web client 里进行，客户端软件里没有vSAN 相关选项。2.2 添加 vSAN 磁盘组在虚拟 SAN- 磁盘管理页面，点击声明磁盘和添加磁盘组，添加好vSAN 磁盘组。2.3配置 vSphere分布式交换机选择 Distributed Switch- 操作 -D

5、istributed Switch-新建 Distributed Switch ，输入交换机名，选择交换机版本，根据主机的上行链路数量，选择上行链路数。在此次测试环境中，每个ESX 主机使用一块网卡作为上行链路，vSAN 群集中有三个ESXi 主机，这台的上行链路数就应该设定为三。这个数值与VSAN 群集包含的主机数量完全相关。点击完成，分布式交换机就创建好了。2.3.1 添加 ESXi 主机到 vSAN 群集选择 Distibuted Switch- 添加主机，勾选管理物理适配器和管理VMkernel 适配器，选择一块网卡作为上行链路，点击分配上行链路选择新建适配器，选择刚创建的vSAN 分

6、布式虚拟交换网络，勾选 “虚拟 SAN 流量配置 IPv4 地址 ,完成分布式交换机的配置。注意：此时IP 地址应该与管理网不在同一个网段中3 配置虚拟机存储策略启用 VSAN 后，就可以利用VSAN 提供的功能来创建一些虚拟机存储策略。例如：可在主页中，选择规则和配置文件-虚拟机存储策略-创建新虚拟机存储策略，输入一个自定义名称，之后在基于数据服务的规则里，选择VSAN ，配置好规则集，配置好的存储策略兼容性显示如下，4 在 vSAN 存储上创建虚拟机创建虚拟机时，在选择存储器步骤，要选择配置好的虚拟机存储策略，这时页面上会过 滤留下兼容的存储池，启用 vSAN 存储策略后，自定义硬件页面显

7、示如下，在虚拟机的管理页面，可以看到虚拟机存储策略的合规性检查状态。5 常见问题处理英特尔（Intel） S3510 系列固态硬盘240G SSDSSD 作为缓存镁光SSD 卡清除Intel SSD 盘分区命令partedUtilmklabel t10.ATA_INTEL_SSDSC2BB240G6_BTW A505102TP240LGN_ gptIOPS （Input/Output Operations Per Second） ， 即每秒进行读写（ I/O）操作的次数，多用于数据库等场合，衡量随机访问的性能。FIO 工具测试IOPS 性能验证了虚拟机在线迁移，主机的高可用HA 功能加不进去物

8、理机也有可能是因为物理主机时间节点不一致，差的太多测试 IOPS 性能a. 块大小为1k ，混合读写，写占90%，测试时间10分钟，结果取写的iops 。b. 块大小为1k ，混合读写，读占90%，测试时间10分钟，结果取读的iops 。c. 块大小为1M，混合读写，写占90%，测试时间10分钟，结果取写的带宽。d. 块大小为1M，混合读写，读占90%，测试时间10分钟，结果取读的带宽。iops:/iops # cat fio_stress.sh#!/bin/bashipaddr=/sbin/ifconfig | grep 192.168 | awk -F":" '

9、print $2' | awk 'print $1' | head -1runtime12=600runtime34=600dt=/bin/date +"%F_%M_%S"#1 1k write 90/usr/local/bin/fio-filename=/dev/sda3 -time_based -direct=1 -rw=randrw-bs=1k-size=64g -numjobs=8 -runtime=$runtime12 -iodepth=8-ioengine=sync -rwmixwrite=90-group_reporting -name

10、=write-read-mixedtext&> fio1_result_$ipaddr_$dt#2 1k read 90/usr/local/bin/fio-filename=/dev/sda3 -time_based -direct=1 -rw=randrw-bs=1k-size=64g -numjobs=8 -runtime=$runtime12 -iodepth=8 -ioengine=sync -rwmixread=90-group_reporting -name=write-read-mixedtext&> fio2_result_$ipaddr_$dt#

11、3 1M write 90/usr/local/bin/fio -filename=/dev/sda3 -time_based -direct=1 -rw=randrw-bs=1M-size=64g -numjobs=8 -runtime=$runtime34 -iodepth=8-ioengine=sync -rwmixwrite=90-group_reporting -name=write-read-mixedtext&> fio3_result_$ipaddr_$dt#4 1M read 90/usr/local/bin/fio -filename=/dev/sda3 -time_based -direct=