解决方案数据中心vm虚拟化最佳实践开局配置指导书1.0nxpowerlite

1、解决方案数据中心VM虚拟化最佳实践开局配置指导书拟制 Prepared by评审人 Reviewed by批准Approved by测试中心解决方案测试部Date日期 Date日期 Date日期2009-03-31杭州通信技术Hangzhou H3C Technologies Co.,.文档ID密级ity level数据中心VM虚拟化配置指导书公开文档状态Sus共64页 Total 64pagesRelease1.00ReviRecord 模板修订Date日期Revi Ver修订版本Sec No.章节Change Description修改描述Author作者2009-03-311.00初稿完

2、成马目录1解决方案简介51.1解决方案需求分析52数据中心VM虚拟化解决方案配置说明53数据中心VM虚拟化局限性54数据中心VM虚拟化使用注意事项65数据中心VM虚拟化组网实现65.1最佳实践解决方案组图65.2配置说明95.2.1汇聚层75配置95.2.2接入层55EI配置105.2.3VM安装和基本配置145.2.4VM center连接管理ESX165.2.5配置ESX连接设备185.2.6设置ESX器235.2.7设置ESX业务网络组Vportgroup，为vm提供对外的网络接口235.2.8增加虚拟机vm265.3组网适用性说明285.4vm功能应用说明285.4.1vmotion2

3、85.4.2HA29图目录 Table of Pic图1 数据中心VM虚拟化组网1双网卡6图2 S75E+55EI+服务器四网卡组合（单VSWITCH）7图3 S75E+55EI+服务器四网卡组合（双VSWITCH）8图4 S75E+55EI堆叠聚合+服务器四网卡组合（双VSWITCH）91解决方案简介1.1解决方案需求分析随着数据中心的大力发展，对服务器虚拟化的需求不断增加：1、整合资源：将一个物理服务器作为多个服务器使用；2、提高可靠性：在不同物理服务器间实现备份、业务不中断迁移。VMware结合lsw的配合可以很方便地实现上述两个目标。可以用4种组网模式实现：组网 1：对外业务/管理网共

4、用二网卡，分别主备模式上行到 2 个接入 lsw。组网 2：四网卡部署模式，对外业务/管理网分别主备模式上行到 2 个接入 lsw。组网 3：四网卡部署模式，在组网 2 基础上让 vm 增加一个虚拟网卡连接到管理网为用户提供业务。组网 4：四网卡部署模式，在组网 3 基础上将上行两个 lsw 堆叠作为一个设备上行，并聚合 esx 的两个上行接口。2数据中心 VM 虚拟化解决方案配置说明1.接入层设备S55EI，汇聚设备S75E相关命令的详细说明请参见相关产品令手册和配置手册。2.数据中心VM虚拟化最佳实践解决方案，根据业务/管理网是否共用、VM是否为内部用户提供业务的不同分为4组网，组网简单集

5、中，便于管理。3数据中心 VM 虚拟化局限性1.端口聚合组网不能配合VM使用，负载分担由VMWARE以vm为进行。2.堆叠组网不能配合VM使用信标检测。3.HA切换是冷切换，业务的恢复需要系统管理员。4.由热迁移或ftp等业务引起esx和vm内存升高，但业务停止后下降非常缓慢，15分钟后降到日常稳定情况；其他详见测试。4数据中心 VM 虚拟化使用注意事项其他偶发性问题详见测试说明。5数据中心 VM 虚拟化组网实现5.1最佳实践解决方案组图图1 数据中心 VM 虚拟化组网 1双网卡组网1ESX服务器双网卡部署，NIC Teaming为主备模式：1、75为交换机，启三层接口，55EI为接入交换机，

6、服务器二层接入；2、ESX 1 和2 的VM Network以VMNIC1网卡为主，VMNIC2为备；3、Service console /VM kernel以VMNIC2网卡为主，VMNIC1为备。图2 S75E+55EI+服务器四网卡组合（单 Vswitch）组网2ESX服务器 4 网卡部署，NIC Teaming为主备/双活模式：1、75为交换机，启三层接口，55EI为接入交换机，服务器二层接入；2、ESX服务器1上的VM1和VM2以VMNIC1网卡为主，VMNIC3为备；3、ESX服务器2上的VM2和VM4以VMNIC3网卡为主，VMNIC1为备份；4、ESX服务器 1和2 的Serv

7、ice console都优先走VMNIC2网卡，VMNIC4为备份；5、ESX服务器 1和2 的VM kernel都优先走VMNIC4网卡，VMNIC2为备份；图3 S75E+55EI+服务器四网卡组合（双 Vswitch）组网3ESX服务器 4 网卡部署，NIC Teaming为主备/双活模式，使用2个虚拟LSW：1、75为交换机，启三层接口，55EI为接入交换机，服务器二层接入；2、ESX服务器1上的VM1和VM2以VMNIC1网卡为主，VMNIC3为备；3、ESX服务器2上的VM2和VM4以VMNIC3网卡为主，VMNIC1为备份；4、ESX服务器 1和2 的Service consol

8、e都优先走VMNIC2网卡，VMNIC4为备份；5、ESX服务器 1和2 的VM kernel都优先走VMNIC4网卡，VMNIC2为备份；6、VM提供两块虚拟网卡上连两个Vswitch，分别提供两个不同的业务；图4 S75E+55EI 堆叠聚合+服务器四网卡组合（双 Vswitch）组网4ESX服务器 4 网卡部署，NIC Teaming为主备/双活模式，使用2个虚拟LSW，上层接入2个LSW堆叠作为一个逻辑LSW：1、55EI为接入交换机启用堆叠特性，服务器二层聚合接入；2、接入交换机为两台堆叠交换机；3、服务器 1 和2 的VM都走VMNIC1和VMNIC2，两网卡配置为聚合链路；4、服

9、务器 1 和2 的Service console和VM kernel都走VMNIC3和VMNIC4，两网卡配置为聚合链路；5.2配置说明5.2.1 汇聚层 75 配置配置说明：本组网中有2台接入设备：7506E。75作为上层汇聚和网关，配置3层接口，启用STP协议，将对应的接划入特定的VLAN，两个75配置基本一致。对外业务网使用vlan10:/24网段，网关54；管理网使用vlan20:/24网段，网关20。#/启用STPstp instance 0 root primary#/设置两个75之间的聚合口erface Bridge-Aggregation1port link-type trun

10、kport trunk permit vll#erface GigabitEthernet2/0/1portlink-type trunkporttrunk permit vllportlink-aggregation group 1erface GigabitEthernet2/0/2port link-type trunkport trunk permit vllport link-aggregation group 1# /下行连接接入层LSW的接口上配置Trunk模式erface GigabitEthernet2/0/3port link-type trunkport trunk pe

11、rmit vlan 1 10 20 30erface GigabitEthernet2/0/4port link-type trunkport trunk permit vlan 1 10 20 30#/配置外部业务用户接入的接口，使能相应的业务VLANerface GigabitEthernet2/0/15port acs vlan 10#/配置网关erface Vlan-erface10ip address 54 erface Vlan-erface20ip address 20 5.2.2 接入层 55EI 配置配置说明：本组网中有2台接入设备：S55EI。 S55EI作为接入交换机，2

12、层连接各设备和服务器，启用STP协议，将对应的接划入特定的VLAN，两个55配置基本一致；对于组网4，设置堆叠。组网13：除了堆叠，基本配置类似组网4组网4：#/启用STPstp enable#/堆叠，两个55EI插上后插板，连接堆叠口，分别在两个s55上下发如下配置#S55-1irf member 1 renumber 1irf member 1 irf-port 2 port 2#S55-2irf member 1 renumber 2irf member 1 irf-port 1 port 1#堆叠实现后，显示如下，此时可把两个55作为一个交换机对待55EI-1dis irf confi

13、gurationMemberIDNewIDIRF-Port1IRF-Port2*111disable+22disable2* indicates the device is the master.+ indicates the device through which the user logs in.#配置vcenter的管理接erface GigabitEthernet1/0/14port acs vlan 20#/配置Vcenter控制pc的接erface GigabitEthernet2/0/31port acs vlan 20#/配置设备ix1000的连接口，4口聚合，允许业务vla

14、n10，管理vlan20erface GigabitEthernet1/0/29port acs vlan 20port link-aggregation group 1erface GigabitEthernet1/0/30port acs vlan 20port link-aggregation group 1erface GigabitEthernet1/0/31port acs vlan 20port link-aggregation group 1erface GigabitEthernet1/0/32port acs vlan 20port link-aggregation gro

15、up 1#/配置ESX 100.61的两个业务口erface GigabitEthernet1/0/17port link-type trunkport trunk permit vlan 1 10erface GigabitEthernet2/0/13port link-type trunkport trunk permit vlan 1 10#/配置ESX 100.71的两个业务口erface GigabitEthernet1/0/15port link-type trunkport trunk permit vlan 1 10erface GigabitEthernet2/0/16por

16、t link-type trunkport trunk permit vlan 1 10#/配置ESX 100.71的两个管理口erface GigabitEthernet1/0/36port link-type trunkport trunk permit vlan 1 20erface GigabitEthernet2/0/30port link-type trunkport trunk permit vlan 1 20#/配置ESX 100.61的两个管理口erface GigabitEthernet1/0/33port link-type trunkport trunk permit

17、vlan 1 20erface GigabitEthernet2/0/32port link-type trunkport trunk permit vlan 1 20#/55EI-1 上行连接75eerface GigabitEthernet1/0/1port link-type trunkport trunk permit vlan 1 10 20erface GigabitEthernet1/0/2port link-type trunkport trunk permit vlan 1 10 20#/55EI-2 上行连接75eerface GigabitEthernet2/0/14po

18、rt link-type trunkport trunk permit vlan 1 10#erface GigabitEthernet2/0/15port link-type trunkport trunk permit vlan 1 105.2.3 VM 安装和基本配置1. ESX安装说明：1、 当前配套验证版本就是ESX 3.5，如果是ESX 3i 3.5，则控制界面特别简单，很多功能无法使用，连接设备的一些必要配置也可能无法设置。2、 有资料检测CD Media，目的：看盘上由网上DOWN下来的安装文件是否缺东西，是否可安装。但是，如果选择检测，时间比较长，且可能装不上：检测后进入一个

19、状态（有相关esx提示的界面，但提示的space/tab/f11等各操作按钮都没有反应）。选择测CD Media也可以正常通过。3、 安装过程简单不需要什么处理，可以都按默认提示的网卡、磁盘等进行安装。过程中按提示设置网卡IP、掩码、ROOT用户的、时区等。类似windows的安装过程，这里的网卡IP是管理IP，为后面Vcenter连接管理用，比如设置为1。4、 安装完成后，按提示ALT+F1进入linux的配置管理终端，用ei修改/etc/hosts文件，增加host（其他需要互为HA的ESX服务器主机）的地址信息，为后期HA功能的配置做准备，比如：1esx2. VCenter安装1、 安装

20、设置sqlserver2000，确保server和agent已经启动，并设置odbc连接2、 解压缩VMware-VIMSetup-2.5.0-104265.rar后用autorun.exe安装vcenter默认选择安装全部的组件，选择事先设好的sql server2000 odbc连接，会出现如下提示。确认后安装界面进入license界面，在提示如下后，可以继续往下安装，注意此时无法选择evaluate模式，安装完成后可以设置评估版；如果选择如下模式，会提示验证失败且不能往下走3. 安装完成后设置license：打开vcenter后，使用windows的administrator用户名和口令

21、登陆5.2.4 VM center 连接管理 ESX1. 创建数据中心2. 创建CLUST，设置启用HA和DRSDRS：自动管理vm的资源分配和起始归属，可设置为手动/半自动/自动3种模式HA：集群管理，设置如下：3. 添加esx主机如果连接成功，会有如下提示过程中会提示启用HA错误，可能是ESX的hosts文件未配置，或配置后需要重起ESX使其生效。从ESX的配置 选项卡 已获的功能看，标明是不的。但不影响实际的评估使用。4. 管理网络配置组网1：业务网和管理网共用物理网卡在组网1中，设置业务网和管理网共用同一块物理网卡，上层lsw设置trunk模式，允许业务网和管理网两个不同的vlan接口

22、通过，这个配置为了保证实施过程的顺利，需要遵循一定的配置顺序：先用acs口连接管理网，配置好虚拟交换机上两块网卡的模式之后再转为trunk模式。如果提前配置好lsw的接口为trunk业务口和管理口，再添加两块物理网卡到同一个vlsw，会使得该esx的管理接口不通，无法作进一步的nicTeaming的active/standby模式配置，问题解决的操作顺序1、down掉非consol网卡的交换机接口，将对应的交换机接口配置为acs模式，连接esx。2、esx绑定双网卡，配置对应虚拟网卡的vlan和对应的物理网卡主备模式。3、配置上行交换机，将其对应接口配置为TRUNK模式。5.2.5 配置 ES

23、X 连接设备1. 设置ESX连接网络选择ESX的配置/添加网络连接在安装时已经配置了基本的ServiConsol，还需要增加VMKernel，以通过ipSan方式连接设备可以选择与ServiConsol控制网在一个虚拟交换机上，也可以单独使用一个虚拟交换机。在这里，选择与ServiConsol共用一个虚拟交换机上的两块物理网卡vmnic2/vmnic3，并分别为各自的主备（ServiConsol以vmnic2为主，vmnic3为备，而VMKernel以vmnic3为主，vmnic2为备）或双active模式。vmnic2/vmnic3分别上行两个物理交换机。设置VMKernel的vlan、ip

24、，注意选择“将此端口用于vmotion”检查设置DNS2. 配置ESX的适配器：选择ESX的配置/适配器通过属性配置启用iSCSI，然后配置名称，在动态发现页添加设备的ip地址，后面的chap认证可以不配3. 配置设备ix10001、 管理网络连接：将一台pc与设备的管理口直连，通过串口（设置波特率为115200）登陆ix1000，设置ix的管理ip地址。如果网络连接不上，可能是配置IP地址后需要重起下。具体参见Neocean IX1000网络产品开局指导书等手册。例如：IX1000-1:/ # ifconfig eth0 8/242、 通过IE图形化管理IX：通过管理pc的IE浏览器ix10

25、00的管理口ip，系统显示虚拟机和Neocean NeoStor 控制台的包，完毕后会自动启动Neocean NeoStor 控制台3、 添加设备，使用Root用户，默认passwd。4、 设置IX的业务网络：绑定4个G口，设置业务ip5、 通过RAID管理设置可用的磁盘NeoStor 服务器名”选择“RAID 管理 ”，查看磁盘的在位信息及是否已初始化（磁盘必须初始化后才能创建阵列），在RAIDConsole中选择 Disk/Initialize 菜单或直接创建阵列。然后在ix的NeoStor重新扫描可以见到。再将其属性从“未分配”更改为“虚拟设备”6、 添加san资源：逻辑资源/SAN资源

26、/创建7、 将ESX设置为自己的一个san客户端，并添加，分配前面创建的SAN资源。注意：配置ix1000的san客户端，名称要与esx上的一样才可以让ESX连接成功。4. ESX连接IX1000：重新扫描，看到目标变为15.2.6 设置 ESX器1. 添加设备2. 设置vm将要安装的操作系统安装文件，如win2003.isovcenter的/数据，选择设备的数据盘ix1000，右键菜单打开数据浏览器，如下，将win2003.iso上传在的数据盘上，为后面创建vm设备并安装vm的操作系统作准备。5.2.7 设置 ESX 业务网络组 Vportgroup，为 vm 提供对外的网络接口配置类似VM

27、 Kernel的设置，此时不需要选择使能vmotion，如果要让vm能同时连通两个网络，为两个网络的用户提供服务，需要为其设置两个网卡，此时需要增加两个VMnetwork。VM network可以不与VM Kernel在同一个虚拟交换机上，注意设置VM network的vlan，使得该vlan与上层交换机的trunk 或acs的vlan设置一致，以保证2层连通性。1. 多物理网卡VM nicTeaming配置说明对于组网2，是4块网卡，通过设置ESX主机的网络，可以为1个虚拟交换机绑定4个物理网卡，在网络/属性/VMnetwork/网卡绑定的设置来决定用那块物理网卡。如下为：以VMnic2为主

28、，VMnic3为备，不使用VMnic4。对于组网3/4，也是4块网卡，通过设置ESX主机的网络为两个虚拟交换机，将业务网和管理网完全分开，并通过虚拟交换机绑定物理网卡，确定哪个虚拟交换机使用哪两个物理网卡，进而决定哪2块网卡给业务网，哪2块网卡给管理网。如下图：vSwitch0为管理网，vSwitch1为业务网，为了让vm能同时为管理网用户提供服务，每个vm同时拥有2个虚拟网卡，一个在外部业务网vSwitch上，一个在管理网vSwitch上。2. Active/Active模式3种负载分担方式1、 负载分担：基于源端口ID2、 负载分担：基于IP 哈希（配置方式同上）3、 负载分担：基于源 M

29、AC哈希（配置方式同上）3. Active/standby：选择某个网卡为活动的适配器，另一个为待机5.2.8 增加虚拟机 vm1. 增加一个新的vm对某个ESX主机/集群/数据中心，右键菜单“新建虚拟机”，选择典型的vm。数据注意选择事先在ESX上添加的设备，如下选择要安装的操作系统，并考虑ESX实际的物理内存为其设置内存的大小设置该虚拟机的网卡个数，这里的VM Network为前面在esx虚拟交换机上增加的vm业务网络创建完成后，对vm用右键菜单“编辑设置”，或者在创建提交前选择在完成前编辑虚拟机配置，可以设置如下的DVD光驱为前面上传到设备的iso文件，并设置连接时启动。在选项页，可以设置“引导选项”，使得VM启动时能从光驱启动，以安装操作系统安装操作系统完成后，可以通过VM右键菜单的“升级/安装vmtool”来操作系统