实施方案20121026.docx

Unix服务器虚拟化实施方案UNIX虚拟化 (基于P740)实施方案中国银行数据中心(上海)2012/10/101. 文档属性文档属性内容项目/任务名称UNIX虚拟化(基于P740)实施方案项目/任务编号文档名称UNIX虚拟化(基于P740)实施方案文档版本号A0文档状态初稿文档编写完成日期2012/10/10作 者周炜2. 文档变更历史清单文件版本号修正日期修正人备 注A02012/10/10周炜文档初建A1A23. 本次修改变更说明序号变更内容简述.5.目录1架构41.1实施原则41.2实施范围41.3硬件配置41.4基础架构实施方案41.5I/O卡位置调整41.6内置磁盘划分52虚拟化部署72.1HMC配置使用72.1.1HMC配置连接72.1.2HMC配置管理IP142.2VIO Server部署192.2.1VIO Server分区创建192.2.2VIO Server系统安装382.2.3VIO Server用户说明592.2.1VIO Server镜像建立602.2.2VIO Server网络配置612.2.3VIO Server上存储配置672.3分区部署712.3.1共享分区创建712.3.2分区系统安装862.3.3分区网络配置882.3.4分区存储管理891 架构1.1 实施原则对于生产环境AIX平台，因740机型支持5312SP5以上系统版本，我部结合操作系统补丁升级计划安排。1.2 实施范围基于高可用原则，数据中心（上海）实施UNIX虚拟化的服务器范围应为：应用层可实现负载均衡的服务器。暂不安排数据库服务器虚拟化。应用服务器不大于4台，分布在至少两台740，应用服务器不小于8台，分布在至少四台740，每台740安排2个分区。1.3 硬件配置服务器使用IBM P740，配置为16C/128G， 8*8G HBA卡，8*2*1000Mb网卡，8*146G硬盘。1.4 基础架构实施方案1每台740，搭建两个VIOS。2每台740，虚拟分区数量4-6，不超6台。3每台740内存实际使用不可超整机的80%。4每台740cpu使用峰值不可超整机90%。5每个虚拟分区内存与cpu比值应不小于4。1.5 I/O卡位置调整对P740板卡进行一定的调整，从性能优化，分散压力角度调整板卡位置。如下图：(紫色为VIOS1，黄色为VIOS2)1.6 内置磁盘划分所有本地磁盘全部放置在5802扩展柜上，分配方式如下图所示：VIOS2VIOS12 虚拟化部署2.1 HMC配置使用HMC（Hardware Managment Console），Power中高端服务器的硬件管理控制台，可管理一台或多台中高端Power服务器。2.1.1 HMC配置连接配置HMC与高端服务器连接时，可将HMC后面的网卡直连网线或通过路由器连接到服务器后面的HMC1口/HMC2口，然后点击HMC的Systems Management-Servers-Add Managed System选项添加一台受管服务器，具体步骤如下：l 首先配置好HMC与高端服务器间的物理连线；l 机房内使用hscroot用户（初始密码abc123）登录HMC系统，初始密码abc123，登录后请及时修改l HMC管理-修改用户名密码l 配置HMC通信IP，HMC Management-Change Network Settingsl 选中相应的HMC网卡点击Detailsl HMC配置成DHCP自动获取IP，并选择相应的网段后，点击确定l 添加受管系统，选择Servers-Add Managed Systeml 输入之前操作HMC配置的动态地址段l 等待搜索，找到相应的受管服务器添加即可2.1.2 HMC配置管理IP将HMC配置好公网管理IP，并打开相应的远程管理设置，以便远程管理登陆HMC，具体步骤如下：l 首先将管理IP网线插入HMC网卡；l 然后配置HMC管理IP，HMC Management-Change Network Settingsl 编辑相应的HMC管理网卡l 配置静态IP地址后点击确定l 配置完成后测试网络连接是否正常l ping网关或其他服务器l 可以连通则为正常l 允许远程打开分区控制台l 选择允许远程终端连接后点击确定，完成配置l 浏览器输入https:/HMC管理IP，验证可进入HMC登录界面2.2 VIO Server部署在一台物理机上，部署两个VIOS（VIOS1、VIOS2），对共享分区提供虚拟磁盘及虚拟网络服务。2.2.1 740及VIO Server命名规范740_00X_VIOS1/22.2.2 VIO Server分区创建两个VIO Server创建方法基本相同，以一个VIO Server分区搭建为例（其中两个VIO Server上对外的trunk值不能相同，trunk值小的优先级高，具体操作处会单独说明）：l HMC上左侧选中搭建VIO Server的物理服务器后，在右侧下方点击创建VIO Server类型的逻辑分区：l 在弹出窗口中Partition name处填写VIO Server分区名：l 在Profile name处填写此分区profile名，注意“Use all the resources in the system”不要选中l VIO Server分区使用CPU共享池中资源，此处选择“Shared”：l 物理最小CPU个数0.2，期望值2颗，最大4颗。虚拟最小CPU个数1，期望值2颗，最大4颗。虚拟需选择“Uncapped”并填写“Weight”值为192。l 最小内存2G，期望内存8G，最大内存16G：l 选择网卡、光纤卡、硬盘，点击“Add as required”，各为VIOS1和VIOS2分配4块网卡（5767），4块HBA（5735）卡，和2块SAS（5901）卡：l 修改虚拟适配器（包括虚拟以太网卡和虚拟SCSI卡）最大个数为500，此参数需要关闭VIO Server操作系统才可修改。另为方便管理，建议虚拟以太网卡在11-100间编号，虚拟SCSI在101-200间编号，虚拟FC卡在201-300间编号，如下表所示：Vadapter ID11-100101-200201-300用途虚拟以太网卡虚拟SCSI虚拟FC卡l 创建对外及心跳虚拟以太网卡（Adapter ID范围从51-100，VLAN ID填写为与网络环境中VLAN ID都不冲突的数字，根据服务器外部网络环境设置）VIOS网络规划如下表所示：VIOS_NAMEvadapter idPVIDVID用途Vios1112VLAN1VLAN1 外连123VLAN2VLAN2 外连134VLAN3VLAN3 外连145VLAN4VLAN4 外连1592VLAN1 （ctl channel）1693VLAN2 （ctl channel）1794VLAN3 （ctl channel）1895VLAN4 （ctl channel）Vios2112VLAN1VLAN1 外连123VLAN2VLAN2 外连134VLAN3VLAN3 外连145VLAN4VLAN4 外连1592VLAN1 （ctl channel）1693VLAN2 （ctl channel）1794VLAN3 （ctl channel）1895VLAN4 （ctl channel）l 对外虚拟以太网卡（连接物理网络与分区虚拟网络，分区对外通信使用），Adapter ID为虚拟网卡号，范围建议从11-99，两个VIO Server上的网卡号建议配置一致；VLAN ID设置为网络区域的default VLAN（本例中为1），对外虚拟以太网卡Additional VLANs添加所有需要通过此虚拟以太网卡连接外部网络的VLAN ID，上限为20个，两个VIO Server上的trunk值不能相同，trunk值小的优先级高（如VIO Server1 trunk值设为1，VIO Server2 trunk值设为2），VLAN规划如下表所示：VLAN IDVLAN1VLAN2VLAN3VLAN4优先VIOSVIOS1VIOS2VIOS2VIOS1l 心跳虚拟以太网卡（两个VIO Server心跳使用），VLAN ID设为与服务器外部VLAN ID不能冲突l 每个VIOS创建4个虚拟SCSI卡虚拟SCSI规划如下（VIOS+VIOC）:VIOCVadapterID对应Vios1的VadapterID对应Vios2的VadapterIDLpar12110122101Lpar22110222102LPAR32110322103LPAR42110422104l 定义虚拟光纤vfchost 适配器：虚拟fc规划如下表所示:服务器VIOSVIOS(Adapter ID)VIOSHBA端口号虚拟分区VIOC(Aadapter ID)Power740VIOS1vfchost0(201)Fcs1LPAR1Vfc0(31)Vfchost1(202)Fcs3LPAR2Vfc0(31)Vfchost2(203)Fcs4LPAR3Vfc0(31)Vfchost3(204)Fcs6LPAR4Vfc0(31)Vfchost4(205)备份Fcs7Lpar1-4Vfc2（33）VIOS2vfchost0(201)Fcs1LPAR1Vfc1(32)Vfchost1(202)Fcs3LPAR2Vfc1(32)Vfchost2(203)Fcs4LPAR3Vfc1(32)Vfchost3(204)Fcs6LPAR4Vfc1(32)Vfchost4(205)备份Fcs7Lpar1-4Vfc3（34）Fcs5作为备用端口，fcs7作为备份端口在创建虚拟资源的时候选择 Fiber Channel Adapter.在弹出菜单中输入虚拟光纤适配器的ID号，并需要指定该设备用于哪个分区，与分区中的哪个ID对应。创建成功后可以看到 Server Fiber Channel Adapter。l 其它选项都用默认值：l 检查profile summary后，点击finish：2.2.3 VIO Server系统安装统一安装VIOS FP25 SP02版本。将安装光盘插入到光驱中，并确认光驱没有属于其它已启动的分区后（可参考下章物理光驱在线迁移的步骤确认光驱设备使用状态及移动光驱方法；或安装完主VIO后关机，将光驱设备分配给备VIO），点击Activate启动分区安装VIO Server系统，整个过程基本同使用光盘安装AIX操作系统一致：l 选中要安装的VIO Server分区，Operation-Activate：l 选择profile并打开terminal windowl 按0选择当前consolel 按1进入SMS菜单（注意及时按，不要跳过）l 选5l 选1l 选3l 选1l 选3l 选7l 选2l 选1l 按1回车选择conslel 按1选择英语l 选2l 确认Disk选择的为hdisk0后选0继续安装l 登陆后配置：VIO Server初次登陆需要首先设置padmin密码并接受license协议l oem_setup_env切换到root用户2.2.4 VIO Server用户说明VIOS主要使用padmin和root两个系统用户，主要用途如下：l padmin用户：可直接登陆的虚拟化系统用户，主要用于虚拟化管理，执行lsmap、mkvdev等虚拟化映射操作需使用此用户，后续操作中使用“$”提示符执行的命令代表使用此用户执行；l root用户：不可直接登陆，padmin用户登陆后执行oem_setup_env命令切换到此用户，传统AIX系统管理的rmdev、chdev等命令需使用此用户，后续操作中使用“#”提示符执行的命令代表使用此用户执行。管理员在VIO上执行虚拟化管理操作时经常需要在两个用户间切换，需理解两个用户的主要用途，以便记忆。2.2.1 VIO Server镜像建立l 加入另一块磁盘hdisk1到rootvg中$extendvg rootvg hdisk1l 镜像rootvg$mirrorios f hdisk1镜像完成自动启动l 设置启动列表$bootlist mode normal hdisk0 hdisk1查看启动列表$bootlist mode normal -ls2.2.2 VIO Server网络配置l VIOS虚拟网卡配置规划如下表所示：phy entethernet_Channel业务虚拟以太网SEASEA 控制通道VLANEntxVadapterIDEntxVadapterIDVIOS1Ent0Ent16Ent811Ent19Ent1215VLAN1Ent2Ent4Ent1Ent17Ent912Ent20Ent1316VLAN2Ent3Ent5Ent18Ent1013Ent21Ent1417VLAN3Ent6Ent7Ent1114Ent22Ent1518VLAN4管理VIOS2Ent0Ent16Ent811Ent19Ent1215VLAN1Ent2Ent4Ent1Ent17Ent912Ent20Ent1316VLAN2Ent3Ent5Ent18Ent1013Ent21Ent1417VLAN3Ent6Ent7Ent1114Ent22Ent1518VLAN4管理网络架构图如下所示：ent0ent1ent3ent2ent5ent4ent6ent7ent0ent1ent3ent2ent5ent4ent6ent7Vlan1Vios1Vios2Vlan2Vlan3Vlan4管理网etherchannel1etherchannel2etherchannel3sea1sea2sea3etherchannel1etherchannel2etherchannel3sea1sea2sea3心跳ent0ent1sea4sea4ent0ent1ent0ent1LPAR1LPAR2LPAR3P740的VIOS上建立4个VLAN，VLAN1-3为业务VLAN,VLAN4为管理VLAN。VLAN1使用VIO Server分区上的3个物理网卡端口（在3块不同的物理网卡上）绑定成一个etherchannel，然后再创建共享以太网卡，具体步骤如下：l 在VIO Server分区上将3块物理网卡端口绑定成一个etherchannel（下图中ent0 ent2 ent4为物理网卡，ent9及ent13为对外虚拟网卡和心跳虚拟网卡）先使用smit etherchannel将ent0 ent2 ent4建立一个etherchannel网卡ent17，下列步骤仅供参考： 注意：etherchannel参数按照如下方式配置：Mode：standardHash Mode：src_dst_portl 检查到创建出的聚合网卡（ent17）l 创建共享以太网卡(SEA)：$mkvdev -sea ent17 -vadapter ent9 -default ent9 -defaultid 199 -attr ha_mode=auto ctl_chan=ent13其中ent9、ent13为节创建的对外虚拟网卡和心跳虚拟网卡，结果中ent21为创建出的共享以太网卡根据上述方法，在VIOS1和VIOS2上创建VLAN1-4的SEA网卡2.2.3 VIO Server上存储配置 光纤通道卡参数修改# rmdev -l fscsiX -R# chdev -l fscsiX -a dyntrk=yes -a fc_err_recov=fast_fail# chdev -l fcsX -a max_xfer_size=0x200000# chdev -l fcsX -a num_cmd_elems=1024# mkdev l fscsiX建议用下列方法批量修改：for i in 0 1 2 3 4 5 6 7dochdev P l fcs$i a max_xfer_size=0x200000 a num_cmd_elems=1024chdev P l fscsi$i -a dyntrk=yes -a fc_err_recov=fast_faildone VSCSI方式存储配置对于所有VIO Client 的rootvg使用的磁盘采用VSCSI方式管理存储。每个VIOS提供两个FC端口（位于两块不同的HBA卡上）用于VSCSI方式连接。比如每个 VIOS上的fcs0和fcs2。在4个分区的情况下，分区一和分区三（LPAR1和LPAR3）的rootvg磁盘映射给VIOS1，和VIOS2的fcs0；分区二和分区四（LPAR2和LPAR4）的rootvg磁盘映射给VIOS1，和VIOS2的fcs1。每个分区的rootvg磁盘保证有2条路径，一条由VIOS1提供，另一条由VIOS2提供。如下表所示：VIOSADAPTER IDvhost规划微分区VIOC ADAPTER IDrootvgVios1101Vhost0lpar121Hdisk4102Vhost1Lpar221Hdisk5103Vhost2Lpar321Hdisk6104Vhost3Lpar421Hdisk7Vios2101vhost0lpar122Hdisk4102vhost1Lpar222Hdisk5103vhost2Lpar322Hdisk6104vhost3Lpar422Hdisk7Vscsi存储架构图如下所示：以VSCSI方式将VIO Server上的共享磁盘映射给相应的虚拟SCSI卡的步骤如下，在两个VIOS上同时将vhost0映射给vscsi0(下面实施过程仅供参考)：l VIO上使用root用户调整磁盘队列深度，修改磁盘共享属性：#chdev -l hdiskX -a queue_depth=X（日立存储建议为8）#chdev -l hdiskX -a reserve_policy=no_reservel 添加的磁盘映射到vSCSI卡，如将hdisk4映射给vhost0：$lsmap all|more$ mkvdev -vdev hdisk4 -vadapter vhost0（对应的虚拟SCSI卡）采用上述方法，在VIOS1和VIOS2上分别建立磁盘对应关系。 NPIV方式存储配置对于数据磁盘datavg，采用NPIV技术进行存储管理， datavg磁盘此处无需进行额外映射操作。NPIV存储架构图如下所示：l VIO上使用root用户调整磁盘队列深度，修改磁盘共享属性：#chdev -l hdiskX -a queue_depth=X（日立存储建议为8）#chdev -l hdiskX -a reserve_policy=no_reservel 创建NPIV mapping登录到需要配置的VIOS服务器，按如下步骤进行NPIV的映射配置查看已经配置的虚拟光纤适配器# lsdev -Cc adapter |grep -i vfcvfchost0 Available Virtual FC Server Adapter查看NPIV的映射关系$ lsmap -all -npivName Physloc ClntID ClntName ClntOS- - - - -vfchost0 U9119.FHA.83EFAE4-V15-C20 17Status:NOT_LOGGED_INFC name: FC loc code:Ports logged in:0Flags:1VFC client name: VFC client DRC:查看系统中是否有支持NPVI功能的光线接口$ lsnportsSystem doesnt have NPIV capable ports or no NPIV ports with the link up.当8Gb的光线口与光纤交换机连接后，可以看到相应的接口设备。建立映射关系：$ vfcmap -vadapter vfchost0 -fcp fcs1查看映射：$ lsmap -all -npivName Physloc ClntID ClntName ClntOS- - - - -vfchost0 U9119.FHA.83EFAE4-V15-C20 17 5952_AIX_16 AIXStatus:LOGGED_INFC name:fcs0 FC loc code:U5803.001.99B00VV-P2-C7-T1Ports logged in:1Flags:aVFC client name:fcs0 VFC client DRC:U9119.FHA.83EFAE4-V17-C20-T12.3 分区部署2.3.1 共享分区创建l 选择创建AIX or Linux类型的分区：l 填写分区名DCCS_740_00X_VP0X（以下步骤请根据“共享分区资源规划”章节规划结果）填写：l 填写profile名：l CPU选择”Shared”模式：l 物理最小cpu为0.2颗,期望值为1or2（物理服务器cpu8取2），最大cpu为12颗。虚拟最小cpu为1颗，期望值为物理期望值*2，最大cpu为12颗。Uncapped Weight值设为128。l 最小内存2G，期望内存为物理服务器内存大小，最大内存为期望内存*2l 物理槽位不选，直接下一步：l 创建虚拟以太网卡，虚拟SCSI卡及虚拟光纤通道卡。其中虚拟网卡Adaptor ID建议范围11-20，虚拟SCSI Adaptor ID建议范围21-30，虚拟光纤通道卡Adaptor ID建议范围31-40，如下表所示：Adapter ID用途11VLAN1虚拟网卡12VLAN2虚拟网卡13VLAN3虚拟网卡14VLAN4虚拟网卡21VSCSI_1 用于连接VIOS1提供的rootvg盘22VSCSI_2 用于连接VIOS2提供的rootvg盘31Vfc_1 用于连接VIOS1提供的datavg盘32Vfc_2 用于连接VIOS2提供的datavg盘l 创建虚拟以太网卡：l 创建分区使用的虚拟SCSI卡l 指向VIO Server1上虚拟SCSI设备：l 指向VIO Server2上虚拟SCSI设备：l 创建虚拟光纤通道卡：l 其它选项都用默认值：l 检查profile summary后，点击finish：2.3.2 分区系统安装分区操作系统可采用光盘或网络方式安装，具体步骤如下： l 选中要安装的分区，Operation-Activate：l 选择profile并打开terminal windowl 按0选择当前consolel 按1进入SMS菜单l 启动后采用光盘或网络方式安装即可（与传统物理服务器方式一致，参考操作系统安装手册安装操作系统）2.3.3 分区存储管理 VSCSI方式存储管理采用VSCSI方式进行存储管理时，完成VIO上操作后并在共享分区创建时建立好相应的虚拟SCSI卡后，仅需在分区操作系统上执行cfgmgr命令识别出映射的磁盘，并修改磁盘相应属性：#cfgmgr l lspv命令查看到识别出的硬盘（如hdisk2）对于hdisk ，确认如下属性：Algorithmfail_overhcheck_cmdtest_unit_rdy hcheck_interval60hcheck_modenonactivemax_transfer（查看VIOS上的值）queue_depth（查看VIOS上的值）reserve_policyno_reserve对于VSCSI设备：vscsi_err_recovfast_failvscsi_path_to30rootvg磁盘路经优先级管理:每个分区都有两条路经，由不同的VIOS提供。其中LPAR1和LPAR3优先路经为vscsi0，LPAR2和LPAR4优先路经为vscs