JS21 CSM集群系统测试报告V2.doc

JS21 AIX Clustering with CSM解决方案测试报告1.测试概述31.1.测试目标31.2.测试环境31.2.1.拓扑结构31.2.2.详细配置32.测试过程42.1.刀片和刀片中心环境配置42.2.安装CSM集群管理服务器42.2.1.检查管理服务器软件版本42.2.2.定义管理服务器以及节点名称42.2.3.重新export $PATH 和$MANPATH变量.52.2.4.创建/csminstall目录52.2.5.下载安装更新52.2.6.激活CSM的license62.2.7.拷贝CSM相关文件到/csminstall62.2.8.设定硬件控制模块(hardware control point)的信息62.2.9.验证安装的完整性62.3.配置安装节点62.3.1.配置安装节点服务62.4.安装CSM计算节点72.4.1.定义CSM计算节点72.4.2.收集刀片节点的mac地址.72.4.3.定义NIM客户端节点82.4.4.安装计算节点82.4.5.将计算节点加入到集群中.82.5.CSM管理功能验证82.5.1.rpower电源管理功能验证82.5.2.rconsole 远程console管理功能验证92.5.3.节点并行安装与系统配置92.5.4.执行并行命令验证93.结果验证94.结论95.测试人签名101. 测试概述本测试为CSM在刀片平台上的可行性验证，硬件环境采用了刀片集群比较经典的硬件架构，在实际应用系统部署中，具有一定的参考意义。 1.1. 测试目标本次测试目的是为了验证CSM在JS21 AIX平台上的安装和功能性表现。本测试具体内容包括：验证管理节点的安装验证CSM硬件管理功能验证计算节点的安装验证CSM计算节点的管理功能1.2. 测试环境测试环境是根据经典的JS21集群架构搭建，由一台P系列机架式的服务器和一个刀片中组成。1.2.1. 拓扑结构硬件平台由一个管理节点和两个计算节点组成，管理节点为一台P520. 计算节点为两片JS20刀片。本次测试没有使用独立的计算网络。而是简单的使用同一网络做计算与管理。网络拓扑图如下：图表 1网络拓扑图1.2.2. 详细配置硬件平台网络配置操作系统应用软件IBM JS20刀片服务器 计算节点1 csmnode12核2.2GHz, 2GB内存，1块SAS 73GB硬盘01AIX 5.3 TL5CSM client IBM JS20刀片服务器 计算节点2 csmnode22核,2.2GHz 2GB内存，1块SAS 73GB硬盘02AIX 5.3 TL5CSM client 1.6.03IBM P520 机架式服务器 管理节点 csmmaster2C 1.9GHz Power5 4GB内存 2块SCSI 73GB硬盘00AIX5.3 TL5CSM server for AIX 图表 2 软硬件详细配置表2. 测试过程测试过程主要是在安装环节，验证各个安装过程是否正常，版本之间是否匹配。2.1. 刀片和刀片中心环境配置硬件都采用默认的出厂设置2.2. 安装CSM集群管理服务器CSM集群管理服务器是安装集群的核心内容，配置好管理服务器后，其他计算节点都可以快速通过它来网络安装。2.2.1. 检查管理服务器软件版本安装CSM1.6管理服务器.操作系统的版本要求: AIX 5L 5.2 (5200-09) 或更新, 5.3 (5300-05) 或更新.计算节点的软件版本要求:AIX 5L 5.2或 5.3 版本以上命令: oslevel rRSCT 以上, 2.4.0 以下for AIX 5L 5.2 RSCT 以上for AIX 5L 5.3. (5305并不包含,需要额外下载)命令: slpp l rsct*操作系统环境的配置步骤2.2.2. 定义管理服务器以及节点名称将主机名称与对应的IP注册到域名服务器(DNS),或/etc/hosts需要定义服务器包括.:CSM管理服务器CSM 计算节点有网络连接的非计算设备.(如HMC,交换机,电源管理设备) 2.2.3. 重新export $PATH 和$MANPATH变量.export PATH=$PATH:/opt/csm/binexport MANPATH=$MANPATH:/opt/csm/man把/opt/csm/bin目录加入到$PATH中去. 把/opt/csm/man目录加到$MANPATH中.可以将下列两行加到 /etc/profile 或 $HOME/.profile文件最后. 2.2.4. 创建/csminstall目录 因为安装/csminstall目录,下载其他开源软件openCIMOM 0.8 如集群中包含有与HMC连接的 P系列计算节点需要管理, 则必须安装此软件包. 在升级CSM的时候如报错,可能也需要安装此包./servers/aix/products/aixos/linux/download.html.安装CSM软件通过smit安装. 需要安装以下文件包.csm.core|csm.dsh|csm.diagnostics|csm.deploy|csm.server|csm.hc_utilscsm.gui.dcemcsm.gui.websmcsm.msg2.2.5. 下载安装更新最新版本的CSM下载地址: gunzip csm-aix-0.tar.gztar -xvf csm-aix-0.targeninstall -IaX -d /tmp/csm all/webapp/set2/sas/f/csm/home.html下载到 /tmp目录2.2.6. 激活CSM的license如果是60天试用版,则运行csmconfig L如果是授权客户, 在安装光盘中有附带license key. 执行如下命令:mount -v cdrfs -o ro /dev/cd0 /mntcsmconfig -L /mnt/csmlum.full2.2.7. 拷贝CSM相关文件到/csminstall执行 csmconfig c2.2.8. 设定硬件控制模块(hardware control point)的信息比如添加刀片中心的第一个管理模块 mm1的账户信息.#systemid c mm1 USERID然后输入密码. 默认为 PASSW0RD2.2.9. 验证安装的完整性验证管理节点的安装，执行probemgr -p ibm.csm.ms -l 0验证硬件控制模块配置， 执行 probemgr -p ibm.csm.hwctrl l 02.3. 配置安装节点2.3.1. 配置安装节点服务确认管理节点安装有NIM软件包#lslpp l | grep nim bos.sysmgt.nim.client 0 COMMITTED Network Install Manager - bos.sysmgt.nim.master 0 COMMITTED Network Install Manager - bos.sysmgt.nim.spot 0 COMMITTED Network Install Manager - SPOT X11.Dt.helpmin COMMITTED AIX CDE Minimum Help Files bos.sysmgt.nim.client 0 COMMITTED Network Install Manager -运行nim_master_setup B (需要在光驱放入aix第一张安装光盘)2.4. 安装CSM计算节点2.4.1. 定义CSM计算节点将下面一段输入到一个文本nodelist中default: ManagementServer=csmmaster管理节点的hostname InstallOSName=AIX PowerMethod=blade HWControlPoint=mm# mm为刀片中心的管理模块的hostname ConsoleMethod=blade ConsoleServerName=mm InstallAdapterType=enInstallAdapterName=en0 InstallAdapterSpeed=1000 InstallAdapterDuplex=fullcsmnode1: HWControlNodeId=11刀片在刀片中心的槽位 ConsolePortNum=11刀片在刀片中心的槽位csmnode2: HWControlNodeId=csmnode2 刀片在刀片中心中的名字 ConsolePortNum=13HWControlNodeId可以是槽位位置，也可以是刀片在MM中的名称. 按照以上格式依次添加其他节点. 之后执行definenode f nodelist2.4.2. 收集刀片节点的mac地址.如果之前rpower运行成功的话, 可以简单的通过运行 getadaptors a w收集刀片的mac地址并写入到每个节点的属性中. 运行 lsnode l 查看结果.# getadapters -a -wCan not use dsh - No nodes in Managed or MinManaged mode.Node:adapter_type:interface_name:MAC_address:location:media_speed:adapter_duplex:UNUSED:install_gateway:ping_status:machine_type:netaddr:subnet_maskcsmnode1:ent:en0:000D601E8B1A:NA:install:csmnode1:ent:en1:000D601E8B1B:NA:csmnode2:ent:en0:000D601EEC52:NA:install:csmnode2:ent:en1:000D601EEC53:NA:2.4.3. 定义NIM客户端节点CSM AIX计算节点的安装是采用NIM来完成. 定义好csm计算节点后, 需要定义相对应的NIM节点. 执行下面程序:# csm2nimnodes a执行lsnim检查节点的定义.生成CSM计算节点的安装脚本.定义安装资源运行csmnimsetup a 依次定义每个节点的资源. nim -o bos_inst -a source=rte -a boot_client=no -a spot=530spot_res -a lpp_source=530lpp_res -a accept_licenses=yes -a bosinst_data=5300-05bid_ow csmnode1各种resource名称可能有不同, 具体用命令lsnim查看. 2.4.4. 安装计算节点依次执行netboot命令#netboot csmnode12.4.5. 将计算节点加入到集群中.装好的计算节点及之前已有的计算节点,需要通过updatenode命令加入到集群中.updatenode n csmnode1查看各节点当前的状态如下所示则表示，集群已经成功安装好了# lsnode -a Modecsmnode1: Managedcsmnode2: Managed2.5. CSM管理功能验证2.5.1. rpower电源管理功能验证执行rpower a query查询当前所有计算节点状态. 执行rpower a on 打开所有计算节点电源执行rpower a reboot 重启所有计算节点执行 rpower a off 关闭所有计算节点2.5.2. rconsole 远程console管理功能验证执行 rconsole t n csmnode1 验证在字符终端打开csmnode1的远程console.执行 rconsole a 验证在图形终端打开所有计算节点的console.2.5.3. 节点并行安装与系统配置执行netboot验证正确能安装节点执行updatenode n csmnode1 验证更新节点配置，并将节点加入到集群中执行 useradd test 添加用户 test。配置需要同步的配置文件：执行 ln s /etc/passwd /cfmroot/etc/passwd._AIXNode ln s /etc/hosts /cfmroot/etc/hosts执行 cfmupdatenode n csmnode1 同步账户信息。执行 dsh n csmnode1 cat /etc/passwd验证计算节点的账户同步成功2.5.4. 执行并行命令验证执行 dsh -a date 验证在各节点执行date命令，并通过返回结果验证并行运行命令的功能。3. 结果验证CSM管理功能验证结果：测试步骤结果rpower电源管理功能验证能正确返回和确控制节点电源状态rconsole 远程console管理功能验证能正确显示各节点的console节点并行安装与系统配置能实现远程无人值守安装以及同步各节