E9000安装与配置总结

1、修订记录,本页不打印,E9000服务器安装与配置,目标,学完本课程后，您将能够: 掌握E9000方案硬件安装部署流程； 掌握E9000管理配置方法； 掌握E9000交换配置方法； 掌握E9000计算节点配置安装方法；,目录,E9000服务器硬件安装 E9000管理模块配置 E9000交换模块管理配置 E9000计算节点的管理配置,1.1 E9000机框安装流程,机框外观,OSCA机箱（含风扇模块、电源模块、管理模块、交换模块）重量约为100kg，超出4个人的搬运重量限制（68kg），所以在安装机箱之前，需要先拆卸风扇模块、电源模块、管理模块、交换模块和直通模块，以方便安装机箱。,1.2 机框部

2、件拆卸流程,拆卸交换模块 拆卸直通模块 拆卸管理模块 拆卸电源模块 拆卸风扇模块,槽位E1、E4主要安装直通模块 槽位X2、X3主要安装交换模块 槽位M1、M2安装管理模块 槽位PSM安装电源模块 槽位FAN安装风扇模块,1.3交换模块和直通模块的拆卸,使用十字螺丝刀拆卸交换/直通模块自带的两颗M3松不脱螺钉 完全打开交换模块的两个扳手 平行向外侧将交换模块拉出机箱槽位 完全闭合交换模块的两个扳手,将拆卸的交换/直通模块放入防静电包装袋中。,1.4管理模块的拆卸,使用十字螺丝刀拆卸管理模块自带的一颗M3松不脱螺钉 完全打开管理模块的扳手 平行向外侧将管理模块拉出机箱槽位 完全闭合管理模块的扳手

3、,将拆卸的管理模块放入防静电包装袋中。,1.5电源/风扇模块的拆卸,按下电源模块的弹片 沿水平方向将电源模块从机箱中拔出,向外侧拉紧风扇模块的内侧的扳手 平行向外侧将风扇模块拔出机箱槽位,将拆卸的管理/电源模块放入防静电包装袋中。,1.6 E9000机框的硬件安装步骤,在标准的42U的机柜中，最多可以安装3个机箱 对应的托盘分别安装在1U、14U、27U的位置处。 机箱搬运时需要四人 风扇与电源模块安装时注意方向 具体安装方式请参考机箱安装指南，安装完成后需要按照手册进行安装结果检查,1.7 风扇电源模块的安装,确定风扇的安装方向（风扇的安装方向，必须与风扇槽位挡风罩上面的标示的方向保持一致）

4、 沿水平方向将风扇模块插入机箱中，直到机箱扣紧风扇模块为止,风扇模块方向标识,安装时需要注意电源模块的安装方向： 机箱后视图的左侧电源模块：有弹片的一侧方向向上。 机箱后视图的右侧电源模块：有弹片的一侧方向向下。,1.8 安装管理模块,MM910安装位置,平行向内侧将MM910插入机箱槽位 闭合MM910的扳手 使用十字螺丝刀固定MM910自带的一颗M3松不脱螺钉,1.9交换模块的安装,完全打开CX911的两个扳手， 将CX911平行向内侧推入机箱槽位 用力闭合CX911的两个扳手，直至CX911完全插稳 使用十字螺丝刀固定CX911自带的两颗M3松不脱螺钉,1.10计算节点的安装,按下计算节

5、点扳手的弹片。 完全打开计算节点的扳手。 沿水平方向将计算节点完全插入机箱中。 完全闭合计算节点的扳手。,半宽刀片的安装,全宽刀片的安装,注意：安装全宽刀片是需要取出机框中间的隔板,目录,E9000服务器硬件安装 E9000管理模块配置 E9000交换模块管理配置 E9000计算节点的管理配置,2.1 E9000管理模块配置,在硬件安装完成后，需要对E9000系统进行配置，通常包括 配置管理模块 配置计算节点 配置交换模块 本章介绍管理模块的配置,2.2 MM910外观及安装位置,MM910安装在OSCA机箱的后面的管理模块槽位上（M1/M2） 机箱中最多可以安装2个互为主备的MM910 提供

6、1个MGMT接口用于机箱内设备的管理 提供1个STACK接口用于多框自管理组网级联 提供一个COM串口用于管理信息显示及控制 提供一个RS485接口用于管理外置PDU模块 提供一个VGA接口用于连接集中KVM显示器 提供两个标准USB2.0接口，用于连接光驱、鼠标和键盘。,2.3 MM910配置流程,2.4 MM910配置方式,管理的物理端口： 串口方式 MM910管理板的管理网口 X2/X3槽位交换板端口访问管理网口(默认管理网口出线方式） 管理界面： 命令行 web页面 IP地址初始设置： 使用串口登录方式配置初始IP 设置自动获取IP地址（如果配置了DHCP服务器） 通过机箱液晶屏配置,

7、命令行界面,Web页面,2.5 MM910配置命令格式,查询命令smmget 格式：smmget -h -l location -t target -d dataitem 设置命令smmset 格式：smmset -h -l location -t target -d dataitem -v value,-h：用于获取命令的帮助信息。如果使用此参数，则后面不能跟其他参数。 -l location：命令生效的目标部件。省略此参数，表示目标部件为当前连接的MM910。不同的location代表不同的部件，详细说明如表所示。 -t target：待查询或设置部件上的特定组件。主要包括传感器、指示灯、

8、网口等。 -d dataitem：查询或设置部件、部件上组件的特定属性。 -v value：设置操作的目标值。,2.6 检查和倒换的基本命令,查询MM910版本信息： smmget -l smm -d version 屏幕回显如右图：,在主用单板CLI界面，执行主备倒换： smmset -d failover -v 1 屏幕回显如右图：,SMM Version Information: Uboot Version :(U54)0003 CPLD Version :(U1082)103 120809 PCB Version :SMMA REV 0 FPGA Version :(U1049)003

9、 120803 Software Version :(U54)OSCA V100R001C01 IPMI Module Built:Aug 27 2012 14:08:58,This operation will make SMM switch over to standby.Continue?Y/N:,确认当前连接的MM910已经切换为备用状态： smmget -d redundancy 屏幕回显如右图，表示当前连接的MM910已经切换为备用状态。,输入“Y”，然后按“Enter”。 屏幕回显如右图，表示主板倒换成功。,Success,The Redundancy States of SMM

10、s: SMM1: Present(standby)* SMM2: Present(active),2.7 默认密码和修改密码,smmset -d userpasswd -v root,用户密码复杂度要求：密码的长度至少8位字符，且必须包含如下至少两种字符的组合: 至少一个小写字母 至少一个大写字母 至少一个数字 至少一个特殊字符：!#$%:,/?和空格。,2.8配置基础数据标,2.9 配置基础数据命令,配置静态IP地址： smmset -t front -d staticip -v 静态IP地址 子网掩码 网关 查询静态IP地址： smmget -t front -d staticip 向NT

11、P服务同步时间： ntpdate NTP服务器IP地址 设置浮动IP地址（只在主用上有效） smmset -t front -d floatip -v 浮动IP地址 子网掩码 网关 使能SNMP Trap功能。 smmset -d snmptrapenable -v enable 配置SNMP Trap的版本。 smmset -d snmptrapversion -v SNMP版本号 配置接收SNMP Trap消息的目标主机的IP地址。 smmset -d snmptrapaddressN -v ipaddress 配置SNMP Trap接收端口号 smmset -d snmptrapport

12、 -v portnumber,2.10 增加用户,MM910的用户按角色划分如下： 管理员：具备所有查询和设置操作的权限。 操作员：具备查询和设置操作的权限，但不能执行升级、管理用户、开/关密码复杂度检查操作。 普通用户：具有查询权限，并能修改自身密码。,增加用户 smmset -d useradd -v username 修改用户权限 smmset -d userpropertychg -v username privilege privilege权限属性值，取值说明如下： “0”表示管理员 “1”表示操作员 “2”表示普通用户,目录,E9000服务器硬件安装 E9000管理模块配置 E90

13、00交换模块管理配置 E9000计算节点的管理配置,3.1 CX910交换模块配置过程,CX910安装在E1/X2/X3/E4交换模块槽位上,3.2 登陆CX910,登陆CX910单板可以使用 1 串口登陆（ Speed：115200） 面板提供两个串口 sys串口可以连接Base/Fabric平面 BMC串口可以登陆到CX910的BMC模块 通过BMC模块可以控制sys串口在Base平面和Fabric平面切换 2 网口登陆： 通过MM910配置Cx910 Base/Fabric 平面IP地址 通过Base平面端口连接到Base/Fabric平面,BMC串口,sys串口,Base平面电口,3.

14、3 检查系统版本,登陆到Base/Fabric命令行执行：,display version 显示如下信息： BoardName : IT11XCUA CPLD Version : 003 PCB Version : VER.A Bootrom Version : 009 Creation Time : Sep 17 2012, 09:53:25Backup Bootrom Version : 009 Creation Time : Sep 17 2012, 09:53:25 Switch Version : 1.1.0.0.19 Creation Time : Oct 17 2012, 17:

15、10:28 Backup Switch Version : 1.1.0.0.19 FC BoardName : UNKNOWN FC PCB Version : UNKNOWN,display version 显示如下信息： BoardName : IT11XCUA CPLD Version : 003 PCB Version : VER.A Bootrom Version : 009 Creation Time : Oct 16 2012, 12:48:10 Backup Bootrom Version : 009 Creation Time : Oct 16 2012, 12:48:10

16、Switch Version : 1.1.0.0.19 Creation Time : Oct 17 2012, 17:10:28 Backup Switch Version : 1.1.0.0.19,3.4 查看Base/Fabric平面端口对应关系,display port-connection-relationships 命令执行成功，显示如下信息： BASE PLANE 24 PORTS GigabitEthernet 0/0/1 : RJ45-1 GigabitEthernet 0/0/2 : RJ45-2GigabitEthernet 0/0/3 : RJ45-3GigabitEt

17、hernet 0/0/4 : RJ45-4GigabitEthernet 0/0/5 : SPU01GigabitEthernet 0/0/6 : SPU02 GigabitEthernet 0/0/7 : SPU03 GigabitEthernet 0/0/8 : SPU04 GigabitEthernet 0/0/9 : SPU05 GigabitEthernet 0/0/10 : SPU06GigabitEthernet 0/0/11 : SPU07GigabitEthernet 0/0/12 : SPU08GigabitEthernet 0/0/13 : SPU09 GigabitEt

18、hernet 0/0/14 : SPU10 GigabitEthernet 0/0/15 : SPU11GigabitEthernet 0/0/16 : SPU12GigabitEthernet 0/0/17 : SPU13GigabitEthernet 0/0/18 : SPU14GigabitEthernet 0/0/19 : SPU15GigabitEthernet 0/0/20 : SPU16GigabitEthernet 0/0/21 : SMM01GigabitEthernet 0/0/22 : SMM02GigabitEthernet 0/0/23 : Base CPU Cros

19、sXGigabitEthernet 0/0/1 : Base Interconnection,display port-connection-relationships 显示如下信息： FABRIC PLANE 58 PORTS XGigabitEthernet 0/0/1 : SFI-1 XGigabitEthernet 0/0/2 : SFI-2 。 （为方便阅读，这里省去SFI-3到SFI-14）XGigabitEthernet 0/0/15 : SFI-15 XGigabitEthernet 0/0/16 : SFI-16 XGigabitEthernet 0/0/17 : SPU01

20、 XGigabitEthernet 0/0/18 : SPU01 XGigabitEthernet 0/0/19 : SPU01 XGigabitEthernet 0/0/20 : SPU02 XGigabitEthernet 0/0/21 : SPU02 XGigabitEthernet 0/0/22 : SPU02 。 （为方便阅读，这里省去SPU03到SPU07） XGigabitEthernet 0/0/38 : SPU08 XGigabitEthernet 0/0/39 : SPU08 XGigabitEthernet 0/0/40 : SPU08 XGigabitEthernet

21、0/0/41 : SPU09 XGigabitEthernet 0/0/42 : SPU09 XGigabitEthernet 0/0/43 : SPU10 XGigabitEthernet 0/0/44 : SPU10 。（为方便阅读，这里省去SPU11到SPU14） XGigabitEthernet 0/0/53 : SPU15 XGigabitEthernet 0/0/54 : SPU15 XGigabitEthernet 0/0/55 : SPU16 XGigabitEthernet 0/0/56 : SPU16 XGigabitEthernet 0/0/57 : Fabric Int

22、erconnection XGigabitEthernet 0/0/58 : Fabric Interconnection,3.5 修改初始用户名密码,进入系统视图 system-view 显示如下信息： Enter system view, return user view with Ctrl+Z. 进入修改用户密码界面。 Baseset login password 显示如下信息： Please login first. Old UserName: root Old Password: 输入旧的用户密码。 命令执行成功后，显示如下信息： Login success,Please input

23、 new user name and password New UserName: New Password:,Fabric与base平面修改方式一致 Fabric只有一个用户，不能新增用户 用户密码需要满足密码复杂度要求,3.6 配置管理网口IP地址,IP地址可以通过串口和MX910两种方式配置,通过MX910配置： 设置命令： smmset -l swi1-4:fru1-3 -d swipcontrol -v set eth1 IP地址 子网掩码 查询命令： smmset -l swi1-4:fru1-3 -d swipcontrol -v get eth1 swi1-4 ：14分别代表E

24、1/X1/X2/E2四个槽位。 fru1-3 ：1代表base平面，2代表fabric平面，3无意义。,3.7 备份配置数据,保存配置文件到MM910 在用户视图执行以下命令，保存配置文件到MM910 在用户视图执行以下命令，确认文件系统中存在配置文件vrpcfg.cfg。 查询配置文件的详细信息。 display saved-configuration,Fabric平面配置与Base平面命令相同,save 显示如下信息： The current configuration will be written to the device. Are you sure to continue?Y/NY

25、 Aug 27 2012 18:04:16 Fabric %01CFM/4/SAVE(l)0:The user chose Y when deciding whether to save the configuration to the device. Now saving the current configuration to the slot 33 . Info: Save the configuration successfully. 保存成功后，显示如下信息： begin upload configuration . upload success.,dir 显示如下信息： Direc

26、tory of flash:/ Idx Attr Size(Byte) Date Time(LMT) FileName 0 -rw- 2,924 Aug 27 2012 16:08:12 private-data.txt 1 -rw- 9,673 Apr 01 2000 23:55:34 vrpcfgbak.cfg 2 -rw- 12,189 Aug 27 2012 18:04:19 vrpcfg.cfg 32,385 KB total (32,358 KB free),登陆CX310单板可以使用 1 串口登陆 面板提供两个串口 sys串口可以连接Fabric平面 BMC串口可以登陆到CX31

27、0的BMC模块 2 网口登陆： 通过MM910配置Fabric 平面IP地址 通过上行10GE端口登录 CX310基本配置过程与CX910相似，具体配置命令请参考对应的命令手册,3.8 CX310交换模块管理端口,BMC串口,sys串口,上行10GE光口,3.9 CX110 GE交换模块管理端口,4*10GE,12*GE,BMC串口,sys串口,登陆CX110单板可以使用 1 串口登陆 面板提供两个串口 sys串口可以连接Fabric平面 BMC串口可以登陆到CX110的BMC模块 2 网口登陆： 通过MM910配置Fabric 平面IP地址 通过上行GE/10GE端口登录 CX310基本配置

28、过程与CX910相似，具体配置命令请参考对应的命令手册,3.10FCoE Gateway Module 的配置方式,FCoE Gateway Module 扣接在交换模块上，扩展系统出FC通道功能 扣接在CX910上构成CX911 扣接在CX310上构成CX311 登录FCoE GateWay 模块的方式： 通过SOL登录访问FCoE串口 (登录方法请参加下一页） 通过模块网口登录： 登录前可通过MM910的命令行对FCoE Gateway Module IP地址配置。 smmset -l swiN:fruM -d swipcontrol -v ipaddress maskaddress 使用

29、SSH client 工具连接Gateway模块IP地址,FCoE Gateway,3.11通过SOL登录FCoE Gateway模块,*=* * Welcome to SMM SOL Server * * Please log in with SMM account and password. * *=* user name:root PassWord:* Log in Success!,rootSMM:/# telnet 0 1101 Trying 0.0.0.0. Connected to 0. Escape character is .,*= please input the SOL

30、Blade1Blade16(1 16), SWI#(33-36) and COM#(n) press Ctrl+R to return *= Blade1Blade16(1 16) Swi(33-36) Please input your choice:35 1 BMCcom 2 fabriccom 3 basecom 4 FCcom COM#(1 4):4,FCoE_GW: admin show about * * * * Command Line Interface SHell (CLISH) * * * * SystemDescription Huawei FCoE-FC Gateway

31、 module HostName Eth1IPv4NetworkAddr 192.168.1.41 Eth1IPv6NetworkAddr fe80:2c0:ddff:fe24:2180 MAC1Address 00:c0:dd:24:21:80 WorldWideName 10:00:00:c0:dd:24:21:7f SerialNumber 2198080446DQCB46F041 SymbolicName FCoE_GW ActiveSWVersion V9.8.0.4.0 ActiveTimestamp Thu Dec 20 17:46:48 2012 POSTStatus Pass

32、ed SwitchMode Full Fabric,登录SMM板后输入命令： “telnet 0 1101” 输入SMM板登录”用户名”和”密码” 选择登录的交换模块的槽位号（33-36对应E1/X2/X3/E4) 选择登录交换模块的串口,4对应FCoE GateWay模块串口 输入FCoE GateWay模块的用户名和密码后进入FCoE GateWay模块的命令行,目录,E9000服务器硬件安装 E9000管理模块配置 E9000交换模块管理配置 E9000计算节点的管理配置,4.1 计算节点的配置,计算节点安装在E9000机框的前插1-16槽位 对计算节点的配置安装主要包括以下几个方面：

33、检查计算节点 配置RAID 配置BIOS 配置BMC 安装操作系统,4.2 计算节点的检查,计算节点可以通过两种方式进行带外管理 本地BMC MM910模块 BMC和MM910模块都提供web页面和命令行形式来对设备进行操作 MM910上命令行检查计算节点的版本信息：,smmget -l blade2 -d version /检查2槽位单板信息 Blade2 version information: IPMC CPU: SPEAr310 IPMI Version: 2.0 FPGA Version: (U4008)012 CPLD Version: (U38)008 BIOS Version:

34、 (U41)V010 Active iMana Version: (U4005)3.07 Active iMana Built: 15:47:39 Oct 16 2012 Backup iMana Version: 3.07 Driver Version: 1.00 Driver Built: 15:47:48 Oct 16 2012 Uboot Version: U-Boot 1.3.1 (Jun 14 2012 - 17:45:15) GRUA BoardID: 0 x0130 GRUA PCB: .A RAID CARD BoardID: 0 x0021 RAID CARD PCB: .A IPMB Address: 0 x90,命令行,Web页面,RAID的配置可以通过三种方式进行 通过BMC的远程KVM MM910模块的远程KVM 本地KVM,4.3 RA