E9000安装与配置教程课件

1、修订记录课程编码适用产品产品版本课程版本ISSUEXXXXXXXXXXXXXXXXX开发/优化者时间审核人开发类型（新开发/优化）XXXXXXXXXXXXXX本页不打印E9000服务器安装与配置目标学完本课程后，您将能够:掌握E9000方案硬件安装部署流程；掌握E9000管理配置方法；掌握E9000交换配置方法；掌握E9000计算节点配置安装方法；目录E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置1.1 E9000机框安装流程机框外观OSCA机箱（含风扇模块、电源模块、管理模块、交换模块）重量约为100kg，超出4个人的搬运重量限制（68k

2、g），所以在安装机箱之前，需要先拆卸风扇模块、电源模块、管理模块、交换模块和直通模块，以方便安装机箱。1.2 机框部件拆卸流程拆卸交换模块拆卸直通模块拆卸管理模块拆卸电源模块拆卸风扇模块槽位E1、E4主要安装直通模块槽位X2、X3主要安装交换模块槽位M1、M2安装管理模块槽位PSM安装电源模块槽位FAN安装风扇模块1.3交换模块和直通模块的拆卸使用十字螺丝刀拆卸交换/直通模块自带的两颗M3松不脱螺钉完全打开交换模块的两个扳手平行向外侧将交换模块拉出机箱槽位完全闭合交换模块的两个扳手将拆卸的交换/直通模块放入防静电包装袋中。1.4管理模块的拆卸使用十字螺丝刀拆卸管理模块自带的一颗M3松不脱螺钉完

3、全打开管理模块的扳手平行向外侧将管理模块拉出机箱槽位完全闭合管理模块的扳手将拆卸的管理模块放入防静电包装袋中。1.5电源/风扇模块的拆卸按下电源模块的弹片沿水平方向将电源模块从机箱中拔出向外侧拉紧风扇模块的内侧的扳手平行向外侧将风扇模块拔出机箱槽位将拆卸的管理/电源模块放入防静电包装袋中。1.6 E9000机框的硬件安装步骤在标准的42U的机柜中，最多可以安装3个机箱对应的托盘分别安装在1U、14U、27U的位置处。机箱搬运时需要四人风扇与电源模块安装时注意方向具体安装方式请参考机箱安装指南，安装完成后需要按照手册进行安装结果检查1.7 风扇电源模块的安装确定风扇的安装方向（风扇的安装方向，必

4、须与风扇槽位挡风罩上面的标示的方向保持一致）沿水平方向将风扇模块插入机箱中，直到机箱扣紧风扇模块为止风扇模块方向标识安装时需要注意电源模块的安装方向：机箱后视图的左侧电源模块：有弹片的一侧方向向上。机箱后视图的右侧电源模块：有弹片的一侧方向向下。1.8 安装管理模块MM910安装位置平行向内侧将MM910插入机箱槽位闭合MM910的扳手使用十字螺丝刀固定MM910自带的一颗M3松不脱螺钉1.9交换模块的安装完全打开CX911的两个扳手，将CX911平行向内侧推入机箱槽位用力闭合CX911的两个扳手，直至CX911完全插稳使用十字螺丝刀固定CX911自带的两颗M3松不脱螺钉1.10计算节点的安装

5、按下计算节点扳手的弹片。完全打开计算节点的扳手。沿水平方向将计算节点完全插入机箱中。完全闭合计算节点的扳手。半宽刀片的安装全宽刀片的安装注意：安装全宽刀片是需要取出机框中间的隔板目录E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置2.1 E9000管理模块配置在硬件安装完成后，需要对E9000系统进行配置，通常包括配置管理模块配置计算节点配置交换模块本章介绍管理模块的配置2.2 MM910外观及安装位置MM910安装在OSCA机箱的后面的管理模块槽位上（M1/M2）机箱中最多可以安装2个互为主备的MM910提供1个MGMT接口用于机箱内设备的

6、管理提供1个STACK接口用于多框自管理组网级联提供一个COM串口用于管理信息显示及控制提供一个RS485接口用于管理外置PDU模块提供一个VGA接口用于连接集中KVM显示器提供两个标准USB2.0接口，用于连接光驱、鼠标和键盘。2.3 MM910配置流程配置流程说明检查MM910通过查看面板指示灯，确保MM910状态正常。查询MM910的版本信息，确保与局点要求一致。验证MM910的主备倒换功能，确保主备MM910能够倒换成功。修改初始密码在主MM910修改默认用户“root”的初始密码，以提升系统运维安全性。配置基础数据在主、备MM910配置静态IP地址。在主MM910配置时区、NTP（N

7、etwork Time Protocol）时间同步、浮动IP地址和SNMP（Simple Network Management Protocol） Trap上报。增加用户在主用MM910增加新用户，新增的用户可用于登录MM910的操作系统和WebUI，进行日常维护操作。2.4 MM910配置方式管理的物理端口：串口方式MM910管理板的管理网口X2/X3槽位交换板端口访问管理网口(默认管理网口出线方式）管理界面：命令行web页面IP地址初始设置：使用串口登录方式配置初始IP设置自动获取IP地址（如果配置了DHCP服务器）通过机箱液晶屏配置命令行界面Web页面2.5 MM910配置命令格式查询命

8、令smmget格式：smmget -h -l location -t target -d dataitem设置命令smmset格式：smmset -h -l location -t target -d dataitem -v valuelocation取值说明system表示对E9000整机执行命令。shelf表示对机箱执行命令。smm表示对当前连接的MM910执行命令。bladeN表示对N号槽位的计算节点或者交换模块执行命令。N为整型，取值范围为：计算节点：116交换模块：14swiN表示对N号槽位的交换模块执行命令。N为整型，取值范围为14。fantray表示对风扇模块执行命令。pem表示

9、对电源模块执行命令。-h：用于获取命令的帮助信息。如果使用此参数，则后面不能跟其他参数。-l location：命令生效的目标部件。省略此参数，表示目标部件为当前连接的MM910。不同的location代表不同的部件，详细说明如表所示。-t target：待查询或设置部件上的特定组件。主要包括传感器、指示灯、网口等。-d dataitem：查询或设置部件、部件上组件的特定属性。-v value：设置操作的目标值。2.6 检查和倒换的基本命令查询MM910版本信息：smmget -l smm -d version屏幕回显如右图：在主用单板CLI界面，执行主备倒换：smmset -d failov

10、er -v 1屏幕回显如右图：SMM Version Information: Uboot Version :(U54)0003 CPLD Version :(U1082)103 120809 PCB Version :SMMA REV 0 FPGA Version :(U1049)003 120803 Software Version :(U54)OSCA V100R001C01 IPMI Module Built:Aug 27 2012 14:08:58This operation will make SMM switch over to standby.Continue?Y/N:确认当前

11、连接的MM910已经切换为备用状态：smmget -d redundancy屏幕回显如右图，表示当前连接的MM910已经切换为备用状态。输入“Y”，然后按“Enter”。屏幕回显如右图，表示主板倒换成功。SuccessThe Redundancy States of SMMs: SMM1: Present(standby)* SMM2: Present(active) 2.7 默认密码和修改密码帐户和默认密码用户名：root密码：Huawei12#$smmset -d userpasswd -v root用户密码复杂度要求：密码的长度至少8位字符，且必须包含如下至少两种字符的组合: 至少一个小

12、写字母至少一个大写字母至少一个数字至少一个特殊字符：!#$%&*()-_=+|;:,/?和空格。2.8配置基础数据标名称说明取值样例备MM910的静态IP地址、子网掩码和网关该MM910的固定IP地址，对应通过ifconfig查询到的“eth0”IP地址，PC机可以通过该静态IP地址登录MM910的CLI和WebUI。IP地址：10.85.4.75子网掩码：255.255.255.0网关：10.85.4.1 主MM910的静态IP地址、子网掩码和网关IP地址：10.85.4.76子网掩码：255.255.255.0网关：10.85.4.1 MM910的浮动IP地址、子网掩码和网关MM910对外

13、通信时使用的IP地址，固定指向主用MM910，对应通过ifconfig查询到的“eth0:0”IP地址。当MM910发生主、备倒换，也可以通过浮动IP地址登录倒换后的主用MM910。IP地址：10.85.4.77子网掩码：255.255.255.0网关：10.85.4.1 NTP服务器IP地址系统时钟源服务器的IP地址。10.85.4.254MM910发送给上层网管的SNMP Trap消息版本需要与上层网管支持的SNMP Trap版本保持一致，MM910支持发送给上层网管的SNMP Trap消息版本如下：v1/v2c/v3v2c接收SNMP Trap消息的目标主机的IP地址上层网管服务器的IP

14、地址。192.168.100.115SNMP Trap接收端口号与上层网管协商的端口号，上层网管通过该端口号接收MM910上报的SNMP事件信息。默认情况下，MM910上报SNMP事件的端口号是162。用户可以自行设置1024以上的任意端口号。但必须确认，通过该命令设置的端口号和接收事件信息端的实际端口号保持一致。10242.9 配置基础数据命令配置静态IP地址：smmset -t front -d staticip -v 静态IP地址 子网掩码 网关查询静态IP地址：smmget -t front -d staticip向NTP服务同步时间：ntpdate NTP服务器IP地址设置浮动IP地

15、址（只在主用上有效）smmset -t front -d floatip -v 浮动IP地址 子网掩码 网关使能SNMP Trap功能。smmset -d snmptrapenable -v enable配置SNMP Trap的版本。smmset -d snmptrapversion -v SNMP版本号配置接收SNMP Trap消息的目标主机的IP地址。 smmset -d snmptrapaddressN -v ipaddress配置SNMP Trap接收端口号smmset -d snmptrapport -v portnumber2.10 增加用户MM910的用户按角色划分如下：管理员：

16、具备所有查询和设置操作的权限。操作员：具备查询和设置操作的权限，但不能执行升级、管理用户、开/关密码复杂度检查操作。普通用户：具有查询权限，并能修改自身密码。增加用户 smmset -d useradd -v username修改用户权限smmset -d userpropertychg -v username privilegeprivilege权限属性值，取值说明如下：“0”表示管理员“1”表示操作员“2”表示普通用户目录E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置3.1 CX910交换模块配置过程配置流程说明检查CX910通过查看面

17、板指示灯，确保CX910状态正常。查询交换模块的版本信息，确保与局点要求一致。确认CX910端口与机框中计算节点、存储节点和管理模块端口之间的对应关系。修改初始密码在初次登录CX910后，修改默认用户的初始密码，以提升系统运维安全性。配置数据配置CX910的管理网口IP地址。配置CX910常用的特性数据，包括VLAN（Virtual Local Area Network）、以太网属性、链路聚合、SNMP（Simple Network Management Protocol ）和MSTP（Multiple Spanning Tree Protocol）的配置。CX910安装在E1/X2/X3/E

18、4交换模块槽位上3.2 登陆CX910登陆CX910单板可以使用1 串口登陆（ Speed：115200）面板提供两个串口sys串口可以连接Base/Fabric平面BMC串口可以登陆到CX910的BMC模块通过BMC模块可以控制sys串口在Base平面和Fabric平面切换2 网口登陆：通过MM910配置Cx910 Base/Fabric 平面IP地址通过Base平面端口连接到Base/Fabric平面BMC串口sys串口Base平面电口3.3 检查系统版本登陆到Base/Fabric命令行执行：display version显示如下信息：BoardName : IT11XCUA CPLD

19、Version : 003 PCB Version : VER.A Bootrom Version : 009 Creation Time : Sep 17 2012, 09:53:25Backup Bootrom Version : 009 Creation Time : Sep 17 2012, 09:53:25 Switch Version : 1.1.0.0.19 Creation Time : Oct 17 2012, 17:10:28 Backup Switch Version : 1.1.0.0.19 FC BoardName : UNKNOWN FC PCB Version :

20、 UNKNOWN display version显示如下信息：BoardName : IT11XCUA CPLD Version : 003 PCB Version : VER.A Bootrom Version : 009 Creation Time : Oct 16 2012, 12:48:10 Backup Bootrom Version : 009 Creation Time : Oct 16 2012, 12:48:10 Switch Version : 1.1.0.0.19 Creation Time : Oct 17 2012, 17:10:28 Backup Switch Ve

21、rsion : 1.1.0.0.19 3.4 查看Base/Fabric平面端口对应关系display port-connection-relationships命令执行成功，显示如下信息：BASE PLANE 24 PORTS GigabitEthernet 0/0/1 : RJ45-1GigabitEthernet 0/0/2 : RJ45-2GigabitEthernet 0/0/3 : RJ45-3GigabitEthernet 0/0/4 : RJ45-4GigabitEthernet 0/0/5 : SPU01GigabitEthernet 0/0/6 : SPU02Gigabit

22、Ethernet 0/0/7 : SPU03GigabitEthernet 0/0/8 : SPU04 GigabitEthernet 0/0/9 : SPU05GigabitEthernet 0/0/10 : SPU06GigabitEthernet 0/0/11 : SPU07GigabitEthernet 0/0/12 : SPU08GigabitEthernet 0/0/13 : SPU09GigabitEthernet 0/0/14 : SPU10GigabitEthernet 0/0/15 : SPU11GigabitEthernet 0/0/16 : SPU12GigabitEt

23、hernet 0/0/17 : SPU13GigabitEthernet 0/0/18 : SPU14GigabitEthernet 0/0/19 : SPU15GigabitEthernet 0/0/20 : SPU16GigabitEthernet 0/0/21 : SMM01GigabitEthernet 0/0/22 : SMM02GigabitEthernet 0/0/23 : Base CPU CrossXGigabitEthernet 0/0/1 : Base Interconnection 项目描述RJ45-1RJ45-4与交换模块面板对应编号14的接口。SPU01SPU16与

24、机箱前槽116号槽位相连的接口。SMM01SMM02与管理模块相连的接口编号。Base CPU Cross与Base CPU连接的接口。Base Interconnection与另一槽位交换模块的Base交换平面相连的接口。display port-connection-relationships显示如下信息：FABRIC PLANE 58 PORTS XGigabitEthernet 0/0/1 : SFI-1 XGigabitEthernet 0/0/2 : SFI-2 。 （为方便阅读，这里省去SFI-3到SFI-14）XGigabitEthernet 0/0/15 : SFI-15 X

25、GigabitEthernet 0/0/16 : SFI-16 XGigabitEthernet 0/0/17 : SPU01 XGigabitEthernet 0/0/18 : SPU01 XGigabitEthernet 0/0/19 : SPU01 XGigabitEthernet 0/0/20 : SPU02 XGigabitEthernet 0/0/21 : SPU02 XGigabitEthernet 0/0/22 : SPU02 。 （为方便阅读，这里省去SPU03到SPU07）XGigabitEthernet 0/0/38 : SPU08 XGigabitEthernet 0/

26、0/39 : SPU08 XGigabitEthernet 0/0/40 : SPU08 XGigabitEthernet 0/0/41 : SPU09 XGigabitEthernet 0/0/42 : SPU09 XGigabitEthernet 0/0/43 : SPU10 XGigabitEthernet 0/0/44 : SPU10 。（为方便阅读，这里省去SPU11到SPU14） XGigabitEthernet 0/0/53 : SPU15 XGigabitEthernet 0/0/54 : SPU15 XGigabitEthernet 0/0/55 : SPU16 XGigab

27、itEthernet 0/0/56 : SPU16 XGigabitEthernet 0/0/57 : Fabric Interconnection XGigabitEthernet 0/0/58 : Fabric Interconnection项目描述SFI-1SFI-16与交换模块面板的116号槽位相连的接口。SPU01SPU16与机箱前槽116号槽位相连的接口。Fabric Interconnection与另一槽位交换模块的Fabric交换平面相连的接口。3.5 修改初始用户名密码进入系统视图system-view显示如下信息：Enter system view, return user

28、 view with Ctrl+Z.进入修改用户密码界面。Baseset login password显示如下信息：Please login first. Old UserName: root Old Password: 输入旧的用户密码。命令执行成功后，显示如下信息： Login success,Please input new user name andpassword New UserName: New Password: Fabric与base平面修改方式一致Fabric只有一个用户，不能新增用户用户密码需要满足密码复杂度要求3.6 配置管理网口IP地址IP地址可以通过串口和MX910

29、两种方式配置通过MX910配置：设置命令：smmset -l swi1-4:fru1-3 -d swipcontrol -v set eth1IP地址 子网掩码查询命令：smmset -l swi1-4:fru1-3 -d swipcontrol -v get eth1swi1-4 ：14分别代表E1/X1/X2/E2四个槽位。fru1-3 ：1代表base平面，2代表fabric平面，3无意义。 串口方式：登录Base平面。进入操作系统视图。进入管理网口视图。配置管理网口的IP地址。ip address IP地址 子网掩码例如：配置IP地址为“192.168.101.120” 子网掩码为“2

30、55.255.255.0”。查询管理网口IP地址。Base-MEth0/0/1display thissystem-viewEnter system view, return user view with Ctrl+Z.Baseinterface MEth 0/0/1Base-MEth0/0/1ip address 192.168.101.120 255.255.255.0# interface MEth0/0/1 ip address 192.168.101.120 255.255.255.0 # 3.7 备份配置数据保存配置文件到MM910在用户视图执行以下命令，保存配置文件到MM910在

31、用户视图执行以下命令，确认文件系统中存在配置文件vrpcfg.cfg。查询配置文件的详细信息。display saved-configurationFabric平面配置与Base平面命令相同save显示如下信息：The current configuration will be written to the device. Are you sure to continue?Y/NY Aug 27 2012 18:04:16 Fabric %01CFM/4/SAVE(l)0:The user chose Y when deciding whether to save the configurat

32、ion to the device. Now saving the current configuration to the slot 33 . Info: Save the configuration successfully. 保存成功后，显示如下信息：begin upload configuration . upload success. dir显示如下信息：Directory of flash:/ Idx Attr Size(Byte) Date Time(LMT) FileName 0 -rw- 2,924 Aug 27 2012 16:08:12 private-data.txt

33、1 -rw- 9,673 Apr 01 2000 23:55:34 vrpcfgbak.cfg 2 -rw- 12,189 Aug 27 2012 18:04:19 vrpcfg.cfg 32,385 KB total (32,358 KB free)登陆CX310单板可以使用1 串口登陆面板提供两个串口sys串口可以连接Fabric平面BMC串口可以登陆到CX310的BMC模块2 网口登陆：通过MM910配置Fabric 平面IP地址通过上行10GE端口登录CX310基本配置过程与CX910相似，具体配置命令请参考对应的命令手册3.8 CX310交换模块管理端口BMC串口sys串口上行10G

34、E光口3.9 CX110 GE交换模块管理端口4*10GE12*GEBMC串口sys串口登陆CX110单板可以使用1 串口登陆面板提供两个串口sys串口可以连接Fabric平面BMC串口可以登陆到CX110的BMC模块2 网口登陆：通过MM910配置Fabric 平面IP地址通过上行GE/10GE端口登录CX310基本配置过程与CX910相似，具体配置命令请参考对应的命令手册3.10FCoE Gateway Module 的配置方式FCoE Gateway Module 扣接在交换模块上，扩展系统出FC通道功能扣接在CX910上构成CX911扣接在CX310上构成CX311登录FCoE Gat

35、eWay 模块的方式：通过SOL登录访问FCoE串口 (登录方法请参加下一页）通过模块网口登录：登录前可通过MM910的命令行对FCoE Gateway Module IP地址配置。smmset -l swiN:fruM -d swipcontrol -v ipaddress maskaddress使用SSH client 工具连接Gateway模块IP地址参数参数说明取值N表示单板所在的槽位号。N的取值范围为14，对应交换模块槽位M表示FRU ID。1：base 2：fabric 3：fcoe扣卡ipddress表示设置管理网口的IP地址。-maskaddress表示设置管理网口的子网掩码。

36、-FCoE Gateway 3.11通过SOL登录FCoE Gateway模块*=* Welcome to SMM SOL Server * Please log in with SMM account and password. *=*user name:rootPassWord:*Log in Success!rootSMM:/# telnet 0 1101Trying 0.0.0.0.Connected to 0.Escape character is .*= please input the SOL Blade1Blade16(1 16), SWI#(33-36) and COM#(n

37、) press Ctrl+R to return *=Blade1Blade16(1 16)Swi(33-36)Please input your choice:351 BMCcom2 fabriccom3 basecom4 FCcomCOM#(1 4):4FCoE_GW: admin show about * * * * Command Line Interface SHell (CLISH) * * * * SystemDescription Huawei FCoE-FC Gateway module HostName Eth1IPv4NetworkAddr 192.168.1.41 Et

38、h1IPv6NetworkAddr fe80:2c0:ddff:fe24:2180 MAC1Address 00:c0:dd:24:21:80 WorldWideName 10:00:00:c0:dd:24:21:7f SerialNumber 2198080446DQCB46F041 SymbolicName FCoE_GW ActiveSWVersion V9.8.0.4.0 ActiveTimestamp Thu Dec 20 17:46:48 2012 POSTStatus Passed SwitchMode Full Fabric登录SMM板后输入命令： “telnet 0 1101

39、”输入SMM板登录”用户名”和”密码”选择登录的交换模块的槽位号（33-36对应E1/X2/X3/E4)选择登录交换模块的串口,4对应FCoE GateWay模块串口输入FCoE GateWay模块的用户名和密码后进入FCoE GateWay模块的命令行12345目录E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置4.1 计算节点的配置计算节点安装在E9000机框的前插1-16槽位对计算节点的配置安装主要包括以下几个方面：检查计算节点配置RAID配置BIOS配置BMC安装操作系统4.2 计算节点的检查计算节点可以通过两种方式进行带外管理本地B

40、MCMM910模块BMC和MM910模块都提供web页面和命令行形式来对设备进行操作MM910上命令行检查计算节点的版本信息：smmget -l blade2 -d version /检查2槽位单板信息Blade2 version information: IPMC CPU: SPEAr310 IPMI Version: 2.0 FPGA Version: (U4008)012 CPLD Version: (U38)008 BIOS Version: (U41)V010 Active iMana Version: (U4005)3.07 Active iMana Built: 15:47:39 Oct 16 2012 Backup iMana Version: 3.07 Driver Version: 1.00 Driver Built: 15:47:48 Oct 16 2012 Uboot Version: U-Boot 1.3.1 (Jun 14 2012 - 17:45:15) GRUA BoardID: 0 x0130 GRUA PCB: .A RAID CARD BoardID: 0 x0021 RAID CARD PCB: .A IPMB Address: 0 x90命令行Web页面RAID的