移动卫星抗灾超级基站集中网管系统双机部署方案v10.doc

双机部署方案中国卫星通信集团公司双机部署方案北京神州泰岳软件股份有限公司2020年1月23日文档属性属性内容客户名称中国卫星通信集团公司项目名称抗灾超级基站集中网管系统文档主题双机部署方案文档副标题文档版本1.0文档日期2010-2-26文档状态提交稿作者神州泰岳文档变更版本修订日期修订人描述1.02010-2-26神州泰岳初稿文档送呈姓名目的各省项目经理审阅目 录1简介：42准备工作42.1设备结构图42.2硬件规划52.3软件安装规划62.4软件准备73双机服务环境要求73.1.1Oracle环境检查73.1.2NMS等应用配置检查73.1.3关闭不需要的服务83.1.4开启需要的服务83.1.5防火墙设置94安装服务器操作系统94.1配置网卡94.1.1hosts文件94.1.2心跳网卡 eth2104.1.3管理网卡bond0104.1.4配置ILO地址125集群配置165.1仲裁分区165.2创建PV165.3创建vg185.4创建LV196创建Cluster节点196.1启动luci和 ricci服务196.2创建Cluster节点206.3注意227Cluster配置227.1方法一 修改cluster.conf文件227.2方法二 图形配置287.3查看cluster状态417.4双机切换427.4.1方法一427.4.2方法二437.5切换意外处理447.6重启服务器441 简介：卫通网管系统服务器，安装redhat5.1操作系统；使用gfs格式的文件系统，ext3的格式最多只能管理2T的硬盘，而gfs能管理16T磁盘空间。网管系统两台核心服务器，做双机。计划双机做好后，1个浮动IP为网管应用程序所用，1个浮动IP为数据库所用。这样同时运行，故障时，会自动切换到另一台物理主机上。2 准备工作2.1 设备结构图说明：两台服务器，每台服务器共有3块网卡；各有一个ILO口连接进入网络；两台服务器各有二块网卡连接网络，做双网卡bond0，配置为管理IP，网卡分别是eth0和eth1。两台服务器之间有一心跳线，双网卡网卡为eth3。2.2 硬件规划BJDBW-SBTS-NMS-SV02_DB1型号HP ProLiant DL580操作系统Red Hat Enterprise Linux Server release 5.1硬件配置CPU：四路四核Intel Xeon处理器Memory：16GDisk: 146GFile system大小(GB)描述/18OSswap8系统交换分区/opt40OS+agent安装+Oracle安装/var2OS/usr8OS/tmp8OS/ultrapower40OS/backup7OS卷组卷组名称大小备注vgdb1000G逻辑卷逻辑卷名挂载点备注Lvoradata 600/oradata数据库数据Lvbakdata 400/bakdata备份BJDBW-SBTS-NMS-SV01_APP1型号HP ProLiant DL580操作系统Red Hat Enterprise Linux Server release 5.1硬件配置CPU：四路四核Intel Xeon处理器Memory：16GDisk: 146GFile system大小(GB)描述/18OSswap8系统交换分区/opt40OS+agent安装+Oracle安装/var2OS/usr8OS/tmp8OS/ultrapower40OS/backup7OS卷组卷组名称大小备注vgnms197G逻辑卷逻辑卷名挂载点备注Lvultranms 100/ultranmsUltraNMSLvbakdata 97/updatebak备份存储规划主机名主机配置操作系统&集群软件文件系统类型模块名或数据库名/用途应用类型PVVG挂载点/逻辑磁盘需求容量（G）BJDBW-SBTS-NMS-SV02_DB1HP 580G5（四核）3.0GHz816G内存2块146G硬盘Qlogic 4G *2Red Hat Enterprise Linux Server release 5.1gfsqdisk/oradata/bakdata/ultranms/updatebakHA仲裁oracle数据库数据oracle数据库日志nmsapp网管应用updatebak网管系统备份11VGNMSqdisk（1G）/oradata（600G）/bakdata（400G）/ultranms（100G）/updatebak（97G）5300GBBJDBW-SBTS-NMS-SV01_APP12.3 软件安装规划BJDBW-SBTS-NMS-SV02_DB1模块名版本号安装路径备注DB模块Oralce Server/opt/oracleOracle Server/etc/双机热备软件jdk1.5.0_10/var/jdk1.5.0_10Jdk1.5/oradata数据库数据/bakdata备份BJDBW-SBTS-NMS-SV01_APP1模块名版本号安装路径备注DB模块Oralce Server/opt/oracleOracle Server/etc/双机热备软件/home/jdk1.5/javaJdk1.5Ultra-NMS Server4.4.1/ultranms/UltraNMS/serverNMS serverUltra-NMS Repor/ultranms/UltraNMS/portal报表系统2.4 软件准备Redhat AS5 x86Oracle10.2.10 x86网管应用软件Jdk1.5 for linux3 双机服务环境要求3.1.1 Oracle环境检查Oracle10g安装参考oracle安装手册1、 确认oracle数据库软件已经安装在BJDBW-SBTS-NMS-SV01-APP1和BJDBW-SBTS-NMS-SV02-DB1的/oracle文件系统中。2、 确认oracle数据库数据文件（实例）存储在/oradata共享存储上3、 确认BJDBW-SBTS-NMS-SV01-APP1和BJDBW-SBTS-NMS-SV02-DB1主机的/etc/fsttab文件中没有/oradata的挂载条目4、将oracle的双机切换脚本oracle存储在各自主机上的/etc/init.d目录下3.1.2 NMS等应用配置检查nms安装参考网管平台实施方案1、 确认ultranms、histordatacollect、报表等程序安装在共享整列/ultranms文件系统中2、 确认在BJDBW-SBTS-NMS-SV01-APP1和BJDBW-SBTS-NMS-SV02-DB1主机的/etc/fsttab文件中没有/ultranms的挂载条目3、 将NMS的双机切换脚本nms存储在各自主机上的/etc/init.d目录下4、 运行Nms server/bin下的ConfigNms.sh，将其中的rmi server的地址改为,数据库的地址改为5、 同步主机BJDBW-SBTS-NMS-SV01-APP1和BJDBW-SBTS-NMS-SV02-DB1的/var/jdk1.5.0_10目录，使其一致，同步jdk的时候查看一下/var/jdk1.5.0_10/bin目录是否有NmsMsgServer，NmsProbe，NmsReportServer，NmsServer等文件，如果没有，需要创建#cp java NmsMsgServer#cp java NmsProbe#cp java NmsReportServer#cp java NmsServer6、 两台机子上分别配置root环境变量.bash_profilerootBJDBW-SBTS-NMS-SV01-APP1 # cat .bash_profile# .bash_profile# Get the aliases and functionsif -f /.bashrc ; then . /.bashrcfi# User specific environment and startup programsPATH=/var/jdk1.5.0_10/bin:$PATH:$HOME/binJAVA_HOME=/var/jdk1.5.0_10export JAVA_HOMEexport PATHunset USERNAME3.1.3 关闭不需要的服务#chkconfig acpid off#chkconfig cups off#chkconfig sendmail off#chkconfig isdn off#chkconfig smartd off#chkconfig iptables off#chkconfig pcmcia off3.1.4 开启需要的服务#chkconfig snmpd on3.1.5 防火墙设置l 关闭防火墙服务chkconfig iptables offl 如果不关闭防火墙，需要用到的端口都需要加入到防火墙策略中iptables -A INPUT -i -m multiport -m state -state NEW -p udp -s /24 -d /24 -dports 5404,5405 -j ACCEPTiptables -A INPUT -i -m state -state NEW -m multiport -p tcp -s /24 -d /24 -dports 8084 -j ACCEPTiptables -A INPUT -i -m state -state NEW -m multiport -p tcp -s /24 -d /24 -dports 11111 -j ACCEPTiptables -A INPUT -i -m state -state NEW -m multiport -p tcp -s /24 -d /24 -dports 14567 -j ACCEPTiptables -A INPUT -i -m state -state NEW -m multiport -p tcp -s /24 -d /24 -dports 16851 -j ACCEPTiptables -A INPUT -i -m state -state NEW -m multiport -p tcp -s /24 -d /24 -dports 21064 -j ACCEPTiptables -A INPUT -i -m state -state NEW -m multiport -p tcp -s /24 -d /24 -dports 41966,41967,41968,41969 -j ACCEPTiptables -A INPUT -i -m state -state NEW -m multiport -p tcp -s /24 -d /24 -dports 50006,50008,50009 -j ACCEPTiptables -A INPUT -i -m state -state NEW -m multiport -p udp -s /24 -d /24 -dports 50007 -j ACCEPT4 安装服务器操作系统两台服务器安装同样的操作系统，redhat5，一定要有注册码。一定要安装的组件包：开发包、cluster包。选择时要点进去小项，所有小项都要选上。最好全安装，空间是有的，这样可以免去缺少包的情况。语言安装时，中文也要选上，这样系统支持看中文，否则中文显示都是乱码；防火墙关上。按硬件规划分区，文件系统为ext3主机名安装时填好。4.1 配置网卡4.1.1 hosts文件这个文件只需心跳地址，一定不能把浮动IP及对应的主机名写进来。两台主机配置相同。rootBJDBW-SBTS-NMS-SV01-APP1 # cat /etc/hosts localhost nmsap01 nmsdb01 BJDBW-SBTS-NMS-SV01-APP1 BJDBW-SBTS-NMS-SV02-DB1# BJDBW-SBTS-NMS-SV01-APP1-VIP BJDBW-SBTS-NMS-SV02-DB1-VIProotBJDBW-SBTS-NMS-SV02-DB1 # cat /etc/hosts localhost nmsap01 nmsdb01 BJDBW-SBTS-NMS-SV02-DB1 BJDBW-SBTS-NMS-SV01-APP1# BJDBW-SBTS-NMS-SV01-APP1-VIP BJDBW-SBTS-NMS-SV02-DB1-VIP4.1.2 心跳网卡 eth2这里eth2做心跳.BJDBW-SBTS-NMS-SV01-APP1：rootBJDBW-SBTS-NMS-SV01-APP1 network-scripts# cat ifcfg-eth2# Broadcom Corporation NetXtreme II BCM5708 Gigabit EthernetHWADDR=18:A9:05:58:CC:24DEVICE=eth2BOOTPROTO=staticONBOOT=yesIPADDR=NETMASK=USERCTL=noBJDBW-SBTS-NMS-SV02-DB1：rootBJDBW-SBTS-NMS-SV02-DB1 network-scripts# cat ifcfg-eth2# Broadcom Corporation NetXtreme II BCM5708 Gigabit EthernetHWADDR=18:A9:05:58:CC:7ADEVICE=eth2BOOTPROTO=staticONBOOT=yesIPADDR=NETMASK=USERCTL=no4.1.3 管理网卡bond0BJDBW-SBTS-NMS-SV01-APP1：rootBJDBW-SBTS-NMS-SV01-APP1 network-scripts# cat ifcfg-bond0# Intel Corporation 82572EI Gigabit Ethernet Controller (Copper)DEVICE=bond0BOOTPROTO=noneONBOOT=yesIPADDR=NETMASK=GATEWAY=USERCTL=noTYPE=EthernetrootBJDBW-SBTS-NMS-SV01-APP1 network-scripts# cat ifcfg-eth0# Intel Corporation 82572EI Gigabit Ethernet Controller (Copper)HWADDR=00:23:7D:FD:97:18DEVICE=eth0ONBOOT=yesBOOTPROTO=noneMASTER=bond0SLAVE=yesUSERCTL=norootBJDBW-SBTS-NMS-SV01-APP1 network-scripts# cat ifcfg-eth1# Broadcom Corporation NetXtreme II BCM5708 Gigabit EthernetHWADDR=18:A9:05:58:CC:22DEVICE=eth1ONBOOT=yesBOOTPROTO=noneMASTER=bond0SLAVE=yesUSERCTL=noBJDBW-SBTS-NMS-SV02-DB1：rootBJDBW-SBTS-NMS-SV02-DB1 network-scripts# cat ifcfg-bond0# Intel Corporation 82572EI Gigabit Ethernet Controller (Copper)DEVICE=bond0BOOTPROTO=noneONBOOT=yesIPADDR=NETMASK=GATEWAY=USERCTL=noTYPE=EthernetrootBJDBW-SBTS-NMS-SV02-DB1 network-scripts# cat ifcfg-eth0# Intel Corporation 82572EI Gigabit Ethernet Controller (Copper)HWADDR=00:23:7D:FD:97:0ADEVICE=eth0ONBOOT=yesBOOTPROTO=noneMASTER=bond0SLAVE=yesUSERCTL=norootBJDBW-SBTS-NMS-SV02-DB1 network-scripts# cat ifcfg-eth1# Broadcom Corporation NetXtreme II BCM5708 Gigabit EthernetHWADDR=18:A9:05:58:CC:78DEVICE=eth1ONBOOT=yesBOOTPROTO=noneMASTER=bond0SLAVE=yesUSERCTL=no此时查看一下以下文件，增加兰色字体内容。rootBJDBW-SBTS-NMS-SV01-APP1 # cat /etc/modprobe.confalias eth0 e1000alias eth1 bnx2alias eth2 bnx2alias scsi_hostadapter mptbasealias scsi_hostadapter1 mptsasalias scsi_hostadapter2 ccissalias scsi_hostadapter3 ata_piixalias bond0 bonding options bond0 miimon=100 mode=1rootBJDBW-SBTS-NMS-SV01-APP1 # cat /etc/rc.local#!/bin/sh# This script will be executed *after* all the other init scripts.# You can put your own initialization stuff in here if you dont# want to do the full Sys V style init stuff.#route add -net 55 netmask bond0ifenslave bond0 eth0 eth1route add -net netmask bond0 touch /var/lock/subsys/local4.1.4 配置ILO地址ILO地址，配置好以后，可以通过远程用1 （ILO地址）方式访问。如同在本机访问一样。配置:开机自检时，按F8键进入 iLO 的设置界面：进入 iLO 的设置： 在 菜单File 下的 “Set Defaults”是将所有的设置恢复为出厂值；在菜单Network选项中配置网络：分别设置 IP 地址和 DNS。IP 应在同一个网段中，注意子网掩码的一致。(只有在 DHCP 被设为 Disable 时，才能设置 IP address/Subnet Mask/Gateway IP address)DNS 的名字在服务器前面带的卡片上，还包括管理员的账号和密码。在菜单User选项中可以添加、删除、更改远程访问 User 的密码，权限等；我在这里新建了自己的用户名及密码: ultranms/Ultra.NMS02(Ultra.NMS04)这个一定要记住，下面设置cluster时要使用到。5 集群配置5.1 仲裁分区光纤连接正确后，检查一下空间rootBJDBW-SBTS-NMS-SV02-DB1 # fdisk -l|grep /dev/sdDisk /dev/sdb doesnt contain a valid partition tableDisk /dev/sda: 999.9 GB, 999999995904 bytes/dev/sda1 * 1 73000 586372468+ 83 Linux/dev/sda2 73001 121576 390186720 83 LinuxDisk /dev/sdb: 999 MB, 999997440 bytesDisk /dev/sdc: 197.7 GB, 197732876288 bytes/dev/sdc1 * 1 12020 96550618+ 83 Linux/dev/sdc2 12021 24039 96542617+ 83 Linux共享存储已分了1G分区，为/dev/sdb1root用户登录到主机BJDBW-SBTS-NMS-SV01-APP1上执行以下命令，用来创建仲裁分区。#mkqdisk -c /dev/sdb -l nms_qdisk /转换成qdisk分区注：以上命令是将分区转换为分区，指定nms_qdisk为卷标名，卷标会被cluster.conf文件使用。查看qdisk状态：rootBJDBW-SBTS-NMS-SV01-APP1 # mkqdisk -Lmkqdisk v0.5.1/dev/sdb: Magic: eb7a62c2 Label: nms_qdisk Created: Wed Mar 10 09:46:01 2010 Host: BJDBW-SBTS-NMS-SV01-APP1因为qdsik需要在双机服务时自动启动，所以将qdiskd服务加载到系统自启动# chkconfig qdiskd on5.2 创建PV将磁盘创建pv，除了仲裁分区。#pvcreate /dev/sdc1#pvcreate /dev/sdc2#pvcreate /dev/sda1#pvcreate /dev/sda2rootBJDBW-SBTS-NMS-SV01-APP1 # pvdisplay - Physical volume - PV Name /dev/sdc1 VG Name vgnms PV Size 92.08 GB / not usable 3.71 MB Allocatable yes PE Size (KByte) 4096 Total PE 23571 Free PE 19 Allocated PE 23552 PV UUID hvi3uR-cvdT-FnJp-AEAD-muFk-Hhxd-VeuWDe - Physical volume - PV Name /dev/sdc2 VG Name vgnms PV Size 92.07 GB / not usable 3.90 MB Allocatable yes PE Size (KByte) 4096 Total PE 23569 Free PE 17 Allocated PE 23552 PV UUID aZypWW-oIAs-hua1-a7hJ-sw7f-7WVE-XtL4rh - Physical volume - PV Name /dev/sda1 VG Name vgdb PV Size 559.21 GB / not usable 1.36 MB Allocatable yes (but full) PE Size (KByte) 4096 Total PE 143157 Free PE 0 Allocated PE 143157 PV UUID kJAqt0-rs1c-LRat-XQZp-Cqz9-8qTq-yCp309 - Physical volume - PV Name /dev/sda2 VG Name vgdb PV Size 372.11 GB / not usable 1.72 MB Allocatable yes PE Size (KByte) 4096 Total PE 95260 Free PE 81 Allocated PE 95179 PV UUID 6RiOyc-Itdc-hQ3Z-1fhU-NQ8J-Ckbq-F3HDWv5.3 创建vg#vgcreate vgnms /dev/sdc1 /dev/sdc2#vgcreate vgdb /dev/sda1 /dev/sda2rootBJDBW-SBTS-NMS-SV01-APP1 # vgdisplay - Volume group - VG Name vgnms System ID Format lvm2 Metadata Areas 2 Metadata Sequence No 3 VG Access read/write VG Status resizable MAX LV 0 Cur LV 2 Open LV 2 Max PV 0 Cur PV 2 Act PV 2 VG Size 184.14 GB PE Size 4.00 MB Total PE 47140 Alloc PE / Size 47104 / 184.00 GB Free PE / Size 36 / 144.00 MB VG UUID nwZKlx-W6kl-Q2bi-Yd3X-yiwb-8YB3-hwxK0I - Volume group - VG Name vgdb System ID Format lvm2 Metadata Areas 2 Metadata Sequence No 3 VG Access read/write VG Status resizable MAX LV 0 Cur LV 2 Open LV 2 Max PV 0 Cur PV 2 Act PV 2 VG Size 931.32 GB PE Size 4.00 MB Total PE 238417 Alloc PE / Size 238336 / 931.00 GB Free PE / Size 81 / 324.00 MB VG UUID Db7GOc-eYeS-NscI-7xI3-XGeY-2UJ6-3MlCbT5.4 创建LV#lvcreate -L 92G -n /dev/vgnms/lvultranms vgnms#lvcreate -L 92G -n /dev/vgnms/lvupdatebak vgnms#lvcreate -L 600G -n /dev/vgdb/lvoradata vgdb#lvcreate -L 331G -n /dev/vgdb/lvbakdata vgdbrootBJDBW-SBTS-NMS-SV01-APP1 # lvscan ACTIVE /dev/vgnms/lvultranms 92.00 GB inherit ACTIVE /dev/vgnms/lvupdatebak 92.00 GB inherit ACTIVE /dev/vgdb/lvoradata 600.00 GB inherit ACTIVE /dev/vgdb/lvbakdata 331.00 GB inherit6 创建Cluster节点6.1 启动luci和 ricci服务# yum install ricciLoading rhnplugin pluginLoading installonlyn pluginLoading security pluginThis system is not registered with RHN.RHN support will be disabled.Setting up Install ProcessSetting up repositoriesNo Repositories Available to Set UpReading repository metadata in from local filesParsing package install argumentsSetting up repositoriesNo Repositories Available to Set UpReading repository metadata in from local filesNo Match for argument: ricciNothing to do#yum install luciLoading rhnplugin pluginLoading installonlyn pluginLoading security pluginThis system is not registered with RHN.RHN support will be disabled.Setting up Install ProcessSetting up repositoriesNo Repositories Available to Set UpReading repository metadata in from local filesParsing package install argumentsSetting up repositoriesNo Repositories Available to Set UpReading repository metadata in from local filesNo Match for argument: luciNothing to do# luci_admin init#注：这里需要输入admin密码，密码为123456Initializing the Luci serverCreating the admin userEnter password: Confirm password: Please wait.The admin password has been successfully set.Generating SSL certificates.Luci server has been successfully initializedRestart the Luci server for changes to take effecteg. service luci restart# service ricci startStarting ricci: OK # service luci restartShutting down luci: OK Starting luci: generating https SSL certificates. done OK Point your web browser to ht