企业日常IT系统运维小技能指南

1、 企业日常IT系统运维小技能指南 面对运维，掌握的技能越多，工作起来就会越得心应手。以下技能和经验来自社区会员的分享奉献，供大家学习参考。一、 操作系统部署管理工具操作系统的安装部署是运维工作当中必不可少的一项内容，在自动化运维的今天我们有很多好的工具可以借鉴和使用。主要有以下几种产品：Windows：WDS，SCCM，PXEkickstartLinux：cobbler，PXEkickstart，UNetbootin，AutoYaSTAIX：nim，powervc除了光盘安装系统，U盘安装主流操作系统都是可以支持的。操作系统的安装部署是运维工作当中必不可少的一项内容，在自动化运维的今天我们有很

2、多好的工具可以借鉴和使用。主要有以下几种产品：Windows：WDS，SCCM，PXEkickstartLinux：cobbler，PXEkickstart，UNetbootin，AutoYaSTAIX：nim，powervc除了光盘安装系统，U盘安装主流操作系统都是可以支持的。以下经验可以参考：经验一AIX和Linux 操作系统安装部署由于没有实施云环境，下面场景大多还是基于传统基础平台进行的。AIX 操作系统的安装大多是通过NIM来进行，NIM作为AIX上自带的一个软件，功能强大。在企业有5台以上小机的情况看下就应该考虑搭建一个NIM环境进行统一的网络安装部署设施。NIM 本身资源不大，配

3、合操作系统镜像和安装初始化需要的设施，如NFS 环境用于存放常用的镜像和初始化软件，有个30G 基本收就可以，当然多多益善，本地盘足矣。做一个mirror或者使用存储的lun均可。搭建nim server 建议使用大于等于企业当中主流版本的稳定版本，不要经常升级，兼容性也会比较好，可以支持个几年没有问题。 一般企业主流操作系统版本的升级大多都需要3年以上。常用的软件可以添加到Nim 安装的初始化资源当中，也可以先简单安装操作系统，使用同一的初始化脚本进行设置。脚本可到社区搜索。经验二Linux的安装部署：由于我们企业大多选择的红帽系列的操作系统，那么我选择了cobbler自动安装操作系统工具，

4、兼容红帽系列比较好，也支持ubuntu等操作系统。主要关注点：cobbler 工具简单易用，使用比较方便。因为个操作系统的环境不一样，可以多做几个模板，磁盘大小和参数设置均可单独设置。大家可以配合运维管理平台CMDB进行支持管理和操作系统的部署。可以使用python进行再次开发等等。考虑日常运维来说，平时采购硬件和主流版本的操作系统时不要太多版本，给管理带来更多复杂性。很多互联网公司大都都是清一色设备和清一色OS版本，管理相当方便。后续做一个同一管理平台均方便很多。经验三针对System系列服务器，我们使用了Lenovo XClarity管理工具。能够实现设备发现、系统安装、硬件监控等功能。同

5、时也支持Vmware、Hyper-V等虚拟化设备的虚拟机安装和管理。二、SSH 登录缓慢登录很慢，登录上去后速度正常，这种情况主要有三种可能的原因：1. DNS反向解析的问题OpenSSH在用户登录的时候会验证IP，它根据用户的IP使用反向DNS找到主机名，再使用DNS找到IP地址，最后匹配一下登录的IP是否合法。如果客户机的IP没有域名，或者DNS服务器很慢或不通，那么登录就会很花时间。解决办法：只需修改/etc/ssh/sshd_config，设置UseDNS为no即可：sed -i s/#UseDNS yes/UseDNS no/ /etc/ssh/sshd_config2. gssap

6、i的问题用ssh -v userserver 可以看到登录时有如下信息：debug1: Next authentication method: gssapi-with-micdebug1: Unspecified GSS failure. Minor code may provide more information解决办法：可以使用ssh-o GSSAPIAuthentication=no userserver登录也可以修改/etc/ssh/ssh_config，设置GSSAPIAuthentication no3. DNS访问设置查询IBM 官方文档，关于DNS解析的详细说明。 /etc/

7、netsvc.conf 做如下更改：hosts=local,bind - hosts=local4,bind4最后/init.d/sshd restart三、OS设备识别扫描AIX扫描方式：cfgmgr查看结果：lsdevWindows扫描方式：设备管理器的扫描功能查看结果：设备管理器Linux扫描方式：重新扫描LUN设备(脚本)rescan-scsi-bus.sh 网上有现成脚本通过HBA卡扫描底层物理设备echo 1 /sys/class/fc_host/host1/issue_lipecho 1 /sys/class/fc_host/host2/issue_lip通过SCSI扫描SCSI

8、设备echo - - - /sys/class/scsi_host/host1/scanecho - - - /sys/class/scsi_host/host2/scan查看结果：lsscsi 或fdiskHP-UNIX扫描方式：#ioscan查看结果：ioscan -fNnkC diskioscan -m lunSolaris扫描方式：#devfsadm查看结果：# format如果这些方法都不好使用，那么终极大法：重启四、操作系统常用监控小工具常用UNIX和Linux 性能监控命令：netstat,vmstat,iostat,ps,sar,nfsstat,lsof每个操作系统平台独有的性

9、能监控命令或小工具：AIXtopas,nmon,svmon,entstat，procmon,lsps,filemon,truss,lvmstat,netpmonLinuxnmon,top,dstat,ss,iftop,iperf,slabtop,atop,sysdiag,Smem,ethtoolhp-uxGlance,Measureware,PerfView,NNM和ITOsolarissysperfstat,prtdevs,mpstat,swapinfo,iotop,iosnoop,nicstat,checkcable,prtdiag,snoop,sarmons五、Linux 安装Oracl

10、e RAC Udev 设备绑定环境：redhat5.6+multipathcat /etc/redhat-releaseRed Hat Enterprise Linux Server release 5.6 (Tikanga)cat /etc/udev/rules.d/99-asm.rulesKERNEL=/dev/mapper/asm_vnx5200_data01-5, OWNER=grid, GROUP=oinstall, MODE=660redhat6.5+multipathcat /etc/redhat-releaseCentOS release 6.5 (Final)cat /etc

11、/udev/rules.d/99-asm.rulesKERNEL=dm-2-8, OWNER=grid, GROUP=oinstall, MODE=660由于操作系统版本不同，那么在操作系统上设备识别出来的文件类型也不一样。所以绑定的规则也不一样。以上设置在生产系统运行一直很稳定。下面的内容是网上收集而来，可以参考使用：安装RAC需要绑定磁盘映射，需要获取磁盘WWID来使用UDEV绑定。scsi_id命令发出一个SCSI INQUIRY指令给设备，访问vital product data (VPD)页0 x83的数据，那里包含设备的WWID和其他的信息，或者页0 x80的数据，那里包含单元序列

12、号（unit serial number）。 scsi_id命令的执行结果（一长串字符）是设备的WWID，当前映射到/dev/sdc（/sys/block/sdc）。每一条到设备的路径和设备上的每一个分区的WWID都是相同的。设备的WWID不会改变，即使将其他的设备添加到系统或者从系统中删除。但是，映射到/dev/sdc的设备可能会改变。这就是为什么需要创建一个静态的设备名。可以根据WWID创建设备名。一、 如何获取设备WWID(1) Redhat 5 Enterprise Linux 如下：/sbin/scsi_id -g -u -s /dev/sdb Or/sbin/scsi_id -g

13、-u -s /block/sdbShell脚本#for i in cat /proc/partitions | awk print $4 |grep sd; do echo # $i: scsi_id -g -u -s /block/$i; done(2) Redhat 6 Enterprise Linux 如下：/sbin/scsi_id -g -u /dev/sdb Or/sbin/scsi_id -g -u /block/sdb Or/sbin/scsi_id -whitelist -replace-whitespace -device= /dev/sdbShell脚本# for i i

14、n cat /proc/partitions | awk print $4 |grep sd; do echo # $i: scsi_id -whitelist -replace-whitespace /dev/$i; done二、 写入udev .rules(1) 对于整个盘的绑定写入 99-oracle-asmdevices.rules (文件名，测试可以随便命令)RHEL5for i in b c d e f ;doecho KERNEL=sd*, BUS=scsi, PROGRAM=/sbin/scsi_id -whitelisted -replace-whitespace -devi

15、ce=/dev/$name, RESULT=/sbin/scsi_id -g -u -s /dev/sd$i, NAME=asm-disk$i, OWNER=grid, GROUP=asmadmin, MODE=0660 /etc/udev/rules.d/99-oracle-asmdevices.rulesdoneRHEL6for i in b c d e f ;doecho KERNEL=sd*, BUS=scsi, PROGRAM=/sbin/scsi_id -whitelisted -replace-whitespace -device=/dev/$name, RESULT=/sbin

16、/scsi_id -whitelisted -replace-whitespace -device=/dev/sd$i, NAME=asm-disk$i, OWNER=grid, GROUP=asmadmin, MODE=0660 /etc/udev/rules.d/99-oracle-asmdevices.rulesdone(2) 对于磁盘子分区的绑定Redhat Enterprise Linux 5 用如下参数KERNEL=sd?1-2, BUS=scsi, PROGRAM=/sbin/scsi_id -g -u -s %p, RESULT=1ATA_VBOX_HARDDISK_VBaef

17、9fa71-c32978c8, NAME=asm-ocr%n, OWNER=grid, GROUP=asmdba, MODE=0660Redhat Enterprise Linux 6 用如下参数KERNEL=sd?1-2, BUS=scsi, PROGRAM=/sbin/scsi_id -g -u /dev/$name, RESULT=1ATA_VBOX_HARDDISK_VBaef9fa71-c32978c8, NAME=asm-ocr%n, OWNER=grid, GROUP=asmdba, MODE=0660OrKERNEL=sdb1, BUS=scsi, PROGRAM=/sbin/

18、scsi_id -g -u -d /dev/$parent RESULT=1ATA_VBOX_HARDDISK_VB8383313d-441fd502, NAME=asm-crs1, OWNER=grid, GROUP=asmadmin, MODE=0660(3) 只改权限rootrac01 oracle# cat /etc/udev/rules.d/99-asm-multipath.rulesPROGRAM=/bin/chown oracle:oinstall /dev/mapper/back_mpath1p1PROGRAM=/bin/chown oracle:oinstall /dev/m

19、apper/back_mpath2p1PROGRAM=/bin/chown oracle:oinstall /dev/mapper/data_mpath1p1PROGRAM=/bin/chown oracle:oinstall /dev/mapper/data_mpath2p1六、Linux多路径软件Multipath的使用为了方便后续的设备管理我们和Linux 自带多路径软件的成熟化，我们在日常的设备多路径软件选择方面经常会首先考虑使用DM 软件。下面内容主要结合multipath在日常使用过程所用到的方方面面。linux一个lsscsi的软件，对于日常设备的查看比较方便，推荐大家使用。mu

20、ltipath 安装配置：rootpower yum.repos.d# rpm -qa|grep device-mapperdevice-mapper-persistent-data-0.2.8-2.el6.x86_64device-mapper-libs-1.02.79-8.el6.x86_64device-mapper-event-libs-1.02.79-8.el6.x86_64device-mapper-event-1.02.79-8.el6.x86_64device-mapper-1.02.79-8.el6.x86_64rootpower yum.repos.d# yum insta

21、ll device-mapper-multipath.x86_64rootpower yum.repos.d# modprobe dm-multipathrootpower yum.repos.d# modprobe dm-round-robinrootpower yum.repos.d# service multipathd startStarting multipathd daemon: OK rootpower etc# multipath -llJan 13 15:22:46 | /etc/multipath.conf does not exist, blacklisting all

22、devices.Jan 13 15:22:46 | A sample multipath.conf file is located atJan 13 15:22:46 | /usr/share/doc/device-mapper-multipath-0.4.9/multipath.confJan 13 15:22:46 | You can run /sbin/mpathconf to create or modify /etc/multipath.confrootpower etc# cp /usr/share/doc/device-mapper-multipath-0.4.9/multipa

23、th.conf /etc/multipath.confrootpower etc# cat /etc/multipath.confblacklist devnode sda defaults user_friendly_names yes path_grouping_policy multibus failback immediate no_path_retry fail multipaths multipath wwid 36005076307ffc0da0000000000001704 alias ibm_ds8100_1704 multipath wwid 3600601600e003e

24、001b30c4d2f8a9e511 alias ibm_ds8100_1705 常用multipath 命令： multipath modprobe dm-multipath service multipathd reload （start,stop,restart） multipath -v2 multipath -v3 格式化路径 -v3 更详细 multipath -F multipath -ll multipathd -k (help)注意事项：由于配置multipath 后，在新添加的本地磁盘或存储阵列的lun时，需要考虑blacklist的和LVM配置文件对磁盘的过滤问题，不正确

25、的参数可能导致主机无非正常识别和使用新添加的磁盘,需要视情况修改。两个选项：file:/etc/lvm/lvm.conffilter = a/.*/ file:/etc/multipath.confblacklist devnode sda 1、通过apache ANT工具，实现一台服务器（类似堡垒机）控制多台服务器应用的启停操作；2、集群服务器之间相互配置互信；3、使用rsync命令同步集群内的程序包；4、统一管理应用的启停操作。当然也可以搭建jenkins实现自动化部署七、Power HA 日常管理PowerHA 5和6 日常管理监控1.编辑/etc/profile 添加如下环境变量exp

26、ort PATH=/usr/es/sbin/cluster/utilities:/usr/es/sbin/cluster2.查看集群进程状态clshowsrv -v3.查看资源组clshowresclshowres4.查看集群节点信息cllsnode5.使用clstat 查看机器状态（需要编辑/etc/snmpdv3.conf)VACM_GROUP group1 SNMPv1 public -VACM_VIEW defaultView internet - included -VACM_VIEW defaultView . - included -VACM_VIEW defaultView .

27、191.1.6 - included - exclude snmpv3 related MIBs from the default viewVACM_VIEW defaultView snmpModules - excluded -VACM_VIEW defaultView .4 - included -VACM_VIEW defaultView .5 - included -VACM_VIEW defaultView . - included - 添加此行 exclude aixmibd managed MIBs from the default viewVACM_VIEW defaultV

28、iew .191 - excluded -VACM_ACCESS group1 - - noAuthNoPriv SNMPv1 defaultView - defaultView -NOTIFY notify1 traptag trap -TARGET_ADDRESS Target1 UDP traptag trapparms1 - - -TARGET_PARAMETERS trapparms1 SNMPv1 SNMPv1 public noAuthNoPriv -COMMUNITY public public noAuthNoPriv -DEFAULT_SECURITY no-access

29、- -logging file=/usr/tmp/snmpdv3.log enabledlogging size=100000 level=0smux . gated_password # gatedsmux . clsmuxpd_password 在此删除注释部分# HACMP/ES for AIX clsmuxpdVACM_GROUP director_group SNMPv2c public -VACM_ACCESS director_group - - noAuthNoPriv SNMPv2c defaultView - defaultView -编辑完成后stopsrc -s snm

30、pd;startsrc -s snmpd重新启动snmpd服务6.心跳盘配置测试/usr/sbin/rsct/bin/dhb_readnode1：# /usr/sbin/rsct/bin/dhb_read -p hdisk8 -rDHB CLASSIC MODEFirst node byte offset: 61440Second node byte offset: 62976Handshaking byte offset: 65024 Test byte offset: 64512Receive Mode:Waiting for response . . .Magic number = 0

31、x87654321Magic number = 0 x87654321Magic number = 0 x87654321Magic number = 0 x87654321Magic number = 0 x87654321Magic number = 0 x87654321Magic number = 0 x87654321Magic number = 0 x87654321Link operating normallynode2：# /usr/sbin/rsct/bin/dhb_read -p hdisk8 -tDHB CLASSIC MODEFirst node byte offset

32、: 61440Second node byte offset: 62976Handshaking byte offset: 65024 Test byte offset: 64512Transmit Mode:Magic number = 0 x87654321Detected remote utility in receive mode. Waiting for response . . .Magic number = 0 x87654321Magic number = 0 x87654321Link operating normallyPowerHA7 日常管理监控：查看进程命令：clsh

33、owsrv -aclcheck_server cthags;echo $? 返回值为1 代表集群是uplssrc -g clusterlssrc -ls clstrmgrES|grep statelssrc -a|egrep Sub|psv|gsc|cthlssrc -g rsctlssrc -ls gsclvmdlssrc -g rsct_rmclshowsrv -v常用命令：clRGinfocltopinfolsclusterclstat (clinfoES 服务要启动和snmpdv3.conf)cldumpcldisp通过命令直接查的系统内的repository disk/usr/lib

34、/cluster/clras lsrepos并且查看repository disk所对应的存储UUID/usr/lib/cluster/clras sfwinfo -d hdisk2我们看看，repository disk中所谓的包含存储着所有集群拓扑相关的信息，到底是什么信息/usr/lib/cluster/clras dumpreposHACMP的脚本启停以及切换停ha，不迁移资源组/usr/es/sbin/cluster/cspoc/fix_args nop cl_clstop -N -cspoc-n ylqzjk1 -g起ha/usr/es/sbin/cluster/cspoc/fix

35、_args nop cl_rc.cluster -N -cspoc-n ylqzjk1 -A -b -i -C interactive迁移资源组/usr/es/sbin/cluster/utilities/clRGmove -s false -m -i -g ylqzjk_rg -n ylqzjk1停并且迁移资源组/usr/es/sbin/cluster/cspoc/fix_args nop cl_clstop -N -cspoc-n ylqzjk1 -gr八、运维工具箱经验1、Python fabric的使用!/usr/bin/pythonfrom fabric.api import *from fabric.colors import *env.shell=/bin/sh -c env.roledefs=was100:69,70,env.user=usernameenv.password=passworderrinfo=ge