硬件故障诊断命令-share

1、本课程内容学习和了解 在 linux 操作系统下常用 服务器硬件故障排查命令 方法本课程关键点 PC 服务器 Linux 操作系统 硬件故障诊断排查 非现场机房故障排查 汇集一些故障诊断命令主要内容 网络硬件类故障 服务器硬件类故障网络故障排查命令 ping traceroute ifconfig ethtool route arp,arping nmap tcpdump网络故障排查命令 ping 同机房，响应在 10 ms 以内 ping 一个大包，检测网络带宽和质量 ping -s 65500 dstIP网络故障排查命令 traceroute 公司服务器没有使用 DNS 解析 tracer

2、oute -n destIP 去掉DNS反向解析，加快速度 路由环路、骨干网环路、机房外网IP不通网络故障排查命令ifconfigdropped: 删除carrier： 线路质量问题collisions： 冲突网络故障排查命令ethtool 重点 Speed 网速降到 100M 或者 10M 业务高峰期延时、拥塞 dmesg,/var/log/warn网络故障排查命令-route 内网部分网段不通 看子网掩码，老机器，子网掩码比较小，没有覆盖公司后续扩容的内网网络故障排查命令-route外网不通 内外网均设置了默认网关，一般是手工调整默认网关导致。route add default gw 该命

3、令重复执行时，不能够覆盖和修改上次该命令执行时产生的默认网关配置;如果需要修改默认网关，必须先执行 route del default gw 删除原有默认网关，然后再增加。网络故障排查命令 arp 同一个 VLAN 的机器，可以看到 mac 抢 IP 情况 arpingnmap nmap 可用于扫描目标机器端口是否开放 检查链路上是否存在防火墙tcpdump 强大的抓包工具 在源侧和目的侧同时抓包 排查防火墙策略是否开通实践案例 现象：可以 ping， ssh 不稳定 处理过程 1.操作系统重装 2.更换硬盘，重装操作系统 3.更换主板、内存 4.报单现场排查网络故障排查命令 讨论 欢迎大家提

4、供相关命令和案例 休息 5 分钟主要内容 网络硬件类故障 服务器硬件类故障服务器硬件类故障 回顾下PC服务器的硬件组成 Linux操作系统上的硬件排错命令PC服务器的硬件组成 CPU 内存 主板、网卡、网线、带外卡（iLo、bmc） raid 卡 HBA 卡 硬盘 硬盘背板 排线 电源查看当前服务器硬件信息 hwinfo dmidecode dmesg lspcihttp:/查看当前服务器硬件信息 /proc cat /proc/cpuinfo cat /proc/scsi/scsi cat /proc/interrupts /sys系统错误日志文件 /var/log/warn 操作系统内核

5、自身能够发现的常见错误信息 /etc/syslog-ng/syslog-ng.conf 硬件故障排错命令 磁盘类命令 e2fsck badblocks smartctl硬件故障排错命令 raid卡类命令 hpacucli megacli arrconf硬件故障排错命令 平台类命令 ipmitool http:/硬件故障排错命令 磁盘类命令 e2fsck badblocks smartctl磁盘类e2fsck ext3 建议每半年检查一次 能够自动修复小错误 lost+found 存放错误文件 mklost+found e2fsck /etc/fstab 最后一列决定是否在机器重启时，自动进行

6、e2fsck 检查 / 分区数值一般为 1 ,最先检查 其它设备分区，数值为 2 ，随后检查 数值为 0 ，不检查，适合大分区硬件故障排错命令 磁盘类命令 e2fsck badblocks smartctlbadblocks badblocks 是 e2fsprogs 中的一个命令. http:/ 检查磁盘坏块 越过文件系统badblocks badblocks 可以对磁盘进行如下几种测试: 只读测试 破坏原有数据的读写测试. 不破坏数据的读写测试badblocks 对 /dev/sda4 进行读测试: badblocks -v /dev/sda4Checking blocks 0 to 38

7、114212Checking for bad blocks (read-only test): 202944/ 38114212badblocks Pass completed, 89 bad blocks found. /var/log/warn 文件有类似如下报错: Mar 3 17:06:34 Tencent kernel: 6296420.607700 end_request: I/O error, dev sda, sector 4688407 Mar 3 17:06:34 Tencent kernel: 6296420.607705 Buffer I/O error on devi

8、ce sda1, logical block 586043badblocks 破坏原有数据的读写测试. badblocks -wv /dev/sda4Checking for bad blocks in read-write modeFrom block 0 to 38114212Testing with pattern 0 xaa: 179584/ 38114212badblocks 不破坏数据的读写测试 badblocks -nvv /dev/sda4Checking for bad blocks in non-destructive read-write modeFrom block 0

9、 to 38114212Checking for bad blocks (non-destructive read-write test)Testing with random pattern: 14208/ 38114212badblocks 服务器只读故障定位 在互娱空闲机、备机池 发现多台机器有磁盘坏道 主动预防只读问题硬件故障排错命令 磁盘类命令 e2fsck badblocks smartctlsmartctl SMART Self-Monitoring, Analysis and Reporting Technology smartctl 适合单硬盘机器smartctl http:

10、/ 操作系统母盘，该命令版本比较旧 自行编译升级到最新版 5.40smartctl smartctl -a /dev/sda 获取硬盘 smart 信息 协助定位硬盘故障smartctl 部分硬件不兼容硬件故障排错命令raid卡类命令 hpacucli megacli arrconfhpacucli HP cciss raid 卡 需自行下载 rpm 包安装 http:/ hpacucli-8.70-8.0.noarch.rpm 当前最新版hpacucli 显示主机上所有控制器 hpacucli ctrl all show Smart Array E200i in Slot 0 (Embedd

11、ed) (sn: PR7BMU6740 )hpacucli 显示具体某个控制器信息 hpacucli ctrl slot=0 showhpacuclihpacucli 显示逻辑盘信息 hpacucli ctrl slot=0 ld all showhpacucli 显示单个硬盘盘信息 hpacucli ctrl slot=0 pd all show硬件故障排错命令raid卡类命令 hpacucli megacli arrconfMegaCli LSI 卡厂家提供的工具 大部分 Dell 服务器、少部分 IBM 服务器 rpm -ivh MegaCli-1.01.39-0.i386.rpm /o

12、pt/MegaRAID/MegaCli/MegaCli64 /opt/MegaRAID/MegaCli/MegaCliMegaCli /opt/MegaRAID/MegaCli/MegaCli64 -h 参数相当多、复杂 MegaCli64 -LdPdInfo -aALL 获取所有逻辑盘和物理硬盘信息MegaCli MegaCli64 -LDInfo -Lall -Aall 获取逻辑磁盘信息MegaCli MegaCli64 -PDList -aALL 列出所有硬盘信息MegaCli MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL 获取电池信息MegaCliM

13、egaCli64 -AdpAllInfo -aALL|grep BBU|head -n 1 HW Configuration =SAS Address : 500188b037d70c00BBU : PresentAlarm : PresentNVRAM : PresentSerial Debugger : PresentMemory : PresentFlash : Present 故障的是absent硬件故障排错命令raid卡类命令 hpacucli megacli arrconfarcconf IBM Adaptec AAC-RAID ibm_utl_aacraid_9.10_linux

14、_32-64.zip http:/ arcconf GETVERSION arcconf GETCONFIG 1 AL硬件故障排错命令 平台类命令 ipmitool http:/ipmi 需要内核支持 公司母盘内核默认不支持 需自行编译内核 kernel-tlinux-9-rc1-ipmi.x86_64.rpmIPMI 内核编译 device drivers-character devices-IPMI CONFIG_IPMI_HANDLER=y CONFIG_IPMI_PANIC_EVENT=y CONFIG_IPMI_PANIC_STRING=y CONFIG_IPMI_D

15、EVICE_INTERFACE=y CONFIG_IPMI_SI=y CONFIG_IPMI_WATCHDOG=y CONFIG_IPMI_POWEROFF=yIPMI ipmitool -I open sensor 获取传感器信息 ipmitool -I open sensor get System Fan 6 获取风扇转速信息 ipmitool chassis poh 机器加电时间 ipmitool sdr list all 显示传感器数据仓库记录 ipmitool sel time get获取事件日志记录当前时间ipmitool sel list ipmitool sel list 列出 bmc 事件日志 通过查看该日志,可以获取部分机器死机原因和故障信息 如电源故障、电源掉电、raid卡问题、高温ipmitool 机器多次自动重启查因IPMI 电源断电记录IPMI 高温 11 | 07/09/2008 | 19: