Linux操作系统-系统故障分析和排查

Linux操作系统-系统故障分析和排查第一页，共33页。如何查看、终止系统中的进程？crontab的配置记录由哪几部分组成？crontab配置文件分别存放在什么地方？课程回顾第二页，共33页。熟悉常见的日志文件及其分析方法学会解决常见的启动类故障学会解决常见的文件系统类故障技能展示第三页，共33页。本章结构系统启动类故障排除日志文件分析MBR扇区故障GRUB引导故障系统故障分析和排查文件系统类故障排除日志文件分析修复文件系统主要日志文件/etc/inittab文件丢失遗忘root用户的密码检测磁盘坏道

磁盘资源耗尽故障第四页，共33页。日志的功能用于记录系统、程序运行中发生的各种事件通过阅读日志，有助于诊断和解决系统故障日志文件的分类内核及系统日志由系统服务syslog统一进行管理，日志格式基本相似用户日志记录系统用户登录及退出系统的相关信息程序日志由各种应用程序独立管理的日志文件，记录格式不统一日志文件分析2-1第五页，共33页。日志保存位置默认位于：/var/log

目录下主要日志文件介绍内核及公共消息日志：/var/log/messages计划任务日志：/var/log/cron系统引导日志：/var/log/dmesg邮件系统日志：/var/log/maillog用户登录日志：/var/log/lastlog、/var/log/secure、/var/log/wtmp、/var/run/btmp……日志文件分析2-2第六页，共33页。由系统服务syslogd统一管理软件包：sysklogd-1.4.1-39.2主要程序：/sbin/klogd、/sbin/syslogd配置文件：/etc/syslog.conf内核及系统日志3-1[root@localhost~]#grep-v"^#"/etc/syslog.conf|grep-v^$*.info;mail.none;authpriv.none;cron.none /var/log/messagesauthpriv.* /var/log/securemail.* -/var/log/maillogcron.* /var/log/cron……设备类别.日志级别消息发送位置第七页，共33页。日志消息的级别0EMERG（紧急）：会导致主机系统不可用的情况1ALERT（警告）：必须马上采取措施解决的问题2CRIT（严重）：比较严重的情况3ERR（错误）：运行出现错误4WARNING（提醒）：可能会影响系统功能的事件5NOTICE（注意）：不会影响系统但值得注意6INFO（信息）：一般信息7DEBUG（调试）：程序或系统调试信息等

内核及系统日志3-2第八页，共33页。日志记录的一般格式内核及系统日志3-3[root@localhost~]#tail-5/var/log/messagesSep1411:22:44localhostkernel:sdb:cachedataunavailableSep1411:22:44localhostkernel:sdb:assumingdrivecache:writethroughSep1411:22:44localhostkernel:sdb:sdb1Sep1411:23:37localhostkernel:VFS:Can'tfindext3ondevsdb1.Sep1416:54:48localhostNetworkManager:<information>starting...时间标签主机名子系统名消息字段第九页，共33页。保存了用户登录、退出系统等相关信息/var/log/lastlog：最近的用户登录事件/var/log/wtmp：用户登录、注销及系统开、关机事件/var/run/utmp：当前登录的每个用户的详细信息/var/log/secure：与用户验证相关的安全性事件分析工具users、who、w、last、lastb用户日志分析第十页，共33页。由相应的应用程序独立进行管理Web服务：/var/log/httpd/access_log、error_log代理服务：/var/log/squid/access.log、cache.log、squid.out、store.logFTP服务：/var/log/xferlog……

分析工具文本查看、grep过滤检索、Webmin管理套件中查看awk、sed等文本过滤、格式化编辑工具Webalizer、Awstats等专用日志分析工具程序日志分析第十一页，共33页。及时作好备份和归档延长日志保存期限控制日志访问权限日志中可能会包含各类敏感信息，如账户、口令等集中管理日志便于日志信息的统一收集、整理和分析杜绝日志信息的意外丢失、恶意篡改或删除日志管理策略2-1第十二页，共33页。应用示例：调整syslogd服务设置，建立集中管理的日志服务器将客户机B中crond服务产生的日志消息，自动发送到服务器A的/var/log/cron文件中日志管理策略2-2[root@localhost~]#vi/etc/sysconfig/syslogSYSLOGD_OPTIONS="-r-x-m0"[root@localhost~]#vi/etc/syslog.confcron.*@服务器A客户机B第十三页，共33页。故障原因病毒、木马等造成的破坏不正确的分区操作、磁盘读写误操作故障现象找不到引导程序，启动中断无法加载操作系统，开机后黑屏解决思路应提前作好备份文件以RHEL5安装光盘引导进入急救模式从备份文件中恢复修复MBR扇区故障2-1第十四页，共33页。应用示例：1.备份MBR扇区数据

ddif=/dev/sdaof=/backup/sda.mbr.bakbs=512count=12.模拟MBR被破坏的故障

ddif=/dev/zeroof=/dev/sdabs=512count=13.RHEL5光盘引导，进入急救模式

boot:linuxrescue4.从备份文件中恢复MBR扇区

ddif=/tempdir/sda.mbr.bakof=/dev/sdabs=512count=1修复MBR扇区故障2-2第十五页，共33页。故障原因MBR中的GRUB引导程序遭到破坏grub.conf文件丢失、引导配置有误故障现象系统引导停滞，显示“grub>”提示符解决思路尝试手动输入引导命令进入急救模式，从备份中恢复grub.conf向MBR扇区中重建grub程序修复GRUB引导故障3-1第十六页，共33页。应用示例1：在“grub>”提示符后，手动输入引导命令成功进入系统后，恢复或重建grub.conf配置文件修复GRUB引导故障3-2grub>root(hd0,0)grub>kernel/vmlinuz-2.6.18-8.el5roroot=/dev/VolGroup00/LogVol00rhgbquietgrub>initrd/initrd-2.6.18-8.el5.imggrub>boot[root@localhost~]#cd/boot/grub/[root@localhost~]#cpgrub.conf.bakgrub.conf从备份文件恢复第十七页，共33页。应用示例2：进入急救模式，从备份文件中恢复grub.conf文件向MBR扇区中重建GRUB程序修复GRUB引导故障3-3sh-3.1#chroot/mnt/sysimagesh-3.1#cd/boot/grub/sh-3.1#cpgrub.conf.bakgrub.confsh-3.1#grub-install/dev/sda第十八页，共33页。故障原因inittab文件被误删除，或者存在配置错误故障现象启动中提示“...INIT:Noinittab”系统停滞，无法完成初始化解决思路进入急救模式，从备份文件中恢复或者，在急救模式中重新安装initscripts

软件包

rpm-ivh--replacepkgsinitscripts-8.45.14.EL.i386.rpm/etc/inittab文件丢失第十九页，共33页。故障原因遗忘root用户的密码故障现象无法进行需要root权限的管理操作若没有其他可用帐号，将无法登录系统解决思路引导进入单用户模式，然后重设密码

grub>kernel...single或

s或

1或进入急救模式，然后重设密码遗忘root用户密码第二十页，共33页。请思考：Linux系统中最常用的公共日志文件是什么？如何进入单用户模式？使用RHEL5光盘引导时，如何进入修复模式？如何向MBR中重建GRUB程序？小结第二十一页，共33页。故障原因非正常关机、突然断电、设备读写失误等文件系统的超级块（super-block）信息被破坏故障现象无法向分区中读取或写入数据启动后提示“Giverootpasswordformaintenance”解决思路根据提示输入root口令，进入修复状态使用fsck命令进行修复修复文件系统2-1第二十二页，共33页。应用示例：模拟对/dev/sdb1分区的破坏操作

ddif=/dev/zeroof=/dev/sdb1bs=512count=4检查是否能挂载该分区报错：mount:youmustspecifythetype对/dev/sdb1分区进行修复

fsck–y-text3/dev/sdb1再次挂载该分区修复文件系统2-2第二十三页，共33页。故障原因磁盘空间已被大量的数据占满，空间耗尽虽然还有可用空间，但文件数i节点耗尽故障现象无法写入新的文件，提示“…:设备上没有空间”部分程序无法运行，甚至系统无法启动解决思路清理磁盘空间，删除无用、冗余的文件转移或删除占用大量i节点的琐碎文件进入单用户模式、急救模式进行修复为用户设置磁盘配额磁盘资源耗尽故障第二十四页，共33页。故障原因磁盘设备中存在坏道（逻辑的或物理的）故障现象读取磁盘中的数据时，磁盘设备发出异常声响。访问磁盘中的某个文件时，反复读取且出错，提示文件损坏。对于新建立的分区无法完成格式化。系统使用该磁盘时频繁死机检测磁盘坏道2-1第二十五页，共33页。解决思路检测硬盘中是否存在坏道修复硬盘，或更换新的硬盘检测磁盘坏道2-2root@localhost~]#badblocks-sv/dev/sdbCheckingblocks0to20971520Checkingforbadblocks(read-onlytest):5192832/20971520Passcompleted,0badblocksfound.第二十六页，共33页。本章结构系统启动类故障排除日志文件分析MBR扇区故障GRUB引导故障系统故障分析和排查文件系统类故障排除日志文件分析修复文件系统主要日志文件/etc/inittab文件丢失遗忘root用户的密码检测磁盘坏道

磁盘资源耗尽故障第二十七页，共33页。第十一章系统故障分析和排查——上机部分第二十八页，共33页。需求描述查看、分析日志文件，并判断故障原因磁盘故障模拟及