Linux系统监控工具

侯磊目录0102监控内存使用vmstat使用sar分析读写操作0302使用top命令监控资源使用情况04使用dstat进行网络监控监控内存使用vmstat1监控内存使用vmstatvmstat实用程序可以帮助我们监测内存使用情况、页面错误、进程和CPU活动。以下是vmstat命令的一些示例输出。S参数指示单位设置,M表示单位大小(1048576),整数1是更新的间隔（在本例中为每秒)。#vmstat-sM1监控内存使用vmstat在procs的CPU部分输出中，第一列r指运行队列。如果系统有24个CPU，并且运行队列显示20，那意味着20个进程正在队列中等待CPU的轮转，这绝对不是坏事。如果在具有2个CPU的机器上出现相同的r值，则表示系统处于CPU绑定状态——大量进程正在等待CPU时间。监控内存使用vmstat在vmstat的CPU部分输出中,us代表系统用户的CPU使用量,包括数据库进程。sy部分显示CPU的系统使用情况，id表示空闲的CPU数量。在我们的示例中，大部分或全部CPU都处于空闲状态。监控内存使用vmstat在vmstat输出中,CPU统计信息cs表示上下文切换的数量,in指示中断数（每秒)。vmstat实用程序可以帮助我们识别性能瓶颈。例如，如果vmstat输出显示内存正在交换到磁盘（so列）或从磁盘（si列)(交换到内存，那么可能需要向该节点添加更多的物理内存，或者降低那个节点上运行的mapper和reducer的数量。使用sar分析读写操作2使用sar分析读写操作Linuxsar（系统活动报告器）实用程序是一个非常强大的工具，它可以分析从磁盘到缓冲区缓存以及从缓冲区缓存到磁盘的读/写操作。通过使用sar命令的各种选项，可以监视磁盘和CPU活动，以及缓冲区缓存活动。sar-b命令（缓冲区活动)的输出具有以下列。bread/s:从磁盘到缓冲区缓存的每秒读操作数lread/s:缓冲区缓存中每秒的读操作数使用sar分析读写操作%rcache:读请求的缓存命中率bwrit/s:从磁盘到缓冲区缓存的每秒写操作次数lwrit/s:缓冲区缓存的每秒写操作次数%wcache:写请求的缓存命中率使用top命令监视资源使用情况3使用top命令监视资源使用情况top命令可以查找哪些用户/进程使用的服务器资源最多。#topCPU瓶颈易于识别——我们会看到非常高的处理器加载时间，例如80%或90%,甚至更高。还可能看到整个集群中的加载程序加载的时间大于50%或60%。由于设计不当的Hadoop作业，单个进程可能会占用太多的CPU时间。在这种情况下，调整map或减少任务会降低CPU使用率。当然，切换到更快的处理器或添加更多的处理器也有助于缓解CPU争用问题。使用top命令监视资源使用情况可以通过查看上下文切换和中断数来了解CPU争用情况。Linux操作系统是一个具有多核CPU的多任务系统。操作系统会在进程切换时存储称为上下文的CPU状态，从而从中断处恢复执行。恢复上下文称为上下文切换。如果上下文切换次数很多，则表明CPU正忙，需花费大量时间存储/恢复进程状态。通常这是由于为每个节点分配太多map或减少任务造成的。使用dstat进行网络监控4使用dstat进行网络监控当在shuffle阶段，reduce任务获得map任务输出时，Hadoop会大量使用网络。当reduce作业将结果输出到HDFS时，网络利用率也高。监控网络有助于识别潜在的网络瓶颈。一个好的网络监控工具（如dstat）可以显示网络的工作负载。下面为一些有用的经验法则。