处理Linux文件系统100%使用的情况

主讲：张义目录0102空间相关问题处理Linux文件系统100%使用的情况空间相关问题1空间相关问题Hadoop可以使用多种类型的存储。除了HDFS本身外，Hadoop在主机的/var目录以及本地目录中存储日志文件。这些区域中任何的空间相关的问题都会导致作业失败。因此，必须要对Hadoop的本地目录使用情况加以关注。空间相关问题如第17章所述，NodeManager总是将应用日志文件存储于本地目录中。即使开启日志聚合功能，在将作业日志存储到HDFS之前，仍然需要先将所有日志存储于本地文件系统。如果日志目录所在的挂载点被写满，则NodeManager将无法在该节点写入日志。类似情况还有Hadoop进程的日志目录页被写满。空间相关问题为了避免任务和潜在的作业失败，需要主动检查挂载点的可用空间，并清除不必要的文件。如果无法通过删除获取足够的空间，则需要增加挂载点的容量。可以在有问题的目录运行如下命令来确定哪些文件需要被删除﹔#find./-size+100000-typef-ls|sort-n//listsfileslargerthan25MB#du-a/var/sort-n-r|head-n10//liststhetop10filesinsize,inasortedorder空间相关问题如果将Hadoop进程的日志目录和NodeManager使用的应用本地目录设置在/var目录下，则需要知道，该目录与其他（如tmp）目录等共享根目录文件系统。其他与Hadoop相关的组件（如ZooKeeper、Hive和Hue）也可能使用该目录存储日志。因此，需要写一个简单的脚本来对该挂载点的空间使用情况进行监控。空间相关问题如果yarn.nodemanager.local-dirs参数指定的NodeManager本地目录被占满，则一个应用可能会由于任务尝试启动次数超过了该节点上的配置值而失败。从而会看到如下所示的应用日志:Applicationapplication_1437683566204_0394failed2timesduetoAMContainerforappattempt_1437683566204_0394_ooo002exitedwithexitCode:-1000dueto:NospaceavailableinanyofthelocaldirectoriesFailingthisattempt..Failingtheapplication.处理Linux文件系统100%使用的情况2处理Linux文件系统100%使用的情况偶尔，文件系统会报告其已经被使用了100%。如果这种情况发生在一个挂载点，如root文件系统，将会遇到许多麻烦，因为大多数与Hadoop相关的本地日志信息文件均存储这里（位于/var/log目录下)。很可能是一些用户产生了大型的dump文件或者一个巨大的临时文件，且文件被放于已满的目录中。使用以下操作来释放目录空间。处理Linux文件系统100%使用的情况使用find命令找到挂载点下最大的文件