应用程序日志记录的工作原理

主讲：侯磊目录0102Hadoop存储日志的位置NodeManager日志目录包含的内容Hadoop存储日志的位置1Hadoop存储日志的位置想有效地分析Hadoop日志，重要的是要了解Hadoop在作业运行时和作业完成后，在系统中的多个位置存储作业相关的信息和日志。有以下三个位置。HDFS:这是Hadoop创建用于存储作业执行文件（如包含运行作业Hadoop参数的job.xml文件）的暂存目录的位置。如果配置Hadoop的日志聚合功能（本章稍后介绍)，Hadoop还会使用长期的Hadoop作业日志（实际持续时间可配置)HDFS。Hadoop存储日志的位置NodeManager本地目录:这些是在本地文件系统上创建的目录，Hadoop在其中存储由NodeManager服务生成的Shell脚本，以便执行ApplicationMaster容器。可以在本地Linux文件系统的任何位置创建NodeManager本地目录。在HadoopHDFS文件系统下创建它们并不罕见，如下所示:/u05/hadoop/dfs//在此目录下创建HDFS文件/u05/hadoop/nm//为NodeManager创建本地目录//在此目录下Hadoop存储日志的位置可以使用yarn-site.xml文件中的yarn.nodemanager.local.dirs参数指定NodeManager本地目录的位置NodeManager日志目录:这些是Linux上的本地目录，NodeManager在此存储用户运行的应用程序的实际日志文件。在此节点的NodeManager上执行作业的所有容器(Spark、MapReduce和其他作业任务）并将其应用程序日志存储在此目录中。该参数的默认值为${yarn.log.dir}/userlogs。需要知道的是,yarn.log.dir实际上不是一个OS环境变量(例如JAVA_HOME变量)。这是通过yarn-env.sh文件配置的Java系统属性。在默认情况下，将yarn.log.dir属性设置为与OS环境变量YARN_LOG_DIR的值相同。Hadoop存储日志的位置在yarn-site.xml文件中，使用yarn.nodemanager.log-dirs参数指定NodeManager日志目录的位置。例如:<property><name>yarn.nodemanager.log-dirs</name><value>/var/log/hadoop-yarn</value></property>HDFS分段目录和NodeManager木地目录包含具有作业参数和执行ApplicationMaster的shell脚本的字段。由于这些目录包含实际的应用程序日志文件，所以在日常工作中NodeManager日志目录对我们更为重要。NodeManager日志目录包含的内容2NodeManager日志目录包含的内容应用程序的日志文件中实际上包含的是容器日志。每个应用程序的本地化日志目录具有以下目录结构:${yarn.nodemanager.log-dirs)/application_${appid)/appid变量表示MapReduce作业的应用程序ID。每个容器的日志目录位于此目录下，并使用以下目录命名约定:container_{$contid}NodeManager日志目录包含的内容容器目录中的每个目录都包含有我们感兴趣的实际日志文件，它们是本容器生成的三种类型的Hadoop日志（本章前面已经介绍过):stderr、stdin和syslog。各个容器的日志目录位于名为container_{$containerId}的目录下的${yarn.nodemanager.log-dirs}/application_${appid}目录下。每个容器目录都包含名为stderr、stdout和syslog的文件。这是在运行期间找到有关容器错误信息的地方。NodeManager日志目录包含的内容如前所述，yarn.nodemanager.log-dirs属性的默认值为${yarn.log.dir}/userlogs。假设要检查应用程序ID为1423588006739_0015的应用程序的日志文件。下面是需要遍历以获取此应用程序的容器日志文件的目录结构。NodeManager日志目录包含的内容${yarn.nodemanager.log-dirs}=/var/log/hadoop-yarn${appid}=1423588006739_0015{contid}=1423588006739_0015_01_001667该容器的全名是container_1423588006739_0015_01_001667，可以通过访问以下目录来访问syslog、stderr和