Hadoop自带的Web版管理监控功能_第1页
Hadoop自带的Web版管理监控功能_第2页
Hadoop自带的Web版管理监控功能_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Hadoop的Web管理主要分为两块，一块是对文件系统的监控，一块是对任务的监控。文件系统监控：浏览文件系统；namenode的日志列表以及查看日志；集群的概况，包括配置容量、DFS占用容量、非DFS占用容量、DFS的可使用容量、DFS已使用百分比、DFS可使用百分比、活结点数、死节点数、namenode的存储目录及类型和状态；点击活节点或者死节点数可以看到所有对应节点的类表，以及他们的节点名称，LastContact的值（LastContact的意思是表明DataNode有多少秒时间未向NameNode发送心跳包了），管理状态，配置容量，已使用容量，非DFS使用容量，剩余容量，已使用百分比，已使用的进度条，剩余百分比，块数。任务监控：集群摘要信息（堆的大小，所占的比例），Map任务数，Reduce任务数，共有意见书，节点数量，Map任务能力，Reduce任务能力，平均任务和节点（这点我不明白什么意思，原文：Avg.Task/Node），列入黑名单的节点；调度信息：队列名称，调度信息；过滤查询：可根据Jobid，优先级，用户名等信息查询任务；可以查看正在运行，已经完成或者执行失败的Job的信息：状态，完成所需时间，该Job的map和reduce信息：完成进度，总任务数，待完成任务数，正在执行的，已完成的，死掉的，失败的和死掉的个数比（按照我的理解应该是失败后并再次尝试并成功的与死掉的个数比）；还有各种数据的统计包括Job、FileSystem、Map-ReduceFramework，统计具体小点太多，并且有一些统计功能我不是很了解，比较模糊，还是上图，如下：

CounterMapReduceTotalJobCountersLaunchedreducetasks001Launchedmaptasks002Data-localmaptasks002FileSysteinCountersFILE_BYTES_READ07979HDFS_BYTES_READ50050FILE_BYTES_WRITTEN14979228HDFS_BYTES_WRITTEN04141Map-ReduceFrameworkReduceinputgroups055Combineoutputrecords606Mapinputrecords202Reduceshuff1ebytes08585Reduceoutputrecords055SpilledRecords6612Mapoutputbytes82082Mapoutputrecords808Combineinputrecords808Reduceinputrecords066还有两个功能做得比较好，Map和Reduce的完成比例的二维条形统计图，如下:

可以查看Map或者reduce下面的某一个task的具体信息包括：task所在机器，状态，进度，开始时间，结束时间，消耗时间，task日志，针对该task的统计条目数量（包括具体统计的内容：文件系统的统计，Ma

人人文库> 全部分类> 行业资料 > 机电工程

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论