单元2 任务2-2 启动与访问Hadoo

《大数据平台部署与运维》单元2Hadoop伪分布式安装部署2-2启动与访问Hadoop01Hadoop启动关闭等操作命令02基于WebUI监控Hadoop平台学习目标启动与访问Hadoop【任务场景】经理：小张，Hadoop平台搭建的怎么了？在搭建过程中有没有遇到问题？小张：经理，Hadoop平台搭建好了，这次搭建的是伪分布式模式的，部署在了单节点。经理：好，那你启动访问一下，向我们大家展示一下Hadoop的相关使用，并介绍下HadoopWebUI监控页面。小张：好的，经理。启动与访问Hadoop【任务布置】在上一个任务中，我们已经在单节点上部署了Hadoop的伪分布式模式，但是并没有进行启动测试。本次任务要格式化NameNode并启动Hadoop。掌握Hadoop相关启动命令，知道Hadoop常见问题处理方法，了解HadoopUI监控相关功能，为后续生产环境下部署Hadoop分布式集群打下基础。Hadoop启动关闭等操作命令Hadoop启动关闭等操作命令命令功能sbin/start-all.sh启动所有的Hadoop守护进程。包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh停止所有的Hadoop守护进程。包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/start-dfs.sh启动HadoopHDFS守护进程NameNode、SecondaryNameNode、DataNodesbin/stop-dfs.sh停止HadoopHDFS守护进程NameNode、SecondaryNameNode和DataNodesbin/hadoop-daemons.shstartnamenode单独启动NameNode守护进程sbin/hadoop-daemons.shstopnamenode单独停止NameNode守护进程sbin/hadoop-daemons.shstartdatanode单独启动DataNode守护进程sbin/hadoop-daemons.shstopdatanode单独停止DataNode守护进程sbin/hadoop-daemons.shstartsecondarynamenode单独启动SecondaryNameNode守护进程sbin/hadoop-daemons.shstopsecondarynamenode单独停止SecondaryNameNode守护进程sbin/start-yarn.sh启动ResourceManager、NodeManagersbin/stop-yarn.sh停止ResourceManager、NodeManagersbin/yarn-daemon.shstartresourcemanager单独启动ResourceManagersbin/yarn-daemons.shstartnodemanager单独启动NodeManagersbin/yarn-daemon.shstopresourcemanager单独停止ResourceManagersbin/yarn-daemons.shstopnodemanager单独停止NodeManager基于WebUI监控Hadoop平台基于WebUI监控Hadoop平台1.HDFSUI监控在任务2.1中，我们在hdfs-site.xml中配置HDFS的监控页面的地址为：localhost:50070，可以通过50070端口访问到HDFS的监控页面。基于WebUI监控Hadoop平台（1）标题栏：名称含义Overview集群概述Datanode数据节点datanode-volume-failures数据节点卷故障snapshot快照startup-progress启动进度（2）概述：名称含义Started启动时间Version版本号Compiled编译信息ClusterID群集IDBlockPoolID块池ID基于WebUI监控Hadoop平台（3）总结：名称含义Safemodeisoff安全模式已关闭Securityisoff安全关闭ConfiguredCapacity集群配置的总的容量configuredRemoteCapacity配置远程容量DFSUsed已使用的DFS集群总量NonDFSUsed已使用的非DFS的量DFSRemainingDFS未使用（剩余）的容量BlockPoolUsed数据块使用的量DataNodesusages%(Min/Median/Max/stdDev)数据节点使用率（最小值/中间值/最大值/标准偏差）LiveNodes存活的节点（活动节点）DeadNodes宕机的节点（死节点）DecommissioningNodes已停用节点EnteringMaintenanceNodes进入维护节点TotalDatanodeVolumeFailures数据节点卷失败的总数NumberofUnder-ReplicatedBlocks复制不足的块数NumberofBlocksPendingDeletion挂起删除的块数BlockDeletionStartTime块删除的开始时间LastCheckpointTime上次检查点时间基于WebUI监控Hadoop平台（4）JournalNode：名称含义JournalManagerJournalNode存储EditLog数据的路径StateJournalNode存储EditLog数据的文件名（5）NameNode存储：名称含义StorageDirectoryNameNode存储的路径Type类型State状态（6）DFS存储类型：名称含义StorageType集群存储类型ConfiguredCapacity配置容量CapacityUsed使用的容量CapacityRemaining剩余容量BlockPoolUsed使用的块池NodesInService服务中的节点基于WebUI监控Hadoop平台（7）DataNode信息：名称含义Datanodeusagehistogram数据节点使用率柱状图DiskusageofeachDataNode(%)每个数据节点磁盘使用率（%）Inoperation运行中的节点（8）进入维护的节点列表（9）退役的节点列表基于WebUI监控Hadoop平台（10）快照名称含义SnapshotSummary快照摘要Snapshottabledirectories快照目录列表Snapshotteddirectories已创建的快照目录（11）HDFS存储系统的可视化浏览基于WebUI监控Hadoop平台（12）组件日志Utilities->Logs基于WebUI监控Hadoop平台2.MapReduceUI监控对于开发、测试集群运行程序的开发人员来说，刚刚接触MapReduce的初学者往往是在命令行前等着程序执行完成，遇到运行缓慢、出现报错很难做出有效的响应。本文希望通过对Yarn原生UI等监控手段的介绍，能使读者对MapReduce进行有效监控。MapReduceUI监控页面默认端口为8088，我们可以通过localhost:8088来访问。基于WebUI监控Hadoop平台（1）左侧菜单栏-Cluster——About：RM状态版本等信息——Nodes：NM列表及状态和属性——Applications：任务列表及状态和属性（常用！）————NEW、NEW_SAVING……：筛选不同状态任务——Scheduler：资源队列列表和状态-Tools——Configuration：yarn配置——Locallogs：本地日志——Serverstacks：堆栈——Servermetrics：指标ClusterMetrics（集群指标）名称解释AppsSubmitted应用程序提交Appspending应用程序挂起AppsRunning应用程序运行AppsCompleted应用程序完成ContainersRunning容器运行MemoryUsed内存使用Memorytotal总内存MemoryReserved保留内存VCoresUsed已使用核心数VCorestotal全部核心数VCoresReserved保留核心数ActiveNodes活跃的节点DecommissionedNodes退役的节点LostNodes剔除的节点UnhealthyNodes不健康的节点RebootedNodes重启节点基于WebUI监控Hadoop平台SchedulerMetrics（调度器指标）名称解释SchedulerType调度程序类型SchedulingResourceType调度资源类型MininumAllocation最低限度的分配MaximumAllocation最高限度的分配任务列表名称解释ID序号User用户Name任务名称ApplicationType应用程序类型Queue队列StartTime开始时间FinishTime完成时间State状态FinalStatus最终状态Progress进度TrackingUI进一步监控的入口BlacklistedNodes黑名单启动与访问Hadoop【工作流程】启动与访问Hadoop基本工作流程包括：1. 格式化HDFS2. 启动伪分布Hadoop通过WebUI监控Hadoop平台搭建Hadoop伪分布式【操作步骤】格式化HDFS

[root@localhost/]#hdfsnamenode-format2021-11-1821:25:09,514INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=node1.host/73STARTUP_MSG:args=[-format]STARTUP_MSG:version=3.1.1STARTUP_MSG:classpath=.............../************************************************************SHUTDOWN_MSG:ShuttingdownNameNodeathostname.host/73************************************************************/当输出内容中无报错信息并且最后输出如下信息时，表示格式化成功搭建Hadoop伪分布式验证是否启动成功[root@localhost/]#start-all.shStartingnamenodeson[localhost]Lastlogin:二11月1611:21:36CST2021onpts/0StartingdatanodesLastlogin:二11月1611:33:29CST2021onpts/0Startingsecondarynamenodes[node1.host]Lastlogin:二11月1611:33:33CST2021onpts/0node1.host:Warning:PermanentlyaddedtheECDSAhostkeyforIPaddress'73'tothelistofknownhosts.2021-11-1611:33:41,968WARNutil.NativeCodeLoader:Unable