Hadoop大数据平台构建与应用(工作手册式)（微课版） 课件 2.2 Hadoop集群运行

Hadoop集群运行主讲：李强任务描述Hadoop提供了分布式集群的框架，可以高效运行在计算机上，用于大数据的处理分析，其中的两个核心功能为MapReduce和HDFS。本节学习如何管理Hadoop集群，并查看集群运行的情况和状态。任务分析本节讲解Hadoop完全分布式集群的格式化和启动关闭操作，特别对于Hadoop集群中的核心功能YARN和HDFS的进程如何进行启动和关闭，以及运行情况进行详细的操作演示。2.2.1NameNode格式化NameNode格式化第一次启动HDFS时要进行格式化，将NameNode上的数据清零，否则会缺失DataNode进程。以后启动无需再格式化，只要运行过Hadoop集群，其工作目录（本书设置为/usr/local/src/hadoop/tmp）中就会有数据，如果需要重新格式化，则在重新格式化之前一定要先删除工作目录下的数据，否则格式化时会出问题，并会缺失DataNode进程。在master节点进行格式化，如代码2-8所示。代码2-8格式化NameNodehdfsnamenode-formatNameNode格式化格式化的过程比较长，一般大概需要花1分钟左右，格式化的过程也会在屏幕上不断刷新，等待格式化完毕，Hadoop3.1.4版本成功后会提示格式化成功信息，页面最后一段截图如图2-8所示（在2.7.x版本中提示有差异）。图2-3查看解压好的安装包2.2.2启动和关闭Hadoop集群1．脚本一键启动启动集群可以使用脚本一键启动，前提是需要配置好从节点配置文件和SSH免密登录配置。本小节针对Hadoop3.1.4版本操作，在master节点启动HDFS、YARN进程和historyserver服务，启动后可以分别在master和slave1节点使用“jps”查看Java进程，如代码2-11所示。代码2-11一键启动start-dfs.shstart-yarn.shmr-jobhistory-daemon.shstarthistoryserverjps1．脚本一键启动Master节点的Java进程列表，如图2-11所示。图2-11masterJava进程slave1节点的Java进程列表，如图2-12所示。图2-12slave1节点进程2．脚本直接启动也可以在master节点使用start-all.sh直接启动整个Hadoop集群。2.2.3使用浏览器查看节点状态使用浏览器查看节点状态Hadoop集群启动后，通过UI可以方便进行集群的管理与查看，只需要在本地操作系统中的浏览器中输入集群服务器的节点名称（或IP）和相对应的端口号即可访问。在Windows系统浏览器的地址栏输入http://master:9870（2.7.x版本为：http://master:50070），如果网页打不开，可以用master的ip地址代替master尝试，进入页面可以查看NameNode和DataNode信息，如图2-13所示。图2-13HDFS系统Web浏览使用浏览器查看节点状态可以通过浏览上面的导航栏查看其他的信息，此处不再详述。在Windows系统浏览器的地址栏输入；在Windows系统浏览器的地址栏输入http://master:8088（2.7.x版本为：http://master:50090），进入页面可以查看SecondaryNameNode信息，如图2-14所示。说明：如果配置正确，但是网页不能正确显示，请将master改用IP地址再尝试，如果改为IP地址可