Hadoop平台搭建与应用（第2版）（微课版）-教案 项目7 Ambari搭建与管理

第④执行命令“ambari-serverstart”,启动ambari-server。访问“http://宿主机IP:8080”，在打开的页面中输入正确的用户名和密码，默认都是‘admin’。执行命令“ambari-serverstop”，停止ambari-server服务，执行命令“ambari-serverstatus”，查看ambari-server的状态。2.部署管理Hadoop集群登录页面hpP8080在“用户名”文本框中输入“admin”，在“密码”文本框中输入“admin”启动安装向、创集群安服务。Ambari管理界面。单击“启动安装向导”开始部署，安装向导提示为集群起名称，此处名称设置为‘hdpCluster’，然后单击“next”按钮。单击“RegisterandConfirm”按钮，打开“ConfirmHosts”界面，在该界面中单击“Check”按钮进行主机认证操作，此处经常会出现认证失败，此时可以单击“Failed”链接，打开查看失败原因。下面给出错误的解决方案。（1）修改权限。（2）编辑ambari-agent.ini文件。（3）更新openssl版本。最后单击“check”按钮，直到“Status”项为“Success”为止，需要注意的是该处必须全部检查通过，才能保证后续操作的顺利实现。在检查成功后，单击“Next”按钮，选择要安装的软件，操作演示中，我们选择安装“HDFS”、“Zookeeper”和“AmbariMetrics”3个组件。安装软件选择后，单击“Next”按钮，将会打开“AssignMasters”界面。单击“Next”按钮,打开“AssignSlavesandClient”界面，对Master节点的角色进行设置后，单击“Next”按钮。在打开的“CustomizeServices”页面中，可以看到有2处红色的提示，该提示表明需要进一步进行设置操作。单击“AmbariMetrics”链接，在打开页面中的红色提示框中输入默认密码，“admin”。单击“SmartSense”链接，在页面的右边部分输入默认密码“admin”。在两个红色提示处理完成后，单击“Next”按钮，进入“Review”页面。再次确认安装软件正确后，单击“Deploy”按钮，开始全自动化的部署安装，部署操作完成。单击“Next”按钮，打开“Summary”页面，查看软件安装进程的情况，并单击“Complete”按钮，完成软件的安装和部署操作。单击页面导航栏中的“Dashboard”按钮，在主页面中可以查看集群状态和监控信息。2．利用Ambari扩展集群利用Ambari搭建好的集群可以通过Ambari来扩展。（1）进入“Hosts”界面，单击左上角的“Actions”下拉按钮，在弹出的下拉列表中选择“AddNewHosts”选项。（2）进入“AddHostWizard”界面，需要输入新增的机器名（包含完整域名）及AmbariService机器上生成的私钥。(3)在“ConfirmHosts”页面，若出现failed，重复master节点的修改操作，并重新部署，直到“Status”显示“Success”。（4）分配Slaves和Client，为slave1节点分配角色。完成后，即可安装AmbariAgent，并安装选择的组件。（5）随后后的“Configurations”和“Review”页面，Ambari为用户选择了默认的配置。单机“Next”按钮即可，转到“Install,StartandTest”后，等待部署完成。当AddHostWizard设置完成时，可以从“Hosts”界面中看到新的机器，以及安装的模块。任务7.2使用Ambari管理Hadoop集群Ambari的用户图形界面有助于平台管理员去管理、维护和监控Hadoop集群，下面将介绍如何使用Ambari来进行集群管理。在Hadoop集群部署完成后，打开部署AmbariServer主机的8080端口。默认的管理员用户名为admin，密码为admin。登录后进入的是Ambari管理Hadoop集群的主界面，该界面形象化地展示了集群服务的运行状态、资源使用状况、配置参数及错误告警等。集群管理包含服务管理、主机管理、进程管理和配置管理。1．服务管理。选择“概要”选项卡，可以看到HDFS运行的进程信息，包括运行状态、资源使用情况及监控信息。单击页面导航栏中的“服务”按钮，单击导航栏下方的“服务操作”下拉按钮，在弹出的下拉列表中看到很多服务的控制进项，如“启动”“停止”“重启”等，通过这些控制进项，可以对服务进行管理。Hadoop的集群部署完成后，并不知道这个集群是否可用。此时可以借助“运行服务检查”选项来确保集群服务正常运行。选择此选项后，会在弹出的对话框中显示的HDFS服务操作进度。其实，这里就是通过向HDFS文件系统/tmp目录中上传一个临时文件来检测系统运行是否正常。当进度条执行完毕后，全绿代表服务运行正常，全红代表服务运行失败，黄色代表出现告警信息。“服务操作”下拉列表中的“启动”“停止”“重启”3个选项的含义分别是指启动、停止、重启集群中所有该服务的进程。当进入HDFS服务重启界面时，可以查看每个主机进程的操作进度和运行日志。在“服务操作”下拉列表中有“打开维护模式”进项，该选项用于在用户调试或者维护过程中抑制不必要的告警信息，以及避免批量操作的影响（启动所有服务、停止所有服务、重启所有服务等）。维护模式中有不同的级别设置，分别是服务级别、主机级别及进程级别。3种级别之间存在着覆盖关系。例如，由于HDFS部署在多台主机中，当它的维护模式功能启用后，HDFS便不会产生任何新的告警。当用户重启集群所有服务时，该服务会忽略这个批量操作。当用户重启一个机器的所有进程时，该服务的进程也会被忽略。在主界面左侧的服务列表的最下方有一个“动作”按钮，单击该按钮，可以弹出对服务进行操作的下拉列表，其中包含“增加服务”“启动所有服务”“停止所有服务”等进项。2．主机管理单击导航栏中的“主机”按钮，可以打开Ambari所管理的主机列表。单击导航栏左下方的“动作”下拉按钮，在弹出的下拉列表中列出了与主机相关的动作的选项，其效果和“服务操作”是类似的，只是执行的范围不一样。当用户在“动作”下拉列表中选择“显示主机”→“主机”→“启动所有组件”选项时，Ambari会启动主机中的所有服务。当用户在“动作”下拉列表中选择“所有主机”→“DataNodes”→“停止所有组件”选项时，Ambari会关闭所有机器关于DataNode的进程。当集群不能够满足生产环境所需的资源时，可以通过“动作”下拉列表中“添加新的主机”进项来扩展集群。新的主机节点在加入集群之前，需要完成任务6.1中基本环境的配置及AmbariAgent服务的安装配置。进入其中的一台主机，如Master，可以看到该主机中所有进程的运行状态、主机资源使用情况、主机的IP地址、资源栈等信息。在导航栏右下方有“主机动作”下拉按钮，通过单击该下拉按钮可以进行一系列操作。在“主机动作”下拉列表中有“打开维护模式”选项，对于主机级别的维护模式来说，就是打开了该主机所有进程的维护模式。如果该主机已经有告警信息，一旦维护模式被打开，告警信息就会被屏蔽，并抑制新告警信息的产生，所有的批量操作都会忽略该机器。3．进程管理每个服务都由相应的进程组成，如HDFS服务包含了NameNode、SecondaryNameNode、DateNode等进程。每台主机中都安装了相应的服务进程，如Master节点中包含HDFS的NameNode进程，Slave1节点中包含SecondaryNameNode、DateNode进程。进入Master节点，找到需要进行管理的进程，如NameNode，该进程后面有“Started”按钮，表示该进程正在运行中，单击该按钮可以改变进程的运行状态，如“重启”“停止”“移动”“打开维护模式”“均衡HDFS”等。其中，打开进程级别的维护模式后会有以下两个影响。①该进程不再受批量操作的控制。②抑制该进程告警信息的产生。例如，打开主机Master节点的DataNode的维护模式，那么当用户在“服务操作”下拉列表中选择“停止”选项时，将会停止所有HDFS服务，但该主机的DataNode不会被关闭，这是因为停止HDFS服务的批量操作后，会直接忽略Master节点中的DataNode。4．配置管理Ambari管理工具可以很方便地修改配置文件，并应用到集群的每一台主机中，尤其是在集群中的主机数量非常多的情况下。例如，需要修改集群HDFSBlock复制因子（BlockReplication）为2，在手动部署集群的情况下，要修改每一台主机的hdfs-site.xml配置文件。如果一个集群中有几十台或者几百台主机，则工作量是非常大的。而Ambari集群管理工具可以很好地应对这种情况，由集群中的AmbariServer向每台主机中的AmbariAgent发送相关的心跳信息，由此更新每台主机中的配置文件。具体操作步骤如下。在页面导航栏中选择“服务”→“HDFS”选项，在其服务列表右侧选择“配置”→“Advanced”→“General”→“BlockReplic