module03mapreduce和yarn分布式计算引擎技术02安装部署

修订记录建议直接将本胶片另存，然后在此胶片的基础上进行编辑。本部分包含：培训目标、目录、习题、总结、问题等模板。参考IT解决方案产品培训课程开发内容要素，按照模块开发。课程编码适用产品产品版本课程版本ISSUEH13-711FusionInsightHDV100R002C60V1.0开发/优化者时间审核人开发类型（新开发/优化）陈志强003457512016年6月高冬冬wx321719新开发本页不打印MapReduce和Yarn

安装部署学完本课程后，您将能够:掌握MR,YARN组件安装部署掌握MR,YARN常用配置参数熟悉MR,YARN监控告警部署规划部署方法组件配置健康检查关键指标原生页面介绍MR,YARN部署原则及约束服务名称角色名称内存最小要求依赖关系角色业务部署原则YARNRM（ResourceManager）2GB依赖于HDFS和ZooKeeper分别部署在2个控制节点上，主备配置。NM(NodeManager)2GB至少部署在3个数据节点上，与HDFS的DataNode保持一致。MapReduceJobHistoryServer2GB依赖于HDFS，Yarn,ZooKeeper部署在1个控制节点上，用于存储任务运行记录。部署规划部署方法新建部署扩容部署减容部署组件配置健康检查关键指标原生页面介绍新建部署1、进入安装页面，选择“手动安装”（也可选择“模板安装”，这里以手动安装为例），点击确定。新建部署2、输入主机IP以及主机root用户密码，点击“发现主机”，选择发现成功的节点，点击“下一步”。3、选择安装服务根据业务需要选择待安装的服务。当选择MapReduce服务时，系统会自动为其选择依赖的ZooKeeper,HDFS,YARN等服务。4、拓扑设置根据拓扑规划，将组件部署到指定节点上。完成设置后点击“下一步”。新建部署5、提交安装完成上述操作后，进入确认页面，确认页面包含前面步骤的概要信息。然后点击“提交”。6、部署完成提交集群安装请求后，界面显示安装集群进度，全部步骤完成后点击“完成”。部署规划部署方法新建部署扩容部署减容部署组件配置健康检查关键指标原生页面介绍扩容部署在以下条件发生时，需进行NodeManager扩容：FusionInsightManager上已经正确设置了MapReduceJobExecutionTimeout（AlarmID:18006）监控转告警。系统收到此告警且排除了MapReduce服务不可用和部分NodeManager异常的场景。扩容方式：如果集群内仍有部分安装了DataNode实例的节点未安装NodeManager，且在集群角色部署规划中允许这些节点安装NodeManager实例，可直接在这些节点上添加NodeManager实例完成扩容。节点扩容后在新增节点上添加DataNode实例与NodeManager实例。扩容部署扩容前准备。扩容部署如有告警先清除告警，再进行扩容操作。扩容部署扩容约束实例扩容的目标节点不要选择ResourceManager、JobHistory或者NameNode所在的节点。在ResourceManager或者JobHistory上增加或删除NodeManager或DataNode会导致ResourceManager或者JobHistory出现“配置状态”处于“过期”，此时需要重启服务才能恢复。实例扩容的目标节点不要选择HMaster所在的节点。扩容部署1、在安装了YARN服务的集群管理界面，进入“服务管理”界面，点击YARN服务，进入YARN服务界面,点击“实例”页签，进入YARN实例界面,点击“添加实例”操作。扩容部署2、若扩容主机不在主机列表里，需点击“添加主机”，输入主机IP以及主机root用户密码，点击“发现主机”，选择发现成功的节点，点击“下一步”,在扩容的节点上规划YARN的角色，如NM，点击“下一步”。扩容部署3、按照提示步骤完成实例扩容。部署规划部署方法新建部署扩容部署减容部署组件配置健康检查关键指标原生页面介绍减容部署点击“服务管理>YARN>实例”，进入YARN实例界面，选择待减容的实例，点击“更多操作”中的“退服”操作。部署规划部署方法组件配置常用参数说明及配置建议监控告警健康检查关键指标原生页面介绍常用参数说明及配置建议参数建议值说明yarn.scheduler.minimum-allocation-vcores1ResourceManager中每个容器请求的最小分配值，用虚拟CPU核数表示。低于该值的请求将不生效。设置值将配置为最低。yarn.scheduler.minimum-allocation-mb512为ResourceManager中每个container请求分配的最小内存。单位：MB。如果请求的内存量很少，将分配该参数设置的内存量。yarn.scheduler.maximum-allocation-mb6144为ResourceManager中每个container请求分配的最大内存。单位：MB。如果请求的内存量很多，将分配该参数设置的内存量。常用参数说明及配置建议参数建议值说明yarn.nodemanager.log-dirs/srv/BigData/hadoop/data1/nm/containerlogs,/srv/BigData/hadoop/data2/nm/containerlogs本地化后任务日志文件的存储位置。yarn.nodemanager.local-dirs/srv/BigData/hadoop/data1/nm/localdir,/srv/BigData/hadoop/data2/nm/localdir本地化后任务数据文件的存储位置。yarn.nodemanager.resource.memory-mb实际节点内存的75%分配给Yarn的内存资源。部署规划部署方法组件配置常用参数说明及配置建议监控告警健康检查关键指标原生页面介绍监控选择Yarn的服务监控可以在Yarn服务页面右上角点击定制选择监控选项。监控告警-Yarn服务监控已经成功提交任务到各个队列的信息集群中各个队列可用的资源监控告警-ResourceManager监控ResourceManager已使用的内存ResourceManager的CPU使用率监控告警-JobHistoryServer监控JobHistoryServer的CPU使用率JobHistoryServer的已使用内存部署规划部署方法组件配置健康检查关键指标原生页面介绍健康检查关键指标部署规划部署方法组件配置健康检查关键指标原生页面介绍原生页面介绍原生页面介绍本章首先介绍了MapReduce&Yarn的部署规划原则，以及部署方法。接着介绍安装后组件的参数配置，如何对MapReduce&Yarn做健康检查，最后介绍了原生页面。MapReduce和Yarn分别依赖于哪些服务运行？扩容部署有哪些方法？如何检查MapReduce和Yarn的状态是否健康？习题1.MapReduce的安装依赖哪些组件（）A.Yarn,Hbase,Hive B.zookeeper,HDFS,YarnC.HDFS,Hive D.Solr,Hbase,zookeeper2.Yarn默认分配给每个conta