建立运行MapReduce程序的依赖环境

建立运行MapReduce程序的依赖环境2学习任务初步了解Ambari分布式架构本地连接远程Hadoop环境3知识目标Ambari分布式架构是什么如何搭建一个Ambari平台本地如何与Hadoop环境建立连接01能力目标了解Ambari分布式架构能够搭建出Ambari平台熟练配置插件连接远程Hadoop环境02学习目标4目录01Hadoop分布式集群的平台介绍02搭建Hadoop环境03配置MapReduce程序的依赖环境5Hadoop分布式集群的平台介绍本实验大数据平台是基于Ambari的Hadoop分布式集群配置管理工具，该平台通过安装向导来进行集群的搭建，简化了集群供应。同时，他还有一个监控组件，叫做Ambari-Metrics，可以提前配置好关键的运维指标（metrics），然后收集集群的中服务、主机等运行状态等信息，通过WEB的方式显示出来。我们可以直接查看HadoopCore（HDFS和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。它的用户界面非常直观，用户可以轻松有效地查看信息并控制集群。6Hadoop分布式集群的平台介绍本实验大数据平台支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。通过一个完整的RESTfulAPI把监控信息暴露出来，集成了现有的运维工具。平台可以收集度量指标，并且支持系统报警。7Hadoop分布式集群的平台介绍其中Ambari是一个分布式架构的软件，主要由两部分组成：AmbariServer和AmbariAgent，如图1-1所示。AmbariServer会读取Stack和Service的配置文件。当用Ambari创建集群的时候，AmbariServer传送Stack和Service的配置文件以及Service生命周期的控制脚本到AmbariAgent。8Hadoop分布式集群的平台介绍Agent拿到配置文件后，会下载安装公共源里软件包（Redhat，就是使用yum服务）。安装完成后，AmbariServer会通知Agent去启动Service。之后AmbariServer会定期发送命令到Agent检查Service的状态，Agent上报给Server，并呈现在Ambari的GUI上，方便用户了解到集群的各种状态，并进行相应的维护。9搭建远程Hadoop环境配置主机名。修改hosts文件。配置yum源、NTP服务和SSH服务。禁用TransparentHugePages。#echonever>/sys/kernel/mm/transparent_hugepage/enabled安装配置JDK基本环境配置10搭建远程Hadoop环境创建MariaDB数据库。MariaDB[(none)]>createdatabaseambari;MariaDB[(none)]>grantallprivilegesonambari.*to'ambari'@'localhost'identifiedby'bigdata';MariaDB[(none)]>grantallprivilegesonambari.*to'ambari'@'%'identifiedby'bigdata';MariaDB[(none)]>useambari;MariaDB[ambari]>source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sqlMariaDB[ambari]>quit配置Ambari-server11搭建远程Hadoop环境#ambari-serversetup#ambari-serversetup--jdbc-db=mysql--jdbc-driver=/usr/share/java/mysql-connector-java.jar安装配置ambari-server12搭建远程Hadoop环境#vi/etc/ambari-agent/conf/ambari-agent.ini[server]hostname=master.hadoop#ambari-agentrestart#tail-f/var/log/ambari-agent/ambari-agent.logINFO2017-01-1209:44:20,919Controller.py:265-Heartbeatresponsereceived(id=1340)INFO2017-01-1209:44:30,820Heartbeat.py:78-BuildingHeartbeat:{responseId=1340,timestamp=1484214270820,commandsInProgress=False,componentsMapped=True}配置ambari-agent13配置MapReduce的依赖环境若本地Windows上有Hadoop环境，此处“Hadoopinstallationdirectory”直接可填本地Hadoop安装路径；若需要使用eclipse操作远程的Hadoop环境，则需要将远程Hadoop环境的依赖包保存到本地，“Hadoopinstallationdirectory”填保存包的路径。添加插件需要的jar包14配置MapReduce的依赖环境本实验的Hadoop是远程环境，为了方便，我们直接将远程Hadoop环境的所有依赖保存到本地。本实验Hadoop的安装路径在：4:/usr/hdp/-129/hadoop，我们将这个目录下的所有文件借助工具传输到本地Windows上，保存在D:\hadoop下。回到eclipse，“Hadoopinstallationdirectory”填写“D:\hadoop”。添加插件需要的jar包15配置MapReduce的依赖环境<property><description>Theaddressoftheschedulerinterface.</description><name>yarn.resourcemanager.scheduler.address</name><value>${yarn.resourcemanager.hostname}:50010</value></property>配置Map/Reduce(v2)Master找到yarn-site.xml>yarn.resourcemanager.scheduler.address。找到其对应的host与端口号：16配置MapReduce的依赖环境找到${yarn.resourcemanager.hostname}这里是host,其值即是yarn.resourcemanager.hostname属性的值，内容是host，之后将对应的host与post填入Map/Reduce(v2)Master；然后保存,转到ProjectExplorer，点击新建的名称；然后点击F5刷新下，就会出现hdfs的目录界面。配置Map/Reduce(v2)Master17配置MapReduce的依赖环境查看hadoop/etc/hadoop下的配置文件：hdfs-site.xml

>找到node.rpc-address.hadoop-test.nn1。配置DFSMaster18配置MapReduce的依赖环境这里的hadoop-test是nameservice的名称;或者说是hadoop集群的此hdfs的路径前缀。和core-site.xml中的fs.defaultFs相对应。配置DFSMaster19配置MapReduce的依赖环境在“NewHadooplocation...”中填写“Map/Reduce(v2)Master”和“DFSMast