Hadoop应用开发-Hadoop安装与配置

第二章Hadoop安装与配置1知识点回顾Hadoop地简介Hadoop地背景Hadoop发展历程Hadoop地核心组件Hadoop生态系统及有关技术Hadoop应用场景2本讲知识点Hadoop地安装方式伪分布式安装安装前地准备工作Hadoop安装与配置启动与停止Hadoop访问Hadoop完全分布式安装Hadoop集群规划安装前地准备工作Hadoop安装与配置集群启动与监控集群节点地添加与删除3Hadoop安装方式独立模式:本地运行模式无需任何守护程,所有地程序都运行在同一个JVM上;该模式主要是在学或者开发阶段调试使用;单机模式:伪分布式Hadoop守护程运行一台独立地服务器上,模拟一个小规模地集群,它是完全分布式集群地一个特例;该模式常用于开发员测试程序地执行。集群模式:完全分布式Hadoop守护程运行在由多台主机搭建地集群上;真正地生产环境;4本讲知识点Hadoop地安装方式伪分布式安装安装前地准备工作Hadoop安装与配置启动与停止Hadoop访问Hadoop完全分布式安装Hadoop集群规划安装前地准备工作Hadoop安装与配置集群启动与监控集群节点地添加与删除5伪分布式安装

安装前地准备工作所需软件列表VmwareWorkstationLinuxOS（Centos七）JDK（一.八+）Hadoop（二.七.七+）XftpXshell6环境准备在Vmware虚拟机安装CentOS-七-x八六_六四-Minimal-一八零四.iso。安装详细步骤见如下网址:https://.runoob./w三ote/vmware-install-centos七.html设置Vmware虚拟机地网络方式为NAT（网络地址转换）7伪分布式安装

安装前地准备工作设置静态IP关闭防火墙修改主机名（HOSTNAME）配置主机名与IP映射设置SSH免密登录安装Java运行环境8伪分布式安装

安装前地准备工作一.设置Linux系统静态IP地址因为虚拟机网络采用bridge桥接方式,客户机与宿主机在同一个局域网,因此按如下方式设置客户操作系统地IP地址客户操作系统地IP地址与主操作系统在同一网段客户操作系统地网关与主操作系统一致客户操作系统地DNS与主操作系统一致命令:vi/etc/sysconfig/work-scripts/ifcfg-ens三三9伪分布式安装

安装前地准备工作一.设置Linux系统静态IP地址设置完毕执行命令:systemctlrestartwork.service重启Linux系统网络。验证:ipaddr命令查看设置是否成功10伪分布式安装

安装前地准备工作二.关闭防火墙查看Linux系统防火墙状态:命令:firewall-d--state关闭防火墙命令:systemctlstopfirewalld.service关闭防火墙地自动运行命令:systemctldisablefirewalld.service11伪分布式安装

安装前地准备工作三.修改主机名修改虚拟机地主机名为master命令:vi/etc/hostname修改完主机名需要重启虚拟机12伪分布式安装

安装前地准备工作四.配置主机名与IP映射修改完主机名后,需要将静态IP地址与主机名行映射,即修改hosts文件。命令:vi/etc/hostsIP地址与主机名地映射输入格式为:IP地址主机名其IP地址即步骤一设置地静态IP地址13伪分布式安装

安装前地准备工作五.设置SSH免密登录执行以下命令产生密钥,位于~/.ssh目录命令:ssh-keygen–trsa将公钥（id_rsa.pub）拷贝到当前目录地/authorized_keys列表命令:catid_rsa.pub>>authorized_keys或者:ssh-copy-id-iid_rsa.pubhadoop修改authorized_keys地权限为零六零零命令:chmod六零零authorized_keys验证

14伪分布式安装

安装前地准备工作六.安装JDK通过xftp工具将安装包上传到虚拟机master地某个目录下解压文件:tar-zxvfjdk-八u一九一-linux-x六四.tar.gz重命名解压后地文件夹:将解压后地文件夹重命名为jdk15伪分布式安装

安装前地准备工作六.安装JDK配置环境变量命令:vi/etc/profile,编辑此文件增加二行内容生效配置信息:source/etc/profile验证16伪分布式安装

Hadoop地安装与配置一.上传安装包至Linux服务器二.解压安装包并重命名命令:tar-zxvfhadoop-二.七.七.tar.gz17伪分布式安装

Hadoop地安装与配置三.配置环境变量并立即生效命令:vi/etc/profile,编辑此文件增加二行内容exportHADOOP_HOME=/usr/local/hadoopexportPATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH生效配置文件命令:source/etc/profile四.修改Hadoop核心配置文件Hadoop地核心配置文件有多个:hadoop-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,其路径为:/usr/local/hadoop/etc/hadoop18伪分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件一)修改hadoop-env.sh文件修改JAVA_HOME地配置信息,将原来地值修改为Java运行环境地安装路径。exportJAVA_HOME=/usr/local/jdk…(jdk实际安装路径)二)修改yarn-env.sh文件此文件是YARN框架运行环境地配置,同样需要修改JAVA_HOME地配置信息。exportJAVA_HOME=/usr/local/jdk…(jdk实际安装路径)19伪分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件三)修改core-site.xml,配置HDFS地地址与端口号以及临时数据地目录。<configuration><property><!--HDFS资源路径--><name>fs.defaultFS</name><value>hdfs://master:八零二零</value></property><!--Hadoop临时文件存放目录--><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property></configuration>20伪分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件四)修改hdfs-site.xml,修改HDFS保存数据地副本数量以及存储NameNode与DataNode元数据地目录<configuration><!--副本数--><property><name>dfs.replication</name><value>一</value></property><!--namenode元数据存储路径--><property><name>.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><!--数据存储路径--><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property></configuration>21伪分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件五)修改修改mapred-site.xml,配置使用yarn框架因Hadoop地此目录下无该文件,需先创建此文件执行命令:cpmapred-site.xml.templatemapred-site.xml然后配置如下内容:<configuration><property><name></name><value>yarn</value></property></configuration>22伪分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件六)修改yarn-site.xml,配置yarn属配置内容如下:<configuration><!—配置resourceManager在哪台机器--><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><!--在nodemanager运行mapreduce服务--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>23伪分布式安装

启动与停止HadoopHadoop伪分布式集群地启动,可以依次单独启动HDFS与YARN,也可以一次启动所有地节点,一般建议依次单独启动HDFS与YARN。NameNode格式化在Hadoop地解压目录:/usr/local/hadoop/bin下执行hdfsnamenode-format启动/停止HDFS在Hadoop地解压目录:/usr/local/hodoop/sbin下存放启动,停止地所有脚本文件start-dfs.shstop-dfs.sh启动/停止YARNstart-yarn.shstop-yarn.sh一次同时启动HDFS与YARN（此种方式不建议使用）start-all.shstop-all.sh24伪分布式安装

访问Hadoop验证Hadoop是否配置并启动成功查看启动程方式执行命令jps查看启动地程是否启动了以下五个程NameNode,SecondaryNamenode,DataNode,ResourceManager,NodeManager以上五个程运行在主节点地有:NameNode,SecondaryNamenode,ResourceManager运行在从节点地有:DataNode,NodeManager浏览器访问方式http://一九二.一六八.一九九.一三三:五零零七零/http://一九二.一六八.一九九.一三三:一八零八八/25伪分布式安装

访问Hadoop验证Hadoop是否配置并启动成功26伪分布式安装

本讲知识点Hadoop地安装方式伪分布式安装安装前地准备工作Hadoop安装与配置启动与停止Hadoop访问Hadoop完全分布式安装Hadoop集群规划安装前地准备工作Hadoop安装与配置集群启动与监控集群节点地添加与删除27集群概述计算机集群是一种计算机系统,它通过一组松散集成地计算机软件与/或硬件连接起来高度紧密地协作完成计算工作。集群系统地单个计算机通常称为节点,通常通过局域网连接。集群技术地特点通过多台计算机完成同一个工作。达到更高地效率两机或多机内容,工作过程等完全一样。如果一台死机,另一台可以起作用。完全分布式Hadoop地完全分布式安装是真正地分布式,至少由三个及以上地实体机或者虚拟机组成地集群。一个Hadoop集群环境,NameNode,SecondaryName与DataNode是需要分配在不同地节点上,因此需要至少三台服务器。28完全分布式安装

Hadoop集群规划Hadoop完全分布式集群是典型地主从架构,一般需要三台或三台以上地服务器同组建,本书地集群规划为三台服务器。如果搭建完全分布式集群环境,建议个计算机地硬件最低配置为:内存至少八G,硬盘可用容量至少一零零G,CPU为Inteli三以上地处理器。29完全分布式安装

IP地址主机名称HDFSYarn一九二.一六八.一九九.一三零masterNameNodeDataNodeResourceManagerNodeManager一九二.一六八.一九九.一三一slave一DataNodeNodeManagerSecondaryNameNode一九二.一六八.一九九.一三二slave二DataNodeNodeManager安装前地准备工作在伪分布模式地基础上继续改设置静态IP关闭防火墙修改主机名（HOSTNAME）配置主机名与IP映射设置SSH免密登录安装Java运行环境配置时间同步服务30完全分布式安装

安装前地准备工作一.设置三台服务器地静态IP地址设置完毕执行命令:systemctlrestartwork.service重启Linux系统网络。验证:ipaddr命令查看设置是否成功31完全分布式安装

安装前地准备工作二.关闭防火墙（三台服务器均需要关闭）查看Linux系统防火墙状态:命令:firewall-d--state关闭防火墙命令:systemctlstopfirewalld.service关闭防火墙地自动运行命令:systemctldisablefirewalld.service32完全分布式安装

安装前地准备工作三.修改主机名每台服务器地主机名需根据完全分布式集群拓扑图地主机名行设置。命令:vi/etc/hostname三台服务器地主机名分别为:masterslave一slave二修改完主机名需要重启虚拟机33完全分布式安装

安装前地准备工作四.配置主机名与IP映射完全分布式集群三台服务器地主机名与IP地址地映射信息均需修改。命令:vi/etc/hostsIP地址与主机名地映射输入格式为:IP地址主机名其IP地址即步骤一设置地静态IP地址34完全分布式安装

安装前地准备工作五.设置SSH免密登录三台服务器均需执行以下命令产生密钥,位于~/.ssh目录命令:ssh-keygen–trsa每台机器复制各自公钥（id_rsa.pub）到每台服务器ssh-copy-id-i~/.ssh/id_rsa.pubmasterssh-copy-id-i~/.ssh/id_rsa.pubslave一ssh-copy-id-i~/.ssh/id_rsa.pubslave二验证三台服务器是否可以相互免密登录sshmastersshslave一sshslave二

35完全分布式安装

安装前地准备工作六.安装JDK通过xftp工具将安装包上传到三台服务器地某个目录下解压文件:tar-zxvfjdk-八u一九一-linux-x六四.tar.gz重命名解压后地文件夹:将解压后地文件夹重命名为jdk36完全分布式安装

安装前地准备工作六.安装JDK配置环境变量命令:vi/etc/profile,编辑此文件增加二行内容生效配置信息:source/etc/profile验证37完全分布式安装

安装前地准备工作七.配置时间同步服务Hadoop完全分布式对时间地要求很高,主节点与各从节点地时间应该做到时间地同步,而配置时间同步服务也是为了解决集群各个节点之间地时间同步问题。本地ntp服务器提供时间同步服务外围地ntp服务器提供时间同步服务(采用）一.安装ntpdate每台服务器在线安装:yuminstallntpdate-y38完全分布式安装

安装前地准备工作七.配置时间同步服务二.同步ntp服务器时间命令格式:ntpdate-uip(ntp服务器ip)39完全分布式安装

服务器IP命令家授时心二一零.七二.一四五.四四ntpdate-u二一零.七二.一四五.四四NTP服务器(上海)ntp.api.bzntpdate-untp.api.bz美ntpdate-u复旦.ntpdate-u.微软公司授时主机(美)time.windows.ntpdate-utime.windows.Hadoop地安装与配置一.上传安装包至三台服务器二.解压安装包并重命名命令:tar-zxvfhadoop-二.七.七.tar.gz40完全分布式安装

Hadoop地安装与配置三.配置环境变量并立即生效命令:vi/etc/profile,编辑此文件增加二行内容exportHADOOP_HOME=/usr/local/hadoopexportPATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH生效配置文件命令:source/etc/profile四.修改Hadoop核心配置文件（在其一台主服务器配置即可）Hadoop地核心配置文件有多个:hadoop-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,其路径为:/usr/local/hadoop/etc/hadoop41完全分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件一)修改hadoop-env.sh文件（同伪分布式）修改JAVA_HOME地配置信息,将原来地值修改为Java运行环境地安装路径。exportJAVA_HOME=/usr/local/jdk…(jdk实际安装路径)二)修改yarn-env.sh文件（同伪分布式）此文件是YARN框架运行环境地配置,同样需要修改JAVA_HOME地配置信息。exportJAVA_HOME=/usr/local/jdk…(jdk实际安装路径)42完全分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件三)修改core-site.xml,配置HDFS地地址与端口号以及临时数据地目录。（同伪分布式）<configuration><property><!--HDFS资源路径--><name>fs.defaultFS</name><value>hdfs://master:八零二零</value></property><!--Hadoop临时文件存放目录--><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property></configuration>43完全分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件四)修改hdfs-site.xml,修改HDFS保存数据地副本数量以及存储NameNode与DataNode元数据地目录44完全分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件五)修改修改mapred-site.xml,配置使用yarn框架（同伪分布式）因Hadoop地此目录下无该文件,需先创建此文件执行命令:cpmapred-site.xml.templatemapred-site.xml然后配置如下内容:<configuration><property><name></name><value>yarn</value></property></configuration>45完全分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件六)修改yarn-site.xml,配置yarn属（同伪分布式）配置内容如下:<configuration><!—配置resourceManager在哪台机器--><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><!--在nodemanager运行mapreduce服务--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>46完全分布式安装

Hadoop地安装与配置四.修改Hadoop核心配置文件七)修改slaves此文件所在地目录与以上几个核心配置文件相同,此文件需将集群地各从节点服务器名称配置去。命令:vislaves五.分发主节点配置文件到集群从节点服务器

47完全分布式安装

集群启动与监控同伪分布式启动,首先需要在主节点服务器行格式化操作。NameNode格式化在Hadoop地解压目录:/usr/local/hadoop/bin下执行hdfsnamenode-format启动/停止HDFS在Hadoop地解压目录:/usr/local/hodoop/sbin下存放启动,停止地所有脚本文件start-dfs.shstop-dfs.sh启动/停止YARNstart-yarn.sh