Centos7安装和配置hadoop2.7.3的流程和总结

1、CentOS7安装Hadoop2.7.3完整流程及总结一、前言配置一台master服务器，两台（或多台）slave服务器，master可以无密码SSH登录到slave。卸载centos7自带的openjdk,通过SecureCRT的rz命令上传jdk-7u79-linux-x64.tar.gz文件到服务器,解压安装JDK，解压安装Hadoop，配置hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件。配置好之后启动hadoope服务，用jps命令查看状态。再运行hadoop自带的wordcount程序做一个Hell

2、o World实例。二、准备工作我的系统：windows 10 家庭普通中文版cpu:intel i5 2.2GHz内存：8G64位操作系统需要准备的软件和文件（全部是64位安装包）1. 虚拟机：VMware 12 Pro 12.5.22. Centos7官网下载：/download/ 选择DVD ISO(标准版)/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1511.iso3. JDK 1.7及以上，官网下载：jdk-7u79-linux-x64.tar.g

3、z4. Hadoop 2.7.3下载地址：/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz5. SecureCRT version 7.2.3三、安装过程提示：先创建一台虚拟机,安装好centos7系统，使用VMware 的克隆功能，克隆另外两台虚拟机。这样可以节省时间。3.1虚拟机设置当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，（根据实际IP地址和主机名）修改/etc/hosts文件内容为：28 master.hadoop29

4、 slave1.hadoop30 slave2.hadoop1、vi /etc/hosts命令修改，然后保存（vi的相关命令见引用来源16）2、more /etc/hosts查看3、重启后，hosts生效。命令： reboot now3.2 SSH免密码登录提示：我全程用的都是root用户，没有另外创建用户。每台服务器都生成公钥，再合并到authorized_keys。1) CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，#RSAAuthentication yes#PubkeyAuthentic

5、ation yes2) 输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，3) 合并公钥到authorized_keys文件，在master服务器，进入/root/.ssh目录，通过SSH命令合并，（/.ssh/id_rsa.pub 是省略的写法，要根据实际路径来确定）cat id_rsa.pub authorized_keysssh root29 cat /.ssh/id_rsa.pub authorized_keysssh root192.168. 186.130 cat /.s

6、sh/id_rsa.pub authorized_keys4) 把master服务器的authorized_keys、known_hosts复制到slave服务器的/root/.ssh目录scp -r /root/.ssh/authorized_keys root29:/root/.ssh/ scp -r /root/.ssh/known_hosts root29:/root/.ssh/scp -r /root/.ssh/authorized_keys root30:/root/.ssh/scp -r /root/.

7、ssh/known_hosts root30:/root/.ssh/5) 完成后，ssh root29、ssh root30或者(ssh rootslave1.hadoop、ssh rootslave2.hadoop ) 就不需要输入密码直接登录到其他节点上。3.4 Secure CRT连接虚拟机1、在VMware中把三台虚拟机启动，如下图所示：2、打开SecureCRT,在一个session里连接三台虚拟机，就可以登录实现操作。Fiel-Quick ConnectionProtocol:ssh2 前提条件是在3.2

8、中实现了ssh免密码登录Hostname:28 连接的主机名Username: root 连接主机的用户名Connect 依次连接好三台虚拟机3、结果如下：4、上传windows系统中的文件到虚拟机中定位到要上传文件的目录下，输入命令：rz，回车后，弹出文件选择窗口，选择文件，点击add,再OK。文件就上传到当前服务器的当前目录下。rz命令如果没有安装，使用这个命令安装：yuminstalllrzsz 3.5 安装JDKHadoop2.7需要JDK7，由于我的CentOS自带了OpenJDK，所以要先卸载，然后解压下载的JDK并配置变量即可。1) 在/home目录下创

9、建java目录，然后使用rz命令，上传“jdk-7u79-linux-x64.gz”到/home/java目录下，2) 解压，输入命令，tar -zxvf jdk-7u79-linux-x64.gz3) 编辑/etc/profileexport JAVA_HOME=/home/java/jdk1.7.0_79export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin4) 使配置生效，输入命令，source /

10、etc/profile5) 输入命令，java -version，完成3.6 安装Hadoop2.7.3 3.6.1 提要1) secureCRT 上传“hadoop-2.7.3.tar.gz”，放到/home/hadoop目录下2) 只在master服务器解压，再复制到slave服务器（scp命令传输）3) 解压，输入命令，tar -xzvf hadoop-2.7.3.tar.gz4) 在/home/hadoop目录下创建数据存放的文件夹，tmp、dfs、dfs/data、dfs/name（hdfs-site.xml文件中会用到）3.6.2 配置文件1、/home/hadoop/hadoop

11、-2.7.3/etc/hadoop目录下的core-site.xml hdfs:/master.hadoop:9000 hadoop.tmp.dir /home/hadoop/tmp io.file.buffer.size 2、 配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的hdfs-site.xml .dir file:/home/hadoop/dfs/name dfs.datanode.data.dir file:/home/hadoop/dfs/data dfs.replication

12、 1 node.secondary.http-address master.hadoop:50090 dfs.webhdfs.enabled true 3、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的mapred-site.xml yarn true mapreduce.jobtracker.http.address master.hadoop:50030 mapreduce.jobhistory.address master.hadoop:10020 mapreduce.jobhisto

13、ry.webapp.address master.hadoop:19888 mapred.job.tracker http:/master.hadoop:9001 4、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanage

14、r.address master.hadoop:8032 yarn.resourcemanager.scheduler.address master.hadoop:8030 yarn.resourcemanager.resource-tracker.address master.hadoop:8031 yarn.resourcemanager.admin.address master.hadoop:8033 yarn.resourcemanager.webapp.address master.hadoop:8088 yarn.resourcemanager.hostname master.ha

15、doop yarn.nodemanager.resource.memory-mb 2048 提示：yarn.nodemanager.resource.memory-mbr的值一定要注意，在最后的hello world程序运行时，会提示内存太小，（hadoop运行到mapreduce.job: Running job后停止运行 ）我把它从1024改成了20485、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME取消注释，设置为export JAVA_HOME=/home/java/jdk1.7

16、.0_796、 配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的slaves，删除默认的localhost，增加2个slave节点:slave1.hadoopslave2.hadoop7、将master服务器上配置好的Hadoop复制到各个节点对应位置上，通过scp传送scp -r /home/hadoop 29:/home/scp -r /home/hadoop 30:/home/3.6.3 启动hadoop提示：在master服务器启动hadoop，各从节点会自动启动，进入/home/hadoop/ha

17、doop-2.7.0目录，hadoop的启动和停止都在master服务器上执行。1) 初始化，在hadoop-2.7.3目录下输入命令，bin/hdfs namenode format2) 启动命令sbin/start-dfs.shsbin/start-yarn.sh3) 输入命令，jps，可以看到相关信息master上看到slave上4) 停止命令，依次执行：sbin/stop-dfs.sh、sbin/stop-yarn.sh至此，hadoop配置完成了。四、Hadoop入门之HelloWorld程序摘要：初步接触Hadoop，必不可少的就是运行属于Hadoop的Helloworld程序wo

18、rdcount，统计文件中各单词的数目。安装好的Hadoop集群上已有相应的程序。我们来验证一下。4.1 准备数据 在/home/hadoop下创建file文件夹，里面生成file1.txt,file2.txt,file3.txt,file4.txt四个文件4.2 然后把数据put到HDFS里4.3 进入hadoop-mapreduce-examples-2.7.3.jar所在文件夹，使用pwd输出当前目录的路径4.4 在/home/hadoop/hadoop-2.7.3目录下执行命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce

19、-examples-2.7.3.jar wordcount /input /output2INFO mapreduce.Job: Job job_81_0001 completed successfully意味着运行成功，否则就要根据出错信息或者日志排错。其中，/output2是执行结果输出目录(因为之前已经存在了output文件夹了)，到此，HelloWorld就顺利执行了，你可以用hadoop fs -cat /output2/part-r-* 命令来查看结果.4.5 结果如下：查看之前的文件内容，对比上图的结果。五、引用来源提示：从安装到配置再到成功运行hadoop的wordcount程

20、序，借鉴了来自以下网页中的智慧，根据实际情况稍做修改。在此表示感谢！1、CentOS7安装Hadoop2.7完整流程 - OPEN 开发经验库/lib/view/open78.html2、CentOS 7.1下SSH远程登录服务器详解/Linux/2016-03/.htm3、ssh连接失败，排错经验/starof/p/.html4、CentOS7安装Hadoop2.7完整步骤/Linux/2015-11/.htm5、Ce

21、ntOS上JDK的安装与环境变量的配置/jcncsdn/article/details/6、CentOS7.0分布式安装HADOOP 2.6.0笔记/thread-1-1.html7、hadoop自带例子程序wordcount详解/osandy/blog/8、CentOS7中安装Hadoop2.6.4，能够正常启动，但datanode的数目为0的解决方法/fireblue1990/article/details/9、集群配置虚拟主机及部

22、署Hadoop集群碰到的问题/Su-30MKK/p/.html10、Hadoop在master查看live nodes为0解决方案/Linux/2012-03/57749.htm11、hadoop环境报failed on connection exception/wqetfg/article/details/12、hadoop节点nodemanager启动失败原因小结/ling811/article/details/13、Hadoop实战之三 Hello World/HouZhiHouJueBlogs/p/.html14、CentOS安装jdk的三种方法/i