学习搭建Hadoop 优质课比赛一等奖

学习搭建Hadoop学习计划数据处理平台搭建性能开发性能检索Hadoop平台搭建环境介绍本次Hadoop集群部署方案采用分布式集群部署方式，集群共有三个节点组成，一个master节点，两个slaver节点。ftp-server是FTP资源包服务器。主机名IP操作系统Hadoopnodemaster29Centos6.5masterslaver130Centos6.5slaverslaver231Centos6.5slaverftp-server0Centos6.5Repository-ServerXianDian-BigData-v1.0.iso是相关的安装软件包，将安装的软件包放到节点的/opt/目录下，并用mount命令挂载到/mnt目录。#cd/opt#mount-oloopXianDian-BigData-v1.0.iso/mnt/编辑/etc/sysconfig/network修改主机名，HadoopSlave节点的主机名分别为slaver1、slaver2。或者通过即时生效命令使其生效slaver1:#hostnameslaver1slaver2#hostnameslaver2XianDian-BigData-v1.0.iso是相关的安装软件包，将安装的软件包放到节点的/opt/目录下，并用mount命令挂载到/mnt目录。#cd/opt#mount-oloopXianDian-BigData-v1.0.iso/mnt/编辑/etc/sysconfig/network修改主机名，HadoopMaster的主机名master或者通过即时生效命令使其生效#hostnamemasterMaster软件包说明&配置主机名Slaver1&Slaver2在各个节点编辑/etc/hosts文件，添加以下内容：92master92slaver194slaver2验证#pingmaster#pingslaver1#pingslaver2在各个节点编辑/etc/hosts文件，添加以下内容：92master92slaver194slaver2验证#pingmaster#pingslaver1#pingslaver2Master

配置hosts列表Slaver1&Slaver2Slaver1&Slaver2配置Yum仓库在有网络的情况下，不需要配置，默认yum源即可。删除/etc/yum.repos.d下的所有文件，手工创建local.repo，配置yum仓库的位置（具体配置参考IaaS文档）。#vi/etc/yum.repos.d/local.repo[centos]baseurl=0//centos6.5/gpgcheck=0enabled=1name=centos[openstack-icehouse]name=OpenStackIcehouseRepositorybaseurl=0//iaas-repo/gpgcheck=0enabled=1清除缓存#yumcleanall配置Yum仓库在有网络的情况下，不需要配置，默认yum源即可。删除/etc/yum.repos.d下的所有文件，手工创建local.repo，配置yum仓库的位置（具体配置参考IaaS文档）。#vi/etc/yum.repos.d/local.repo[centos]baseurl=0//centos6.5/gpgcheck=0enabled=1name=centos[openstack-icehouse]name=OpenStackIcehouseRepositorybaseurl=0//iaas-repo/gpgcheck=0enabled=1清除缓存#yumcleanallMaster

配置Yum仓库在节点的终端生成密钥，命令如下#ssh-keygen使用下列命令将密钥分配至各个节点：#ssh-copy-idmaster#ssh-copy-idslaver1#ssh-copy-idslaver2修改authorized_keys文件的权限，命令如下：#chmod600/root/.ssh/authorized_keys无密码登陆验证#sshmaster#sshslaver1#sshslaver2在节点的终端生成密钥，命令如下#ssh-keygen这个命令生成一个密钥对：id_rsa（私钥文件）和id_rsa.pub（公钥文件），默认被保存在/root/.ssh/目录下。使用下列命令将密钥分配至各个节点：#ssh-copy-idmaster#ssh-copy-idslaver1#ssh-copy-idslaver2修改authorized_keys文件的权限，命令如下：#chmod600/root/.ssh/authorized_keys无密码登陆验证#sshmaster#sshslaver1#sshslaver2Master

密钥登录配置Slaver1&Slaver2进入到/mnt/Rpms目录，进行JDK的安装：#rpm-ivhjdk-7u67-linux-x64.rpm使环境变量生效：#source/etc/profile测试配置：#java-version如果出现下图的信息，表示JDK安装成功：openjdkversion"1.7.0_67"Master

安装JDK进入到/mnt/Rpms目录，进行JDK的安装：#rpm-ivhjdk-7u67-linux-x64.rpm使环境变量生效：#source/etc/profile测试配置：#java-version如果出现下图的信息，表示JDK安装成功：openjdkversion"1.7.0_67"Slaver1&Slaver2Master进入到软件包所在的目录/mnt/Rpms，使用yum命令安装hadoop软件包，进入安装目录：#cd/mnt/Rpms/#yuminstall-ybigdata-xiandian-hadoop-1.0-1.x86_64.rpm#cd/opt/hadoop_resources/hadoop-2.7.0/#cdetc/hadoop/配置Hadoop-env.sh在hadoop-env.sh中只需要添加JDK的路径：#cdhadoop-2.7.0/etc/hadoop#vihadoop-env.sh添加exportJAVA_HOME=/usr/java/jdk1.7.0_67配置yarn-env.sh在yarn-env.sh中只需要添加JDK的路径：#cdhadoop-2.7.0/etc/hadoop#viyarn-env.sh添加exportJAVA_HOME=/usr/java/jdk1.7.0_67

Hadoop安装Master用下面的代码替换core-site.xml中的内容：<?xmlversion="1.0"encoding="UTF-8"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/tmp</value><description>Abaseforothertemporarydirectories.</description></property>

Hadoop安装<property><name>xyuser.aboutyun.hosts</name><value>*</value></property><property><name>xyuser.aboutyun.groups</name><value>*</value></property></configuration>Master用下面的代码替换hdfs-site.xml中的内容：<?xmlversion="1.0"encoding="UTF-8"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name>.dir</name><value>file:///usr/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:///usr/hadoop/dfs/data</value></property><property><name>dfs.replication</name><value>3</value></property>

Hadoop安装<property><name>services</name><value>hadoop-cluster1</value></property><property><name>node.secondary.http-address</name><value>master:50090</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration>Master用下面的代码替换yarn-site.xml中的内容：<?xmlversion="1.0"encoding="UTF-8"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><!--SitespecificYARNconfigurationproperties--><property><name>yarn.resourcemanager.hostname</name><value>master</value></property>

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property>

Hadoop安装<property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property></configuration>Master用下面的代码替换mapred-site.xml中的内容：<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name></name><value>yarn</value><final>true</final></property><property><name>mapreduce.jobtracker.http.address</name><value>master:50030</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property> Hadoop安装<property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><property><name>mapred.job.tracker</name><value>http://master:9001</value></property></configuration>Master编辑slaves文件，添加节点#vislavesmasterslaver1Slaver2

Hadoop安装Slaver1&Slaver2配置其它节点在HadoopSlaver节点上配置，把HadoopMaster节点上配置完的Hadoop包拷贝到HadoopSlaver节点：#scp-rroot@master:/opt/hadoop_resources/hadoop-2.7.0//opt/hadoop_resources/注意：因为之前已经配置了免密钥登录，这里可以直接远程复制。

Hadoop安装在启动Hadoop集群之前，我们需要生效系统的环境变量：#source/etc/profile在HadoopMaster成功启动集群后，在终端执行jps命令，在打印结果中会看到集群中运行的进程，这些进程表示主节点进程启动成功。#jps在启动Hadoop集群之前，我们需要生效系统的环境变量：#source/etc/profile格式化文件系统格式化命令如下，该操作需要在HadoopMaster节点上执行：#hdfsnamenode-format如果出现Exception/Error，则表示出问题。使用start-all.sh启动Hadoop集群，首先进入Hadoop安装主目录，然后执行启动命令：#cdhadoop-2.7.0/sbin/#./start-all.sh执行命令后，提示出入y