Hadoop安装部署手册

1、1安装环境介绍1.1 软件环境1） CentOS6.5x642） Jdk1.7x643）4）5）1.2 集群环境集群中包括3 个节点： 1 个 Master ， 2 个 Slave机器名称IP 地址HadoopZooKeepermyidHbaseMaster.Hadoop10.1.11.150NameNodeserver.11HMaserSlave1.Hadoop10.1.11.151DataNodeserver.22HRegionServerSlave2.Hadoop10.1.11.152DataNodeserver.33HRegionServer2 安装前的准备2.1 下载 JDK2.2

2、下载 Hadoop2.3 下载 Zookeeper2.4 下载 Hbase3 开始安装3.1 CentOS安装配置1） 安装 3 台 CentOS6.5x64（使用 BasicServer模式，其他使用默认配置，安装过程略）2） Master.Hadoop配置a) 配置网络vi/etc/sysconfig/network-scripts/ifcfg-eth0修改为：DEVICE=eth0ONBOOT=yesBOOTPROTO=staticIPADDR=GATEWAY=保存，退出（esc+:wq+enter），使配置生效servicenetworkrestartb) 配置主机名vi/etc/sy

3、sconfig/network修改为：保存NETWORKING=yes，退出（esc+:wq+enter），使配置生效HOSTNAME=Master.HadoophostnameMaster.Hadoopc) 配置 hostsvi/etc/hosts修改为：Master.Hadoopd) Slave1关闭.系Hadoop统防火墙 Slave2.Hadoopserviceiptablesstope) chkconfigiptablesoff禁止SELINUXvi/etc/sysconfig/selinux修改为：#SELINUX=enforcingSELINUX=disabledf)调整系统文件

4、限制vi/etc/security/limits.conf在最后增加如下内容*softnofile65535*hardnofile65535修改以下文件：增加vi/etc/pam如下内容.：d/loginsessionrequired/lib/security/pam_limits.so以上调整，需要重启系统才能生效g) 配置用户新建 hadoop 用户和组，设置hadoop 用户密码groupaddhadoopuseraddhadoop-gHadooph)无密码密钥对passwdhadoop切换到 hadoop 用户，生成密码对suHadoopssh-keygen-trsa-P'&#

5、39;id_rsa 和生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa.pub ，默认存储在 "/home/hadoop/.ssh"目录下。a) 把 id_rsa.pub 追加到授权的 key 里面去cat/.ssh/id_rsa.pub>>/.ssh/authorized_keysb)修改 .ssh 目录的权限以及authorized_keys的权限chmod600/.ssh/authorized_keysc) 用 root 用户登录服务器修改 SSH 配置文件 "/etc/ssh/sshd_config"

6、; 的下列内容surootvi/etc/ssh/sshd_config其中三行内容改为启用，如下所示RSAAuthenticationyes保存，退出（esc+:wq+enter），重新启动SSH 服务，使设置生效PubkeyAuthenticationyesservicesshdrestartAuthorizedKeysFile.ssh/authorized_keys3） Slave1.Hadoop、 Slave1.Hadoop配置相同的方式配置Slave1 和 Slave2 的 IP 地址，主机名和hosts 文件，新建hadoop 用户和组及用户密码等等操作机器名称IP 地址Slave1

7、.HadoopSlave2.Hadoop3.2 无密码登陆配置1） 配置 Master 无密码登录所有Slavea) 使用 hadoop 用户登陆 Master.Hadoopb) 把公钥复制所有的 Slave 机器上。使用下面的命令格式进行复制公钥scp/.ssh/id_rsa.pubhadoopSlave1.Hadoop:/scp/.ssh/id_rsa.pubhadoopSlave2.Hadoop:/c)在 Slave 机器上进行配置cat/id_rsa.pub>>/.ssh/authorized_keysrm r/id_rsa.pub测试 Master 到 Slave 的 s

8、sh 登陆sshSlave1.Hadoop2） 配置 Slave 无密码登录Mastera) 使用 hadoop 用户登陆 Slaveb) 把公钥复制 Master 机器上。使用下面的命令格式进行复制公钥scp/.ssh/id_rsa.pubhadoopMaster.Hadoop:/c) 在 Master 机器上将公钥追加到 authorized_keys 中cat/id_rsa.pub>>/.ssh/authorized_keysrm r/id_rsa.pub测试 Slave 到 Master 的 ssh 登陆sshMaster.Hadoop3.3 安装 JDK所有的机器上都要安

9、装JDK ，先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK以及配置环境变量，需要以"root" 的身份进行。1） 解压缩文件cd/usr/localtarzxvf2） 配置环境变量vi/etc/profile增加如下内容：exportexportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar 保存，退出（ esc+:wq+enter ），使配置生效exportPATH=$PATH:$JAVA_HOME/bin3） 验证source/etc/profile是否安装成功4） 删除j

10、avajdkversion的安装包5） 在Slavermf上重复以上步骤，安装JDK （以下为从Master复制jdk到 Slave ）scp-r/usr/local/3.4 安装 Hadoopscp-r/usr/local/rootSlave2.Hadoop:/usr/local/因为官网，以下使用root 身份进行安装。1） 将 hadoop 安装包上传到服务器/usr/local/ 目录下2） 解压缩文件cd/usr/localtarzxvf3） 在下面创建tmp 文件夹mkdir4） 编辑 <HADOOP_HOME>/etc/hadoop/hadoop-env.shvi修改

11、 JAVA_HOME的配置：export5） 编辑 <HADOOP_HOME>/etc/hadoop/core-site.xmlvicore-site.xml修改为：<configuration>新变量 fs<property>.defaultFS<name>fs.defaultFS</name>6） 编辑 <HADOOP_HOME>/etc/hadoop/hdfs-site.xml </property>vihdfs<property>-site.xml</property>修改为：&

12、lt;property><configuration><value>4096</value><property></property>dfs.replication 值需要与实际的 DataNode 节点数要一致，本文为 </configuration><finaltrue</final>7） 编辑 <HADOOP</property>HOME>/etc/hadoop/yarn-site.xml<property>viyarn-site.xml<final&

13、gt;true</final>修改为：</property><property><configuration><name>dfs.replication</name><property>8） 编辑 <HADOOP<value>2</value>HOME>/astrtc/hadoop/.Hadoop</value>mapred-site.xml </property></property><property>默认没有mapred-

14、site.xml 文件，需要复制一份 mapred-site.xml <value>mapreduce_shuffle</value></configuration></property>cp<property><value>Master.Hadoop:8032</value> vimapred-site.xml修改为：</property><property><value>Master.Hadoop:8030</value> <configu</pr

15、ation>operty><property>） 编辑<property>9<HADOOP_HOME>/etc/hadoop/slaves <value>Master.Hadoop:8031</value></property><value>yarn</value><property>vislaves<final>true</final> <value>Master.Hadoop:8033</value></propert

16、y>修改为：<property></configuration><value>Master.Hadoop:8088</value>Slave1.Hadoop</property></configuration>Slave2.Hadoop10）把该文件夹的读权限分配给普通用户hadoopchown 11）删除 hadoop 的安装包12）rm配-f置环境变量vi/etc/profile2即可增加如下内容：exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 保存，退出（

17、 esc+:wq+enter ），使配置生效source/etc/profile13）在 Slave 上重复以上步骤，安装Hadoop （以下为从Master 复制 hadoop 到 Slave ）14）测试和启动在 Slave 上进行如上配置后，使用使用hadoop 用户启动服务第一次启动需要在Master.Hadoop执行无错hdfsnamenode误后，启动服务format（先启动HDFS）再启动 yarn在 Master 验证启动进程jps在 Slave 验证启动进程jps15）网页查看集群3.5 安装 Zookeeper1） 解压缩文件cd/usr/localtarzxvf2） 创建

18、 data 文件夹mkdir3） 根据 zoo_sample.cfg创建 zoo.cfg 并修改cpvi修改为：server.1=Master.Hadoop:2888:3888server.2=Slave1.Hadoop:2888:38884） 在 dataDir 目录下创建 myid 文件，设为 1 ，Slave1.Hadoop ，Slave2.Hadoop 的 myid 为 2 ，3 server.3=Slave2.Hadoop:2888:3888echo"1">5） 配置环境变量vi/etc/profile增加如下内容：exportPATH=$PATH:$ZOO

19、KEEPER_HOME/bin保存，退出（esc+:wq+enter），使配置生效source/etc/profile6） 把该文件夹的读权限分配给普通用户hadoop7） 删除chown安装包-Rhadoop:hadooprm-f8） 用 hadoop 用户启动ZooKeeper集群需要suhadoop在Master 和 Slave 上分别启动服务bin/zkServer.shstart9） 安装验证bin/zkServer.shstatus10）停止服务指令为bin/zkServer.shstop3.6安装 Hbase1） 以 root 身份将上传到服务器/usr/local/ 目录下2）

20、 解压缩文件cd/usr/localtarzxvf3） 编辑 <HBASE_HOME>/conf/hbase-env.sh修改为：exportexportHBASE_MANAGES_ZK=false使用独立的ZooKeeper时需要修改HBASE_MANAGES_ZK值为false ，为不使用默认exportZooKeeper实例4） 编辑 <HBASE_HOME>/conf/hbase-site.xml在 configuration 里添加：<property>5） 编辑 <HBASE_HOME>/conf/regionservers文件<

21、;name>hbase.rootdir</name></property>vi/usr/local/hbase-0.98.9/conf/regionservers<property>删除 localhost ，添加如下内容：<value>true</value></property>Master.Hadoop<property>Slave1.Hadoop6） 配置环境变量<name>hbase.master</name>Slave2.Hadoop</property>vi/etc/profile<property>增加如下内容：<value>Master.Hadoop,Slave1.Hadoop,Slave2.Hadoop</value></property><property>exportPATH=$PATH:$HBASE_HOME/bin保存，退出（esc+:wq+enter），使配置生效</property>source/etc/profile7） 删除安装包8） 把该文件夹的读