Hadoop+Hbase安装部署

1、1 环境说明集群中包括4个节点：1个Master，3个Slave，节点之间局域网连接，可以相互ping通，节点IP地址分布如下：机器名称IP地址masterslaveslaveslave3创建hadoop用户以root用户，进入终端执行下面命令useradd hadoop #创建hadoop用户passwd hadoop #设置hadoop用户密码 回车根据提示输入密码和确认密码四个节点上均是Centos 6.5系统，并且必须有一个相同的用户hadoop。若用户名不一致则会造成Hadoop配置不成功。2

2、 所需软件Linux所需软件包括:JavaTM1.6.x以上，必须安装，建议选择Sun公司发行的Java版本。 ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 注：ssh是在应用层和传输层基础上的安全协议这里所需要的JDK,HADOOP,HBASE安装程序包都用root用户权限将其放在/opt目录下，也可根据自己的需要自行选择。3 先决条件3.1 JDK安装和配置3.1.1 卸载自带JDK查看系统是否有自带安装jdk，在终端执行下面命令(因为这里必须使用oracle版JDK1.6以上版本)rootmaster#rpm -qa | grep j

3、dkrootmaster#rpm -qa | grep gcjlibgcj-4.1.2-42.el5java-1.4.2-gcj-compat--40jpp.115上面先确认jdk的具体版本号，然后执行下面领下卸载自带jdkyum -y remove java-1.4.2-gcj-compat--40jpp.115查看是否卸载成功，若不显示版本号则卸载成功java version3.1.2 安装JDK以root用户进入/opt目录下，下输入命令解压./jdk-6u13-linux-x64.bin若出现文件权限问题可以输入下面命令修改jdk文件的权限chmod +x

4、jdk-6u13-linux- x64.bin用文本编辑器打开/etc/profile vi /etc/profile在profile文件末尾加入：JAVA_HOME=/opt/jdk1.6.0_13 #JDK存放地址PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOMEexport PATHexport CLASSPATH输入命令source /etc/profile使修改后的profile生效查看是否安装成功java version3.2 配置ho

5、st文件以root用户，修改/etc/hosts vi /etc/hosts (每台机器都需要配置)在hosts文件末尾加入： master slave slave slave33.3 配置SSH免密码登陆 生成SSH密码对以hadoop用户进入终端输入下面命令$ ssh-keygen -t rsa -P '' -f /.ssh/id_rsa此命令为节点上的用户hadoop生成密钥对。此命令执行完毕生成一对密钥文件 id_rsa（私钥）和 id_rsa.pub（公钥）。一直

6、回车 直到提示成功即可。 生成授权密钥$ cat /.ssh/id_rsa.pub >> /.ssh/authorized_keys此命令是把id_rsa.pub的内容追加到authorized_keys末尾，若authorized_keys文件不存在则会自动创建。 验证本机无密码登录本机运行ssh localhost查看是否实现本机无密码登入ssh第一次输入时会提示相关信息 输入yes回车即可。 远程拷贝密钥通过下面命令把id_rsa.pub拷贝到远程主机scp /.ssh/id_rsa.pub 用户名目标ip:目标主机路径如scp /.

7、ssh/id_rsa.pub hadoop:/home/hadoop/ 追加的远程主机授权文件通过下面命令把远程主机传拷贝过来的密钥追加的本机的授权文件cat id_rsa.pub>>/.ssh/authorized_keys把各台服务器的/.ssh/authorized_keys文件内容合并到一个总的authorized_keys文件把那个总的authorized_keys文件scp到每台服务器，替换原有的authorized_keys文件修改 authorized_keys 的访问权限，只有所有者对 authorized_keys 有读写权限

8、，其他人不允许有写权限，否则 ssh 不能正确工作。执行以下命令： chmod 644 /.ssh/authorized_keys互相SSH对方机器，确认SSH登陆不需要密码4 Hadoop集群配置4.1 下载并解压以root用户，进入/opt目录下，并用下面的命令解压tar -xzvf hadoop-2.2.0.tar.gz4.2 修改配置文件进入hadoop目录下/etc/hadoop文件夹 cd /opt/hadoop-2.2.0/etc/hadoop修改 hadoop-env.sh： vi hadoop-env.sh去掉JAVA_HOME的注释并添加java的安装路径例如：export

9、 JAVA_HOME=/opt/jdk1.6.0_13修改core-site.xml：vi core-site.xml<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!- Put site-specific property overrides in this file. -> <configuration> <property> <!- 用于hdfs命

10、令模块中指定默认的文件系统协议 -> <name></name> <!Master为主节点的host名称-><value>hdfs:/master:9000</value> </property> <!- hadoop文件系统依赖的基础配置 hadoop初始化存放的路径-> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop-2.2.0/tmp</value&

11、gt; </property> </configuration>修改 hdfs-site.xml：vi hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!- Put site-specific property overrides in this file. -><configuration><!- 数据需要备份的数量，

12、默认是3 需要根据自己的需求修改数字-><property><name>dfs.replication</name><value>3</value></property><!- 是否对DFS中的文件进行权限控制-><property><name>dfs.permissions.enabled</name><value>false</value> </property> <!数据存储的位置，可根据具体情况修改地址，多个以逗号隔开-

13、><property><name>dfs.data.dir</name><value>/home/hadoop/data1,/home/hadoop/data2</value> </property> <!单位是字节.表示为每块硬盘保留这么些空间,防止空间爆掉-><property><name>dfs.datanode.du.reserved</name><value>1073741824</value> </property><

14、;/configuration>修改 mapred-site.xml：vi mapred-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!- Put site-specific property overrides in this file. -><configuration><!指定运行时的框架，这里指定yarn-><propert

15、y> <name></name> <value>yarn</value> </property></configuration>修改 yarn-site.xml：vi yarn-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration&

16、gt;<property><!服务名-><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</va

17、lue></property><property><!在resourcemanager的应用程序管理接口的地址-><name>yarn.resourcemanager.address</name><value>master:8032</value></property><property><!调度程序的地址-><name>yarn.resourcemanager.scheduler.address</name><value>maste

18、r:8030</value></property><property><!资源跟踪器地址-><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property><property><!resourcemanager的管理接口的地址-><name>yarn.resourcemanager.admin.address</name&

19、gt;<value>master:8033</value></property><property><!resourcemanager的Web应用程序的HTTP地址。-><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property></configuration>修改 slaves节点vi slavesslave1slave2slave3将已经配置好的 ha

20、doop，拷贝到其他机子上scp -r /opt/hadoop2.2.0 hadoop:/opt/4.3 Hadoop 集群搭建验证将/opt/hadoop-2.2.0文件以及其子文件权限赋予hadoop用户chown -R hadoop /opt/hadoop-2.2.0datanode节点还需将其存储的数据文件目录权限赋予hadoop用户如dfs.data.dir的值为/opt/hadoop/data 执行命令chown R hadoop /opt/hadoop若配置文件中有配置的路径不在/opt/hadoop-2.2.0中的 需要将其文件权限赋予hadoop用户，每

21、个节点都必须赋予文件相应的权限。切换到hadoop用户进入/opt/hadoop-2.2.0/bin文件夹格式化：./hadoop namenode format(配置完成第一次启动必须格式化)进入/opt/hadoop-2.2.0/sbin文件，启动Hadoop: ./start-dfs.sh./start-yarn.sh在master节点，输入jps，查看启动服务进程：31132 Jps26781 NameNode26999 SecondaryNameNode27211 ResourceManagerSlave 节点，输入 jps：31705 NodeManager6599 Jps3157

22、7 DataNode如上所示，则说明服务启动是成功。若hadoop提示在安全模式，可在/opt/hadoop下2.2.0的bin目录输入下面命令离开安全模式./hadoop dfsadmin safemode leave查看是否已经离开安全模式可用下面命令./hadoop dfsadmin safemode get5 HBase集群配置5.1 下载并解压以root用户,进入/opt目录下，并用下面的命令解压tar -xzvf hbase-0.96.1-hadoop2-bin.tar.gz5.2 修改配置文件进入hadoop目录下conf文件夹 cd /opt/hbase-0.96.1-hado

23、op2/conf修改 hbase-env.sh： vi hbase-env.sh去掉JAVA_HOME的注释并添加java的安装路径例如：export JAVA_HOME=/opt/jdk1.6.0_13修改hbase-site.xml：vi hbase-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><!

24、指定HDFS存储的位置-><name>hbase.rootdir</name><value>hdfs:/master:9000/hbase</value></property><property><!是否以分布式的方式部署-><name>hbase.cluster.distributed</name><value>true</value></property><!HBase连接端口-><property><name&

25、gt;hbase.master</name><value>hdfs:/master:60000</value></property><property><!zookeeper节点名称-><name>hbase.zookeeper.quorum</name><value>master,slave1,slave2,slave3</value></property><property><!zookeeper数据存放地址-><name>perty