Hadoop大数据平台构建与应用(工作手册式)（微课版） 课件 6.1 HBase安装与配置

HBase安装与配置主讲：李强任务描述HBase分布式数据库需要运行在Hadoop完全分布式集群和ZooKeeper分布式协调服务框架上，所以在本任务中，完成该组件的基本安装后，主要是针对Hadoop集群及ZooKeeper集群的相关属性配置，以及HBase本身的集群框架部署。任务分析由于Hadoop版本和HBase版本之间的兼容性问题，如果是Hadoop2.7.7版本基本与目前HBase的各版本均兼容，但是Hadoop3.1.4版本只兼容HBase2.3.X和HBase2.4.X，所以本项目选择HBase2.4.11版本部署。6.1.1master节点安装HBase组件1．解压安装文件本手册所使用的版本是HBase2.4.11，可以从HBase官网下载。下载好的安装包都需上传到指定目录下，本手册指定为/root/目录，使用ls/root/命令可以查看上传的安装包（具体上传方式请参考项目1），如图6-1所示。图6-1查看安装包1．解压安装文件使用tar命令解压HBase到/usr/local/src文件夹，并切换到安装目录下查看，可以使用ls查看解压后的效果，如代码6-1所示，效果如图6-2所示。代码6-1解压安装包图6-2查看解压好的安装包tar-zxvfhbase-2.4.11-bin.tar.gz-C/usr/local/src/ls/usr/local/src/2．修改文件夹名称由于解压后的文件夹名称带有比较复杂的版本号，为了简化后续配置，此处修改文件夹名称。使用mv命令将解压的hbase-2.4.11目录重命名为hbase，如代码6-2所示，效果如图6-3所示。代码6-2重命名文件夹图6-3重命名文件夹mv/usr/local/src/hbase-2.4.11/usr/local/src/hbasels3．修改环境变量文件为了可以在任何目录下直接执行HBase的相关命令，可以在环境变量文件中添加HBase的环境变量。参考项目2，使用vi/root/.bash_profile将如表6-1所示的配置信息添加到/root/.bash_profile文件的末尾，保存退出。表6-1环境变量文件的添加内容#setHBaseenvironmentexportHBASE_HOME=/usr/local/src/hbaseexportPATH=$HBASE_HOME/bin:$PATH4．生效用户环境变量文件在master节点上运行如代码6-3所示的命令，使master节点上配置的HBase的环境变量生效。代码6-3master节点生效环境变量source/root/.bash_profile6.1.2master节点修改配置文件1．修改hbase-env.sh配置文件hbase-env.sh是HBase执行时去加载Hadoop环境变量和ZooKeeper的配置文件，用于指定Hadoop环境变量和ZooKeeper配置，修改文件内容，如代码6-4所示。代码6-4修改hbase-env.sh文件cd/usr/local/src/hbase/conf/vihbase-env.sh该文件中需要修改三处设置：首先是JAVA_HOME需要设置为项目1中安装java的路径；同时将HBase_CLASSPATH配置为项目2中安装的Hadoop路径；HBase_MANAGES_ZK在配置文件偏后的位置，读者需要自行查找，其默认值为true表示使用HBase自带的ZooKeeper，需要改为false表示使用在Hadoop上装的ZooKeeper服务。另外请注意将配置项前面的“#”去掉，具体设置参考内容，如表6-2所示。表6-2文件的添加内容exportJAVA_HOME=/usr/local/src/java#修改Java安装位置exportHBASE_CLASSPATH=/usr/local/src/hadoop/etc/hadoop/#修改HBase类路径exportHBASE_MANAGES_ZK=false#修改true为falseexportHBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"#去掉前面的#2．修改hbase-site.xml配置文件hbase-site.xml是HBase集群运行必须的核心配置文件，用于配置Hadoop集群相关和ZooKeeper集群相关的属性，修改文件，如代码6-5所示。代码6-5修改hbase-site.xmlcd/usr/local/src/hbase/conf/vihbase-site.xml2．修改hbase-site.xml配置文件可以将文件中<configuration>和</configuration>一对标签之间的配置项内容先删除，然后追加配置信息，如表6-3所示，保存退出。表6-3HBase-site.xml配置文件的修改内容<property><name>hbase.rootdir</name><value>hdfs://master:9000/hbase</value>#使用9000端口</property><property><name>.port</name><value>60010</value>#使用master节点60010端口</property><property><name>hbase.ZooKperty.clientPort</name><value>2181</value>#使用master节点2181端口</property>......省略2．修改hbase-site.xml配置文件该文件需要添加的配置项参数，如表6-4所示。表6-3HBase-site.xml配置文件的修改内容序号配置项默认值修改值1hbase.rootdir${hbase.tmp.dir}/HBasehdfs://master:9000/hbase2.port16000600103hbase.ZooKperty.clientPortlocalhost21814ZooKeeper.session.timeout600001200005hbase.ZooKeeper.quorumlocalhostmaster,slave1,slave26hbase.tmp.dirjava.io.tmpdir/HBase−{}/usr/local/src/hbase/tmp7hbase.cluster.distributedfalsetrue3．创建临时数据文件夹由于在上面的配置文件中配置了HBase的临时文件夹信息，使用如代码6-6错误!未找到引用源。所示的命令创建临时文件夹目录。代码6-6创建文件夹文件mkdir/usr/local/src/hbase/tmp4．修改regionservers文件可以将文件中<configuration>和</configurataregionservers文件中标识HBase集群中的从节点，使用“viregionservers”删除该文件中原有“localhost”内容，在文件中追加配置信息，如表6-5所示，保存退出。ion>一对标签之间的配置项内容先删除，然后追加配置信息，如表6-3所示，保存退出。请注意：regionservers文件中添加的内容结尾不允许有空格，文件中不允许有空行。表6-3HBase-site.xml配置文件的修改内容slave1slave26.1.3在Slave节点安装HBase1．同步配置文件到Slave节点将master上配置好的HBase文件夹内容和环境变量文件分别分发到slave1和slave2节点，分发命令，如代码6-7所示。代码6-7分发HBase配置scp-r/usr/local/src/hbaseslave1:/usr/local/src/scp-r/usr/local/src/hbaseslave2:/usr/local/src/scp/root/.bash_profileslave1:/root/scp/root/.bash_profileslave2:/root/2．生效用户环境变量文件在每个节点上运行如代码6-8所示的命令，使每个节点上配置的HBase的环境变量生效。代码6-8Slave节点生效环境变量文件source/root/.bash_profile6.1.4启动HBase集群启动HBase集群启动HBase之前，需要先启动Hadoop集群、ZooKeeper集群。请读者自行确定是否启动了Hadoop和ZooKeeper集群（参考项目2和项目5）。启动HBase之前，先用jps查看master和slave1的Java进程情况，如图6-4、图6-5所示。图6-4HBase启动前master进程图6-5HBase启动前slave1进程启动HBase集群接下来在master节点启动HBase，如代码6-9所示，并查看Java进程。代码6-9启动hbase代码start-hbase.sh启动后过程提示如图6-6所示，能看到分别在三个节点启动了HBase。图6-6HBase启动过程启动HBase集群现在用jps分别在查看master和slave1的Java进程情况，如图6-7、图6-8所示，发现master节点多了一个HMaster进程；slave1节点中多了H