HBase集群安装部署(完全分布式)(网上huangxin修改版)

1、HBase集群安装部署（完全分布式）标签：hbasehadoopzookeeper分布式安装2016年7月29日08:24:27Huangxin永州职业技术学院分类：hbase（5）版权声明：本文为学习笔记文章，希望爱好大数据的人一起学习。目录(?)+zookeeper 配置(注意：我在配置的时候，由于后面克隆了一台Slave03机器，忘记了在前面的3台机器里面的HOSTS文件里面添加【IP 主机名】映射，导致SSH 连接很慢，超过了30秒，导致Hbase启动的时候超过30秒而Slave03机器的Hbase启动不了（在Slave03 的机器的Hbase日志里面可以查看到原因）)1.Zookee

2、per服务集群规模不小于三个节点，要求各服务之间系统时间要保持一致。我配置的系统的规划是4台机器（1台Master，3台Slave：Slave01，Slave02，Slave03）主机名IP地址端口号Master002181Slave01012181Slave02022181Slave030321812.在Master机的usr/目录下，解压缩zookeeper（执行命令tar zvxf zookeeper.tar.gz）在这里我还使用了【 mv zookeeper版本号 zookeeper

3、修改名称为zookeeper】3.设置环境变量打开/etc/profile文件！内容如下：htmlview plaincopy1. #setjava&hadoop2. 3. exportJAVA_HOME=/usr/jdk4. 5. exportHADOOP_HOME=/usr/hadoop6. 7. exportZOOKEEPER_HOME=/usr/zookeeper8. 9. exportPATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH注：修改完后profile记得执行source /etc/profile

4、命令让文件立即生效4.在解压后的zookeeper的目录下进入conf目录修改配置文件更名操作：mv zoo_sample.cfg zoo.cfg 我的操作是 保留原来的文件复制一个更名 ，更名为：zoo.cfg所以命令为：cp zoo_sample.cfg zoo.cfg5.编辑zoo.cfg (vi zoo.cfg)(注意：这里也可以直接使用界面操作打开编辑)修改dataDir=/usr /zookeeper/data新增server.0=Master:2888:3888 server.1=Slave01:2888:3888 server.2=Slave02:2888:3888server

5、.3=Slave03:2888:3888文件如下：htmlview plaincopy1. #Thenumberofmillisecondsofeachtick2. 3. tickTime=20004. 5. #Thenumberofticksthattheinitial6. 7. #synchronizationphasecantake8. 9. initLimit=1010. 11. #Thenumberofticksthatcanpassbetween12. 13. #sendingarequestandgettinganacknowledgement14. 15. syncLimit=

6、516. 17. #thedirectorywherethesnapshotisstored.18. 19. #donotuse/tmpforstorage,/tmphereisjust20. 21. #examplesakes.22. 23. dataDir=/usr/zookeeper/data24. 25. #theportatwhichtheclientswillconnect26. 27. clientPort=218128. 29. #30. 31. #Besuretoreadthemaintenancesectionofthe32. 33. #administratorguide

7、beforeturningonautopurge.34. 35. #36. 37. #/doc/current/zookeeperAdmin.html#sc_maintenance38. 39. #40. 41. #ThenumberofsnapshotstoretainindataDir42. 43. #autopurge.snapRetainCount=344. 45. #Purgetaskintervalinhours46. 47. #Setto0todisableautopurgefeature48. 49. #autopurge.p

8、urgeInterval=150. 51. 52. 53. server.0=Master:2888:388854. 55. server.1=Slave01:2888:388856. 57. server.2=Slave02:2888:388858. server.3=Slave03:2888:3888注：htmlview plaincopy1. server.0=Master:2888:38882. 3. server.1=Slave01:2888:38884. 5. server.2=Slave02:2888:38886. server.3=Slave03:2888:38887.这四行为

9、配置zookeeper集群的机器（Master、Slave01、Slave02，Slave03）分别用server.0和server.1、server.2、server.3标识，2888和3888为端口号（zookeeper集群包含一个leader(领导)和多个fllower(随从)，启动zookeeper集群时会随机分配端口号，分配的端口号为2888的为leader，端口号为3888的是fllower）6.创建文件夹mkdir /usr /zookeeper/data(注意：这里也可以直接使用界面操作)7.在data目录下，创建文件myid，值为0 (0用来标识Master这台机器的zook

10、eeper )到此为止Master上的配置就已经完成；接下来配置Slave01，Slave02和Slave03.8.把zookeeper目录复制到Slave01，Slave02和Slave03中命令为：（scp r /usr /zookeeper root01:/usr /zookeeper）9.把修改后的etc/profile文件复制到Slave01，Slave02和Slave03中（复制完后记得在Slave01，Slave02和Slave03中执行命令source /etc/profile）10.把Slave01中相应的myid中的值改为1，Slave02中相应的

11、myid中的值改为2,把Slave03中相应的myid中的值改为3 。11.启动，在三个节点上分别执行命令zkServer.sh start12.检验，在三个节点上分别执行命令zkServer.sh statuszookeeper的shell操作启动zookeeper：zkServer.sh start进入zookeeper：zkCli.shhbase配置HBase(NoSQL)的数据模型1.1表(table)，是存储管理数据的。1.2行键(row key)，类似于MySQL中的主键。行键是HBase表天然自带的。1.3列族(column family)，列的集合。 HBase中列族是需要在定

12、义表时指定的，列是在插入记录时动态增加的。 HBase表中的数据，每个列族单独一个文件。1.4时间戳(timestamp)，列(也称作标签、修饰符)的一个属性。行键和列确定的单元格，可以存储多个数据，每个数据含有时间戳属性，数据具有版本特性。如果不指定时间戳或者版本，默认取最新的数据。1.5存储的数据都是字节数组。1.6表中的数据是按照行键的顺序物理存储的。2.HBase的物理模型2.1 HBase是适合海量数据(如20PB)的秒级简单查询的数据库。2.2 HBase表中的记录，按照行键进行拆分，拆分成一个个的region。许多个region存储在region server(单独的物理机器)中

13、的。这样，对表的操作转化为对多台region server的并行查询。3.HBase的体系结构3.1 HBase是主从式结构，HMaster、HRegionServerHBase的伪分布1.在Master上解压缩Hbase压缩文件到/usr里面重命名为：hbase在/etc/profile中设置环境变量：HBASE_HOME，PATH如下：htmlview plaincopy1. #setjava&hadoop2. 3. exportJAVA_HOME=/usr/jdk4. 5. exportHADOOP_HOME=/usr/hadoop6. 7. exportZOOKEEPER_HOME=/

14、usr/zookeeper8. 9. exportHBASE_HOME=/usr/hbase10. 11. exportPATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$JAVA_HOME/bin:$PATH注：修改完成后记得source /etc/profile2.修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下htmlview plaincopy1. exportJAVA_HOME=/usr/jdk2. 3. exportHBASE_MANAGES_ZK=true注意：伪分布式，是使用H

15、base自带的zookeeper。所以export HBASE_MANAGES_ZK=true 为true。如果要使用自己安装的zookeeper的话，就设置为false3.修改文件hbase-site.xml，修改内容如下htmlview plaincopy1. 2. 3. hbase.rootdir4. 5. hdfs:/Master:9000/hbase6. 7. 8. 9. 10. 11. hbase.cluster.distributed12. 13. true14. 15. 16. 17. 18. 19. hbase.zookeeper.quorum20. 21. Master22

16、. 23. 24. 25. 26. 27. dfs.replication28. 29. 130. 31. 注意：因为是伪分布式，所以是在一台机器上的。所以这里要设置副本数为1.不然就会报错。1. 2. 3. dfs.replication4. 5. 16. 7. 如果机器数超过3台，那么可以使用默认设置（默认副本数为3）（默认的话就不需要写上面的设置）4.(可选)修改、usr/hbase/regionservers，（伪分布可以不配置）5.启动，执行命令start-hbase.sh注意：启动hbase之前要先启动hadoop，确保hadoop可写入数据。HBase的完全分布集群1.hbase

17、的机群搭建过程(在原来的Master上的hbase伪分布基础上进行搭建)1.1集群结构，主节点(hmaster)是Master，从节点(region server)是Slave01和Slave02, Slave031.2修改Master上的hbase的几个文件 (1)修改hbase-env.sh的最后一行export HBASE_MANAGES_ZK=false(2)修改hbase-site.xml文件的hbase.zookeeper.quorum的值为Master,Slave01,Slave02,Slave03(3)修改regionservers文件(存放的region server的hos

18、tname)，内容修改为:(里面把Slave机器的主机名都写进去)1. Slave012. 3. Slave024. 5. Slave031.3复制Master中的hbase文件夹到Slave01和Slave02, Slave03中Scp r /usr/hbase root01复制Master中的/etc/profile到Slave01和Slave02, Slave03中，在Slave01和Slave02, Slave03上执行source /etc/profile,让文件立即生效1.4启动集群首先启动hadoop（在m1上start-all.sh），然后启动zook

19、eeper集群（分别在三台机器上zkServer.sh start;可以使用zkServer.sh status查看zk的状态）。最后在Master上启动hbase集群（start-hbase.sh）。HBase Shell操作（增删改查）说明：hbase提供了一个shell的终端给用户交互创建表create users,user_id,address,info (说明:表users,有三个列族user_id,address,info)列出全部表htmlview plaincopy1. list得到表的描述htmlview plaincopy1. describeusers创建表htmlvie

20、w plaincopy1. createusers_tmp,user_id,address,info删除表htmlview plaincopy1. disableusers_tmp2. 3. dropusers_tmp添加记录put 表名,行键(标识),列族:字段,数值示例：htmlview plaincopy1. putusers,xiaoming,info:age,24;2. 3. putusers,xiaoming,info:birthday,1987-06-17;4. 5. putusers,xiaoming,info:company,alibaba;6. 7. putusers,xi

21、aoming,address:contry,china;8. 9. putusers,xiaoming,address:province,zhejiang;10. 11. putusers,xiaoming,address:city,hangzhou;12. 13. putusers,zhangyifei,info:birthday,1987-4-17;14. 15. putusers,zhangyifei,info:favorite,movie;16. 17. putusers,zhangyifei,info:company,alibaba;18. 19. putusers,zhangyifei,address:contry,china;20. 21. putusers,zhangyifei,address:province,guangdong;22. 23. putusers,zhangyifei,address:city,jieyang;24. 25. putusers,zhangyifei,address:town,xianqiao获取一条记录1.取得一个id的所有数据htmlview plaincopy1. getusers,xiaoming2.获取一个id，一个列族的所有数据htmlview plaincopy1. getusers,xiaoming,info3.