细细品味Hadoop-Hadoop集群（第11期）-HBase简介及安装_第1页
细细品味Hadoop-Hadoop集群（第11期）-HBase简介及安装_第2页
细细品味Hadoop-Hadoop集群（第11期）-HBase简介及安装_第3页
细细品味Hadoop-Hadoop集群（第11期）-HBase简介及安装_第4页
细细品味Hadoop-Hadoop集群（第11期）-HBase简介及安装_第5页
已阅读5页，还剩42页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

——Hadoop集群(第11期)精华集锦csAxp虾皮工作室ogscomxiapi河北工业大学——软件工程与理论实验室编辑：虾皮1Hadoop集群(第11期)HBase装e够处理由成千上万的行和列所组成的大型数据。pS上来看就像一张很大的表，并且它的数据列可以根据需要动态增加。除此之外，每个cell (由行和列所确定的位置)中的数据又可以具有多个版本(通过时间戳来区别)。河北工业大学——软件工程与理论实验室编辑：虾皮2HBase的服务器体系结构遵从简单的主从服务器架构，它由HRegin服务器(HRegionServer)群和HBaseMaster服务器(HBaseMasterServer)构成。HBaseMaster服务器负ientookeeper也会把自己以Ephemeral方式注册到Zookeeper中，使得HMaster可以随时感知到各个ster河北工业大学——软件工程与理论实验室编辑：虾皮3nnlegionegion含所有行的一个子集。对用户来说，每个表是一堆数据的集合，靠主键来区分。从物理上HRegionServerHRegionServer获取这些数据，一台机器上面一般只运行一个HRegionServer，且每一个区河北工业大学——软件工程与理论实验室编辑：虾皮4amilyele合并过程中会进行版本合并和数据删除，因此可以看出HBase其实只有增加数据，所有的更新和删除操作都是在后续的compact过程中进行的，这使得用户的写操作只要进入内存HBaseIOStoreFilesCompact，会逐步形成越河北工业大学——软件工程与理论实验室编辑：虾皮5HLog动出新的，并删除旧的文件(已持久化到StoreFile中dHBase格式HBaseHadoopHDFS要包括上述提出的两peileR河北工业大学——软件工程与理论实验室编辑：虾皮6eyRowKeyRowKey固定长度的数e2)HLogFile详细描述ceFileSequenceFileKeyHLogKeyionrT先访问ZooKeeper获得-ROOT-的位置，然后访河北工业大学——软件工程与理论实验室编辑：虾皮7KB则询问-ROOT-表相关的.META.表在哪里。最后，如果前面的信息全部失效，则通过ZooKeeperRegion需要进行6MapReduceOnHBaseHBase是MapReduce，如下图：河北工业大学——软件工程与理论实验室编辑：虾皮8HBase是一个类似于BigTable的分布式数据库，它是一个稀疏的长期存储的(存在硬的数据都是字符串，没有类型。，所以同一张表里面的每行数据都可以由截然不同的列。amilyqualifier但是限定符(qualifier)的值相对于每一行来说都是可以改变的。HBase数据存储在同一个目录底下，并且HBase的写操作时锁行3.1逻辑模型我们可以将一个表想象成一个大的映射关系，通过行健、行健+时间戳或行健+列(列HBase某些列可以空出其所属的列族。健“n.www”tachor:=”CNN”tachor:my.lock.ca=”CNN.com”tcontents:html=”<html>…”mime:type=”text/html”tcontents:html=”<html>…”tcontents:html=”<html>…”HBase行 3.2概念模型HBase是按照列存储的稀疏行/列矩阵，物理模型实际上就是把概念模型中的一行进行河北工业大学——软件工程与理论实验室编辑：虾皮9切割，并按照列族存储，这点在进行数据设计和程序开发的时候必须牢记。健“n.www”tcontents:html=”<html>…”tcontents:html=”<html>…”tcontents:html=”<html>…”健“n.www”tachor:=”CNN”tachor:my.lock.ca=”CNN.com”健“n.www”tmime:type=”text/html”4.1先决条件HBase解中，我们axp他节点(包括本地节点)。因为，我们需要使用Hadoop来管理远程的Hadoop和aselib河北工业大学——软件工程与理论实验室编辑：虾皮10.2集群环境iHBase版本：hbase-0.92.0pHadoop集群：称IP地址ppp称IP地址Masterppp安装HBase河北工业大学——软件工程与理论实验室编辑：虾皮11cp/home/hadoop/hbase-0.92.0.tar.gz/usrhbasehadoop“hbase-0.92.0.tar.gz”dusrtar–zxvfhbase-0.92.0.tar.gzmvhbase-0.92.0hbasechown–Rhadoop:hadoophbase/usr”目录gz#将“hbase-0.92.0”文件夹重命名“hbase”河北工业大学——软件工程与理论实验室编辑：虾皮12rm–rfhbase-0.92.0.tar.gz#删除“hbase-0.92.0.tar.gz”安装包河北工业大学——软件工程与理论实验室编辑：虾皮13gz1)配置hbase-env.sh部添加下面的内容sethbaseenvironmenttHBASEMANAGESZKtruehadoopconfJava位置HBase类路径河北工业大学——软件工程与理论实验室编辑：虾皮14h2)配置hbase-site.xmlhbaseconfnfigurationropertynamehbasemaster</name>lueMasterHadoopvalueproperty>ropertysemastermaxclockskewnameproperty>ropertynamehbase.rootdir</name>valuehdfsMasterHadoophbasevalueproperty>ropertyseclusterdistributednamevaluetrue</value>property>ropertysezookeeperquorumnamevalueSlaveHadoop,Slave2.Hadoop,Slave3.Hadoop</value>property>ropertyropertydataDirnamealuehomeusernametmpzookeepervalueproperty>configuration河北工业大学——软件工程与理论实验室编辑：虾皮15itexmlfsdefaultnameHadoophdfseHBasehbasesitexml”中某些选项并不识别机器IP，为了保险起见都设成3)配置regionserversconfppp河北工业大学——软件工程与理论实验室编辑：虾皮16在“/etc/profile”文件的尾部添加以下内容，并使其有效(source/etc/profile)：sethbaseenvironmentxportHBASEHOMEusrhadoopaHadoopMaster的hadoop所在文件夹“/usr/hbase”复制到所有的Slave的“/usr”河北工业大学——软件工程与理论实验室编辑：虾皮17SlaveHadoop务器的“/usr”目录下是否已经存在“hbase”文件夹，确认ot我们现在要给“Slave1.Hadoop”服务器上的用户hadoop添加对“/usr/hbase”权限。chown-Rhadoop:hadoop(用户名：用户组)hbase(文件夹)sourceetcprofile。到此为此在一台Slave机器上的HBase配置就结束了。剩下的事儿就是照葫芦画瓢把剩余的几台Slave机器按照《从“Master.Hadoop”到启动HBase河北工业大学——软件工程与理论实验室编辑：虾皮18aseshHBase示你该命/usr/hbase/bin/start-hbase.sh“Master.Hadoop”机器“Slave*.Hadoop”机器河北工业大学——软件工程与理论实验室编辑：虾皮19关闭HBaseeshsterums河北工业大学——软件工程与理论实验室编辑：虾皮20(3)用户表信息给出了HBase中的表信息及相关属性。(4)Region服务器信息给出了所有Region服务器的地址。eeperMaster页面中用户表信息提供的链接，可以进入用户表页面，如下图所示。该页Region同时还提供了根据行健合并Region器页面河北工业大学——软件工程与理论实验室编辑：虾皮21性民性民专男汉基本信息xieyaowei986@163.com河北工业大学(211工程)求职意向编程语编程语言个个人经历1)担任职务：学生会生活部部长、生活委员、团支书2)获得奖项：二等奖学金(2次)、三好学生(1次)1)担任职务：班长2)获得奖项：优秀班干部(1次)工工作经历个个人评价，上进心强，品德优秀，吃苦耐劳，喜欢团队合作，能积极寄寄言【1】Hadoop实战——陆嘉恒——机械工业出版社【3】Hadoop+Hbase0.90.4完全分布式配置html【4】Hbase安装配置(含分布式ZooKeeper)【5】HBase分布式模式

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论