大数据与云计算-雷99课件讲解

主讲人：雷明大数据与云计算知识点HBASE数据库入门3hbase与分布式文件系统hdfs的区别1hbase的结构2hbase的特性HBASE数据库入门HBase本质上是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳。hbase的结构用户在表中存储数据，每一行都有一个可排序的行键和任意多的列。表中的值是未经解释的字符串，没有数据类型。行键列族

cf1列族

cf2列限定符3个时间戳有些列的值是空的，所以HBase是稀疏的hbase的结构逻辑视图vs.物理视图hbase的结构关系型数据库当中要修改表的结构就是很复杂的一件事，比如增加一个字段。举个例子来说，如果我们的成绩表当中忘记了计算机成绩这一列，你都录入了一大半数据才发现，这个时候你要先修改表的结构增加一列，然后在一行一行的输入每个同学的计算机成绩。如果是hbase就简单了，我把这一列直接扩充到hbase里面就可以了。hbase的结构29列族支持动态扩展，可以很轻松地添加一个列族或列，无需预先定义列的数量以及类型，所有列均以字符串形式存储，用户需要自行进行数据类型转换。hbase的结构HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留。若不提供时间戳则默认返回最新版本。数据是按照时间戳顺序存储的，客户端可以选择获取距离某个时间最近的版本，或者获取所有版本。表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族hbase的结构行：每个HBase表都由若干行组成，每个行由行键（row

key）来标识。列族：一个HBase表被分组成许多“列族”（Column

Family）的集合，它是基本的访问控制单元列限定符：列族里的数据通过列限定符（或列）来定位hbase的结构单元格：在HBase表中，通过行、列族和列限定符确定一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte[

]时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引HBase中需要根据行键、列族、列限定符和时间戳来确定一个单元格，因此可视为一个“四维坐标”[行键,列族,列限定符,时间戳]；如果把坐标看成“键”，单元格数据看成“值”，HBase也可看成一个键值数据库。hbase的结构为空的列并不占用存储空间，表可以设计的非常稀疏稀疏性每一列存储的数据可以有多个version。多版本单表可以有百亿行、百万列，数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性。数据容量大HBase特性读写强一致，非“最终一致性”的数据存储，使得它非常适合高速的计算聚合。自动分片，通过Region分散在集群中，当行数增长的时候，Region也会自动的切分和再分配。Hadoop/HDFS集成，和HDFS开箱即用，不用太麻烦的衔接。扩展性强，只需要增加DataNode就可以增加存储空间。HBase特性丰富的“简洁，高效”API（应用程序接口），提供了Thrift/RESTAPI，JavaAPI等方式对HBase进行访问。块缓存，布隆过滤器，可以高效的列查询优化。操作管理，Hbase提供了内置的web界面来操作，还可以监控JMX指标。高可靠，保证了系统的容错能力，WAL机制使得数据写入时不会因为集群异常而导致写入数据丢失。故HBase选择了CAP中的CP。HBase特性面向列的存储和权限控制，并支持独立检索，可以动态的增加列。列式存储：其数据在表中是按照某列存储的，这样在查询只需要少数几个字段的时候，能大大减少读取的数据量。高性能：具备海量数据的随机访问和实时读写能力。HBase特性分布式文件系统(HDFS)是指文件系统管理的物理存储资源不仅存储在本地节点上，还可以通过网络连接存储在非本地节点上。计算机集群的基本架构HBase与HDFS的区别HBase与HDFS的区别

分布式文件系统改变了数据存储和管理方式，相对于本地文件系统具有很存储和管理分布式多优势：低成本易扩展强可靠高可用1

用户无需关心数据是存储在哪个节点上，可以如同使用本地文件系统一样文件系统里的数据。2HDFS优点HDFS是面向批量的访问模式，其类型为文件系统，存储的是文件类型的数据。HBase与HDFS的区别HBase是面向随机访问和实时读写模式，其类型为数据库服务，存储的是非结构化和半结构化的松散数据。HBase使用HDFS作为底层的文件系统，HBase的数据最终会写到HDFS中。就像其他的数据库一样，真正的数据是存储在操作系统里的文件系统中的。HDFS是文件系统，Hbase是数据库。你可以把Hbase当做是MySQL，把HDFS当做是硬盘。Hbase只是一个NoSQL数据库，数据时存放在HDFS上的，Hbase在HDFS上提供了高并发的随机写和支持实时查询，这是HDFS不具备的。HBase与HDFS的区别原生的ApacheHadoopCDH：ClouderaDistributedHadoopHDP：HortonworksDataPlatformHBase属于Hadoop生态体系，所以HBase的版本选择实际就是Hadoop的版本选择。而Hadoop就像Linux一样，也有多个发行版，常用发行版有以下几种：HBase版本链接到客户端的库函数一个Master主服务器许多个Region服务器HBase的主要的功能组件HBase中的表根据Rowkey的值被水平划分成多个分区(Region)，分区会被分发存储到不同的分区服务器上。HBase的主要的功能组件主服务器Master负责管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡，以及处理Schema的变化，如表和列族的创建。HBase的主要的功能组件Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求。分区定位HBase的主要的功能组件元数据表，又名.META.表，存储了Region和RegionServer的映射关系。客户端访问数据之前，需要首先访问Zookeeper获取.META.表的信息，接着访问.META.表，找到所需分区的具体位置，最后到对应的分区服务器读取数据。为加速寻址，客户端会把查询过的位置信息在本地缓存。1本节介绍了分布式数据库Hbase的表结构2HBas