2024Apache HBase的现状和发展

ApacheHBase原生海量数据分布式存储。在单个数据库中可以存档GB甚至上pb。在一行中也可以存储上百万列。任何大小的数据量都适合采用HBase；HBaseLSM(LogStructuredMerge)Tree，它的一个重要的功能就是随机写变成顺序写。现在LSM模型是大数据库的标配。它主要包括如下几个特点：HBase是几乎可以满足所有的大数据场景需求。比如说对象存储，比如说推荐系统。比如HBaseHBasePhoenix，来实现NEWSQL的数据库。比如说HBase加上geomesa来实现时空数据的存储，滴滴HBaseOpenTSDB性化；异构介质多副本存储：海量与实时的性价比满足；ErasureCode：因大而生。HBase2006Powerset,一家从事自然语言处理和搜索的创业公司(后被微软收HBaseGoogleBigTable论文，用来解决HadoopHBase做为一个模块提交到Hadoop的代码库中，代码量~8000行，2010年5月HBase成为Apache的顶级项目，同年，Facebook把HBase使用在其消息平台中。目前HBase的代码已经超过100万行，HBase仍然是最活跃的Apache项目之一，拥有76Committer，42PMC328Contributor14位Committer/PMC没有人管理。最后花了一年多的时间才稳定他的版本发布出来，他的ReleaseManger多RegionRegionReplica1.2修改了很多bug，在1.4版本才稳定下来，然后1.4和2.0是同时发布的。在CAP理论复时间，如果宕机了，客户端可以从另外的副本中去读取数据，RegionReplicaRegion,hostRegionServer对多个副本同时发请求，然后做到选择最快速的那个副本，提供高可用读，宕机0影响，Off-heapRPCNettyOff-heapByteBufferOff-heap的Protobuf。同时使用Off-heap的Chunk来存储Memstore中的KeyValue。在读链路Off-heap方面，使用Off-heapBucketCache，HBase自己管理内存的，我BucketCacheProtobufBucketCache候，内存不会被回收掉，读取时不再需要先拷贝到heap，对BucketCache进行了一系列HBaseHBaseInMemoryHBase2.0InMemoryCompactionHBasejava然内存不断的在增大，但是刷到之后，会造成通过Inmemoryflush不会到hdfs上，反而回转到更加紧凑的CellArrayMap这个结构，同时多个CellArrayMap会在内存中做compactionInmemoryflushcompaction内存中可以存储更多的数据，因此可以提高读性能，同时减少磁盘IO，减轻compaction之前我们建议在HBase上不要存很大的KVMOB(ModerateObjectStorage)功HBase100k~10M中等大小的对象。这使得用户可以把文档、图片对象保存到HBaseflush成一个独立文件，原有的KV中的value只存这个对象的引用路径，对于存储对象文件,更少地进行compaction来减少写入Assignment这是一个非常重要的模块，HBase中的状态流转，建表删表，都需要在AssignmentMangerV2AM易出现RIT问题。所以AMV2使用ProcedureV2来保证Table/Region状态转换在master重启后仍然能恢复执行，然后去除了Zookeeper做为中间角色，Master/RegionServer直接交互，Regionassign/unassgin速度大大提升。HBaseConAsia&开发者圆桌会议HBase已经提供了，Java的API，但是这个案例不