2024Bit Map在大数据精准营销中的应用

BitMapuid，用户设备号等。还有就是用户标签数据，也达到千万级，包含数据用的社会属性，olap中的概念。除了数据之外还有产品要求，需要在线应用，性能要求较高，必须做到毫HBaseDruid但是我们选用Bit，因为依据数据需求简单而且Bit只有维度没有度量，还有就是维度个数KylinDruiduid4G，因此在几百上千维度查询效率会降低；还有一个就是uid用户量大，Kylin和Druid会将uid和其他维度进行组合会出现很多情况，会额外增加数据量，因此这种请款也不适合用HBASE+BitMapHBASE做数据存储，将HBASE做处理器做并行计算，BitMap构建索引。HBASEactiveregionmasterHfileregionserverHDFSregionserverregionregion一个region会有管理范围，分区是用regionserver管理。HBASE有很多特点，第一个就是海量存储，其底层是基于HDFS，是横向存储，可以加很PB能在2w+；第五个就是稀疏，当列中属性为空，不占用存储空间。前面讲存储是HBASE，计算是HBASE协处理器，HBASE协处理器分为两种，一种是countregion由于串行计算，同时会将数据从服务端加载到客户端。Endpoint会以并行方式实现，会将客户端请求发送到所有region上，每个region分担数据量，最后将数据返回协处理器客可能你们会对BitMap了解很少，其应用场景比较单一，但是在某些方面效果比较好。BitMap底层实现是一个位数组，位数组的value取值只能是0或1，因为是数组，数组下214748364710BitMapBitMapapi1，如图中63571BitMapBitMapBloomfilter，是对应于一组hashmap对应一个BitMap，是牺牲一定错误率来释放存储空间，如在HBASE的索引和爬虫URL判重。但是重点是作为索引，其实它在数据库、搜索引擎和OLAP应用很多。状况两个维度，性别有两个取值，婚姻状况有三个取值，BitMap首先会在维度里面构建BitMap，第一步如何构建性别的BitMap，对于性别这个列，位图索引形成两个向量，男1010010，同理，女向量110000010000010BitMap，首BitMap有很多实现方式，构建框架也有很多。最后我们选用RoaringBitmap，选择的原因在于：我们存储的是整数，将下标标签取值设为1，该框架将整数i的高16位会被用于构造块，存储到keys中，低16位则被看做value，存储到Container[]values中的某个BitMap压。RoaringBitmap在开源框架里应用很多，如olap中有kylin、Druid、piont等，搜索引擎方面有Lucene、slor、Elasticserach等，还有spark、hive、tez等。也有很多实现语言，比如Java、C、C++、Python等。HBASEBitMap化层，给用户提供页面，选择标签，然后接口层传入标签，提供API服务，将选择标签传大（十亿级标签）BitMapMRuid桶、gididbulkloadBitMapregionserveruidididBitMap列化后生成HFile，BulkloadBitMap索引。存储计算层完成Hbase：存储索引数据，Hbasecop：分布式计算，RoaringBitmap计算请求参数：新客营销、存客营销，将请求通过copRegionServer。接口层完nettyhttp接下来讲一下第四部分实现细节，讲几个关键重点：id分区，分区构建BitMap索引，coprocessor实现。用户有十亿，并不是直接将数据构建BitMap，会对id进行分区，依Idididbitmap10存储开销大；id不分区，如果id超过了整数最大范围，无法构建bitmap索引。id，idhbase10id200500idhbaseregionstartkey/endkeyregionrowkey，0-500regionhbaseregion500rowkeyhbasehbaseregion'index',{METHOD=>'table_att',METADATA=>{'SPLIT_POLICY'=> Policy'}},{NAME=>'d',COMPRESSION=>'SNAPPY'},SPLITS=>[‘0005000000’,000,000,000,000 ,'10000000000

000,500roamBitMap会输出rowkey和value。将每一个region里面的标签设为key，标签会对应BitMap，region有范围只会生成相应的BitMap。如第一个region，startkey为0，构建的标签为200500region5005001000id，BitMap有几个特点：每个分区包含部分id，每个分区包含所有标签，Rowkeystartkey_tag，Value：BitMap索引，BitMap下标范围[0,500万)。在后续分区可能idstartkeyidsetid0-500万，避idBitMapregion3BitMap的例子，startkey是1500万，每一个标签对应一个索引。建完索引，接着就是协处理器实现——coprocessor实现，这个其实比较关键，扮演着并regionserver，传给协处理器的服务端，传入Cop-server，比如查询selectidfromtablewhereDim1=tag1_3and(Dim3=tag3_1orDim3=tag3_2orDim3=tag3_3or…)and…and(Dim..n=tagn_1orDim..n=tagn_2or…);用户选择相应维度，返回标签，协处理器客户端会将标签重新组织，变成相关关系tag1_3and(tag3_1ortag3_2ortag3_3or…)and…and(tagn_1ortagn_2or…)，发标