北风大数据o2o十三期课程-dayhbase二03.随堂课件0226深入使用

法 教 品法EDUCATIONTOCREATEABRIGHT本课件包括演示文稿、示例、代码、题库 和；只限于第者的权课 咨 教 品EDUCATIONTOCREATEABRIGHTHBase

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT 包

教 品EDUCATIONTOCREATEABRIGHT HRegionServer的上线和下线信息，并实时通知给HMaster；Zookeeper

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHTHRegion HRegionServer，数据读写 HRegioneServer），HMaster仅仅 HBase&

教 品EDUCATIONTOCREATEABRIGHT实例，比如，启动或者停止HMaster与HRegionServers启动时向 Zookeeper的引入使得HMaster不再单点故障HBase&MapReduce&

教 品EDUCATIONTOCREATEABRIGHTHBase&MapReduce&

教 品EDUCATIONTOCREATEABRIGHTexportHBASE_HOME=/opt/modules/hbase-0.98.6-exportHADOOP_HOME=/opt/modules/hadoop-2.5.0jar$HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHTHBaseAsaData

教 品EDUCATIONTOCREATEABRIGHTHBaseAsaData

教 品EDUCATIONTOCREATEABRIGHTData

教 品EDUCATIONTOCREATEABRIGHTData

教 品EDUCATIONTOCREATEABRIGHTRDBMS抽取数

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT-h_user\

教 品EDUCATIONTOCREATEABRIGHT通常MapReduce在写HBase时使用的是TableOutputFormat方式，在reduce中直接生成put对象写入 Bulk

教 品EDUCATIONTOCREATEABRIGHTe持kad式a的数据信息按照特定格式 hf原理，直接在S中生成持久化的e数据格式文件，然后上传至合适位置，即完成巨量数据法mac，o载据量写入时能极大的提高写入效率，并降低对e节点的写入压力。通过使用先生成，然后再BLa到a的方式来替代之前直接调用aOtptFormat的方法有如下的好：消除了对HBase集群的插入压提高了Job的运行速度，降低了Job的执行时

教 品EDUCATIONTOCREATEABRIGHT- h_user

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHTexportHADOOP_HOME=/opt/modules/hadoop-2.5.0 GeneratingHFilefilesin

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHTDistributed

教 品EDUCATIONTOCREATEABRIGHTRegionServers&

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT热点现象解决办法：RowKey

教 品EDUCATIONTOCREATEABRIGHT总的原则：避免热点现象，提高读写性长度原最大长4K0~100个字1字a元格行 的会 o）散列化，以避免集中到极少数上在满足rowkey设计原则的基础上，往往需要将经常用于查询的字段整合到rowkey上提高检索查询效

教 品EDUCATIONTOCREATEABRIGHT用户首页，用户所关注的其他用 发 列表

教 品EDUCATIONTOCREATEABRIGHT系统比 ？用户 系统，实时接收所关注用户发 HDFS分布式文件系HBase实时查询数据

教 品EDUCATIONTOCREATEABRIGHT内容RowKey ColumnQualifier

教 品EDUCATIONTOCREATEABRIGHTTableName：relationsColumnFamily：cf1ColumnQualifier：使用关注用户的uid作为列 ColumnFamily：cf2粉丝用户ColumnQualifier：使用粉丝用户的uid作为

教 品EDUCATIONTOCREATEABRIGHTRowKey：uid用户账号ColumnFamily：cfColumnQualifier：以关注用户账号作为 1000（最大版本1000，最小版本1000，版本存留时间

教 品EDUCATIONTOCREATEABRIGHT 方式（四种

教 品EDUCATIONTOCREATEABRIGHTcreate'ns1:t1','f1',SPLITS=>['10','20','30',createt1f1'SPLITS_FILEsplits.txtOWNERjohndoecreate't1','f1',{NUMREGIONS=>15,SPLITALGO=>'HexStringSplit'}

教 品EDUCATIONTOCREATEABRIGHThadoophadoopdistcp-ihftp://sourceFS:50070/src重启HBase集hbasehbck-fixAssignments-

教 品EDUCATIONTOCREATEABRIGHT可配置的数据块大小BLOCKSIZE数据块缓存BLOCKCACHETTL单元格存活时间create'ns1:t1',{NAME=>'f1',VERSIONS=>压

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHTcreatet1{NAMEf1{NAMEf2{NAMEf3'}可对每个列簇create't1','f1','f2',

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOC