小象学院hbase进阶课程代码exportweek

1、了解了解原理前HBase常用配置整hbase-开启jmx端口用hbase-开启jmx端口用于日志保存位pid文件保存位是否使用hbase托管HBASE_HOME、HBase安装目录与配置目HBase堆大小象学hbase-ulimit -nhbase-ulimit -n 通信、store file需要较多的HBASE_OPTS与通用JVM启动参-XX:NewSize= /根据集群和存储规模考-XX:MaxNewSize= /设定为与NewSize相等，禁用自动扩-XX:+DoEscapeAnalysis /逃逸分pressedOops /压缩指-XX:+HeapDumpOnOutOfMemory

2、Error /oom时dump内-XX:HeapDumpPath=$HBASE_LOG_DIR/ /dump路-XX:CMSInitiatingOccupancyFraction=70 /cms gc开始阈-XX:+UseCMSInitiatingOccupancyOnly /设置达到阈值才进行开启gc 搜索“jvm优化参数整理小象学hbase-随着版本变hbase-随着版本变化参数名会有变新版本中为hbase. true，禁用tcp写缓100，与cpu核数比值过大后意义不50，meta表请求数量会高于用户缓存占HBASE_HEAPSIZE的比0.2，对于随机读较多业务应当适当调60000早期

3、版本region server与master通信超时时region规模较大时建议提高，影响master在region server的心跳中回需要open的小象学hbase-60000，早期true，早期hdfshbase-60000，早期true，早期hdfs需要配置以启用append操false，早期版本中禁用客户端请求的新版本中为1073741824，早期版本中resul最大返可以在同一个hdfs集群中起两个hbase集建议5或7个zk实各类端sysctl net.ipv4.ip_local_port_range = 8192 负载均衡阈|(平均值-rs上region数)|/平均小象学hb

4、ase-hbase-小象学perties-旧 hbase、jvm、rpc、thriftserver、hdfsclient、perties-旧 hbase、jvm、rpc、thriftserver、hdfsclient、监控发送频率，单位为保存记录文件监控服务小象学perties-新perties-新监控 hmaster、 thrift-two、thrift-one、小象学小象小象学小象学新浪微博微信新浪微博微信公号！ThriftThrift Server及使什么是什么是定义数据类型和服务接生成RPC客户端和服务器代小象学Thrift的安yumThrift的安yuminstallautomake

5、libtoolflexbisonpkgconfiggcc- c+ boost-devel libevent-devel zlib-devel python- devel ruby-devel安装依赖环wget HYPERLINK /dist/thrift/0.9.0/thrift- /dist/thrift/0.9.0/thrift- 下载具体需要下载哪版与/usr/lib/hbase/lib/libthrift-版本号.jar有tarzxvfthrift-0.9.0 cd thrift-0.9.0make小象学启动服thrift1与启动服thrift1与搜索“hbase的thrift接口”可

6、以进一步看到对service安装hbase-thrift2-.1.5.0-695.el6.noarch.rpm或对应版service hbase-thrift2 使用默认端hbase thrift2 hbase thrift2 -p指定端小象学生成cd生成cd/usr/lib/hbase/include/thrift thrift gen 语言参数 thrift脚本 thrift -gen cpp hbase2.thrift生成c+ thrift-genjava生成java 小象学编码编码以c+ api搜索“transport类体系研究总结编译以c+ api为-编译以c+ api为-避免uin

7、t32_t未定义的错-官方建议参-thrift cpp类库位-thrift .so文件位-官方建议参hbase2_constants.cpp hbase2_types.cpp thrift gen生成的文我们的源文小象学执行以执行以c+ api为小象学常见负载常见负载均在服务客户端负责均衡发随客户端启RPC代价小象学新浪微博微信新浪微博微信公号！深入深入理解前的简单运HBase Web UIHBase Web UI介绍zk 重点关注Unassigned 小象学HBase HBase Web UI介绍表信region server状HBase Web HBase Web UI介绍新 其他功能只是

8、换了个位log的查log的查.log和查看是否有查看是否有exit，判断是否有线程意外退 可以观察gc耗时，判断内存是否充小象学HBase额外监控痛HBase额外监控痛unassignedregion zk dump或zookeeper中获小象中国大hbck的使hbck的使旧版 w y新浪微博微信新浪微博微信公号！复杂复杂API介绍与举Scan中的Scan中的 第四章 第1小象学Scan中的取每行前N个Scan中的取每行前N个取每行第offset到第N个之间的每行从列名按byte比较大于等于columnOffset的列开始取前N取每行列名为空或符合指定前缀的取每行列名在指定范围内的过滤与指定列

9、的时间戳不等的值，被指定的列可以不包含在结果按列族名称过滤封装的过滤器，用于多种过滤组合判只取每行第一个只取符合指定列名的第一个小象学Scan中的对rowkey按照byteScan中的对rowkey按照byte进行模糊匹构造函数：(ListPair 第一个byte为模式数第二个byte中与模式数组对应，0为需要匹配，1为不需匹扫描到指定行时停只返回key(rowkey，列族，列名，时间戳)，不反回类似ColumnPrefixFilter，但可以指定多个前分页过滤当Scan操作跨服务器执行时返回行数可能会大于指定根据列名的比较结果确定是否保留小象学Scan中的Scan中的小象学Scan中的Sca

10、n中的小象学计数计数小象学计数计数测试小象学计数计数测试hbase小象学中国大数据在线教public void map(ImmutableBytesWritable row, Result value, Context context)配小象学Scanscan)生成的字符串(但是方法对外不可扫描起始扫描结束public void map(ImmutableBytesWritable row, Result value, Context context)配小象学Scanscan)生成的字符串(但是方法对外不可扫描起始扫描结束包含多个重String扫描包含多个重String扫描表Scan 扫描参数

11、对ClassmaperClass Class 输出值类型，可为Jobmapreduce任务配boolean是否自动添加依赖jarClass InputFormat实现有默认使用TableInputFormat的函小象学extendsOutputFormatKEY,忽略KEY的实value必extendsOutputFormatKEY,忽略KEY的实value必须为Put或Delete对将Put或Delete直接写入HBase小象学目的regionserver服务实现类，目前没遇到String输出表Class?String输出表ClassreducerJobmapreduce任务配Classma

12、preduce Partitioner可为空，可使用String目的表所在HBase集群zookeeper配格式为:zookeeper所在机器名(多个实例以,分隔):端口号:HBase根节点StringserverClass、String目的region server服务实现类，目前没遇到使用场可为boolean是否自动添加依赖jar小象学协处理协处理类似触发器或回调函在特定事件发生后执类似存储过通过RPC，调用regionserver端的计算过用户表协处理器需要通过hbase shell或api部署小象学协处理observe协处理observesrObserrmesaerrrserr包含re

13、gioserver事件钩增加了包含write ahead log事件钩子，也就是写入数据多备钩增加了包含调用endpoint事件的钩RegionObserver的一小象学协处理协处理observe继承提供了*Observer接口的默认实某些有返回值的钩子需要有默认实覆盖相关钩子处小象学协处理全局observe部部署Jar协处理全局observe部部署Jar配置observeRegionServerObserver协处理器异常region server是否退建议为小象学协处理表observe协处理表observealter 表名, coprocessor=1 | 2 | 3 | 4 可以是hdf

14、s文件路径，如果已经部署到环境变量中可以忽2：协处理器类必3：优先正整型值，值越低优先级越高，优先级高的先被执行，可为4：协处理器参格式为“参数名=值会被保存到Configuration对象小象学协处理协处理observe 对于表test_table的put操作，在put操作前先写入另外一小象学协处理协处理observe小象学协处理 endpoint协处理 endpoint定义编写region server端代继承生成的实现Coprocessor, CoprocessorService接在客户端通过HTable.coprocessorService的三个函数与regionobserve相小象学

15、协处理协处理 protobuf协 生成代小象学协处理协处理 region server端代小象学协处理协处理 客户端编小象学协处理协处理 部 客户端测小象学协处理可协处理可以辅助监可以协助处理数例如辅助维护索引可以进行统计操各region内统客户端处做归并处但数据量不能太小象学协处理通过endpoint对协处理通过endpoint对大数据进行统计甚至类似join union的操endpoint性能与数据量有当数据量很大时，性能不如数据量大时容易因为计算量大而超没有对资源占用做出估使用多线程过多占用使用过多内存，造成企图使用静态数据进行跨region的计同region server可但大多数情况

16、region分布在不同region server小象学新浪微博微信新浪微博微信公号！数据数据迁移和备份工固定格式文固定格式文件HFile构造数据文文件格式rowkey制表符col1value制表符执行命令,生成mapreduce任在hadoop环境中配置hbase环境变参考练手中对hadoop-config.sh的修hadoop hbase jar /usr/lib/hbase/lib/hbase-server-.1.5.0-695- /usr/lib/hbase/hbase-名参小象学小小象学方式方式编写mpue，outputfom为执行b生成hfiehadoop 表小象学小象小象学新版本

17、hadoop distcp 旧版本表文件目录在“/hbase根目录”0.94及以hbase hbck cd hbase org.jruby.Main add_table.rb /hbase根目录/表小象学小象小象学hadoop jar hbasejar包 -D 表生成文件路版本数 起始时间戳 结束时间戳0.98中：正则表达式或者前缀(用于过滤小象学将export导出的文件中的数据导入将export导出的文件中的数据导入到hbasehadoop jar hbasejar包 -D 重命名列族名格式为“旧列族名:新列 如果指定，则任务会生成hfile用于后续的bulkload，而不直接写入 以下参会失 指定数据过滤类型，如果指定可以在数据写入前进行过 指定数据过滤器后，过滤器构造函数所使用的参 Durability枚举类中枚举值名，用于指定WAL延迟 WAL在原理部分会给出详细小象学小象小象学hadoophadoopjarhbasejarcopytable(早期版本为”Copy -