课时20剥丝抽茧说配置下_第1页
课时20剥丝抽茧说配置下_第2页
课时20剥丝抽茧说配置下_第3页
课时20剥丝抽茧说配置下_第4页
课时20剥丝抽茧说配置下_第5页
已阅读5页,还剩37页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、剥丝抽茧说配置(下)全量配置调研使用建议先看一遍 了解都有哪些重要模块 了解模块中参数可配再在使用hbase的过程中,根据情况找相应组件的可用参数 根据应用再次熟悉相关部分当做学习源码的过程中的辅助材料可以提前了解一个配置的基本含义进而对初始化相关代码有更清晰思路小象学院客户端t.non.enabled是否开启Nonce功能,该功能可以防止increment与append这两类操作由于请求重试造成的错误赋值。默认值为true。scan.setLoadColumnFamisOnDemand与hbase.hregion.scan.loadColumnFamisOnDemand是否按照需要加载列族数

2、据,当使用过滤器时,有可能列族的数据都会被过滤掉,这时就可以减少一次数据。如果客户端没有设置此值,在region server处理用户请求时,则会上述配置默认值为true。小象学院集群配置hbase.trapanreceiver.classes运行追踪信息接收类,默认为空。详情参考Tracing in HBase。Appendix M Enabling Dapper-like小象学院masterhbase.master.maxclockskewmaster在处理region server启动时,会比较启动时间与master当前时间差,用以确定两者之间时钟是否差距较大时钟差距超过此阈值时,抛出异

3、常,异常会抛回region server。注意:不要配置的过小,因为从region server启动到master比较时钟差之间本身也会有时间间隔。默认值30000mshbase.master.warningclockskew基于上个操作,如果时钟差超过此阈值,会输出警告日志,但是region server会正常启动默认值10000mshbase.online.schema.update.enable配置修改表前是否可以不disable表,默认值为truehbase.master.log.replay.wait.region.timeout当region server挂掉后,region再重新

4、分配前会进行spliting log,在spliting log前,处理超时时间,默认值为15000mshbase.catalogjanitor.ervalregion split后,由master判断父region何时回收。此阈值配置检测间隔。默认值为300000ms小象学院masterhbase.master.event.waiting.time当master处理删表或disable表时,检测region处理结果的时间间隔,默认为1000mshbase.master.wait.on.region删除表时,等待region卸载的最长时间,超时后会抛出异常,异常会被抛回客户端。默认值为3000

5、00ms。hbase.master.regionmerge.timeoutmerge region分为两步:第一步将两个region挂载到同一region server,第二步由region server处理merge请求。该阈值用于配置第一步超时时间以及第二步等待迁移后的region挂载的超时时间,默认值为120000ms。hbase.catalog.verification.timeout当master启动或meta表所在region server挂掉后,等待meta表region信息写入zookeeper的超时时间,默认值为1000ms。hbase.catalog.verificatio

6、n.retries当meta表所在region server挂掉后,等待meta表region失败后的重试次数,默认值为10。t.catalog.timeout客户端建表请求需要等待meta表加载完毕。等待超过此阈值则抛出异常,异常最终抛回客户端。默认值为10000ms。小象学院masterhbase.master.um.server.attempts当master检测到region server挂掉时,会发送请求检测其是否真的挂掉。此配置为检测时无法连接后的重试次数。默认值为10。hbase.table.lock.enable当master处理表的disable、create等操作时,往往需

7、要对表上锁,防止互斥操作的并发,锁信息保存在zookeeper中。此配置表示是否使用表锁,默认值为true。hbase.table.wriock.timeout.ms当启用表锁时,写锁的超时时间,默认值为600000ms。hbase.table.read.lock.timeout.ms当启动锁时,读锁的超时时间,默认值为600000ms。hbase.table.lock.expire.ms 所有锁的超时时间,hbck会使用此值超时的锁,默认值为600000space.init.timeout命名空间初始化时,会等待空间内的表加载完毕,如果超过此阈值,则跳

8、过初始化。延迟到到使用时命名空间时进行。默认值为60000ms。小象学院masterhbase.master.hfilecleaner.ttl与hbase.master.logcleaner.ttllog spliting后的无用文件会保存时间超过此阈值过后才会被删除,默认值为300000ms。更详细的说明可以搜索“HFile和HLog的回收机制 Bigdata Blog”。hbase.master.hfileclean hbase.master.hlogcleanlugin luginapshot.period与 apshot.period更新快照所使用的hfile与hlog的频率,更新后的

9、信息用于删除无用的hfile和hlog。默认值为300000cedure.master.classes可以配置.cedure.MastrocedureManager的子类列表。多个类以逗号分隔。默认值为空串。该配置用于启动与master生命周期同步的对象,master在启动时会将相关参数传递给类实例。在master运行过程中可以通过HBaseAdmin.execProcedure向其发送请求;通过HBaseAdmin.isProcedureFinished确定请求是否执行完毕。快照的相关请求,是通过这个机制实现的,功能类似m

10、aster端的协Observe处理器。小象学院master启动master启动时会从zookeeper中拿到的region server。之后在启动快要结束时,会有一段时间处在等待region server汇报的状态,对于无法获取状态的region server,master会认为其已下线。以下四个参数用以决定等待时间。hbase.master.wait.on.regionservers.maxtostart 当已汇报的region server数量大于此值时,停止等待。 默认值为eger.MAX_VALUE。如果小于下个配置值,则取eger.MAX_VALUE。hbase.master.wa

11、it.on.regionservers.mostart当汇报的region server未达到此阈值时,不退出等待,默认值为1。如果配置为小于1的值,则取1。hbase.master.wait.on.regionservers.timeout当等待时间小于此阈值时,不退出等待,默认值为4500ms。hbase.master.wait.on.regionservers.erval如果目前距上次有新region server汇报时间间隔小于此阈值,不退出等待。默认值为1500ms。小象学院masterregion分配&负载均衡hbase.balancer.susPeriod负载均衡所使用的集群信息

12、更新间隔,默认值为60000mshbase.online.schema.update.enable配置修改表前是否可以不disable表,默认值为truehbase.assignment.already.ransition.waittime在处理region分配时,如果被处理的region已经有其他处理操作,则等待该配置值后重试默认值为60000mshbase.regionserver.rpc.startup.waittime在处理region分配时,如果目标region server尚未完成启动,则等待该配置值后重试默认值为60000mshbase.master.startup.retain

13、assignmaster启动时,是否重新分配所有用户表region默认为truehbase.metrics.rit.stuck.warning.threshold当region操作被处理的时间超过此阈值后,在metrics中会计算入ritCountOverThreshold的值默认值为60000ms小象学院masterregion分配&负载均衡hbase.bulk.assignment.threool.size批量分配region以及批量disable region批时的线程池中的线程数默认值为20hbase.bulk.assignment.waiton.empty.rit批量分配region

14、、批量disable region以及批量重新加载region后,等待处理完成时间默认值为300000mshbase.bulk.reopen.threool.size批量重新加载region时的线程池中的线程数默认值为20hbase.bulk.waitbetn.reopen批量重新加载region时,卸载region后,检测region操作是否已处理完毕,如未完毕则等待一会儿再次检测。此阈值配置对于一个region的检测间隔。默认值为0。小象学院masterregion分配&负载均衡hbase.balancer.max.balancing负载均衡操作最大执行时间,超过该阈值则中断执行,重划负载

15、均衡。默认值为-1。如果值为-1,则会被设置为hbase.balanceriod的值,如果小于0后续的版本中应该也会被设为hbase.balanceriod的值,因为代码中的逻辑有异常。hbase.master.loadbalance.bytable 负载均衡规划时,是否为每个表分别规划,默认值为false。代码注释中设为false。小象学院masterregion分配&负载均衡hbase.master.loadbalance.bytable 负载均衡规划时,是否为每个表分别规划,默认值为false。代码注释中hbase.master.loadbalancer.class设为false。负载均

16、衡实现类,默认值为.apache.hadoop.hbase.master.balancer.StochasticLoadBalancer(综合考虑region加载情况、表加载情况、memstore大小以及store file大小,随机提取两个region server计算迁移代价)。可选值有.apache.hadoop.hbase.master.balancer.FavoredNoadBalancer(优先临近HDFS文件)和。.apache.hadoop.hbase.master.balancer.SimpleLoadBalancer(根据加载情况负载均衡)。StochasticLoadBa

17、lancer简单流程随机选取迁移的源和目的region server,根据region数量以及随机选取的规则(每次从三种中随机选取)计算迁移计划。根据每种考虑的属性计算Cost并乘以权重,这里的Cost是指根据当前状态和迁移计划计算出的成本。当所有属性计算完毕,可以得到一个整体成本值。与之前较优的成本值比较(初始成本为最大),如果高于之前的成本值,则不使用当前计划。否则则使用当前计划。重复02步直到配置的不重复次数限制。小象学院masterregion分配&负载均衡StochasticLoadBalancer中的参数:hbase.master.balancer.stochastic.maxRu

18、nningTime进行随机计算的最多次数,默认值为1000000。hbase.master.balancer.stochastic.stepsPerRegion每个region进行的随机计算的次数,默认值为800。当计算最多计算次数时取上个配置和此配置*总region数*region server数的最小值。hbase.master.balancer.stochastic.moveCost迁移一个region带来的Cost的权重,默认值为100。hbase.master.balancer.stochastic.maxMovePercent最多可迁移的region的百分比,默认值为0.25。当总

19、region数乘以百分比小于600时,最多可迁移的region数量为600。hbase.master.balancer.stochastic.regionCountCostregion server中region数量与平均值相差带来的Cost的权重,默认值为500.hbase.master.balancer.stochastic.tableSkewCostregion server中表不均分布带来的Cost的权重,默认值为35.hbase.master.balancer.stochastic.localityCostregion与其hdfs文件位置不一致所带来的Cost的权重,默认值为25.h

20、base.master.balancer.regionLocationCacheTime缓存region数据文件位置的时间,默认值为30分钟。小象学院masterregion分配&负载均衡StochasticLoadBalancer中的参数:hbase.master.balancer.stochastic.readReq hbase.master.balancer.stochastic.writeReqost与 ostregion读写不均匀所带来的Cost的权重,默认值均为5.hbase.master.balancer.stochastic.memstoreSizeCostmemstore大小

21、不均所带来的Cost的权重,默认值为5.hbase.master.balancer.stochastic.storefileSizeCoststore file大小不均所带来的Cost的权重,默认值为5.小象学院mastersplitting loghbase.splitlog.zk.retriessplitting log的过程中,对于zookeeper操作的重试次数,默认值为3。hbase.splitlog.max.resubmitsplitting log任务的最多重试次数,默认值为3。hbase.splitlog.manager.timeout当spliting log任务长时间未结束

22、后,会重试。重试前,如果发现执行任务的region server为被标记为下线,则不会重试,直到任务执行时间超过此阈值。默认值为180000ms。hbase.splitlog.manager.unassigned.timeout当最后一次创建spliting log任务距现在超过此阈值,且任务还未停止的话,则重试全部未完成spliting log任务,也就是说重默认值为180000ms。划。hbase.splitlog.manager.timeoutmonitor.period 检测spliting log任务超时的时间间隔,默认值为1000ms。hbase.master.distribute

23、d.log.replay是否直接在splitting log后重演hlog。这是一个实验性的功能,默认为false。需要hfile.format.ver被设置为3时方能生效。注意:默认设置为false的功能一般要么是过时的,要么是实验性质的。小象学院master快照处理hbase.snapshot.master.timeoutMillis快照处理的超时时间,默认值为60000ms。hbase.snapshot.master.wakeMillis建立快照过程中,检测是否发生异常停止等待的时间间隔。默认值为500ms。hbase.snapshot.master.threads快照处理的线程池中的最

24、大线程数,默认值为1.hbase.snapshot.threool.max响应快照操作线程池中的最大线程数,默认值为8lis响应快照相关操作超时时间,60000ms。hbase.snapshot.format.ver快照文件格式版本,默认值为2.小象学院region serverhbase.regionserver.regionmerge.open.log.ervalsplit和merge region的过程中,在加载region阶段打印“Opening region名”日志的时间间隔。默认值为10000ms。hbase.sto

25、rescannarallel.seek.enable 当需要对多个storefile进行seek操作时,是否允许并行执行。默认值为falsehbase.storescannarallel.seek.threads当上个配置为true时,并行执行线程池中的最大线程数。默认值为10。hbase.hbck.assign.timeouthbck中等待region分配和挂载完成的时间,超过此阈值则会抛出异常。默认值为120000cedure.regionserver.classes可以配置.cedure.RegionServroced

26、ureManager的子类列表。多个类以逗号分隔。默认值为空串。该配置用于启动与region server生命周期同步的线程,用户可以根据api中给出的参数(协处理器中曾用到的RegionServerServi类实例)操作region server中的信息。hbase.regionserver.thread.merge merge region的线程池中的线程数,默认值为1.小象学院region serverhbase.hash.type过滤器中所使用的hash值计算算法,默认值为murmur。 可选值有jenkins、murmur3。hbase.dynamic.jars.dirjar包保存位

27、置,默认值为空。目前比较有用的地方只有自定义过滤器的加载。hbase.hstore.open.and.close.threads.max打开或关闭storefile的线程池中的最大线程数,默认值为1.hbase.hstore.open.and.close.threads.max打开或关闭store(列族对象)的线程池中的最大线程数,默认值为1.hbase.busy.wait.multipr.max与hbase.busy.wait.duration执行用户在同一行的请求时,会先获相关行锁再获取一个读锁用于防止请求处理与flush并发。获取读锁的超时时间为min(hbase.busy.wait.d

28、uration * min(hbase.busy.wait.multipr.max, 行锁数), t.call.purge.timeout).两者默认值分别为2和60000ms。小象学院region serverhbase.hregion.implRegion对象的实现类,默认值为主要用于测试。hbase.rowlock.wait.duration.apache.hadoop.hbase.regionserver.HRegion。 客户端请求时,等待行锁的超时时间。默认值为30000lisecsregion se

29、rver会对用户请求中的时间戳进行比较,如果用户时间戳大于当前时间戳加此配置的值,则将向客户端抛出异常。默认值为Long.MAX_VALUE。sor.timeout处理用户请求的超时时间,默认值为60000ms。设置为-1禁用超时。t.retries.number与t.sleep.before.retries hdfs客户端操作重试次数以及重试前休眠时间。默认值分别为10和1000ms。hbase.regionserver.numregionstoreport向master汇报的region的个数,注释中说明目前只汇报前hbase.regionserv

30、er.numregionstoreport个region。后续需求是汇报负载最大的前hbase.regionserver.numregionstoreport个region。默认值为10.小象学院region serverhbase.regionserver.non.enabled服务端是否开启Nonce功能,该功能可以防止increment与append这两类操作由于请求重试造成的错误赋值。默认值为true。hbase.server.hashNonce.gracePeriod 用户increase和append的Nonce信息缓存时间,默认值为1800000ms。hbase.regionse

31、rver.ipc.address region server绑定到具体ip、机器名或hbase.regionserver.checksum.verify,会使hbase.regionserver.dns.*的配置失效 是否在hbase一侧验证数据完整性,默认值为true,这会禁用hdfs一侧的数据完整性验证。hbase.regionserver.executor.*.threads*包括openregion(加载region)、closeregion(卸载region)、openmeta(加载meta region)、closemeta(卸载meta region)分别对应不同类型操作的最大线

32、程数其默认值分别为3,3,1,1.小象学院region serverhbase.hstore.time.to.purge.deletes删除标记保留时间,默认为0,第二次major compaction时删除。hbase.hstore.bulkload.verifybulkload时,是否校验hfile文件。默认值为false。hbase.hstore.bytes.per.checksum生成storefile时,没多少数据生成一次checksum信息。默认值为16KB,配置时请使用字节值。hbase.hstore.checksum.algorithmchechsum算法,默认值为CRC32。

33、可选值有NULL、CRC32C。hbase.shutdown.hook是否执行进程关闭钩子,默认值为true。hbase.fs.shutdown.hook.wait进程关闭钩子线程超时时间,默认值为30000ms。hbase.regionserver.replication.handler.countreplication请求handler数。hbase.regionserver.metahandler.countmeta表handler数。小象学院region serverHLOG的spliting、重演以及滚动hbase.hregion.edits.replay.skip.errors和h

34、base.skip.errors 当重演HLOG重现异常时,是否忽略异常,默认值为false。hbase.hstore.report.erval.edits重演HLOG时,每隔多少条HLOG更新一次重演进度,进度信息可在WEB UI中看到。默认值为2000。hbase.hstore.report.period重演HLOG时,每隔多长时间更新一次重演进度,进度信息可在WEB UI中看到。默认值为配置hbase.master.assignment.timeoutmonitor.timeout的一半。hbase.splitlog.report.periodspliting log时,每隔多长时间更新

35、一次进度,进度信息可在WEB UI中看到。默认值为配置hbase.splitlog.manager.timeout的三分之一。hbase.splitlog.manager.timeoutsplitting log超时时间,默认值为120000ms。hbase.regionserver.wal.max.splitters最多并行的splitting log任务数,默认值为2.hbase.regionserver.disallow.writes.when.recovering恢复region时(即重演HLOG时),是否允许写入操作。小象学院region serverHLOG的spliting、重演

36、以及滚动hbase.log.replay.retries.number重演HLOG操作重试次数,默认值为8.hbase.log.replay.rpc.timeout重演HLOG操作超时时间,默认值为30000ms。 hbase.regionserver.hlog.blocksize和 hbase.regionserver.logroll.multiprHLOG长度当达到两个配置相乘时,回滚日志。默认值分别为HDFS block大小和0.95.hbase.regionserver.maxlogs最多HLOG文件数,超过此值则强制执行一次回收HLOG,默认值为32.hbase.regionserv

37、er.hlog.tolerable.lowreplication HLOG被分数最低可备份数,如果小于此值则将开始滚动HLOG。默认值取自HDFS。hbase.regionserver.hlog.lowreplication.rolllimit如果由于上个配置,滚动HLOG,则连续次数最多不得超过此阈值。超过此值则有可能由于datanode数少于备份数导致。默认值为5.小象学院region serverHLOG的spliting、重演以及滚动hbase.regionserver.hlog.enabledHLOG是否可用,默认值为true。hbase.hlog.asyncer.numberHLO

38、G异步写入线程数,默认值为5.hbase.hlog.open.timeoutHLOG文件打开超时时间,默认值为300000ms。 hbase.regionserver.hlog.reader.impl与 hbase.regionserver.hlog.writer.implHLOG文件读写类。默认值分别为.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader和.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter。hbase.regionserver.hlog.splitlog.bu

39、ffersizesplitting log的缓冲大小,默认为128MB。hbase.regionserver.wal.logreplay.batch.size重演HLOG操作中一次最多append的HLOG数。默认值为64.hbase.regionserver.hlog.splitlog.writer.threadssplitting log的写入线程数,默认为3.小象学院region serverHLOG的spliting、重演以及滚动hbase.hlog.split.skip.errors与 hbase.regionserver.hlog.splitlog.corrupt.dir 在spl

40、it执行中发生的任何错误会被,有问题的WAL会被移动到HBase rootdir目录下的“.”加上 hbase.regionserver.hlog.splitlog.corrupt.dir配置值的目录,接着进行处理。如果设置为 false,异常会被抛出,split会错误。默认设置为 true。hbase.splitlog.report.erval.loglines每隔多少条HLOG更新一次spliting log进度,默认值为1024.hbase.splitlog.report.openedfiles当写入文件数大于此阈值时,开始更新进度。默认值为3.hbase.splitlog.manage

41、r.timeoutsplitting log处理超时时间,默认值为120000ms。hbase.regionse HLOG是否可以压缩,默认值为false。hbase.regionserver.prespres如果上个配置为true。当开启了Cell tag时,tag信息是否允许压缩,默认值为true。hbase.regionserver.waltrailer.warn.sizeprotobuf在写入HLOG数据时,如果堵塞超过此阈值,则输出警告日志。默认值为1MB,配置时请使用字节值。小象学院region serverHLOG的spliting、重演以及滚动hbase.regionserve

42、r.wal.codec Cell内容编码值HLOG是使用的编码类,默认值为.apache.hadoop.hbase.regionserver.wal.WALCellCodec。 可选值有.apache.hadoop.hbase.regionserver.wal.SecureWALCellCodec。hbase.regionserver.logreplay.timeout重演一条HLOG时的超时时间,默认值为60000ms。小象学院region servermemstorehbase.regionserver.flush.per.changes 距上次memstore flush后,多少个数据写

43、入操作后进行flush。 需要配置为小于的值。默认值为。ausehbase.hstore.flush.retries.number与hbase.servflush失败时的重试次数以及重试前的休眠时间。默认值分别为10和1000.hbase.hregion.memstore.ckpool.maxsizehbase.hregion.memstore.mslab.enabled配置为true时使用的配置。memstore缓冲池最大占用内存大小,通过hbase.regionserver.global.memstore.upperLimit计算出的内存大小和该配置计算。默认值为0.0。hbase.hre

44、gion.memstore.ckpool.initialsize 缓冲池初始化比例,默认值为0.0.hbase.hregion.memstore.mslab.cksize缓冲池中,每个块的大小,默认值问2MB,配置时请使用字节值。 hbase.hregion.memstore.mslab.max.allocation hbase.hregion.memstore.mslab.enabled配置为true时使用的配置。使用堆外内存保存memestore内容时,单次可申请的最大内存大小。hbase.hstore.flusher.countmemstore flush线程数,默认值为2.小象学院re

45、gion servercompactionhbase.regio hbase.regiopaction.large与 paction.small根据compaction参与的总文件大小,compaction会被划分到不同的线程池中执行。为大文件两者默认值均为1.paction,为小文件paction。如果put频率或小文件bulkload频率很高,建议增加small的值,如果大文件bulkload频率较高,则建议增加large的值。hbase.hstore.engine.classhstore io引擎,由于compaction策略、keyvalue比较器类型和store file管理器类型互

46、不兼容,所以通过绑定。.apache.hadoop.hbase.regionserver.StoreEngine的实现类将他们默认值为.apache.hadoop.hbase.regionserver.DefaultStoreEngine。是之前的默认策略的整合。传统compaction机制和配置可搜索“深入分析HBase Compaction机制”。可选值为.apache.hadoop.hbase.regionserver.StripeStoreEngine。Stripe是0.98中增加的试验功能,Stripe面向规模较大的region或不均匀的region,对其 minor/majorco

47、mpaction进行优化,减少参与compaction的总文件大小。其原理是将region中的rowkey划分成不同的子段,子段中的store的paction单独处理。更详细的Stripe说明可以搜索“Stripe Compaction”。小象学院region servercompactionhbase.hstorepactor.class 使用DefaultStoreEngine时,compaction的处理类。 默认值为.apache.hadoop.hbasppactionpolicy.classpactor。hbase.hstore使用Def时的paction选取参与文件策略。默认值为.

48、apache.hadoop.hbaspacpactionPolicy。该策略尝试所有可能性,并选取符合条件的总文件大小最小的文件集合。可选值有.apache.hadoop.hbaspactpactionPolicy。该策略为搜索到的“深入分析HBase Compaction机制”中所描述的机制。hbase.hstore.defaultengine.storeflusher.class使用DefaultStoreEngine时的memstore flush处理类。默认值为.apache.hadoop.hbase.regionserver.DefaultStoreFlusher。plete完成后是

49、否移动文件到适当位置、paction文件大小、执行协处理器钩子等操作。默认值为true。hbase.regionserver.servlet.show.queuedump WEB中是否输出paction队列信息。默认为true。小象学院region servercompaction使用StripeStoreEngine时的相关配置hbashbaspaction.minFilesL0paction的最小文件数。默认值为4.paction.flushToL0层进行是否可以向L0层flush新文件。默认值为false。hbaspaction.minFilesL1层各stripe(分片)compact

50、ion的最小文件数。如果hbas选值与paction.flushToL0为true,备选值为3,否则为4.最终默认值取备 paction.min的最大值。paction.maxFilespaction的最大文件数。paction.max配置值,如果为空则取10.hbas层各分片默认值为hbase.store.stripe.splitPartCount每次划分stripe的目标个数。默认值为2.hbase.store.stripe.sizeToSplit分stripe前原stripe的目标大小。默认值为memstore flush阈值(可从列族描述和配置中读到)*配置值*4* hbase.sto

51、re.stripe.splitPartCount的配置值。paction.min的小象学院region serversplit regionhbase.regionserver.thread.split split region的线程池中的线程数,默认值为1.hbase.regionserver.region.split.policy和表属性SPLIT_POLICY决定region何时split的策略。默认值为.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy (随region数的增加,以maxfi

52、lesize为基础逐步提高split阈值)。可选值有:(1).apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy:当满足maxfilesize的设置时立刻进行split(2)(3).apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicy:不进行split。.apache.hadoop.hbase.regionserver.DelimitedKeyPrefixRegionSplitPolicy: 该策略使用IncreasingToUpperBoundRegion

53、SplitPolicy的策略用以决定是否应当进行split region操作。但修改了确定split key的方式。该策略中rowkey中可以设置一个分隔符,如果split key中出现分隔符,则split key为分隔符前的部分。这样可以使分隔符前的内容作为前缀,且同一前缀的row key被划分在同一region中。(4).apache.hadoop.hbase.regionserver.KeyPrefixRegionSplitPolicy:与(3)中的策略类似,区别是通过长度指定row key的前缀。小象学院region serversplit regionhbase.increasing

54、.policy.initial.sizeIncreasingToUpperBoundRegionSplitPolicy策略中的一个用于计算是否应当split region的值。当表的region数大于0小于等于100时,新的split阈值为原maxfilesize设置与此值*region数量的立方中,两者较小的值。对于较大的集群意义不大,大集群中往往一个表需要分布在上百台机器上,按照代码中的逻辑策略就不会生效了,有可改进的空间。默认值为表的MEMSTORE_FLUSHSIZE配置的值的二倍,如果表没有配置则其值为hbase.hregion.memstore.flush.size的二倍。表属性D

55、elimitedKeyPrefixRegionSplitPolicy.delimiter用于DelimitedKeyPrefixRegionSplitPolicy策略中的属性,rowkey中的分隔符。表属性KeyPrefixRegionSplitPolicy.prefix_length与 prefix_split_key_policy.prefix_length用于KeyPrefixRegionSplitPolicy策略中的属性,rowkey前缀长度。后者被标为Deprecated。hbase.regionserver.fileSplitTimeoutsplit过程中,建立默认值为30000m

56、s。文件的超时时间。小象学院region serversplit region使用StripeStoreEngine时的相关配置hbase.store.stripe.region.split.balance用于确定split key的阈值,当规划到的split key可以使两部分文件总长度比值(大:小)小于此阈值时,可以停止规划。默认值为1.5.小象学院region serverreplicationhbase.replication.sourervice和hbase.replication.sink.service replication源和目的处理服务实现类,默认值均为.apache.ha

57、doop.hbase.replication.regionserver.Replication。replication.ss.threeriod.seconds replication状态更新频率,默认值为300秒。t.retries.number replication目的集群中客户端重试次数,默认值为t.ops.timeoutreplication目的集群中客户端超时时间,默认值为10000ms.replication.source.ratioreplication目的集群中提供转发服务的region server比例,默认值为0.1,建议为1.replication.bad.sink.t

58、hreshold当目的集群中的region server如果失败次数超过此阈值,则从提供转发服务的节点中移除。默认值为3.replication.source.nb.capacity 主集群每次像备集送的entry最大的个数,默认值为25000.小象学院region serverreplicationreplication.sour 主集群每次像备集值。replication.sourize.capacity送的entry的包的最大值大小,默认值为64MB,配置时请使用字节leepforretries replication操作失败重试前休眠的基础时间。每次休眠时间为基础时间*重试次数。默认值

59、为1000ms。replication.source.maxretriesmultipr replication操作最多休眠时间相对于基础休眠时间的倍数。默认值为10.replication.sourocketTimeoutMultipr socket通信异常导致的重试休眠相对于基础休眠时间的倍数,默认值为上个配置的平方。replication.source.peer.node.bandwidth replication操作流控限制,为字节每秒,默认值为0,表示禁用.replication.source.log.queue.warn 队列中的HLOG文件数量超过此阈值时,打印警告日志。默认值为2.hbase.replication.rpc.codec replication rpc中Cell的编码类,默认值为t.rpc.codec的配置值。小象学院region serverreplicationreplication.sleep.before.failover主集群在region server当机后几毫秒开始执行

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论