课程代码剥丝抽茧说配置下_第1页
课程代码剥丝抽茧说配置下_第2页
课程代码剥丝抽茧说配置下_第3页
课程代码剥丝抽茧说配置下_第4页
课程代码剥丝抽茧说配置下_第5页
已阅读5页,还剩37页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、全量全量配置调 了解都有哪些重要模块 了解模块中 了解都有哪些重要模块 了解模块中默认值为true。如果客户端没有设置此值,在region server默认值为true。如果客户端没有设置此值,在region server默认值为trueTracinginTracinginHBaseAppendixMEnablingDapper-master在处理regionserver启动时,会比较启动时间与master当前时间差,用以确定两时钟差距超过此阈值时,抛出异常,异常会抛回region server注意:不要配置的过小,因为从regionserver启动到master比较时钟差之间本身也会有默认值

2、master在处理regionserver启动时,会比较启动时间与master当前时间差,用以确定两时钟差距超过此阈值时,抛出异常,异常会抛回region server注意:不要配置的过小,因为从regionserver启动到master比较时钟差之间本身也会有默认值基于上个操作,如果时钟差超过此阈值,会输出警告日志,但是regionserver会正常启默认值当regionserver挂掉后,region再重新分配前会进行splitinglog,在splitinglog前,处regionsplit后,由master判断父region默认值为mergeregion分为两步:第一步将两个regio

3、n挂载到同一regionserver,第二步由region mergeregion分为两步:第一步将两个region挂载到同一regionserver,第二步由region 120000ms当master启动或meta表所在regionserver挂掉后,等待meta表region信息写入zookeeper的 当master检测到regionserver此配置表示是否使用表锁,默认值为true当master检测到regionserver此配置表示是否使用表锁,默认值为true 所有锁的超时时间,hbcklogspliting后的无用文件会保存时间超过此阈值过后才会被删除,默认值为300000m

4、s更详细的说明可以搜索“HFile和HLogBigdataBlog”apshot.periodlogspliting后的无用文件会保存时间超过此阈值过后才会被删除,默认值为300000ms更详细的说明可以搜索“HFile和HLogBigdataBlog”apshot.period快照的相关请求,是通过这个机制实现的,功能类似master端的协Observe的region server结束时,会有一段时间处在等待regionserver态的regionserver,master 当已汇报的region server的region server结束时,会有一段时间处在等待regionserver态

5、的regionserver,master 当已汇报的region server 默认值为当汇报的region server未达到此阈值时,不退出等待,默认值为1如果目前距上次有新region server负载均衡所使用的集群信息更新间隔,默认值为默认值为负载均衡所使用的集群信息更新间隔,默认值为默认值为在处理region分配时,如果目标regionserver默认值为批量分配region以及批量disableregion默认值为 默认值为批量分配region以及批量disableregion默认值为 默认值为默认值为版本中应该也会被设为版本中应该也会被设为 负载均衡规划时,是否为每个表分别规划

6、,默认值为false 负载均衡规划时,是否为每个表分别规划,默认值为false情况、表加载情况、memstore大小以及store file大小,随机提取两个region server计算迁 负载均衡规划时,是否为每个表分别规划,默认值为false情况、表加载情况、memstore大小以及store file大小,随机提取两个region server计算迁随机选取迁移的源和目的regionserver,根据region数量以及随机选取的规则(每次从三种 mastersplittingsplittinglog的过程中,对于zookeeper操作的重试次数,默认值为3splittinglog任务

7、的最多重试次数,默认值为3当splitinglog任务长时间未结束后,会重试。重试前,如果发现执行任务的region mastersplittingsplittinglog的过程中,对于zookeeper操作的重试次数,默认值为3splittinglog任务的最多重试次数,默认值为3当splitinglog任务长时间未结束后,会重试。重试前,如果发现执行任务的region 未完成splitinglog任务,也就是说重 检测spliting log任务超时的时间间隔,默认值为1000ms快照处理的线程池中的最大线程数,默认值为快照处理的线程池中的最大线程数,默认值为响应快照操作线程池中的最大线程

8、数,默认值为快照文件格式版本,默认值为regionsplit和mergeregion的过程中,在加载region阶段打印“Openingregion名”日志的时 当需要对多个storefile进行seek操作时,是否允许并行执行。默认值为regionsplit和mergeregion的过程中,在加载region阶段打印“Openingregion名”日志的时 当需要对多个storefile进行seek操作时,是否允许并行执行。默认值为 处理器中曾用到的类实例)操作regionserver中的信息 mergeregion的线程池中的线程数,默认值为region过滤器中所使用的hash值计算算法,

9、默认值为murmur 可选值有jenkins、murmur3region过滤器中所使用的hash值计算算法,默认值为murmur 可选值有jenkins、murmur3并发。获取读锁的超时时间为min(hbase.busy.wait.duration * r.max, 行锁数), hbase.ipc.cregion 客户端请求时,等待行锁的超时时间。默认值为30000msregionserver会对用户请求中的时间戳进行比较,如果用户时间戳大于当前时间戳加此region 客户端请求时,等待行锁的超时时间。默认值为30000msregionserver会对用户请求中的时间戳进行比较,如果用户时间

10、戳大于当前时间戳加此region默认值为true 用户increase和append的Nonce信息缓存时间,默认值为1800000ms region默认值为true 用户increase和append的Nonce信息缓存时间,默认值为1800000ms region server绑定到具体ip 是否在hbase一侧验证数据完整性,默认值为true,这会禁用hdfsregion)、closemeta(卸载meta region)region删除标记保留时间,默认为0,第二次majorcompactionregion删除标记保留时间,默认为0,第二次majorcompaction是否执行进程关闭

11、钩子,默认值为trueregionserverHLOG的spliting 当重演HLOG重现异常时,是否忽略异常,默认值为falseregionserverHLOG的spliting 当重演HLOG重现异常时,是否忽略异常,默认值为false 重演HLOG时,每隔多长时间更新一次重演进度,进度信息可在WEBUIspliting log时,每隔多长时间更新一次进度,进度信息可在WEB UIsplittinglog超时时间,默认值为120000ms最多并行的splittinglog任务数,默认值为regionserverHLOG的splitingregionserverHLOG的spliting默

12、认值分别为HDFSblock大小和 HLOGregionserverHLOG的splitingregionserverHLOG的splitingsplittinglog的缓冲大小,默认为128MBsplittinglog的写入线程数,默认为regionserverHLOG的spliting 在split false,异常会被抛出,split错误。默认设置为 trueregionserverHLOG的spliting 在split false,异常会被抛出,split错误。默认设置为 true每隔多少条HLOG更新一次splitinglog进度,默认值为当写入文件数大于此阈值时,开始更新进度。默

13、认值为splittinglog处理超时时间,默认值为120000ms HLOG是否可以压缩,默认值为false如果上个配置为true。当开启了Celltag时,tag信息是否允许压缩,默认值为trueregionserverHLOG的spliting Cell内容编码值HLOGregionserverHLOG的spliting Cell内容编码值HLOG 可选值有regionserver 距上次memstoreflush后,多少个数据写入操作后进行flush 。hbase.hstore.flush.retries.number与默认值分别为10和regionserver 距上次memstore

14、flush后,多少个数据写入操作后进行flush 。hbase.hstore.flush.retries.number与默认值分别为10和 缓冲池初始化比例,默认值为memstoreflush线程数,默认值为regionserverhstoreio引擎,由于compaction策略、keyvalue比较器类型和storefile管理器类型互不regionserverhstoreio引擎,由于compaction策略、keyvalue比较器类型和storefile管理器类型互不策略的整合。传统compaction机制和配置可搜索“深入分析HBaseCompaction机制,对其 的 region

15、server 使用DefaultStoreEngine时,compaction 默认值为p该策略为搜索到的“深入分析HBaseCompaction regionserver 使用DefaultStoreEngine时,compaction 默认值为p该策略为搜索到的“深入分析HBaseCompaction 默认值为true regionserverregionserver regionserversplit split region的线程池中的线程数,默认值为regionserversplit split region的线程池中的线程数,默认值为 但修改了确定splitkey的方式。该策略中r

16、owkey中可以设置一个分隔符,如果splitkey中出现分隔符,则split key为分隔符前的部分。这样可以使分隔符前的内容作为前缀,且同一前缀的 regionserversplitregionserversplitsplitregionserversplitregionserversplit用于确定splitkey的阈值,当规划到的splitkey可以使两部分文件总长度比值(大:小)小于此阈值默认值为regionserverervice和 replication replication状态更新频率,默认值为300 replication目的集群中客户端重试次数,默认值为replicati

17、on目的集群中提供转发服务的regionserver比例,默认值为0.1,建议为regionserverervice和 replication replication状态更新频率,默认值为300 replication目的集群中客户端重试次数,默认值为replication目的集群中提供转发服务的regionserver比例,默认值为0.1,建议为当目的集群中的regionserver如果失败次数超过此阈值,则从提供转发服务的节点中移默认值为 主集群每次像备集送的entry最大的个数,默认值为regionserver 主集群每次像备集送的entry的包的最大值大小,默认值为64MB repli

18、cation操作失败重试前休眠的基础时间。每次休眠时间为基础时间*r replication操作最多休眠时间相对于基础休眠时间的倍数。默认值为r socket regionserver 主集群每次像备集送的entry的包的最大值大小,默认值为64MB replication操作失败重试前休眠的基础时间。每次休眠时间为基础时间*r replication操作最多休眠时间相对于基础休眠时间的倍数。默认值为r socket replication为字节每秒,默认值为0 队列中的HLOG文件数量超过此阈值时,打印警告日志。默认值为 replicationrpc中Cell的编码类,默认值为nt.rpc.codecregionserver主集群在regionserver当机后几毫秒开始执行replicat

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论