2023学年完整公开课版Rowkeys优化

上传人：胡*** IP属地：安徽上传时间：2023-05-11 格式：PPTX 页数：11 大小：944KB 积分：14 举报 版权申诉

已阅读5页，还剩6页未读，继续免费阅读

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

Rowkeys优化目录CONTENTS2次序和编码组优化1导语导语PART0101导语

Rowkeys优化：cube

Desinger->advancedsettings

rowkeys优化：次序和编码组优化次序和编码组优化PART0202次序和编码组优化

编码优化：date编码，三个字节进行编码支持0000-01-01到9999-01-01的优化。次序和编码组优化

Time编码：仅支持从1970-01-0100:00:00到2038-01-1903:14:07,会失去毫秒信息。每个维度仅使用4个字节。

integer编码：length长度为1~8.int32类型整数用4字节，int64型用8字节。

dict编码：每个segment在构建的时候都会为这个维度素有可能的值创建一个字典，然后使用字典编号值来编码。优势是编码紧凑，在纬度值的基数较小且长度较大时，节约空间。在查询时加载，如果维度基数大、长度达的情况下，容易出现内存溢出。

fixed_length编码：dict的补充，对于基数大、长度也大的维度，dict不能正常工作，使用该编码，超出长度会被截断。次序和编码组优化

次序优化：rowkeys是一段字节数组，对于靠后的维度过滤，依靠hbase的FuzzyKeyFileter来执行。前面的维度基数大，寻找代价较大，执行效率变差。

rowkey顺序遵守的原则：过滤优先靠前原则，常用优先靠前原则，基数高且过滤优先靠前原则，基数高无过滤靠后原则。次序和编码组优化

其他优化：

人人文库> 全部分类> 教育资料 > 辅导培训

1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。