专10-1-DTCC2016演讲-常冰琳-使用Kudu搭建OLAP服务_第1页
专10-1-DTCC2016演讲-常冰琳-使用Kudu搭建OLAP服务_第2页
专10-1-DTCC2016演讲-常冰琳-使用Kudu搭建OLAP服务_第3页
专10-1-DTCC2016演讲-常冰琳-使用Kudu搭建OLAP服务_第4页
专10-1-DTCC2016演讲-常冰琳-使用Kudu搭建OLAP服务_第5页
已阅读5页，还剩51页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

目录Ò现状Ò性能测试++析在线事务在线事务线分析服务？在线事务慢写)快••接近HBase的吞吐性能++t在线事务)在线事务•计算引擎支持Impala/Spark/Drill/…慢写)快Ò存储越来越快Ò列存储应用在线事务系统也是可⾏的HDFS•ETL等预处理HBase•在线事务处理•计算中的随机查询Kudu•在线分析历史介绍-数据模型和使用+有限固定列,支持altertable+主键索引(支持多列)+Insert/Update/Delete/Scan/Get*[100,[100,200)[200,300)[300,Inf)HashPartitionRange+Hash•强⼀致•⾼可用:低MTTR,Leader失败检测+重选主时间短•允许从Follower进⾏SnapshotRead•HybridTime支持外部⼀致性(类似GoogleSpanner)llowÒ永久失败介绍-集群介绍-MASTERÒ所有元数据缓存在内存Ò客户端缓存se•DRS区间覆盖过多影响读写效率传统数据流分KUDU优势-统一数据存储+不需要定时从⾏存储转化为列存储+支持需要update的分析型应用Ò统⼀元数据和存储格式+避免数据格式转化和不⼀致问题Ò分析结果存储和服务+分析结果重复使用KUDU优势-事务和主键索引+简化计算层容错处理Ò数据到达时间有延迟//创建表(持久化数据流)createtablewords(tsintkey,seqidintkey,wordstring);//实时数据插⼊insertintowordsvalues(xxx,xxx,xxx);Wordselectts/60,word,count(*)ascntfromwordswherets>=1462856700andts<1462856820groupbyts/60orderbycntdesclimit10;Kudu提供随机查询服务,如在线报表createtablewordcout(tsintkey,rankintkey,wordstring,cntint)insertoverwritewordcountselect...OLAP云服务uRESTSQL)u导⼊/查询/管理/权限/Quota统⼀集中管理(移动端/服务端/IoT)(可视化/在线报表) (管理/分析/查询)OLAP服务-NOSQLÒ主要用于数据导⼊和结果服务+通用性和易用性+认证和权限验证OLAP服务-SQLÒSQL封装为REST服务+直接操作Kudu+添加SQL扩展语法OLAP服务-容量规划和隔离+写请求压⼒预期相对稳定实现OLAP服务-容量规划和隔离ÒSQL查询服务隔离+查询不稳定,突发+预期执⾏时间短，但占用资源多Ò

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论