基于OLAP的大数据系统建设_第1页
基于OLAP的大数据系统建设_第2页
基于OLAP的大数据系统建设_第3页
基于OLAP的大数据系统建设_第4页
基于OLAP的大数据系统建设_第5页
已阅读5页，还剩17页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、OLAP系统建设AgendaOLAP需求系统定位系统挑战系统架构未来工作OLAP前端展示OLAP后端查询 需求 查询IT168网站在4月1日到4月12日期间的各地域访问情况 SQL SELECT province, SUM(pv) FROM StatsTable WHEREsite=IT168 AND date BETWEEN “2014-04-01” AND“2014-04-12” GROUP BY province两类需求场景 报表场景查询模式可预知，查询维度组合有限查询QPS高（ 1万次/秒 ）、毫秒延时SLA高，7*24小时不间断服务面向百万网站主、百万广告主 多维分析场景查询模式不可

2、预知，任意维度组合查询QPS低（10次/秒）、分钟级别延时SLA不高，可工作时间提供服务面向内部分析人员、决策人员OLAP需求位置报告报表多维分析Adhoc查询数据挖掘从上往下:1. 分析维度从少到多2. 计算复杂度从低到高3. 从以人为主转为以机器为主4. 用户专业程度越来越高，越来越少OLTPOLAP用户普通用户用户量大决策人员，高级管理人员用户量小功能日常操作处理简单的事务，事务驱动分析决策复杂的查询，分析驱动DB设计面向应用面向主题数据最新的，细节的，二维的历史的，聚合的，多维的数据大小数GB数百TB查询更新读/写数十条记录读上亿条记录OLTP vs OLAPAgendaOLAP需求系

3、统定位系统挑战系统架构未来工作数据仓库OLAP系统预处理+传输ETL处理日志收集和清洗OLAP在大数据体系位置OLAP前端系统OLAP后端系统OLAP系统发起查询，展示图表、曲线分析业务多维建模如商业版BIEE如定制的Web系统OLAP后端系统定位 提供百T级别Cube的存储与高效查询服务 响应报表与多维分析需求AgendaOLAP需求系统定位系统挑战系统架构未来工作系统挑战 多维分析: rollup, drill-down, slicing和dicing 维度任意组合数据量巨大，交互式响应系统挑战每日十T级别数据，如何快速导入？如何提供SQL查询？经常加表、改表、删表，应对？经常数据出错，如

4、何恢复？磁盘经常出现故障，怎么办？AgendaOLAP需求系统定位系统挑战系统架构未来工作系统架构元数据管理数据导入查询层（SQL接口）存储层存储模型细节 数据块存储 每个块含256行 块内部列存储 块整体压缩 稀疏索引 索引常驻内存 每个块对应一个索引项数据块索引文件site=IT168date=20140401系统特点和性能 核心特点： 大规模并行处理MPP查询引擎 行列混合存储引擎 减少扫描量物化视图索引列式存储压缩 性能： 100节点，单机 CPU 12核 ，内存64G， SAS硬盘 2T，1GB网卡 低并发大查询 ：最大扫描速度100GB/s，单个查询响应时间：毫秒小时，数据压缩比1:41:10 高并发小查询：最大并发100,000qpsAgendaOLAP需求系统定位系统挑战系统架构未来工作未来

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论