版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
可能有一些“偏见” 何为业务角度(相较于平台有奇葩需求还而且还有业务角度(相较于平台 场景一:交互式报表( ctiveReporting场景二:实 分析( ysis交互式报表( ctiveReporting
ŏऒࢫᕟᕢŏऒࢫᕟᕢ ҁ32,̵*RRGV҂ࢫࢫᕟᕢऒŏ හഝ"◌ܻতၾ"ܕҁᦈ"◌ܻতၾ"ܕҁᦈܔ̵ ҂ग़ᖌग़ᖌ一些数据(涉密,粗略 交互 查询实时和30天历史(3s,5s, 定时任务••••可无法支持
MySQL+Job+Hive+ ᶼ◌॒ቘ-R ᶼ◌॒ቘ-R
0\64/0\64/0\64/0\64/0\64/0\64/0\64/0\64/0\64/
&ᶼ◌॒ቘ-RE'ᶼ◌॒ቘ-RE(ᶼ◌॒ቘ-R)ᶼ◌॒ቘ-R
问题:研发效率Hive、
ӱӱӱӱӱӱ හഝ +,9(+,9(ᐏᘶݱᐿᖌ0\64/.9හ0\64/.9რԈֹғਫ ఘಸ ҁL
ਫd
’sGlobally-DistributedDatabase》F1:《F1:ADistributedSQLDatabaseThatScales》Dremel:《Dremel: ysisofWeb-ScalePowerDrill:《ProcessingaTrillionCellsperMouseClickMesa:《Mesa:Geo-Replicated,NearReal-Time,ScalableDataWarehousing》Shasta:《Shasta:In ctiveReportingatScale》FlumeJava:《FlumeJava:Easy,EfficientData-ParallelPipelines》:《MillWheel:Fault-TolerantStreamProcessingatInternetScale》DataFlow:《TheDataflowModel》Dremel 分析系统, ,是BigQuery内部版PowerDrill:粗略理解为充分利用内存的Dremel,高性能,数据 的数据 的HTAP方案,基于F1和FlumeJava:MapReduce替代方案,用High-levelAPI编写Data-ParallelPipelines,Pig vs后处理(Pre-processingvsPost-OLAPvsvs批处理(Streamingvsڊڊහفහ ᦇ无论数据处理Pipeline ᦇ ◌ਂؙݸᦇ
ᦇ ◌ਂؙݸᦇ预处理优 后处理优需求不稳定(adhoc查询),vsOLAPvs StreamingvsTheDataflowModelFlink,Spark选型=解构+→ڊڊහ-&XEH- -හ- ක ଘҁӱۓ-PHGLDғᶎ-OD\RXWғڜ◌ਂ̵-VFKHPDғٖ ◌ਂ̵ᶎݻᏺ-ඪ೮-RLਂ -ӧඪ೮-RLQ۸̵ᶋ -ಚRU-PXWDEOHғඪ೮ๅෛ◌̵ӧඪ೮ๅ فහݸᦇᶼᦇ ݗ-ᶋ64-ᔄ64-ӧਠ64-ਠෆ4/-ਠෆ4/Ꮯଶݺރ◌ᵱ
꧋Ꮯ꧋ * * PV VPV V
单机or分布式,全内存or磁盘分析场景下,高吞吐意味着预处理和流式or批处理or 预处理or后处理 DatabaseonOLTP+OLAP+深度整合GemFireXD和100%兼容SparkRoworColumn近似计算(商业LeadDataLongrunningSparkDriverData
(pointlookups,small
ᐏහრ
+,9(ᘶݱᐿᖌ+,9(0\64/0\64/
.9ਫ.9
Ԉֹғਫ ఘಸ ҁLambda හრ
Stream
SparkᐏԈֹғਫఘಸ ҁSnappyDatᐏ高性能-6SDUN6SDUN6QDSS\'DWD+'+')ٌ◌՜ਂؙ කഘݒཛྷ◌ਂ'%ፗֵ高性能-Colocated线上线上4节点集群(128G32CPUs10亿行事实表,5维度表Java+SQL→交互式报表(
ctiveReportingܕҁܕҁᦈܔ̵ ҂ग़ᖌ ҁ32,̵*RRGV҂ࢫࢫᕟᕢऒŏ හഝ线上30节点集群(128G32CPUs•120亿行事实表,3表JavaKylin+SQL分析 ࢫࢫᕟᕢऒŏग़ᖌ分 直 写法类似于写Lisp 式 (释放 #wherecurrent_flag1##wherecurrent_flag1#历史状态where<timestamp>betweenstart_timeand依赖 ShastaRVL(RELATIONALVIEW selectnameselectnamewhereage>26andcity=selectnamewhereage>30andcity= n缓存是Con
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 教案用纸(正业)
- 保护环境课件下载
- 玉溪师范学院《西方哲学史》2021-2022学年第一学期期末试卷
- 玉溪师范学院《试验设计》2023-2024学年第一学期期末试卷
- 玉溪师范学院《民法学》2022-2023学年期末试卷
- 好乐迪超市作业流程教案
- 普通人18条忠告
- 2024年生化分析试剂项目成效分析报告
- 采购合同 和付款合同
- 毕业摄影合同范本
- 南芳学校学生“双姿”日常考核方案
- 铝基合金高温相变储热材料
- 《跨文化交际》课程教学大纲(英语师范专业)
- 在“家庭医生签约服务”工作推进会上的发言稿
- 火力发电厂生产过程-ppt课件
- 领导在思想作风纪律总结大会讲话
- 《固容规》压力容器产品质量证明书..
- 伺服电机配丝杆选型(自动计算)
- 基本医疗卫生与健康促进法讲稿
- 湘教版初中美术八年级上册 第5课《静物画有声》[31张PPT]
- 医疗集团人事聘用和调配管理办法
评论
0/150
提交评论