版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
可能有一些“偏见” 何为业务角度(相较于平台有奇葩需求还而且还有业务角度(相较于平台 场景一:交互式报表( ctiveReporting场景二:实 分析( ysis交互式报表( ctiveReporting
ŏऒࢫᕟᕢŏऒࢫᕟᕢ ҁ32,̵*RRGV҂ࢫࢫᕟᕢऒŏ හഝ"◌ܻতၾ"ܕҁᦈ"◌ܻতၾ"ܕҁᦈܔ̵ ҂ग़ᖌग़ᖌ一些数据(涉密,粗略 交互 查询实时和30天历史(3s,5s, 定时任务••••可无法支持
MySQL+Job+Hive+ ᶼ◌॒ቘ-R ᶼ◌॒ቘ-R
0\64/0\64/0\64/0\64/0\64/0\64/0\64/0\64/0\64/
&ᶼ◌॒ቘ-RE'ᶼ◌॒ቘ-RE(ᶼ◌॒ቘ-R)ᶼ◌॒ቘ-R
问题:研发效率Hive、
ӱӱӱӱӱӱ හഝ +,9(+,9(ᐏᘶݱᐿᖌ0\64/.9හ0\64/.9რԈֹғਫ ఘಸ ҁL
ਫd
’sGlobally-DistributedDatabase》F1:《F1:ADistributedSQLDatabaseThatScales》Dremel:《Dremel: ysisofWeb-ScalePowerDrill:《ProcessingaTrillionCellsperMouseClickMesa:《Mesa:Geo-Replicated,NearReal-Time,ScalableDataWarehousing》Shasta:《Shasta:In ctiveReportingatScale》FlumeJava:《FlumeJava:Easy,EfficientData-ParallelPipelines》:《MillWheel:Fault-TolerantStreamProcessingatInternetScale》DataFlow:《TheDataflowModel》Dremel 分析系统, ,是BigQuery内部版PowerDrill:粗略理解为充分利用内存的Dremel,高性能,数据 的数据 的HTAP方案,基于F1和FlumeJava:MapReduce替代方案,用High-levelAPI编写Data-ParallelPipelines,Pig vs后处理(Pre-processingvsPost-OLAPvsvs批处理(Streamingvsڊڊහفහ ᦇ无论数据处理Pipeline ᦇ ◌ਂؙݸᦇ
ᦇ ◌ਂؙݸᦇ预处理优 后处理优需求不稳定(adhoc查询),vsOLAPvs StreamingvsTheDataflowModelFlink,Spark选型=解构+→ڊڊහ-&XEH- -හ- ක ଘҁӱۓ-PHGLDғᶎ-OD\RXWғڜ◌ਂ̵-VFKHPDғٖ ◌ਂ̵ᶎݻᏺ-ඪ೮-RLਂ -ӧඪ೮-RLQ۸̵ᶋ -ಚRU-PXWDEOHғඪ೮ๅෛ◌̵ӧඪ೮ๅ فහݸᦇᶼᦇ ݗ-ᶋ64-ᔄ64-ӧਠ64-ਠෆ4/-ਠෆ4/Ꮯଶݺރ◌ᵱ
꧋Ꮯ꧋ * * PV VPV V
单机or分布式,全内存or磁盘分析场景下,高吞吐意味着预处理和流式or批处理or 预处理or后处理 DatabaseonOLTP+OLAP+深度整合GemFireXD和100%兼容SparkRoworColumn近似计算(商业LeadDataLongrunningSparkDriverData
(pointlookups,small
ᐏහრ
+,9(ᘶݱᐿᖌ+,9(0\64/0\64/
.9ਫ.9
Ԉֹғਫ ఘಸ ҁLambda හრ
Stream
SparkᐏԈֹғਫఘಸ ҁSnappyDatᐏ高性能-6SDUN6SDUN6QDSS\'DWD+'+')ٌ◌՜ਂؙ කഘݒཛྷ◌ਂ'%ፗֵ高性能-Colocated线上线上4节点集群(128G32CPUs10亿行事实表,5维度表Java+SQL→交互式报表(
ctiveReportingܕҁܕҁᦈܔ̵ ҂ग़ᖌ ҁ32,̵*RRGV҂ࢫࢫᕟᕢऒŏ හഝ线上30节点集群(128G32CPUs•120亿行事实表,3表JavaKylin+SQL分析 ࢫࢫᕟᕢऒŏग़ᖌ分 直 写法类似于写Lisp 式 (释放 #wherecurrent_flag1##wherecurrent_flag1#历史状态where<timestamp>betweenstart_timeand依赖 ShastaRVL(RELATIONALVIEW selectnameselectnamewhereage>26andcity=selectnamewhereage>30andcity= n缓存是Con
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 教案用纸(正业)
- 保护环境课件下载
- 玉溪师范学院《西方哲学史》2021-2022学年第一学期期末试卷
- 玉溪师范学院《试验设计》2023-2024学年第一学期期末试卷
- 玉溪师范学院《民法学》2022-2023学年期末试卷
- 好乐迪超市作业流程教案
- 普通人18条忠告
- 2024年生化分析试剂项目成效分析报告
- 采购合同 和付款合同
- 毕业摄影合同范本
- 税务学习练兵(办公室条线)考试题库(含答案)
- 2023年辽阳市文圣区人民法院聘用制书记员招聘考试试题及答案
- 食堂安全隐患及防范措施
- 新生儿肛管排气
- 经济思想史知识点总汇
- 护理安全质控总结分析报告
- 2024年核苷酸二钠(I+G)行业分析报告及未来发展趋势
- 人工智能伦理导论- 课件 3-人工智能伦理
- 养老行业发展趋势与前景展望
- 市政给排水管道工程检验批质量验收记录文本表
- 远程遥控设备操作安全保障
评论
0/150
提交评论