在美团酒店实时数据分析中的应用_第1页
在美团酒店实时数据分析中的应用_第2页
在美团酒店实时数据分析中的应用_第3页
在美团酒店实时数据分析中的应用_第4页
在美团酒店实时数据分析中的应用_第5页
已阅读5页,还剩42页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

可能有一些“偏见” 何为业务角度(相较于平台有奇葩需求还而且还有业务角度(相较于平台 场景一:交互式报表( ctiveReporting场景二:实 分析( ysis交互式报表( ctiveReporting

ŏऒࢫᕟᕢŏऒࢫᕟᕢ ҁ32,̵*RRGV҂ࢫࢫᕟᕢऒŏ හഝ"◌ܻতၾ"ܕҁᦈ"◌ܻতၾ"ܕҁᦈܔ̵ ҂ग़ᖌग़ᖌ一些数据(涉密,粗略 交互 查询实时和30天历史(3s,5s, 定时任务••••可无法支持

MySQL+Job+Hive+ ᶼ◌॒ቘ-R ᶼ◌॒ቘ-R

0\64/0\64/0\64/0\64/0\64/0\64/0\64/0\64/0\64/

&ᶼ◌॒ቘ-RE'ᶼ◌॒ቘ-RE(ᶼ◌॒ቘ-R)ᶼ◌॒ቘ-R

问题:研发效率Hive、

ӱӱӱӱӱӱ හഝ +,9(+,9(ᐏᘶݱᐿᖌ0\64/.9හ0\64/.9რԈֹғਫ ఘಸ ҁL

ਫd

’sGlobally-DistributedDatabase》F1:《F1:ADistributedSQLDatabaseThatScales》Dremel:《Dremel: ysisofWeb-ScalePowerDrill:《ProcessingaTrillionCellsperMouseClickMesa:《Mesa:Geo-Replicated,NearReal-Time,ScalableDataWarehousing》Shasta:《Shasta:In ctiveReportingatScale》FlumeJava:《FlumeJava:Easy,EfficientData-ParallelPipelines》:《MillWheel:Fault-TolerantStreamProcessingatInternetScale》DataFlow:《TheDataflowModel》Dremel 分析系统, ,是BigQuery内部版PowerDrill:粗略理解为充分利用内存的Dremel,高性能,数据 的数据 的HTAP方案,基于F1和FlumeJava:MapReduce替代方案,用High-levelAPI编写Data-ParallelPipelines,Pig vs后处理(Pre-processingvsPost-OLAPvsvs批处理(Streamingvsڊڊහفහ ᦇ无论数据处理Pipeline ᦇ ◌ਂؙݸᦇ

ᦇ ◌ਂؙݸᦇ预处理优 后处理优需求不稳定(adhoc查询),vsOLAPvs StreamingvsTheDataflowModelFlink,Spark选型=解构+→ڊڊහ-&XEH- -හ- ක ଘҁӱۓ-PHGLDғᶎ-OD\RXWғڜ◌ਂ̵-VFKHPDғٖ ◌ਂ̵ᶎݻᏺ-ඪ೮-RLਂ -ӧඪ೮-RLQ۸̵ᶋ -ಚRU-PXWDEOHғඪ೮ๅෛ◌̵ӧඪ೮ๅ فහݸᦇᶼᦇ ݗ-ᶋ64-ᔄ64-ӧਠ64-ਠෆ4/-ਠෆ4/Ꮯଶݺރ◌ᵱ

꧋Ꮯ꧋ * * PV VPV V

单机or分布式,全内存or磁盘分析场景下,高吞吐意味着预处理和流式or批处理or 预处理or后处理 DatabaseonOLTP+OLAP+深度整合GemFireXD和100%兼容SparkRoworColumn近似计算(商业LeadDataLongrunningSparkDriverData

(pointlookups,small

ᐏහრ

+,9(ᘶݱᐿᖌ+,9(0\64/0\64/

.9ਫ.9

Ԉֹғਫ ఘಸ ҁLambda හრ

Stream

SparkᐏԈֹғਫఘಸ ҁSnappyDatᐏ高性能-6SDUN6SDUN6QDSS\'DWD+'+')ٌ◌՜ਂؙ කഘݒཛྷ◌ਂ'%ፗֵ高性能-Colocated线上线上4节点集群(128G32CPUs10亿行事实表,5维度表Java+SQL→交互式报表(

ctiveReportingܕҁܕҁᦈܔ̵ ҂ग़ᖌ ҁ32,̵*RRGV҂ࢫࢫᕟᕢऒŏ හഝ线上30节点集群(128G32CPUs•120亿行事实表,3表JavaKylin+SQL分析 ࢫࢫᕟᕢऒŏग़ᖌ分 直 写法类似于写Lisp 式 (释放 #wherecurrent_flag1##wherecurrent_flag1#历史状态where<timestamp>betweenstart_timeand依赖 ShastaRVL(RELATIONALVIEW selectnameselectnamewhereage>26andcity=selectnamewhereage>30andcity= n缓存是Con

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论