在美团酒店实时数据分析中的应用

可能有一些“偏见” 何为业务角度（相较于平台有奇葩需求还而且还有业务角度（相较于平台 场景一：交互式报表（ ctiveReporting场景二：实 分析（ ysis交互式报表（ ctiveReporting

ŏऒࢫᕟᕢŏऒࢫᕟᕢ ҁ32,̵*RRGV҂ࢫࢫᕟᕢऒŏ හഝ"◌ܻতၾ"ܕҁᦈ"◌ܻতၾ"ܕҁᦈܔ̵ ҂ग़ᖌग़ᖌ一些数据（涉密，粗略 交互 查询实时和30天历史（3s,5s, 定时任务••••可无法支持

MySQL+Job+Hive+ ᶼ◌॒ቘ-R ᶼ◌॒ቘ-R

0\64/0\64/0\64/0\64/0\64/0\64/0\64/0\64/0\64/

&ᶼ◌॒ቘ-RE'ᶼ◌॒ቘ-RE(ᶼ◌॒ቘ-R)ᶼ◌॒ቘ-R

问题：研发效率Hive、

ӱӱӱӱӱӱ හഝ +,9(+,9(ᐏᘶݱᐿᖌ0\64/.9හ0\64/.9რԈֹғਫ ఘಸ ҁL

ਫd

’sGlobally-DistributedDatabase》F1：《F1:ADistributedSQLDatabaseThatScales》Dremel：《Dremel: ysisofWeb-ScalePowerDrill：《ProcessingaTrillionCellsperMouseClickMesa：《Mesa:Geo-Replicated,NearReal-Time,ScalableDataWarehousing》Shasta：《Shasta:In ctiveReportingatScale》FlumeJava：《FlumeJava:Easy,EfficientData-ParallelPipelines》：《MillWheel:Fault-TolerantStreamProcessingatInternetScale》DataFlow：《TheDataflowModel》Dremel 分析系统， ，是BigQuery内部版PowerDrill：粗略理解为充分利用内存的Dremel，高性能，数据 的数据 的HTAP方案，基于F1和FlumeJava：MapReduce替代方案，用High-levelAPI编写Data-ParallelPipelines，Pig vs后处理（Pre-processingvsPost-OLAPvsvs批处理（Streamingvsڊڊහفහ ᦇ无论数据处理Pipeline ᦇ ◌ਂؙݸᦇ

ᦇ ◌ਂؙݸᦇ预处理优 后处理优需求不稳定（adhoc查询），vsOLAPvs StreamingvsTheDataflowModelFlink,Spark选型=解构+→ڊڊහ-&XEH- -හ- ක ଘҁӱۓ-PHGLDғᶎ-OD\RXWғڜ◌ਂ̵-VFKHPDғٖ ◌ਂ̵ᶎݻᏺ-ඪ೮-RLਂ -ӧඪ೮-RLQ۸̵ᶋ -ಚRU-PXWDEOHғඪ೮ๅෛ◌̵ӧඪ೮ๅ فහݸᦇᶼᦇ ݗ-ᶋ64-ᔄ64-ӧਠ64-ਠෆ4/-ਠෆ4/Ꮯଶݺރ◌ᵱ

꧋Ꮯ꧋ * * PV VPV V

单机or分布式，全内存or磁盘分析场景下，高吞吐意味着预处理和流式or批处理or 预处理or后处理 DatabaseonOLTP+OLAP+深度整合GemFireXD和100%兼容SparkRoworColumn近似计算（商业LeadDataLongrunningSparkDriverData

(pointlookups,small

ᐏහრ

+,9(ᘶݱᐿᖌ+,9(0\64/0\64/

.9ਫ.9

Ԉֹғਫ ఘಸ ҁLambda හრ

Stream

SparkᐏԈֹғਫఘಸ ҁSnappyDatᐏ高性能-6SDUN6SDUN6QDSS\'DWD+'+')ٌ◌՜ਂؙ කഘݒཛྷ◌ਂ'%ፗֵ高性能-Colocated线上线上4节点集群（128G32CPUs10亿行事实表，5维度表Java+SQL→交互式报表（

ctiveReportingܕҁܕҁᦈܔ̵ ҂ग़ᖌ ҁ32,̵*RRGV҂ࢫࢫᕟᕢऒŏ හഝ线上30节点集群（128G32CPUs•120亿行事实表，3表JavaKylin+SQL分析 ࢫࢫᕟᕢऒŏग़ᖌ分 直 写法类似于写Lisp 式 （释放 #wherecurrent_flag1##wherecurrent_flag1#历史状态where<timestamp>betweenstart_timeand依赖 ShastaRVL(RELATIONALVIEW selectnameselectnamewhereage>26andcity=selectnamewhereage>30andcity= n缓存是Con