袋鼠云申杭大数据平台的演进之路课件(PPT 20页)

1、大数据平台的演进之路第1页，共20页。大数据平台的发展历程数据中台介绍数栈产品介绍数据中台案例第2页，共20页。大数据平台的发展历程面临的问题传统数据仓库计算引擎ClientSMP代表：小型机DB磁盘Client磁盘DBDBDBDB共享磁盘代表：Oracle RACClientDBDBDBDBMPP代表：Greenplum,Teradata磁盘磁盘磁盘磁盘在数据量爆发性增长的情况下，计算能力面临瓶颈主要面向离线计算处理，缺少对实时计算/机器学习/即系查询等场景的支持数据管理/数据治理能力弱第3页，共20页。4大数据平台的发展历程新时代的计算平台架构监控与警报业务数据服务硬件数据应用流量统计用户

2、行为分析用户画像推荐广告数据应用平台元信息管理作业管理交互分析多维分析可视化数据基础平台计算层调度层存储层接入层MRHIVEStormSparkKylinCaffe/Tensorflow.YarnKubernetesHDFSHbaseKafkaCanal/SqoopFleme平台管理流程权限配额升级版本机器第4页，共20页。大数据平台的发展历程数据计算的频率OLTP/OLAP混用离线准实时实时数据实时性越来越高容错性高处理量越来越多特点:第5页，共20页。大数据平台的发展历程辅助决策-数据业务化成本中心-利润中心价值模糊-可量化人群透视人群圈选人群放大用户画像广告精准营销搜索优化搜索AI个性化

3、推荐图像识别风控自然语言处理大数据价值第6页，共20页。大数据平台的发展历程数据抽取工具选型数据计算平台选型服务器数据应用厂商大数据平台建设步骤存储数据服务厂商InformaticaDatastageKettleOracleGreenPlumIBMHPEMCBOTableauCognos东软IBM GDC缺点产品分散，厂商多，周期长IOE体系,产品费用高运维管理成本高第7页，共20页。数据中台介绍数据模型数据服务数据计算和萃取数据资产数据采集数据治理数据中台定位做为企业全域数据的共享能力中心，旨在提供数据采集、数据模型、数据计算和萃取、数据治理、数据资产、数据服务等全链路的一站式产品+技术+方

4、法论服务，构建面向业务应用的数据智能平台数据中台第8页，共20页。决策管理层“大中台、小前台”战略创新的决心驱动组织和流程进化，构建全域打通的数据中台协调业务部门和技术部门，中台战略的落地重于设计降低大数据的技术门槛在线化知识沉淀和传承“方法论+工具保障+合作厂商”降低对高端人才的依赖分布式计算&存储&调度架构企业级数据仓库实时流计算覆盖大数据全生命周期的一站式可视化平台数据中台介绍战略决心人才投入工具保障企业级数据仓库数据应用层ADS公共维度模型层CDM操作数据层ODS数据开发套件数据治理套件分布式大数据计算引擎数据应用引擎实时流计算事件驱动毫秒级BI报表DI应用智能计算机器学习深度学习第9

5、页，共20页。数据中台介绍大数据平台理念对比计算平台多样性离线计算/流计算/图计算/机器学习/分析引擎，支持更多的应用场景开发方式变革纯web化开发方式，一站式数据处理流程方法论的产品化数仓建设规范，标准，产品化数据丰富性丰富的采集手段，涵盖业务数据，日志数据，行为数据，IOT数据，估计数据，图片数据数据治理脏数据管理，元数据管理，数据质量，数据资产数据应用BI报表/大屏/营销引擎/DMP123465第10页，共20页。11数据中台介绍数据中台价值全面梳理数据资产构建全域数据中心落地战略和组织保障培养业务创新的土壤数据资产管理在线化形成数据人才成长的摇篮通过业务的不断滋养打造业务和数据的闭环第

6、11页，共20页。12数据中台介绍部署计算平台，开发套件，数据治理，数据应用引擎等产品在平台的基础上构建数据仓库，数据治理，数据应用等服务持续迭代，推进高层重视，自上而下推动组织变更，提升中台部门的战略地位数据中台人员配备(数据开发/算法开发/分析师/前后端研发/业务人员)数据中台实施路径第12页，共20页。数栈产品介绍数栈：企业级一站式数据中台PaaS业务中台数据应用数据化运营可视化大屏舆情监控精准营销个性化推荐数据源RDBMS日志文件ElasticSearchFTPHBaseDT.Trace爬虫智能实时全域基础服务数据应用引擎数据化运营集群部署运维监控多租户隔离多集群管理日志分析EasyL

7、og分析引擎大屏引擎EasyV数据计算引擎RD-OSClouderaHortonworksEMR数据开发套件数据集成实时任务开发任务运维离线任务开发数据仓库主题域用户主题域交易主题域商品主题域数据治理套件用户主题域交易主题域商品主题域第13页，共20页。14EasyManager安装部署运维监控Spark批量计算引擎Flink流计算引擎Yarn分布式资源调度HDFS分布式存储引擎Kafka分布式消息队列Tensorflow深度学习引擎DTEngine任务执行引擎DTGatewayAPI网关DTinsight.IDE开发套件1DTinsight.Valid数据质量DTinsight.API数据A

8、PIFlinkX数据同步引擎Console多租户隔离多集群管理数栈产品介绍数栈产品架构第14页，共20页。数栈产品介绍数据开发数据地图运维中心数据模型数据输入数据输出开源生态兼容可视化操作界面全生命周期覆盖兼容CDH、HDP、EMR等第三方开源分布式计算引擎全链路覆盖数据价值释放过程，支持实时、离线和智能计算屏蔽底层复杂的分布式计算引擎，基于Web的开发平台，提高开发效率数据输入任务开发与调度任务状态监控数据资产管理数据模型规范数据输出实时/离线/智能分布式计算引擎第15页，共20页。1616数栈产品介绍一站式大数据平台数据采集计算引擎数据加工数据应用数据分析机器学习PCAPPWI-FI基站工

9、业传感器手环手表离线计算实时计算SQL图计算广告MRShell图形化推荐定向可视化大屏智能语音决策树聚类神经网络支持向量机拖拽ReportDill down打通数据生产全链条第16页，共20页。案例1：国酒茅台数据中台京东方，借助可视化手段实时监控展会热度，客观体现展会成效的同时，为领导形象汇报了人员定位数据的多重价值。数据智能基础基础设施数据智能应用数据库（关系型、分析型）数据/算法 计算引擎与存储中间件（负载均衡等）全局监控电商大屏销售大屏云商大屏业务异常监控分析数据化运营电商决策门户云商经营门户官商经营门户B2C经营门户营销决策门户分销经营门户服务评价分析物流仓储分析电商销量预测组织效能

10、分析渠道销量预测数据植入业务反黄牛风控商圈选址商品推荐广告营销数据打通业务业务回流数据模型设计数据架构和模型设计数据架构设计总线矩阵规范定义数据采集数据埋点、解析入库官方商城茅台云商数据连接与萃取ID识别与连接用户ID识别用户标签数据应用层数据研发与运维编码研发测试与运维数据公共层数据基础层流量分析ID识别与画像经销商画像产品画像经销商参谋价格监测舆情市场洞察舆情品牌卫士舆情渠道管家舆情产品顾问舆情第17页，共20页。18案例1：国酒茅台数据中台第18页，共20页。19案例1：国酒茅台数据中台第19页，共20页。案例2：中金易云数据中台数据资产资产分析数据目录数据权限数据查找数据研发数仓规划数据建模规范定义数据研发调度运维统一数据应用服务（数据同步-搜索引擎+多维分析）萃取数据作者出版社读者发行集团终端门店书目公共数据采购仓储营销交易商品客户基础数据豆瓣亚马孙ERP数据额文件采集/接入爬取数据计算与存储离线计算实