版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、滴滴离线大数据技术实践技术创新 变革未来议程背景数据治理 引擎技术演 进离线平台框架总结与展望业务特点快车专车出租车豪华车共享单车000轨迹数据交易数据日志数据埋点数据实时离/采集实时离/计算离线应用场景运营活动数据建模数据挖掘报表产出数据清洗业务日志行为日志轨迹日志数据 采集ETL业务数据报表分析应用规模千台级数千人百PB级十万级用户数晕集群规模任务数晕集群存储行业问题问题安全稳定性能成本议程背景数据治理引擎技术演进离线平台框架总结与展望数据治理冷热数据分析生命周期核心数据备份FSImageAuditLogHiveMetaImage TableAuditLog TableMeta Table
2、解析、上传上传上传查询分析历史数据压缩无用数据清理Hive建表默认ORC冷热数据分析生命周期用户数据平台HDFS生命周 期服务Hive客户端Hive生命周期 服务申请 修改建表 修改设置设置清理清理HDFS生命周期平台申请生命周期服 务处理HIVE生命周期建表设置修改表信息核心数据备份维护核心数据元数据信息增量拷贝、压缩、校验议程背景数据治理 引擎技术演进离线平台框架总结与展望引擎技术演进引擎HadoopSparkHive引擎技术演进HadoopHadoop安全稳定、性能成本NNNN RBF RMBalancerNN DN引擎技术演进HadoopHDFS认证:密码机制、白名单稳定:Federa
3、tion(ViewFS,RBF)性能:NN启动优化、Balancer优化成本:EC压缩YARN性能:Container分配优化稳定:NodeLabel Feature引擎技术演进HadoopRBFHDFS-10467HDFS-12615HDFS-13891引擎技术演进HiveHive安全稳定、性能MSMS HS2Hive Client引擎技术演进Hive权限管理元数据权限:MS数据权限:UGO、Ranger稳定、性能MS Federation(waggle-dance)HS2共享UDFHive Client启动优化支持HDFS Federation引擎技术演进Hivewaggle-dance/
4、HotelsDotCom/waggle-dance引擎技术演进Spark性能Spark 1.6升级2.2Spark-SQL分区裁剪Spark-SQL AE稳定支持HDFS Federation服务化Livy引擎技术演进演进方式紧跟社区主线,引入新功能、优化修复社区Bug,增加新Feature根据业务需求少呈定制开发回馈社区提交40+ patches接收30 patches分享RBF、waggle-dance最佳实践议程背景数据治理 引擎技术演进离线平台框架总结与展望平台构成RBFRouter0Router1RouternNN 00DN0NS0NN 01DN1NS1NN 10DN2NN 11DN3DN4NSmNNNNm0m1DNzYARNMRHS2Hive Client调度系统开发平台数据产品分布式存储统一资源调度引擎业务平台Livy Spark数仓建设BI报表特征工程权限管理 监控诊断平台监控RPCHDFS路径NN监控平台监控操作数分区扫描MS监控平台监控服务器监控告警通用 监控CPULOADMEMDISKNetWork议程背景数据治理引擎技术演进离线平台框架总结与展望总结问题安全、稳定、性能、成本数据治理冷热数据分析、生命周期、备份引擎优化Hadoop、Hive、Spark紧跟社区主线、引入新Feature、优化
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 政策性银行服务农业科技园区发展与支持考核试卷
- 玉米种植农业气象灾害防范措施研究考核试卷
- 稀土金属矿选矿厂职业健康管理策略考核试卷
- 合成材料在汽车轻量化技术中的应用考核试卷
- 显示器件的柔性与可穿戴技术考核试卷
- 选矿设备维护与管理考核试卷
- 艺术品市场多元化发展探讨考核试卷
- 2024年度贵州省安全员之B证(项目负责人)自我检测试卷B卷附答案
- 2024年度湖南省安全员之C证(专职安全员)考前自测题及答案
- 2024年度甘肃省安全员之B证(项目负责人)题库附答案(典型题)
- 外研社英语一年级起点五年级上册知识点总结汇总重点句型课文讲解
- 中国旅游地理(高职)全套教学课件
- 皮肤科护士对皮肤科器械和设备的使用与维护
- 通讯产品行业培训资料
- 2024年健康照护师理论试题
- 医学院管理数据库系统
- 助听器行业分析报告调研
- 肿瘤流行病学数据
- 刻章业管理制度
- 弘扬教育家精神主题教师演讲稿10篇
- 第12课《汉武帝巩固大一统王朝》(说课课件)
评论
0/150
提交评论