离线大数据技术实践

1、滴滴离线大数据技术实践技术创新 变革未来议程背景数据治理 引擎技术演 进离线平台框架总结与展望业务特点快车专车出租车豪华车共享单车000轨迹数据交易数据日志数据埋点数据实时离/采集实时离/计算离线应用场景运营活动数据建模数据挖掘报表产出数据清洗业务日志行为日志轨迹日志数据 采集ETL业务数据报表分析应用规模千台级数千人百PB级十万级用户数晕集群规模任务数晕集群存储行业问题问题安全稳定性能成本议程背景数据治理引擎技术演进离线平台框架总结与展望数据治理冷热数据分析生命周期核心数据备份FSImageAuditLogHiveMetaImage TableAuditLog TableMeta Table

2、解析、上传上传上传查询分析历史数据压缩无用数据清理Hive建表默认ORC冷热数据分析生命周期用户数据平台HDFS生命周 期服务Hive客户端Hive生命周期 服务申请 修改建表 修改设置设置清理清理HDFS生命周期平台申请生命周期服 务处理HIVE生命周期建表设置修改表信息核心数据备份维护核心数据元数据信息增量拷贝、压缩、校验议程背景数据治理 引擎技术演进离线平台框架总结与展望引擎技术演进引擎HadoopSparkHive引擎技术演进HadoopHadoop安全稳定、性能成本NNNN RBF RMBalancerNN DN引擎技术演进HadoopHDFS认证：密码机制、白名单稳定：Federa

3、tion(ViewFS,RBF)性能：NN启动优化、Balancer优化成本：EC压缩YARN性能：Container分配优化稳定：NodeLabel Feature引擎技术演进HadoopRBFHDFS-10467HDFS-12615HDFS-13891引擎技术演进HiveHive安全稳定、性能MSMS HS2Hive Client引擎技术演进Hive权限管理元数据权限：MS数据权限：UGO、Ranger稳定、性能MS Federation(waggle-dance)HS2共享UDFHive Client启动优化支持HDFS Federation引擎技术演进Hivewaggle-dance/

4、HotelsDotCom/waggle-dance引擎技术演进Spark性能Spark 1.6升级2.2Spark-SQL分区裁剪Spark-SQL AE稳定支持HDFS Federation服务化Livy引擎技术演进演进方式紧跟社区主线，引入新功能、优化修复社区Bug，增加新Feature根据业务需求少呈定制开发回馈社区提交40+ patches接收30 patches分享RBF、waggle-dance最佳实践议程背景数据治理 引擎技术演进离线平台框架总结与展望平台构成RBFRouter0Router1RouternNN 00DN0NS0NN 01DN1NS1NN 10DN2NN 11DN3DN4NSmNNNNm0m1DNzYARNMRHS2Hive Client调度系统开发平台数据产品分布式存储统一资源调度引擎业务平台Livy Spark数仓建设BI报表特征工程权限管理 监控诊断平台监控RPCHDFS路径NN监控平台监控操作数分区扫描MS监控平台监控服务器监控告警通用 监控CPULOADMEMDISKNetWork议程背景数据治理引擎技术演进离线平台框架总结与展望总结问题安全、稳定、性能、成本数据治理冷热数据分析、生命周期、备份引擎优化Hadoop、Hive、Spark紧跟社区主线、引入新Feature、优化