金融级实时数仓建设实践

金融级实时数仓建设实践马年圣-蚂蚁集团-实时数仓架构师DataFunSummit#2023CONTENT蚂蚁实时数仓架构DataFunSummit#2023围绕实时研发流程和能力，定义其中的关键问题，进行实时数仓和架构的建设实时开发链路可优化点!!!平台能力参差不齐!!!资产复用性问题!!!代码开发提效!!!数据内容监控ODPSODPS=云账号服务………云账号服务………客户端 Ob…元表权限元表血缘动化研发数据源定义物理表定义SLSEXPLORERHBASE实时保障DQC质量巡检异源数据比对数据源定义物理表定义SLSEXPLORERHBASE实时保障DQC质量巡检异源数据比对主备一致性监控场景基线保障任务运行监控实时压测系统诊断系统数据服务层实时报表配置资产元数据打通实时数据集定义数据应用接入实时标签服务实时接口定义开发效率提升数据保障增强开发模式复用通用能力沉淀计算逻辑定义实时任务生成计算逻辑一致解决方案拓展计算开发层统一资产服务资产合规管控资产消费血缘资产复用资产搜索资产规范资产定义资产沉淀存储层字段定义字段定义…………引擎层数据库日志数据库日志实时消息线上日志数据源……user1●!log5.用户user1●!log5.用户log4●log7/●log6基础解决方案：双流Join、维表关联拓扑构建log1loglog3/●log2●log8 trans1/SlsSls实时数据质量保障DataFunSummit#2023主备监控异源核对异常巡检差异比对任务挂载基线场景故障体系消费血缘全任务血缘主备监控异源核对异常巡检差异比对任务挂载基线场景故障体系消费血缘全任务血缘在事前和事中两个重要的阶段，通过研发卡点、任务监控、数据监控、全链路监控等能力，保障任务和数据的稳定性事中事前事中压测+限流防降数据异常监控数值分布数据不一致记录数波动 数据分布监控字段选定统计方式时间区间对比周期阈值区间Metric采集数据统计统计周期数据波动阈值区间全链路基线单任务延迟末节点溯源全链路监控基线等级基线等级保障体系保障体系DPDP任务血缘“端到端”“端到端”数据质量面向实时数据的全生命周期和全链路，从最底层的引擎到最上层的服务，构建端到端的实时数据质量监控能力消费生产算法场景报表场景……应用层查询层存储层任务级DQC计算层数据源数据源MetricMetric注册中心数据健康度数据健康度快排监控分析快恢消费切换任务DQC结果DQC结果DQCDWSSLS_DWS5DWDSLS_DWD8ODSSLS_ODS8ADM_2EXP_ADM_28DWSSLS_DWS5DWDSLS_DWD8ODSSLS_ODS8ADM_2EXP_ADM_28ODSDRC_ODS7ADM_3UCS_ADM_37DIMHBS_DIM7ADMADM_1HBS_ADM_15资产分类资产分类链路监控链路监控风险评估风险评估大促保障大促保障场景基线场景基线资源管理资源管理发布管控发布管控资产汰换资产汰换流批一体应用DataFunSummit#2023离线数仓重中间层，实时数仓重应用层，从中间层到应用层均会进行数据融合=>流批一体能力要能够兼容从原始层到应用层的逻辑对齐和引擎计算能力贴源层贴源层Flink汇总层应用层（存储多样）报表场景报表场景数据融合标签场景数据/应用融合特征场景流/批模型融合60%60%30%30%60%60%应用层Odps汇总层30%30% 离线代码研发离线代码研发离线任务运维例离线调度引擎离线代码生成Dataphin元表管理“ABS“ABS”Source/SinkConnectSource/SinkConnectKubernetes原生调度/集群模式调度mix_sourcebatch_sourcemix_sourcebatch_source元表注册bigintbigintvarcharabSink限流保护线上库streamstream_source流VS批代码生成代码生成变量替换 静态/动态分区bigintbigintvarcharabOdpsFlinkOdps离线累计汇总表Lindorm一流批一体FlinkBatchFlinkBatch优化点数据湖落地展望DataFunSummit#2023ExplorerExplorerLindorm……Lindorm离线实时准实时ExplorerPaimon（明细->累计汇总）Paimon（增全量明细）LindormdimODPS（hi）增量+初始化ExplorerExplorerLindorm……Lindorm离线实时准实时ExplorerPaimon（明细->累计汇总）Paimon（增全量明细）LindormdimODPS（hi）增量+初始化实时元表应用场景ADMDWSDWDODS数据源数据报表数据报表数据服务