懂车帝二手车基于Las DataLeap的流批一体准实时指标体系架构_第1页
懂车帝二手车基于Las DataLeap的流批一体准实时指标体系架构_第2页
懂车帝二手车基于Las DataLeap的流批一体准实时指标体系架构_第3页
懂车帝二手车基于Las DataLeap的流批一体准实时指标体系架构_第4页
懂车帝二手车基于Las DataLeap的流批一体准实时指标体系架构_第5页
已阅读5页，还剩33页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

连家漯-懂车帝-资深研发工程师DataFunSummit#2023目录CONTENT战二手车门店业务背景及挑战DataFunSummit#2023•懂车帝二手车业务主要分为线上媒体和线下门店两块•线下门店于2022年5月启动，旨在通过自营门店为用户提供值得信赖的二手车交易服务，成为最受信赖的信息、交易、服务平台。指标一致性差指标一致性差业务发展快架构不统一技术架构如何应对业务挑战DataFunSummit#2023如何统一实时离线架构当前，二手车门店数仓采用的离线、实时两套架构两套代码分别支持离线实线计算。这样做有如下问题：①需要维护两套不同的计算代码，维护开发成本高②在开发迭代过程中，非常容易出现指标口径不一致的问题如果想要实现离线、实时的统一(流批一体)，需要解决两个问题：①实时/离线存储层的统一②实时/离线计算层的统一交互式查询批量读取流式更新批式更新批式更新流式写入交互式查询批量读取流式更新批式更新批式更新流式写入统一存储层擎流式消费流式消费统一存储层统一元数据统一存储层Las表存储类型据会先写入行存（DeltaLog写入指定次数新的列存（BaseFile）统一存储层Las表索引类型数据会基于主键进行去重（Upsert数据不会基于主键进行去重（Insert统一存储层Las其他重要特性>支持按优先级保障不同列的产出>海量数据场景下快速更新大表的的部分列>解决实时多流Join大状态问题带来的作业不稳定问题>实时作业中维表Join对KV数据库的访问压力或者Cache的更新延迟问题>主键表默认的聚合逻辑为取最新一条数据，但部分场景需要对某些字段做sum/min/max/count等自定义聚合逻辑，复杂场景会取Top20等需求>流转批场景，MQ/MySQLDump从离线转为近实时，提升ODS数据就绪时间，且支持主键场景>下游增量消费上游Las表变更>查询历史任意时间戳全量数据统一计算层统一指标生产>明确指标定义方法>建立指标生产SOP>完成指标定义与模型绑定统一指标消费>基于指标服务驱动开发>指标查询元数据透传明确指标定义方法建立指标生产SOP路由查询优化路由查询优化完成指标与模型的绑定维度管理完成指标与模型的绑定维度管理模型A 维度a、维度模型A结果值指标1模型B结果值指标1模型B模型C 维度a、维度模型C模型建设优模型建设优化如何统一指标消费优点优点不足不足遇到的问题及解决办法DataFunSummit#2023一个分区大概有4万多个文件；造成读取速无法直接在Flink

人人文库> 全部分类> 应用文书 > 研究报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论