




已阅读5页,还剩21页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
以大数据计算平台为例,主要使用用户为数据技术和分析师,主要目标是为业务提供数据统计服务数据同步(表A数据移动到表B)数据计算(多个表结果存入表C)数据同步节点的基本样式源现延迟,用户团队会逐步放弃维护字段更新,最终大数据平台的版本与线上版本会出现明显的不一致,随着时间推移,表格使用者的沟通范围会扩大,数据统计沟通2、需要手动更新表字段信息3、部分节点数据倾斜影响整体调度时间4、频繁的连接业务数据库(后续改binlog方案可以避免)5、计算资源浪费、计算成本高版本更新后的字段同步业务系统侵入性低不占用或者少占用线上资源周期性的将多个表由目标数据库以高同步率,高效率,低成本,对业务数据库侵入性低的方法迁移到大数据计算平台系统操作逻辑下一步设计:如何实现数据平台剥离同步节点数据质量检测需求:检查数据质量,输出质量检测报告重新梳理需求重新理解需求场景3:同一id的基于时间序的上下文校验需求规模上下游需求与价值创造无关的操作减少频繁发布,方便规则的及时变更减少频繁发布,方便规则的及时变更重复的集合差集代码由系统自动生成固定逻辑,只需要设置回溯条数和校验字段逻辑依据场景配置,自动生成数据质量报告依据场景配置,自动生成数据质量报告大多数数据产品是通过提高用户的效率来实现客户效率的提升,用户和客户需求都要满足,但建议以客户需求报数报表指标搜索,查询指标定义和指标相关的应用周报下载功能&OLAP
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年签订汽车买卖合同需要注意哪些细节
- 2025农业生产资料租赁合同
- 《2025简约广告制作合同范本》
- 2025关于房屋租赁的合同样本
- 搬家运输合同范本
- 建筑模型制作合同
- 广州市商品房买卖合同
- 采沙场转让协议范本
- 商铺租赁补充协议范本
- 兄妹房屋财产赠与合同
- 2025年中国工业X射线检测设备行业市场集中度、企业竞争格局分析报告-智研咨询发布
- 职工维权知识培训课件
- 2024银行春招招聘解析试题及答案
- 2025陕西核工业工程勘察院有限公司招聘21人笔试参考题库附带答案详解
- 2024中国核工业集团公司招聘(300人)笔试参考题库附带答案详解
- 第15课《青春之光》课件-2024-2025学年统编版语文七年级下册
- 初中网络安全教育
- 浙江省杭州市金丽衢十二校2024-2025学年高三下学期(3月)第二次联考数学试题 含解析
- DL∕T 5161.8-2018 电气装置安装工程质量检验及评定规程 第8部分:盘、柜及二次回路接线施工质量检验
- (正式版)HGT 22820-2024 化工安全仪表系统工程设计规范
- 15D501 建筑物防雷设施安装
评论
0/150
提交评论