一种基于数据血缘分析的数据治理方法研究与应用_第1页
一种基于数据血缘分析的数据治理方法研究与应用_第2页
一种基于数据血缘分析的数据治理方法研究与应用_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

于数据血缘分析的数据治理方法【摘要】：在数据中台的建设过程中，作为数据治理的重要手段，引入了数据血缘可视化分析的思想，针对数据表级、字段级等不同级别下的数据实现，介绍了数据血缘解析、数据血缘可视化两个部分的技术架构和解决方案，以及在电力交易数据管理中的应用，从而提高对数据加工和处理过程的监控和管理水平。【关键词】：数据血缘；数据中台；数据治理随着大数据、云平台等技术的发展，很多企业开启了数字化、智能化转型的战略，采用了数据中台的建设思想，将传统的独立的信息孤岛进行整合，建立企(1)数据流向及关联关系展现：数据中台的架构通常采用数据分层建模贴源层(ODS)、明细层(DWD)、汇总层(DWS)、应用层模型(ADS)，各层之据库表存在着错综复杂的数据流向关系，随着项目规模的扩大，数据管理者无法从全局角度清晰地查看整体系统的数据流向及关联关系。过程中，往往会出现对一些数据质量问题，然而数据处理过程环节多，实现形式多样，依赖关系复杂，数据开发和运维人员很难准确记忆数据的来龙去脉，很难及时有效地定位问题的位置，同样当某个数据处理环节出现问题时，也难以分析影响的范围。(3)面向非结构化文件数据内容的血缘分析：随着大数据技术的发展和，相比传统的数据仓库体系，数据来源和数据产品呈现多样化特点，例如链路的跟踪和监控，并且能够提供技术，研发适用于大数据场景的数据采集、数据血缘解析、数据血缘le(3)非结构文件数据采集：指对非结构化文件及数据内容的采集和存储，通过对文件内容的解析提取，建立文件与数据内容的关联关系，转换为结构化的信息存储。(4)任务执行日志采集：基于任务的自动调度，自动生成任务的执行记录信息，对任务的执行记录进行汇集。(5)自定义数据流程采集：基于自定义的数据开发工具，通过拖拽式的据的开发和存储应用。数据血缘解析负责将采集后的数据进行关系识别，转换成血缘数据进行存储，面。(1)任务级血缘解析：用于展现任务处理的数据加工链路场景，使得用户可以从更高的层次看到某个对象的数据加工流程链路、任务的执行时间、所在的的执行成功情况等。(2)数据级血缘解析：包含数据表级血缘解析、字段级血缘解析、非结构1)数据表级血缘解析：用于关系型数据的主题表之间的数据链路关系，一般用于反映不同层级之间的对象关系场景。2)字段级血缘解析[2]：指元数据的血缘，相比对象级血缘解析粒度更细致，主要包含主题表的字段、属性、文件的属性之间的数据来源关系。3)非结构化文件数据解析：用于关系型数据的主题表、非关系型数据文件对象等之间的数据链路关系。2.3数据血缘展现数据血缘展现，指通过大数据可视化图表的方式将解析后的血缘数据图形化地呈现出来，具体包含展现任务级、数据级数据，此外，支持用户的交互操作，能够点击血缘图中的数据对象和节点查询相关的详细信息。(1)绘制任务级数据处理过程监视绘制各层级的数据处理过程可视化展示界面，直观呈现数据处理过程及运行状态，为数据运维人员提供数据全链路监控管理界面。(2

人人文库> 全部分类> 教育资料 > 作文作品

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论