版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、元数据管理平台演讲人2021-08-0901.什么是元数据02.元数据管理架构目录什么是元数据01什么是元数据概念+连接什么是元数据信息的维度传统元数据元数据类型存储介质元数据关系元数据类型业务元数据:业务规则、指标、术语等技术元数据:数据结构、接口信息等管理元数据:人员职责、管理流程等传统元数据存储介质模型设计工具:PowerDesigner等系统数据库:mysql、oracle等ETL工具:datastage等规范文档:excel、xml等传统元数据元数据关系组合关系:库包含表、表包含字段等依赖关系:指标加工、数据迁移等过程的数据流向传统元数据什么是元数据广义元数据1、简单的库表2、整个数
2、据平台3、服务的管理元数据管理架构02元数据管理架构采集存储管理和应用元数据管理架构采集采集原理01采集策略02采集原理如何采集采集过程采集步骤(串行)采集原理如何采集1、筛选元数据类型012、选择不同适配器024、元数据存储数据库043、采集入库程序03采集原理采集过程2、创建数据源021、筛选元数据类型013、配置采集任务034、执行采集任务045、元数据存储数据库05采集原理采集步骤(串行)2、入临时表025、得到元数据的变更信息051、获取元数据014、更新元数据ID043、与正式表比对036、将元数据和变更信息入正式表06采集策略01 准备采集服务(主备)02 采集目标数据源与采集服
3、务映射031、元数据编码+元数据类型+元数据父级路径2、MD5加密生成的字符串作为元数据的ID3、通过ID将元数据和正式表数据作比对4、得到变化的元数据5、写入到数据库中的正式表采集任务执行(并行,取消临时表)元数据管理架构存储元模型设计元数据表划分和存储存储应用CWM元模型定义:对应一对一转换成关系型数据库表 举例 1、T_SchemaList(数据库记录)2、T_TableList(表记录)3、T_ColumnList(字段记录)4、T_PrimaryKeyList(主键记录)优点:系统容易实现,库表设计难度低 缺点:不支持扩展,支持有限范围元数据管理 MOF元模型定义:存储CWM元模型,
4、可支持任何类型的元数据扩展举例优点:支持扩展,支持所有种类的元数据管理缺点:系统实现复杂,库表设计难度大举例1、T_MM_CLASSILIER(类表):schema、table、column、primarykey作为类存储在此表2、T_MM_DATATYPE(数据类型表)3、T_MM_ENUMER(枚举表)4、T_MM_PACKAGE(包)5、T_MM_CLASSES(类)6、T_MM_ATTRIBUTE(类属性)7、T_MM_RELATION_COMP(类组合关系)8、T_MM_RELATION_DEP(类依赖关系)MOF元模型元数据系统管理表:元模型管理表(采用mysql+redis)元数据应用表:元数据关联关系,其血缘关系、影响关系和数据地图(存储展示使用图数据库,检索使用ES)元数据事实表:通过元数据采集适配器采集来的原始的元数据(HBase)元数据表划分和存储存储应用图数据库存储关联关系 节点 关系属性labelHBase存储元数据对象 不变属性:每一类元数据都固有
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 果品综合检测结论与建议
- 北京市存量房屋买协议
- 交易员考试专项测试题有答案
- 高中语法之动词时态
- 高中英语语法之状语
- 《学前儿童卫生保健》 课件 7.2托幼园所常见的其他卫生保健制度(课件)
- 《学前儿童卫生保健》 课件 1.2.8 幼儿神经系统的特点及卫生保健
- 一起分享课件教学课件
- 2024届陕西省延安市实验中学高三4月综合练习(一模)数学试题试卷
- 陕西省延安市富县2023-2024学年八年级上学期期中考试数学试卷(含答案)
- 腹膜透析平衡试验
- 三甲级综合医院全科室岗位说明书汇编(专业完整模板)
- DB37-T 3657-2019地质灾害治理工程设计技术规范
- 加油站污染源及处理设施表
- (完整)仁爱重点初中英语单词表(全)
- 博格隆(浙江)生物技术有限公司年产50000升凝胶、3000公斤干粉纯化分离介质建设项目报告书
- 沿海地区抗风性能检测方案
- 新概念英语第二册精讲笔记
- 患者告知制度
- 操场塑胶跑道和人工草坪施工方案
- 数学一年级上册《期末考试试卷》含答案解析
评论
0/150
提交评论