元数据管理平台调研课件

1、元数据管理平台演讲人2021-08-0901.什么是元数据02.元数据管理架构目录什么是元数据01什么是元数据概念+连接什么是元数据信息的维度传统元数据元数据类型存储介质元数据关系元数据类型业务元数据：业务规则、指标、术语等技术元数据：数据结构、接口信息等管理元数据：人员职责、管理流程等传统元数据存储介质模型设计工具：PowerDesigner等系统数据库：mysql、oracle等ETL工具：datastage等规范文档：excel、xml等传统元数据元数据关系组合关系：库包含表、表包含字段等依赖关系：指标加工、数据迁移等过程的数据流向传统元数据什么是元数据广义元数据1、简单的库表2、整个数

2、据平台3、服务的管理元数据管理架构02元数据管理架构采集存储管理和应用元数据管理架构采集采集原理01采集策略02采集原理如何采集采集过程采集步骤（串行）采集原理如何采集1、筛选元数据类型012、选择不同适配器024、元数据存储数据库043、采集入库程序03采集原理采集过程2、创建数据源021、筛选元数据类型013、配置采集任务034、执行采集任务045、元数据存储数据库05采集原理采集步骤（串行）2、入临时表025、得到元数据的变更信息051、获取元数据014、更新元数据ID043、与正式表比对036、将元数据和变更信息入正式表06采集策略01 准备采集服务（主备）02 采集目标数据源与采集服

3、务映射031、元数据编码+元数据类型+元数据父级路径2、MD5加密生成的字符串作为元数据的ID3、通过ID将元数据和正式表数据作比对4、得到变化的元数据5、写入到数据库中的正式表采集任务执行（并行，取消临时表）元数据管理架构存储元模型设计元数据表划分和存储存储应用CWM元模型定义：对应一对一转换成关系型数据库表 举例 1、T_SchemaList（数据库记录）2、T_TableList（表记录）3、T_ColumnList（字段记录）4、T_PrimaryKeyList（主键记录）优点：系统容易实现，库表设计难度低 缺点：不支持扩展，支持有限范围元数据管理 MOF元模型定义：存储CWM元模型，

4、可支持任何类型的元数据扩展举例优点：支持扩展，支持所有种类的元数据管理缺点：系统实现复杂，库表设计难度大举例1、T_MM_CLASSILIER（类表）：schema、table、column、primarykey作为类存储在此表2、T_MM_DATATYPE（数据类型表）3、T_MM_ENUMER（枚举表）4、T_MM_PACKAGE（包）5、T_MM_CLASSES（类）6、T_MM_ATTRIBUTE（类属性）7、T_MM_RELATION_COMP（类组合关系）8、T_MM_RELATION_DEP（类依赖关系）MOF元模型元数据系统管理表：元模型管理表（采用mysql+redis）元数据应用表：元数据关联关系，其血缘关系、影响关系和数据地图（存储展示使用图数据库，检索使用ES）元数据事实表：通过元数据采集适配器采集来的原始的元数据（HBase）元数据表划分和存储存储应用图数据库存储关联关系 节点 关系属性labelHBase存储元数据对象 不变属性：每一类元数据都固有