数据模型与数据资产平台介绍

数据模型&数据资产管理&数据安全敏捷，生态，智能2022@2021Datablau

All

right

reservedDatablau产品体系介绍Datablau产品体系构建数据标准体系，结合数据模型管控，从源头开始治理，配合质量管控体系，实现资产盘点，最后通过数据服务，达到数据资产变现目的。数据资产管理平台

Data

Asset

Mgr数据模型管控平台

Data

Modeler数据资产目录平台

Data

Catalog数据安全管理平台

Data

Security模型设计数据资产搜索引擎指标标准管理数据静态脱敏标准落标协作共享元数据管控数据资产目录智能数据分类分级数据质量管理数据地图数据安全网关模型管控模型盘点数据血缘与图谱数据资产门户数据服务基础标准管理集中用户确权数据动态脱敏@2021Datablau

All

right

reserved指数据战略要开发应用导求数据生命周期管理数据管理数据治理规划数据管理战略及规划数据管理政策及制度数据管理组织及职责数据服务数据字典数据地图血缘分析治理评估数据共享Datablau数据治理架构Datablau数据治理体系是一个“梳理资产+数据管控+支撑开发+数据服务”的体系数据治理管控落地技术融合数据需求开发数据仓库建设数据成熟度评估数据决策应用自然语言智能分析分布式数据服务数据模型管理可信源管理数据标签管理数据质量管理数据标准管理数据认责管理数据安全管控资源目录管理人工智能学习@2021Datablau

All

right

reserved微服务架构流加工技术数据发布数据访问1数据资产目录…2数据标准业务

术语数据

标准L1主题域分组L2主题域L3业务对象L4逻辑数据实体属性数据模型客户线索

机会点

客户合同业务术语业务对象在企业内的统一定义数据标准企业内需共同遵守的数据含义和业务规则数据分布组件表达数据在业务流的流转表达数据在IT系统的流转定义数据产生的源头信息架构•数据在业务流程和IT系

统上流动的全景视图•识别数据的“来龙去脉”•定位数据问题的导航•通过E-R建模实现对数据

及其关系的描述•指导IT开发，是应用系统实现的基础•业务定义的规范•统一语言，消除歧义•为数据资产梳理提供标准的业务含义和规则•通过分层架构表达•对数据的分类和定义•厘清数据资产•建立数据模型的输入Datablau数据治理实施路径@2021Datablau

All

right

reserved数据分层结构数据标准组件

数据模型

3数据分布

4数据流数据源信息链L5数据应用与服务数据需求管理数据修改与质量提升需求人工智能数据管理制度与流程数据管理组织与职责数据质量管理维度信息管理智能化标准管理数据架构与共享管理数据安全管理元数据管理主数据管理

主数据标准/规范

数据安全管理策略数据分类分级数据加密与脱敏元数据血缘解析元数据服务主数据模型主数据服务数据治

理审计质量

审计合规

审计安全

审计数据治理流

程管理工具数据质量检核数据质量分析数据质量改进Datablau数据治理功能架构数据治理与管理战略规划数据治理与管理实施路线数据治理与管理绩效评估价值层治理层外部数据采集采购需求应用层管理层基础层算法应用报表服务数据取用与分析需求系统及数据产品开发需求数据服务产品化业务数据流数据交换标准数据采集规范物理数据模型数据管理组织架构数据服务标准企业数据架构数据模型管控概念数据模型数据模型分布逻辑数据模型数据词典/标准代码指标数据标准基础数据标准数据管理制度及细则文档数据管理与职责数据管理制度框架数据质量规则数据质量探查@2021Datablau

All

right

reserved元数据自动采集元数据标签管理数据安全服务主数据分类与定义数据应用与

服务工具元数据管理

工具数据标准管

理工具数据质量管

理工具主数据管理

系统数据安全

工具数据共享

工具数据战略与规划数据模型管理数据标准管理技术支撑Datablau数据模型功能架构图@2021Datablau

All

right

reserved•对于商务套件类、

第三方产品类系

统不涉及。•自主研发类、且为关系型数据库

通过逆向或正向

工程导出模型……..统一模型工具模型库增加模型评审环节，领域架构师、企业架构师负责模型的评审，通过资产平台进行完整性检查部署生产环境后，通过数据资产平台检查并监控模型的一致性、完整性并出具相关报告Datablau模型管控体系存量系统新建系统元数据完整性报告一致性报告模型完整性报告@2021Datablau

All

right

reserved模型变更监控模型采集与解析完整性、一致性检查与监控通过统一的建模工具，进行模型设计DATAASSET数据资产平台DATAASSET数据资产平台导出上传模型文件导出数据库脚本存储

、

查阅数据资产管理员数据资产管理员完整性检查事前

统一事中

评审事后

监控模型审核模型采集逆向工程系统架构师企业架构师领域架构师设计设计协同将DDM纳入开发投产流程后，各业务模块需要进行模型迁移，并使用平台提供的典型能力进行进行模型设计、开发测试和投产。Ø模型导入－通过导入工具，将PD、ERWin等工具的模型导入DDM中。Ø反向工程–通过直联数据库的方式，反向生成模型。Ø信息补全－补充模型中缺失的

字段信息，例如字段中文名称Ø模型设计-使用客户端设计器进行模块设计与维护Ø影响分析-设计阶段能够显示模型的修改对下游系统的影响Ø字段引标-设计工具中能够引用数据标准Ø任务管理-提交模型时需要与JIRA任务进行关联Ø分支管理-按照行内推荐的最佳实践进行分支管理，分支间

按照任务进行内容合并Ø模型评审-模型的变更必须经ØDDL校验-将投产DDL与模型工具导出DDL比对。

对于不匹配的部分，近期可以人工确认，远期改为系统认定。Datablau模型管控体系与数据开发模型导入投产阶段设计阶段开发测试阶段@2021Datablau

All

right

reserved过线上评审数据模型按照开发与测试环境进行对应的版本管理，形成开发、SIT、UAT、版本等分支进行管理，并形成统一的分支管理策略。设计态(DataBlau)运行态(元数据)Datablau模型分支管理策略开发UATSIT版本@2021Datablau

All

right

reserved元

数

据

管

理元数据分类元数据：

是指对数据资产进行汇总、描述、分析并提供可视化血缘分析、影响性分析能力，

实现更方便检索、使用或管理的结构化数据。元数据是数据资产共享和交换的基础与前提，可以被视为公司信息资源地图，指引信息资源的获取与访2.如何快速直观识别某一数据结构变更对数据应用系统的影响@2021Datablau

All

right

reserved元数据应用价值1.如何及时全面了解各个系统中的数据结构和存储情况业

务

元

数

据面向业务分析人员，是对数据和

处理规则的业务化描述，主要包括业务规则、业务术语、指标业务口径、信息分类等面向技术人员，偏重数据结构和数据处理细节方面的技术化描述，

是用于开发和维护数据的基本信息，

主要包括源系统接口规范、数据结构的描述、数据集市定义描述以及数据处理过程的描述等信息面向数据运维管理人员，是对运维管理相关信息的描述，主要包括系统运行环境、管理流程、人员职责、工作内

容分配描述等信息Datablau元数据管控体系问，从而提升公司数据资产的可用性。技

术

元

数

据管

理

元

数

据@2021Datablau

All

right

reservedDatablau元数据管控体系比较

引擎生产库数据仓库数据库基于Datablau

DAM的元数据库和模型库，

应用模型自动比较引擎功能，

将模型库中设计态模型与元数据库中运行态模型进行比对，

获取模型差异，

及时发现”

模型两张皮”情况，

并通知相关方处理“两态模型”不一致问题。新增变化缺失表544字段3102视图100生产数据库元数据库表结构中心模型库Datablau元数据管控与模型管控联动Datablau

DAM(模型库服务器)@2021Datablau

All

right

reservedxxx数据库差异报告生产库元数据模型库基线模型自动采集自动比较引擎发送通知产生报告Datablau

数据

标

准

管

理

体

系

，

通

过

基

础

数

据

标

准

流

程

化

管

理

、

指

标

数

据标准流程化管理

，

实

现

数

据

标

准

体

系

建

设

。

平

台

通

过

智

能

化

辅

助

功

能

，

提

供

自

动

化

数

据

标

准

推

荐

、

智

能

核

标

、

自

动

核

标

能

力

。

结

合

数

据

资

产

平

台

，

提

供

数

据

标

准

共

享

服务。Datablau数据标准管理体系@2021Datablau

All

right

reserved

Datablau数据标准管理体系-基础类数据标准基础类数据标准设计思路–“从无序到有序”，建立基础数据的标准规范体系。§数据项应遵循的标准属性和业务规则的统一定义与解释。包括归属主题、子主题、中文名称、英文名称、业务定义、标准来源、遵循级别、敏感性分级、数据类型、数据长度、所属部门、标准状态、发布日期、停用日期等。§明确数据标准定义中所涉及的代码取值和业务含义。包括代码编号、代码中文名称、代码值、代码项名称、代码描述、代码值编码规则。标准属性§主题定义：明确业务主题(如合约)的概念、本质与内涵。§主题基础分类：明确业务主题在企业的分类体系。主题定和分类数据标准的核心内容@2021Datablau

All

right

reserved标准代码义指标定义•管理分析>服务于管理层和管理工作，为监督与控制达成企业整体效益目标、按照一定统计学方法而进行的统计分析•管理分析类指标：

>定量的评价>在企业范围内是一致和通用的>反映的是企业总体经营状况及发展趋势，在统计分析、管理决策中占据重要的地位>使用者层次高>受关注度较高

5

加

汇总(Amount)：多用于各类金额方

计数(Count)：多用于交易量、客户数1234统计维度：指标分析的视角与汇总的粒度。维度主要用来描述在

业务活动中会从哪些角度对指标进行使用和分析。统计口径:指标的统计限定条件或取数范围描述，主要用于补充无法用计算公式部分进行描述的部分，其中也包括对取数过程中需要用到的判断信息项界定条件的描述。计算规则：指标的计算方法描述，主要是指标通过取哪些数据进行运算。对运算关系的描述包括+、-、X、/、Σ等，其中既包含直接计算关系，也包含所涉及的子项的计算关系Datablau数据标准管理体系-指标类数据标准

指标标准设计思路–“从纷繁到简明”，基于度量、维度、口径、计算规则与加工方式的指标标准设计框架。度量:指用于对事物进行衡量的基本单位，如金额、笔数、用户数、客户数等。例如：资产总额、负债总额、营业收入例如：设备台数、供应商数量、员工人数比率(Ratio)：多用于结构分析、绩效衡量例如：流动比率、资产负债率样例方案@2021Datablau

All

right

reserved工式数据标准应用加载数据标准维

护Datablau数据标准管理流程数据标准管理流程设计书同文、车同轨：制定并实施统一的数据业务标准、数据技术标准，形成统一的数据标准体系。Y@2021Datablau

All

right

reservedNoNoY

数据标准

1

数据管理人员开发、建模人员3

组装

数据模型2

数据建模工具Datablau数据标准落标数据库@2021Datablau

All

right

reserved关联同步4变更DDL导入我们将根据现状调研及各业务部门反馈，梳理重要业务系统，确定数据质量探查范围。通过数据质量检核规则探查关键数据质量并形成重要业务系统数据质量报告，并结合数据标准给出数据质量提升解决方案。Datablau数据质量管控体系@2021Datablau

All

right

reservedDatablau数据质量管控体系质量规则管理检核任务管理

规则模板数据标准

自定义质量规则质量规则库质量问题库业务系统规则检核引擎运行维护创建检核任务登记质量问题规则分析报告ODS问题分析报告解决方案/知识库问题处理和分发驾驶舱分析报告在ODS上检

核问题Moia调度手工调度@2021Datablau

All

right

reserved质量问题管理在业务系统

上修复问题分析报告定期入仓处理周期影响程度问题级别形成问题解决闭环路线图，

控制和预防问题的产生系统类u关键数据不能使用u部分数据不能使用u数据能使用但精度稍低数据质量问题Datablau数据质量分析思路周期性统计、分析及沉淀问题解决

，进入知识库u两小时u当日u月底前u非常严重u严重u比较严重u一般严重业务变更导致统计逻辑变化新增业务导致统计逻辑变化部门统计口径不相同评

估

指

标

方

法评

估

指

标

分

类@2021Datablau

All

right

reserved……重

复

数

据值

缺

失代

码

值

为

空主从数据关联缺失格

式

不

正

确数

据

精

确

度……12业务类3数据质量提升数据质量管理部门&相关部门&IT项目组

提出核准生成•分析、汇总并确认各相关部门提交的度量规则•据此制定数据质量检核方法•冲突或歧义的数据协调解决业务部门分析：业务流程、业务操作规范性、管理制度，以及IT系

统需求等IT项目组分析：数据模型设计、IT系统功能等Datablau数据质量管理流程检核结果开展检核检核方案组织检核提交问题组织

分析数据质

量提升

的IT系

统改造数据质量提升的业务优化历史数据质量提升问题报告

数据质量管理&业务&IT

数据质量管理&业务&IT

数据质量管理部门业务部门数据质量管理部门数据质量管理部门编写工作总结报告评估检查@2021Datablau

All

right

reserved问题发现问题分析Ø考核对象和内容l

数据治理办公室:年度工作完成度评估，

治理工作推进，核心报表质量，数据质量问题整改效果l

相关部门考核:治理工作协同评估,核心报表质量,业务系统关键信息评价,数据质量

问题整改效果l

分支机构考核:数据录入质量评价,治理工作协同评估,核心报表质量,数据质量问题

整改效果总部层面：

数据治理办公室负责全面数据考核的统一制定和管理，主要职责包括：(一)制定数据质量考核指标和考核办法；(二)保证采集的考核指标的真实性、准确性、完整性，规范各类指标采集的内容、方法、步骤和标准；(三)数据质量考核工作由数据治理办公室会同人力资源部组织实施；护工作，及时发现并向总部相应条线部门反映数据质量问题，参与数据质量问题分析以及数据质量整改、补录等提升工作，落实总部有关数据质量管理的工作要求。主要考核基础数据源l

配置数据源l

定义指标l

配置指标公式l

配置考核对象l

配置考核方案明确考核范围、考核对象Datablau数据质量考核建议分支机构层面：

按照业务流程进行日常数据录入和维(四)负责数据质量考核的其它工作。数据质量考核数据质量认责数据质量检查@2021Datablau

All

right

reserved输出考核结果Ø

组织与职责考核流程ØDatablau数据质量平台功能架构@2021Datablau

All

right

reserved数据发布反馈审核管理数据服务执行

任务实例调度

Datablau数据服务体系数语科技数据资产服务平台，基于数据平台的数据资源管控，通过数据封装，形成数据资产分类管理和API接口，以实时、非实时的方式统一对流程监控数据中心使用者外提供数据服务。数据服务平台可实现产品封装、申请审核、发布流程化管理，满足平台对数据服务需求。数据建模ETL提供者@2021Datablau

All

right

reserved•流程触发方式•产品交付方式•其他配置映射规则样例数目配置脱敏规则任务定义规则配置

流程实例数据服务列表发布规则配置数据服务

申请服务数据装

载获取

定义流程调度服务申请模型创建审核反馈••••••

1、平台开发通过应用ID、加密串token、请求API参数和调用方法；•2、应用采用Http

(postget)请求RESTful

API的

方式向API接口服务器(web

server)发起数据调用设备信息API……服务管理申请服务决策分析Datablau数据服务体系

总部

地区公司1

地区公司2

地区公司3

API封装安全认证服务接入管理@2021Datablau

All

right

reserved门

户

应

用

层

数

据

共

享

服

务第三方应用RESTful12工程信息API开

发

者指标库API场站API经分API发布……

Datablau数据服务平台功能架构

@2021Datablau

All

right

reservedDatablau数据资产管理体系数据资产目录视角•数据主题视角•信息系统视角•业务主题视角•业务场景视角•业务流程视角•数据服务视角面向技术面向业务

数据分析

业务场景分

支撑企业数据及业

务运营

行业数据模型

遵循企业数据战略参考对象设计路线数据中台主题业务标准数据分类分级标准数据仓库主题业务中台主题数据服务分析业务事项分析业务流程分析数据安全分析重点数据资产优先数据资产目录框架设计方法@2021Datablau

All

right

reserved析产品基本

信息类主题域产品类别信息类别信息......基本信息根据对华夏基金各业务系统数据资产现状摸底整理分析，结合数据资产盘点涉及主题域定义及范围和基金证券行业数据模型分类，运用自上而下和自下而上方法梳理；参考数据中心、运作部和金融科技部数仓团

队的反馈建议，将产品、参与人、资讯及渠道主题域资产目录进行分类分级。数据资产分类盘点案例账户信息......资讯金融工具......自上而下梳理分类确定数据资产盘点主题域分类自下而上总结分类示例参与人渠道......l

10个二级分类：产品基本信息、产品费用信息、产品岗位信息、产品运作管理信息、产品类别信息、产品评级信息、产品评价信息、基金、资产单元、组合；l

16个三级分类：基金基本信息、投顾产品信息、管理费、转换补差费、销售服务费、尾随佣金、业绩报酬、产品管理负责人、产品认责部门、基金会计、投资经理、产品公告信息、产品参数控制信息、产品生命周期管理、产品满意度调查、产品投后评价。数据资产分类盘点案例产品主题域资产目录分类l

6个二级分类：渠道基金信息、渠道类型信息、渠道岗位信息、渠道费用信息、渠道管理信息、渠道存量信息；l

5个三级分类：渠道名称信息、渠道编码信息、渠道联系信息、直销渠道、代销渠道。数据资产分类盘点案例渠道主题域资产目录分类l

6个二级分类：参与人基本信息、参与人管理信息、参与人账户信息、参与人资产信息、参与人合同信息、参与人交易信息；l

18个三级分类：客户基本信息、管理人基本信息、基金服务机构基本信息、客户管理信息、营销活动信息、涉税信息、反洗钱管理信息、客户账户信息、管理人账户信息等；l

35个四级分类：客户编号、身份信息、联系信息、客户类型、银行卡信息、客户信息变更历史、员工信息、机构基本信息、托管与结算机构、销售支付机构等。数据资产分类盘点案例参与人主题域资产目录分类l

3个二级分类：标的主体信息、金融工具信息、资讯管理信息；l

11个三级分类：基本资料、财务报表、信用评级、股票、固收、

港股、基金、期货、期权、指数、汇率；l

37个四级分类：基本资料、交易、分红、沪深港通、可转债信息、资产支持证券信息、发行与承销、付息兑付、含权行权信息、行情、估值、利率信息、债券担保、债权评级、债券违约、债券衍生等。数据资产分类盘点案例资讯主题域资产目录分类@2021Datablau

All

right

reserved数据资源目录可视化数据关系维护页面数据资源目录服务数据目录服务数据目录订阅管理数据共享交换管理数据资产评价底层处理组件支撑工作流处理组件目录树维护组件Ø数据资产管理平台为数据资产管理体系的落地提供有效支撑。Ø通过数据资产管理平台，可持续进行数据资产目录管理、元数据管理、数据标准管理、数据质量管理、数据共享交换服务等数据治理工作，夯实企业数据治理成果，提升数据质量，推动企业数字化转型。目录分类管理主题域管理目录权限管理Datablau数据资产管理平台标签目录管理标签管理标签映射管理数据资产目录模块功能数据维护组件搜索组件标签维护组件页面拖拽组件批量导出组件版本管理组件数据地图展示页面数据安全展示数据标准展示数据血缘展示数据关系展示标签维护页面数据质量展示信息展示组件批量导入组件目录维护页面元数据展示标签维护目录维护处

理

层表

现

层业

务

层支撑工具身份与权限管理数据保护与审计数据防泄漏数据加密数据脱敏数据全生命周期安全管控数据采集

数据传输

数据存储

数据使用

数据共享

数据销毁检测响应能力环境感知

、

行为分析阻断

、脱敏

、

隔离

、

防泄漏识别发现能力数据发现

、

分类分级数据安全策略管理推进数据分类分级标准落地，构建覆盖数据生命周期

、

数据全流转过程

、

数据全处理场景的整体数据安全管控体系，做到大数据场景下的数据不失控，不被盗用，不被误用，不被滥用Datablau数据安全管理体系认证

、赋权

、特权账户加密

、脱敏...确定数据权限策略数据分类分级数据资产梳理数据控制权转移@2021Datablau

All

right

reserved业务战略合规责权划分安全保护能力分析运营技术管理数据资产和安全管理

盘点分类数据资产目录访问控制数据安全框架数据申请资产盘点访问等级数据治理Datablau数据安全管理体系OLAPOLTP

安全定密数据资产

白名单数据安全分类数据标准治理血缘关系治理敏感数据识别数据安全管理制度数据安全共享制度数据安全分级组织人员脱敏函数数据服务API即时查询动态脱敏脱敏规则脱敏数据流访问策略@2021Datablau

All

right

reserved数据安全应用数据安全访问引擎静态脱敏工具组织机构数据库认责定级@2021Datablau

All

right

reservedDatablau数据安全管理功能架构Datablau数据安全管理体系针对企业数据安全进行监测管控，展示重点数据安全统计指标@2021Datablau

All

right

reserved独立、高可用、高性能数据安全网关，实现数据的查询、分析、封装、安全控制。可实现数据行级过滤、动态加密

、脱敏。1.支持对接多终端应用，

包括各类型报表、应用系统、

APP、数据库开发客户端等。2.支持和兼容多类型数据

库对接，包括结构化、非结构化数据库，国产和非国产化数据库。3.独立知识产权，

安全可靠。Datablau数据安全网关@2021Datablau

All

right

reserved从管理角度：1.缺乏工具，无法形成企业级数据模型集中管控的目标，数据模型资产分散，管理能力匮乏。模型安全性、稳定性、及时性问题会逐步显现。2.模型管理要求无法落地，数据开发上线规范无法落地。随意性较强。导致无法进行源头设计质量控制；出现生产问题的风险较大。3.无法提供模型设计—》审核模型--》开发生产的管理能力。无法通过报告的方式，清晰展示设计成果。从数据架构角度：1.无法通过工具进行集团总体逻辑数据架构、物理数据架构设计。2.对于数据架构调整，缺乏影响性分析能力，无法从全局进行考量，增加了模型变更的风险。无法保留历史数据，无法比对。3.对于治理过程中积累的集团层面的标准信息，元模型信息无法进行落地使用。标准化和一致性要求无法推进。4.应变能力差，共享能力不足，继承能力欠缺。知识难以传承。没有模型工具数据模型管控工具知识点为什么需要模型工具@2021Datablau

All

right

reserved生产数据库1.脚本发布、执行-测试环境2.脚本发布、执行-数据开发发布平台Git

Repository开发平台

数语DAM服务

(Tomcat)数据推送至GFS搜索引擎支撑广发数据资产目录Nginx同源访问数语DAM页面(数据标准、码值、词根)数语DDM

Server(模型服务)模型/数据标准数据库1.码值同步

3.Ø通过开发平台直接访问数语DDM数语DAM自动扫描模型引用的数据标准并关联至脚本发布、执行后的生产数据库上，实现数据标准从设计端到生产端的拉通数语建模工具DDM

Client数语建模工具DDM

Client系统功能架构Server待

发布的数据模型，并通过数语提供的API将数据模型转换为SQL脚本直接形成开发平

台的项目工程文件，后续通过已有的项目测试、发布流程发布可执行脚本至测试或数据API功能：1.数据模型目录、版本的全量信息2.数据模型自动生成DDL脚本3.数据模型数据标准应用情况模型DDL语句执行后触发元数据采集，

同时主动上

报让DAM数据源和模型做自动关联

，拉通数据标准Client单点登录/免鉴权iframe方式嵌入至GFS数据标准同步2.命名词典同步元数据采集及版本管理模型及元数据比对数语建模工具

DDM数据管理平台Ø支持全量和增量脚本发布传递userinfo标识协同建模生产数据源生产环境