数据治理平台统简介课件

国家开发银行

数据治理平台系统简介

2008年11月

数据治理项目组

国家开发银行数据治理平台系统简介2008年11月数据议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

2数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标建设背景

?

数据平台一期已构建完成并投入使用，所面临的问题：

?????数据标准缺乏结构化管理

源数据变化造成数据平台数据混乱

对数据平台数据问题如何快速定位原因？

如何有效监控和改善数据平台数据质量？

。。。

?建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准问题、数据质量问题、元数据管理问题和数据服务问题。

3数据治理平台项目组

建设背景?数据平台一期已构建完成并投入使用，所面临的问题项目目标

围绕国开行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个出发点：

?

数据标准规范化--规范化管理构成数据平台的业务和技术基础设施，包括数据管控制度与流程规范文档、信息项定义等。

?

数据关系脉络化--实现对数据间流转、依赖关系的影响和血缘分析。

?

数据质量度量化—全方位管理数据平台的数据质量，实现可定义的数据质量检核和维度分析，以及问题跟踪。

?

数据服务电子化--为数据平台提供面向业务用户的服务沟通渠道。

4数据治理平台项目组

项目目标围绕国开行数据平台建设，提供针对数据生命数据治理平台构成与定位

数据服务

分析类应用系统

提供平台沟通渠道

数据提供

数据平台

数据集市

管理会计

核心业务系统

信贷业务系统

信用风险管理系统

风险

数据流

管理平台数据质量

数据质量

管理

数据抽取

SchemasODS管理行内数据标准

…系统

管理平台元数据，进行数据影响、血缘分析

5数据标准

元数据管理

数据治理平台项目组

数据治理平台构成与定位数据服务分析类应用系统提供

对数据平台业务的支持—数据标准

?

查询数据标准，以开发符合数据标准的应用

?

提交标准代码比对文档

应用开发者

?

维护数据标准

?

制订、发布标准

?

应用系统代码标准比对

?

查询数据标准规范，反馈建议

数据标准子系统

数据标准管理员

?

提出数据标准需求申请

业务部门

6数据服务

数据治理平台项目组

对数据平台业务的支持—数据标准?查询数据标准，以开发符

对数据平台业务的支持—元数据

数据平台

数据源系统

数据抽取

?

查询数据平台相关元数应用开发者

据，为开发应用提供参考

元数据管理员

元数据子系统

?

数据变更影响分析

?

数据问题血缘分析

?

数据变更影响评估申请

数据服务

7数据治理平台项目组

对数据平台业务的支持—元数据数据平台数据源系统数据抽

对数据平台业务的支持—数据质量

?

针对数据质量问题提出完善建议

应用开发者

?

定义检核需求与规则

?

分析数据平台数据质量

?

发现、发布数据检核问题

业务部门

?

了解本机构特定系统数据质量

?

提出业务数据质量检核需求

数据质量检核

数据质量管理员

8数据治理平台项目组

对数据平台业务的支持—数据质量?针对数据质量问题提

对数据平台业务的支持-数据服务

?数据平台服务申请

应用开发者

?

提供数据平台服务

?

数据平台服务申请

?

与数据平台有效沟通

业务部门

数据服务

数据服务单管理员

9数据治理平台项目组

对数据平台业务的支持-数据服务?数据平台服务申请应数据治理相关系统关系

数据治理平台

登录认证

AD(目录)系统

单点登录与角色管理

统一认证与用户管理模块

执行检核

数据服务子系统

数据质量管理子系统

提供检核系统元数据

提供库表结构元数据

数据平台

用户与机构信息同步

统一用户管理系统

元数据子系统

数据标准子系统

提供标准相关元数据

10数据治理平台项目组

数据治理相关系统关系数据治理平台登录认证AD(目录议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

11数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标

客户层表现层业务层Import

Export集成层资源层DatabaseOperationEngineObjectsRelationAnalysisEngineORMHibernate外部数据<<Config.xml>>XML文本EXCEL应用系统Management&ControlSecurityTask/TransLogDriver&AdapterWebBrowserHTML/AJAX/HTTPExtJSInterfaceListsSerializeJDBCODSDataMartUA12数据治理平台项目组

客户层表现层业务层ImportExport集成层资源层D议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

13数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标准功能需求

?

管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。

功能定义

数据标准文档管理

数据标准文档制订

数据标准文档发布

数据标准文档版本管理

数据标准信息项管理

标准代码定义

主数据定义

数据标准查询与反馈

数据标准文档查询与反馈

数据标准信息项查询

应用代码标准符合性检查

新应用开发者将本应用代码与标准代码进行匹配，提交系统检查

维护数据标准公共代码。

维护主数据标准

维护数据标准相关文档类信息

对数据标准相关文档进行发布管理

对数据标准相关文档的历史版本信息提供查看功能。

14数据治理平台项目组

功能需求?管理全行数据相关的标准和规范，提供数据标准的查应用界面

15数据治理平台项目组

应用界面15数据治理平台项目组应用界面

?数据标准文档管理

?

数据标准制订

?

数据标准导入

?

数据标准文档

版本管理

16数据治理平台项目组

应用界面?数据标准文档管理?数据标准制订?数据标应用界面

?数据标准信息项管理

?公共代码管理

?

数据标准管理

17数据治理平台项目组

应用界面?数据标准信息项管理?公共代码管理?数据标应用界面

?

数据标准反馈意见

?

查看反馈意见

?

反馈意见

18数据治理平台项目组

应用界面?数据标准反馈意见?查看反馈意见?反馈逻辑架构

19数据治理平台项目组

逻辑架构19数据治理平台项目组议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

20数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标准功能需求

?

对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一的归集管理，实现数据间的血缘分析和影响分析。

功能定义

完成情况

技术元数据

源系统数据结构定义

主数据ER模型

数据与映射关系定义

数据影响与血缘分析

数据变化对比分析

业务元数据

代码定义

报表表头定义

报表指标定义

报表指标勾稽关系分析

定义数据平台公共代码及其与源系统代码的关系。

定义数据平台业务报表的构成元素与结构。

定义数据平台业务报表中指标的计算规则。

已完成

已完成

已完成

导入源系统数据字典，并以系统-表-字段的层级关系展现已完成

各级数据关系。

导入主数据ERwin模型，解析生成模型各层级关系。

已完成

定义数据平台各部分，以及源系统间的数据关联映射关系。已完成

依赖所定义的数据平台各部分，以及源系统间的数据映射已完成

关系，图形化展现数据变化影响和数据问题溯源。

针对元数据不同版本进行差异部分识别与比较。

已完成

定义数据平台业务报表中指标间的依赖关系，并进行影响已完成

与血缘分析。

21数据治理平台项目组

功能需求?对源系统、数据平台以及数据治理项目中的相关的技功能需求

功能定义

系统管理

完成情况

元数据手动采集

手工上传元数据定义文件

已完成

提供针对不同目标应用的适配器，实现定时的自已完成，但需数据平元数据自动采集

动采集

台提供采集支持，接口方式尚需确定。

版本管理

提供元数据定版、批量定版、版本回溯的功能

已完成

访问控制管理

提供针对元数据细节操作的访问控制

已完成

22数据治理平台项目组

功能需求功能定义系统管理完成情况元数据手动采集手应用界面

23数据治理平台项目组

应用界面23数据治理平台项目组应用界面

?

业务元数据

报表清单

?

报表表头

报表表样导出

报表表头定义

24数据治理平台项目组

应用界面?业务元数据报表清单?报表表头报表表样应用界面

?

业务元数据

?

报表指标

查看指标相关ER图

25数据治理平台项目组

应用界面?业务元数据?报表指标查看指标相关ER图应用界面

?

技术元数据

?

影响分析

26数据治理平台项目组

应用界面?技术元数据?影响分析26数据治理平台逻辑结构

27数据治理平台项目组

逻辑结构27数据治理平台项目组采集适配器

??

元数据采集适配器是一种驱动和解析器，用来接收、解析各种不用类型数据源的数据，将有效的元数据存入模型，并建立关系。

在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、PowerCenter适配器、E/RWin适配器、数据平台血脉分析适配器、指标适配器、代码适配器、表头适配器等。

数据平台数据模型数据集市存储过程存储过程数据模型应用表头指标代码E/RWin模型元数据ETLPowerCenterMapping文件接口区文本文件XML文件EXCEL文件元数据管理平台

图例：采集流适配器数据库解析流数据流28数据治理平台项目组

采集适配器??元数据采集适配器是一种驱动和解析器，用来接元数据存储结构

?元数据存储模型层包括两部分内容：

?元模型定义，即通过XML实现对象、对象关系及对象行为等的定义。

?元数据实例存储，元数据实例存储到关系数据库中。

XML定义模型对象属性对象行为对象定义对象关系实例关系实例属性值所属对象<pi>编号<pi>实例编号所属实例<pi>对象<pi><pi>对象关系<pi>顺序超过的属性<pi>目标对象<pi>属性1打散/纵向

存储属性<pi>值目标实例<pi>属性2<pi>属性3属性4属性5属性629数据治理平台项目组

元数据存储结构?元数据存储模型层包括两部分内容：?元模议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

30数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标准系统目标

?

根据“数据质量检核管理办法”中PDCA方法论，基于现有数据平台，对其上数据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、跟踪反馈。

?

检核需求

?

检核指标

检核对象

检核调度

收集需求

分析规则

规则库

?

修正

数据质量

知识库

?

检核调度

管理

问题数据

执行

数据质量

问题管理

数据质量

检核分析

数据质量

趋势分析

31?

数据治理平台项目组

系统目标?根据“数据质量检核管理办法”中PDCA方法论，数据质量度量分类

大类

细类

正确性

唯一性检查

非空检查

类型检查

格式检查

值域检查

代码检查

指标标准偏差检查

数据集市指标准确性检查

完整性

外键约束检查

一致性

业务规则检查

及时性

数据平台数据生成及时性检查

32数据治理平台项目组

数据质量度量分类大类细类正确性唯一性检查非空检查功能需求

功能定义

数据质量检核定义

完成情况

对纳入数据质量管理需求的系统、数据表纳入检已完成

核范围，并定义相关信息

按数据质量度量标准，为各类检核指标定义相关检核指标与规则定义

已完成

属性和数据检查规则。

为数据质量检核指标类和业务方案定义灵活的检检核调度策略定义

已完成

核策略

检核系统定义

数据质量检核执行

检核控制引擎

检核执行处理器

调度符合执行策略数据质量检核指标，并分派给已完成

对应的处理器

对数据质量检核指标执行特定于其指标类的检查已完成

程序

33数据治理平台项目组

功能需求功能定义数据质量检核定义完成情况对纳入数据功能需求

功能定义

数据质量检核分析

对数据质量检核的结果按机构、系统、数据质量问题三个维度进行分布分析

对数据质量检核的结果按时间维度分析，判断问题趋势分析

质量改善情况

对同一检核指标的不同批次进行对比，分析质检核指标批次对比

量改善情况

检核执行报告

对特定日期的检核结果，形成统计报表

问题分布分析

数据质量问题管理

问题发现

问题发布

问题处理

问题归档

数据质量知识管理

知识库维护

知识库查询

归集数据质量的特定问题，以及特定的解决方案，形成知识信息

查询数据质量知识信息

查询符合特定条件的数据质量检核问题

将需处理的数据质量检核问题归集到一个问题单，并发布给特定的机构

跟踪问题单的处理情况

对处理完结的问题单进行归档处理

完成情况

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

34数据治理平台项目组

功能需求功能定义数据质量检核分析对数据质量检核的结果应用界面

?

检核系统管理

35数据治理平台项目组

应用界面?检核系统管理35数据治理平台项目组应用界面

?

检核指标管理

?

主键唯一

36数据治理平台项目组

应用界面?检核指标管理?主键唯一36数据治理平应用界面

?

检核调度策略管理

?

业务解决方案

37数据治理平台项目组

应用界面?检核调度策略管理?业务解决方案37数应用界面

?

数据质量检核分析

?

批次对比分析

?

问题分布分析

38数据治理平台项目组

应用界面?数据质量检核分析?批次对比分析?问题应用界面

?

数据质量问题管理

?

问题发现

39数据治理平台项目组

应用界面?数据质量问题管理?问题发现39数据治逻辑结构

?三个层面：

?定义层：定义作为系统功能的核心-数据质量检核，所需使用对象、指标、调度策略等配置信息；

?执行层：使用已定义的检核配置信息，对数据平台数据进行检核；

?分析层：对检核执行结果进行定量、定性的分析与处理。?前后端：

?前端：用户使用基于操作界面的应用程序进行交互式的检核信息定义、检核结果分析等功能；

?后端：系统根据检核策略在后台自动执行，无需与用户交互。

40数据治理平台项目组

逻辑结构?三个层面：?定义层：定义作为系统功能的核心-数检核调度与分派

41数据治理平台项目组

检核调度与分派41数据治理平台项目组检核规则处理器类别

固定

存储过程：固定SQL简单

固定Java程序

复杂

存储过程：自定义SQL自定义Groovy规则脚本

自定义

42

数据治理平台项目组

检核规则处理器类别固定存储过程：固定SQL简单固Groovy脚本示例

packagegroovyimportjava.sql.Connectionimportjava.sql.ResultSetimportgroovy.sql.Sqlimportcn.cdb.backend.RuleHandler

/***@author马春宇2008-11-11*/publicclassexampleGroovyRuleHandlerextendsRuleHandler{

//groovy数据库执行句柄

defsql_DQDB,sql_DPDBvoidinit(longKPP_BH,Connection[]CONNS){super.init(KPP_BH,CONNS)sql_DQDB=newSql(conns[0])sql_DPDB=newSql(conns[1])}

//该方法目标：定义扫描检核目标表的SQL语句。

//sqlHead=selectt0.rowidasDQMS_rowid,t0.ContNoasDQMS_logicalPK,t0.*fromODS_EFF.CDBCT_CONT_INFOt0;privateStringgetSqlScanTarTable(StringsqlHead){StringsqlScanTarTable;StringcusClause;//--自定义部分--开始

cusClause=where(t0.TranSourCounisnullortrim(t0.TranSourCoun)='')andt0.data_end_date='99999999';//--自定义部分--结束

sqlScanTarTable=sqlHead+cusClause;returnsqlScanTarTable;}

//该方法目标：描述对单记录的检核规则,如是问题记录则返回false，否则返回trueprivatebooleanexeSingleRecCheck(ResultSetrs){booleansuccFlag=false;//--自定义部分--开始

StringCredStatNo;CredStatNo=rs.getString(CredStatNo);defit=sql_DPDB.firstRow(selectLoanTypefromODS_EFF.CDBPJ_STAT_INFOwhereCredStatNo=?,[CredStatNo])if(it.LoanTypein[51,52,53,54])succFlag=true;//--自定义部分--结束

returnsuccFlag;}}

43数据治理平台项目组

Groovy脚本示例packagegroovyimp采用技术

?

前端

?基于ExtAjax、Spring、hibernate技术实现：

–检核配置定义

–数据质量问题管理

–知识库管理

–数据质量对比分析、检核报告

–系统管理

?基于Cognos报表系统实现数据质量分布与趋势分析

?后端

?基于Java、多线程技术实现检核调度与分派

?基于数据库JobSchedule、存储过程实现存储过程检核策略?基于Groovy脚本技术实现复杂自定义检核规则的执行

44数据治理平台项目组

采用技术?前端?基于ExtAjax、Spring、h议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

45数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标准数据平台服务单流程

流程定义

数据服务申请

新建申请

提交申请

申请方（包括业务部门或外包公司）

?

?

数据标准处

服务提供方（数据处或平台实施商）

数据服务审核

审核申请

服务创建与分配

数据服务实施

任务创建

任务执行

任务签收

服务验收

服务归档

周期性服务

新建服务实例

?

?

?

?

?

?

?

?

?

?

46数据治理平台项目组

数据平台服务单流程流程定义数据服务申请新建申请提交功能需求

功能定义

完成情况

数据服务申请

维护申请

提交申请

数据服务审核

审核申请

服务创建与分配

数据服务实施

任务创建

任务执行

任务签收

服务验收

服务归档

事件管理

周期性服务

新建服务实例

服务提供者为服务分解任务

已完成

服务提供者填写任务执行情况

已完成

服务申请者对单个任务，选择签收或拒绝

已完成

服务申请者、数据服务管理员验收服务

已完成

已验收的服务归档

已完成

对服务处理过程中的事件进行管理

已完成

对周期性服务，提供特定的处理

提供通用论坛功能

已完成

已完成

数据服务管理员审核服务申请

已完成

数据服务管理员创建服务实例，并分配给已完成

指定的服务提供者

服务申请者新增、维护服务申请

服务申请者提交服务申请

已完成

已完成

数据平台论坛

47数据治理平台项目组

功能需求功能定义完成情况数据服务申请维护申请提交功能界面

?

数据服务审核

?

审核申请

?

服务分配

48数据治理平台项目组

功能界面?数据服务审核?审核申请?服务分配4功能界面

?

数据服务实施

?

任务创建

?

任务签收

?

服务验收

49数据治理平台项目组

功能界面?数据服务实施?任务创建?任务签收?逻辑结构

控制层逻辑

数据访问::服务数据访问+取得需要当天创建的服务列表()+保存服务()控制::数据处+获取服务对象()+归档服务()+取得申请()+保存申请()业务+保存任务实例()+取得任务实例()+取得周期服务列表()+取得活跃服务列表()控制::数据申请人+查询历史服务()+获取附件()控制::控制器控制::服务管理+删除附件()+创建周期服务实例()+获取附件列表()+创建单次服务():单次服务+创建周期服务():周期服务+取得需周期服务列表()+数据处验收()控制::实施方+主申请审批通过()+拒绝主申请()+通过增补申请()+中止服务()+通过签收()+拒绝签收()+增补申请()控制::时间任务+记录进度()+数据申请人验收()+新建任务()+取得催办列表()控制::文件控制+取得事件列表()+取得周期服务列表()+保存文件()+取得活跃服务列表()+获取文件()+查询历史服务()+删除文件()+取得服务()+取得历史服务()+上传附件()控制::事件中断器控制::催办中断器+获取附件()+删除附件()+获取附件列表()+处理事件()+处理催办信息()<<代理>><<代理>>数据访问::归档服务数据访问spring::事件服务代理spring::催办服务代理+保存归档实例()+取得历史服务()

业务实体关系

审批-审批人:String归档服务实例-审批结果:String-评估结果:String+创建归档服务()+建立审批():审批1事件1-操作:String-操作人:String申请-操作对象:String-申请信息:String+创建事件()-申请时间:Date0..*1申请状态1+创建申请()0..*+修改申请()服务0..*催办事项+通过申请()-服务号码:String-提醒内容:String+拒绝申请()1-服务提供时间:Date-反馈时间:Date1-被提醒人:String+生成催办信息()0..*-申请方:String1-实施方:String-状态:String任务+设置服务号()-任务名称:String+创建服务()-任务描述:String+申请审批通过()-解决方案:String+拒绝主申请()10..*-预计工作量:Long+设立实施方()+创建任务()1+中止服务()+取得任务实例()+增补申请()+数据申请人验收()+新建任务()+保存附件记录()周期服务0..11-时间间隔:Integer-间隔单位:周期单位附件-周期开始时间:Integer1-数据处活跃服务实例-文件名:String+创建活跃服务实例()-实例号:String-物理文件名:String+计算下次生成日期()验收-服务开始时间:Date-上传人:String+创建周期服务()-验收人:String-服务结束时间:Date10..*-上传日期:Date-验收单位:String+创建任务实例(in任务列表)-附件说明:String-验收意见:String+创建服务实例()+创建附件()-验收时间:Date+获取文件地址()周期单位+创建验收()11任务实例+计算周期时间()-数据申请人1-完成度:Long-处理人:String-状态:String签收-任务开始时间:Date-签收人:String服务号生成器-任务结束时间:Date-签收单位:String-最新服务号:Long0..*+创建任务实例()1-签收意见:String-服务日期:Date+通过签收()1-签收日期:Date+拒绝签收()+取得服务号()+创建签收()+申请签收()+记录进度()50数据治理平台项目组

逻辑结构控制层逻辑数据访问::服务数据访问+取得需要当天统一认证与用户管理模块

?

实现数据治理平台四个子系统的单点登录，及统一的用户和角色管理。

功能定义

完成情况

单点登录与认证

AD认证

单点登录

用户与机构同步

全量同步

增量同步

用户注册

用户管理

用户角色分配

角色定义与授权

提供从“统一用户管理系统”的用户和机构数据全量同步

提供从“统一用户管理系统”的用户和机构数据每日增量同步

提供非行内用户的注册功能

提供非行内用户的用户信息维护功能

为用户分配系统角色

平台系统角色管理与平台级授权

已完成

已完成

已完成

已完成

已完成

已完成

提供平台统一的到AD目录的认证

在平台各子系统间提供单点登录功能

已完成

已完成

51数据治理平台项目组

统一认证与用户管理模块?实现数据治理平台四个子系统的单点议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

52数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标准用户访问

?

保持用户身份

?

单点登录

?

验证用户身份

?

访问

?

用户认证

?

登入

?

访问子系统

?

平台主控界面

平台子系统

?

进入子系统

?

用户信息获取

53数据治理平台项目组

用户访问?保持用户身份?单点登录?验证用户身份实现逻辑

?单点登录

54?行内用户统一管理

?全量

?增量

统一登陆平台(UAP)调用WebService统一用户管理系统返回xml数据数据治理平台项目组

实现逻辑?单点登录54?行内用户统一管理?全量

谢！55数据治理平台项目组谢

谢！55数据治理平台项目组谢

国家开发银行

数据治理平台系统简介

2008年11月

数据治理项目组

国家开发银行数据治理平台系统简介2008年11月数据议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

2数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标建设背景

?

数据平台一期已构建完成并投入使用，所面临的问题：

?????数据标准缺乏结构化管理

源数据变化造成数据平台数据混乱

对数据平台数据问题如何快速定位原因？

如何有效监控和改善数据平台数据质量？

。。。

?建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准问题、数据质量问题、元数据管理问题和数据服务问题。

3数据治理平台项目组

建设背景?数据平台一期已构建完成并投入使用，所面临的问题项目目标

围绕国开行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个出发点：

?

数据标准规范化--规范化管理构成数据平台的业务和技术基础设施，包括数据管控制度与流程规范文档、信息项定义等。

?

数据关系脉络化--实现对数据间流转、依赖关系的影响和血缘分析。

?

数据质量度量化—全方位管理数据平台的数据质量，实现可定义的数据质量检核和维度分析，以及问题跟踪。

?

数据服务电子化--为数据平台提供面向业务用户的服务沟通渠道。

4数据治理平台项目组

项目目标围绕国开行数据平台建设，提供针对数据生命数据治理平台构成与定位

数据服务

分析类应用系统

提供平台沟通渠道

数据提供

数据平台

数据集市

管理会计

核心业务系统

信贷业务系统

信用风险管理系统

风险

数据流

管理平台数据质量

数据质量

管理

数据抽取

SchemasODS管理行内数据标准

…系统

管理平台元数据，进行数据影响、血缘分析

5数据标准

元数据管理

数据治理平台项目组

数据治理平台构成与定位数据服务分析类应用系统提供

对数据平台业务的支持—数据标准

?

查询数据标准，以开发符合数据标准的应用

?

提交标准代码比对文档

应用开发者

?

维护数据标准

?

制订、发布标准

?

应用系统代码标准比对

?

查询数据标准规范，反馈建议

数据标准子系统

数据标准管理员

?

提出数据标准需求申请

业务部门

6数据服务

数据治理平台项目组

对数据平台业务的支持—数据标准?查询数据标准，以开发符

对数据平台业务的支持—元数据

数据平台

数据源系统

数据抽取

?

查询数据平台相关元数应用开发者

据，为开发应用提供参考

元数据管理员

元数据子系统

?

数据变更影响分析

?

数据问题血缘分析

?

数据变更影响评估申请

数据服务

7数据治理平台项目组

对数据平台业务的支持—元数据数据平台数据源系统数据抽

对数据平台业务的支持—数据质量

?

针对数据质量问题提出完善建议

应用开发者

?

定义检核需求与规则

?

分析数据平台数据质量

?

发现、发布数据检核问题

业务部门

?

了解本机构特定系统数据质量

?

提出业务数据质量检核需求

数据质量检核

数据质量管理员

8数据治理平台项目组

对数据平台业务的支持—数据质量?针对数据质量问题提

对数据平台业务的支持-数据服务

?数据平台服务申请

应用开发者

?

提供数据平台服务

?

数据平台服务申请

?

与数据平台有效沟通

业务部门

数据服务

数据服务单管理员

9数据治理平台项目组

对数据平台业务的支持-数据服务?数据平台服务申请应数据治理相关系统关系

数据治理平台

登录认证

AD(目录)系统

单点登录与角色管理

统一认证与用户管理模块

执行检核

数据服务子系统

数据质量管理子系统

提供检核系统元数据

提供库表结构元数据

数据平台

用户与机构信息同步

统一用户管理系统

元数据子系统

数据标准子系统

提供标准相关元数据

10数据治理平台项目组

数据治理相关系统关系数据治理平台登录认证AD(目录议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

11数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标

客户层表现层业务层Import

Export集成层资源层DatabaseOperationEngineObjectsRelationAnalysisEngineORMHibernate外部数据<<Config.xml>>XML文本EXCEL应用系统Management&ControlSecurityTask/TransLogDriver&AdapterWebBrowserHTML/AJAX/HTTPExtJSInterfaceListsSerializeJDBCODSDataMartUA12数据治理平台项目组

客户层表现层业务层ImportExport集成层资源层D议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

13数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标准功能需求

?

管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。

功能定义

数据标准文档管理

数据标准文档制订

数据标准文档发布

数据标准文档版本管理

数据标准信息项管理

标准代码定义

主数据定义

数据标准查询与反馈

数据标准文档查询与反馈

数据标准信息项查询

应用代码标准符合性检查

新应用开发者将本应用代码与标准代码进行匹配，提交系统检查

维护数据标准公共代码。

维护主数据标准

维护数据标准相关文档类信息

对数据标准相关文档进行发布管理

对数据标准相关文档的历史版本信息提供查看功能。

14数据治理平台项目组

功能需求?管理全行数据相关的标准和规范，提供数据标准的查应用界面

15数据治理平台项目组

应用界面15数据治理平台项目组应用界面

?数据标准文档管理

?

数据标准制订

?

数据标准导入

?

数据标准文档

版本管理

16数据治理平台项目组

应用界面?数据标准文档管理?数据标准制订?数据标应用界面

?数据标准信息项管理

?公共代码管理

?

数据标准管理

17数据治理平台项目组

应用界面?数据标准信息项管理?公共代码管理?数据标应用界面

?

数据标准反馈意见

?

查看反馈意见

?

反馈意见

18数据治理平台项目组

应用界面?数据标准反馈意见?查看反馈意见?反馈逻辑架构

19数据治理平台项目组

逻辑架构19数据治理平台项目组议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

20数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标准功能需求

?

对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一的归集管理，实现数据间的血缘分析和影响分析。

功能定义

完成情况

技术元数据

源系统数据结构定义

主数据ER模型

数据与映射关系定义

数据影响与血缘分析

数据变化对比分析

业务元数据

代码定义

报表表头定义

报表指标定义

报表指标勾稽关系分析

定义数据平台公共代码及其与源系统代码的关系。

定义数据平台业务报表的构成元素与结构。

定义数据平台业务报表中指标的计算规则。

已完成

已完成

已完成

导入源系统数据字典，并以系统-表-字段的层级关系展现已完成

各级数据关系。

导入主数据ERwin模型，解析生成模型各层级关系。

已完成

定义数据平台各部分，以及源系统间的数据关联映射关系。已完成

依赖所定义的数据平台各部分，以及源系统间的数据映射已完成

关系，图形化展现数据变化影响和数据问题溯源。

针对元数据不同版本进行差异部分识别与比较。

已完成

定义数据平台业务报表中指标间的依赖关系，并进行影响已完成

与血缘分析。

21数据治理平台项目组

功能需求?对源系统、数据平台以及数据治理项目中的相关的技功能需求

功能定义

系统管理

完成情况

元数据手动采集

手工上传元数据定义文件

已完成

提供针对不同目标应用的适配器，实现定时的自已完成，但需数据平元数据自动采集

动采集

台提供采集支持，接口方式尚需确定。

版本管理

提供元数据定版、批量定版、版本回溯的功能

已完成

访问控制管理

提供针对元数据细节操作的访问控制

已完成

22数据治理平台项目组

功能需求功能定义系统管理完成情况元数据手动采集手应用界面

23数据治理平台项目组

应用界面23数据治理平台项目组应用界面

?

业务元数据

报表清单

?

报表表头

报表表样导出

报表表头定义

24数据治理平台项目组

应用界面?业务元数据报表清单?报表表头报表表样应用界面

?

业务元数据

?

报表指标

查看指标相关ER图

25数据治理平台项目组

应用界面?业务元数据?报表指标查看指标相关ER图应用界面

?

技术元数据

?

影响分析

26数据治理平台项目组

应用界面?技术元数据?影响分析26数据治理平台逻辑结构

27数据治理平台项目组

逻辑结构27数据治理平台项目组采集适配器

??

元数据采集适配器是一种驱动和解析器，用来接收、解析各种不用类型数据源的数据，将有效的元数据存入模型，并建立关系。

在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、PowerCenter适配器、E/RWin适配器、数据平台血脉分析适配器、指标适配器、代码适配器、表头适配器等。

数据平台数据模型数据集市存储过程存储过程数据模型应用表头指标代码E/RWin模型元数据ETLPowerCenterMapping文件接口区文本文件XML文件EXCEL文件元数据管理平台

图例：采集流适配器数据库解析流数据流28数据治理平台项目组

采集适配器??元数据采集适配器是一种驱动和解析器，用来接元数据存储结构

?元数据存储模型层包括两部分内容：

?元模型定义，即通过XML实现对象、对象关系及对象行为等的定义。

?元数据实例存储，元数据实例存储到关系数据库中。

XML定义模型对象属性对象行为对象定义对象关系实例关系实例属性值所属对象<pi>编号<pi>实例编号所属实例<pi>对象<pi><pi>对象关系<pi>顺序超过的属性<pi>目标对象<pi>属性1打散/纵向

存储属性<pi>值目标实例<pi>属性2<pi>属性3属性4属性5属性629数据治理平台项目组

元数据存储结构?元数据存储模型层包括两部分内容：?元模议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

30数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标准系统目标

?

根据“数据质量检核管理办法”中PDCA方法论，基于现有数据平台，对其上数据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、跟踪反馈。

?

检核需求

?

检核指标

检核对象

检核调度

收集需求

分析规则

规则库

?

修正

数据质量

知识库

?

检核调度

管理

问题数据

执行

数据质量

问题管理

数据质量

检核分析

数据质量

趋势分析

31?

数据治理平台项目组

系统目标?根据“数据质量检核管理办法”中PDCA方法论，数据质量度量分类

大类

细类

正确性

唯一性检查

非空检查

类型检查

格式检查

值域检查

代码检查

指标标准偏差检查

数据集市指标准确性检查

完整性

外键约束检查

一致性

业务规则检查

及时性

数据平台数据生成及时性检查

32数据治理平台项目组

数据质量度量分类大类细类正确性唯一性检查非空检查功能需求

功能定义

数据质量检核定义

完成情况

对纳入数据质量管理需求的系统、数据表纳入检已完成

核范围，并定义相关信息

按数据质量度量标准，为各类检核指标定义相关检核指标与规则定义

已完成

属性和数据检查规则。

为数据质量检核指标类和业务方案定义灵活的检检核调度策略定义

已完成

核策略

检核系统定义

数据质量检核执行

检核控制引擎

检核执行处理器

调度符合执行策略数据质量检核指标，并分派给已完成

对应的处理器

对数据质量检核指标执行特定于其指标类的检查已完成

程序

33数据治理平台项目组

功能需求功能定义数据质量检核定义完成情况对纳入数据功能需求

功能定义

数据质量检核分析

对数据质量检核的结果按机构、系统、数据质量问题三个维度进行分布分析

对数据质量检核的结果按时间维度分析，判断问题趋势分析

质量改善情况

对同一检核指标的不同批次进行对比，分析质检核指标批次对比

量改善情况

检核执行报告

对特定日期的检核结果，形成统计报表

问题分布分析

数据质量问题管理

问题发现

问题发布

问题处理

问题归档

数据质量知识管理

知识库维护

知识库查询

归集数据质量的特定问题，以及特定的解决方案，形成知识信息

查询数据质量知识信息

查询符合特定条件的数据质量检核问题

将需处理的数据质量检核问题归集到一个问题单，并发布给特定的机构

跟踪问题单的处理情况

对处理完结的问题单进行归档处理

完成情况

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

34数据治理平台项目组

功能需求功能定义数据质量检核分析对数据质量检核的结果应用界面

?

检核系统管理

35数据治理平台项目组

应用界面?检核系统管理35数据治理平台项目组应用界面

?

检核指标管理

?

主键唯一

36数据治理平台项目组

应用界面?检核指标管理?主键唯一36数据治理平应用界面

?

检核调度策略管理

?

业务解决方案

37数据治理平台项目组

应用界面?检核调度策略管理?业务解决方案37数应用界面

?

数据质量检核分析

?

批次对比分析

?

问题分布分析

38数据治理平台项目组

应用界面?数据质量检核分析?批次对比分析?问题应用界面

?

数据质量问题管理

?

问题发现

39数据治理平台项目组

应用界面?数据质量问题管理?问题发现39数据治逻辑结构

?三个层面：

?定义层：定义作为系统功能的核心-数据质量检核，所需使用对象、指标、调度策略等配置信息；

?执行层：使用已定义的检核配置信息，对数据平台数据进行检核；

?分析层：对检核执行结果进行定量、定性的分析与处理。?前后端：

?前端：用户使用基于操作界面的应用程序进行交互式的检核信息定义、检核结果分析等功能；

?后端：系统根据检核策略在后台自动执行，无需与用户交互。

40数据治理平台项目组

逻辑结构?三个层面：?定义层：定义作为系统功能的核心-数检核调度与分派

41数据治理平台项目组

检核调度与分派41数据治理平台项目组检核规则处理器类别

固定

存储过程：固定SQL简单

固定Java程序

复杂

存储过程：自定义SQL自定义Groovy规则脚本

自定义

42

数据治理平台项目组

检核规则处理器类别固定存储过程：固定SQL简单固Groovy脚本示例

packagegroovyimportjava.sql.Connectionimportjava.sql.ResultSetimportgroovy.sql.Sqlimportcn.cdb.backend.RuleHandler

/***@author马春宇2008-11-11*/publicclassexampleGroovyRuleHandlerextendsRuleHandler{

//groovy数据库执行句柄

defsql_DQDB,sql_DPDBvoidinit(longKPP_BH,Connection[]CONNS){super.init(KPP_BH,CONNS)sql_DQDB=newSql(conns[0])sql_DPDB=newSql(conns[1])}

//该方法目标：定义扫描检核目标表的SQL语句。

//sqlHead=selectt0.rowidasDQMS_rowid,t0.ContNoasDQMS_logicalPK,t0.*fromODS_EFF.CDBCT_CONT_INFOt0;privateStringgetSqlScanTarTable(StringsqlHead){StringsqlScanTarTable;StringcusClause;//--自定义部分--开始

cusClause=where(t0.TranSourCounisnullortrim(t0.TranSourCoun)='')andt0.data_end_date='99999999';//--自定义部分--结束

sqlScanTarTable=sqlHead+cusClause;returnsqlScanTarTable;}

//该方法目标：描述对单记录的检核规则,如是问题记录则返回false，否则返回trueprivatebooleanexeSingleRecCheck(ResultSetrs){booleansuccFlag=false;//--自定义部分--开始

StringCredStatNo;CredStatNo=rs.getString(CredStatNo);defit=sql_DPDB.firstRow(selectLoanTypefromODS_EFF.CDBPJ_STAT_INFOwhereCredStatNo=?,[CredStatNo])if(it.LoanTypein[51,52,53,54])succFlag=true;//--自定义部分--结束

returnsuccFlag;}}

43数据治理平台项目组

Groovy脚本示例packagegroovyimp采用技术

?

前端

?基于ExtAjax、Spring、hibernate技术实现：

–检核配置定义

–数据质量问题管理

–知识库管理

–数据质量对比分析、检核报告

–系统管理

?基于Cognos报表系统实现数据质量分布与趋势分析

?后端

?基于Java、多线程技术实现检核调度与分派

?基于数据库JobSchedule、存储过程实现存储过程检核策略?基于Groovy脚本技术实现复杂自定义检核规则的执行

44数据治理平台项目组

采用技术?前端?基于ExtAjax、Spring、h议题

1.系统目标与定位

2.技术实现架构

3.数据标准管理子系统

4.元数据管理子系统

5.数据质量管理子系统

6.数据服务子系统

7.统一认证与用户管理模块

45数据治理平台项目组

议题1.系统目标与定位2.技术实现架构3.数据标准数据平台服务单流程

流程定义

数据服务申请

新建申请

提交申请

申请方（包括业务部门或外包公司）

?

?

数据标准处

服务提供方（数据处或平台实施商）

数据服务审核

审核申请

服务创建与分配

数据服务实施

任务创建

任务执行

任务签收

服务验收

服务归档

周期性服务

新建服务实例

?

?

?

?

?

?

?

?

?

?

46数据治理平台项目组

数据平台服务单流程流程定义数据服务申请新建申请提交功能需求

功能定义

完成情况

数据服务申请

维护申请

提交申请

数据服务审核

审核申请

服务创建与分配

数据服务实施

任务创建

任务执行

任务签收

服务验收

服务归档

事件管理

周期性服务

新建服务实例

服务提供者为服务分解任务

已完成

服务提供者填写任务执行情况

已完成

服务申请者对单个任务，选择签收或拒绝

已完成

服务申请者、数据服务管理员验收服务

已完成

已验收的服务归档

已完成

对服务处理过程中的事件进行管理

已完成

对周期性服务，提供特定的处理

提供通用论坛功能

已完成

已完成

数据服务管理员审核服务申请

已完成

数据服务管理员创建服务实例，并分配给已完成

指定的服务提供者

服务申请者新增、维护服务申请

服务申请者提交服务申请

已完成

已完成

数据平台论坛

47数据治理平台项目组

功能需求功能定义完成情况数据服务申请维护申请提交功能界面

?

数据服务审核

?

审核申请

?

服务分配

48数据治理平台项目组

功能界面?数据服务审核?审核申请?服务分配4功能界面

?

数据服务实施

?

任务创建

?

任务签收

?

服务验收

49数据治理平台项目组

功能界面?数据服务实施?任务创建?任务签收?逻辑结构

控制层逻辑

数据访问::服务数据访问+取得需要当天创建的服务列表()+保存服务()控制::数据处+获取服务对象()+归档服务()+取得申请()+保存申请()业务+保存任务实例()+取得任务实例()+取得周期服务列表()+取得活跃服务列表()控制::数据申请人+查询历史服务()+获取附件()控制::控制器控制::服务管理+删除附件()+创建周期服务实例()+获取附件列表()+创建单次服务():单次服务+创建周期服务():周期服务+取得需周期服务列表(