数据治理工具项目投标书技术部分V

一、相关相关项目背景

二'相关相关项目目标

提供一套后勤数据治理工具部署文件及配套文档，主要技术指标

如下：

(1)具备数据抽取转换装载、元数据管控、数据标准管控和数

据相关相关质量管控四项功能。

(2)采用B/S模式，浏览器端兼容Chrome、FireFox等主流浏

览器，服务器端可运行在Linux、Windowssystem上，相关应用服务

器兼容Tomcat7.0以上，JDK版本为1.7以上，数据库为Oracle或

MySQLo

(3)支持集群模式。保证7X24小时不间断持续运行，且计划

外宕机时间控制在全年的0.2%以内、计划外宕机次数控制在全年4次

以内，system有效工作时间要求299.8%。

(4)支持高并发。页面查询不高于2秒，复杂查询不高于5秒，

一般页面数据更新处理时间不高于3秒，复杂数据更新不高于5秒。

(5)数据抽取速率高。数据库到数据库不低于1000条/秒，文

件到数据库不低于1000条/秒。

(6)根据以上性能指标要求提出硬件及网络的性能及规模配套

的整体方案。

三、技术服务要求

3.1集成要求

投标产品需具有与国内自主成熟的数据交换共享整体平台和大

数据基础整体平台软件有良好的集成兼容性。

3.2成熟度要求

投标产品或者模块是国内投产的成熟品牌，并且经过多个版本迭

代，提供至少两个版本的产品著作权证书。

近五年内，在多个行业有成功相关应用案例，且至少有一个为政

府或军队相关应用案例。

3.3技术要求

3.3.2元数据管控功能。

•元数据采集

＞支持连接到源数据库system,把元数据抽取到统一的元数

据库；

＞提供多种采集适配器，支持从主流关系型数据库、Hadoop

大数据整体平台（hdfs、hive、hbase）＞Excel模板等源头

采集；

＞支持采集任务配置，可实现一次性和定时采集，支持采集

任务的执行、监控和日志。

•元数据模型管控

＞可通过界面进行元数据的增、册k改、查操作；

＞可通过界面创建、维护元数据模型，支持业务模型和技术

模型的定义；

＞支持通过界面创建并维护元数据模型间关系，包括组合关

系、依赖关系等；

＞提供将常用建模工具（包括PowerDesigner等）设计的数

据模型导入的功能

•元数据版本管控

＞支持元数据版本管控，包括：版本号的设置，历史版本的

查询与恢复，任意版本之间整体比对，批量版本发布等。

•数据关联分析

＞提供数据地图功能，用于展示元数据间关系，支持system、

数据库、表、字段等多层级关系，支持逐级向下钻取；

＞提供库级、表级、列级血缘分析、作业级血缘分析功能，提

供血缘影响分析结果展示。

•其他功能

＞将元数据以system为单位导出到Excel；

＞提供多维度的元数据检索查询功能。

3.3.3数据标准管控功能。

•数据标准维护

＞支持数据元/信息项的模型定义与标准维护，包括业务属性、

技术属性和管控属性；

＞支持通过Excel模板导入数据标准模型；

＞支持代码标准的元模型定义与标准维护，包括代码和代码

项；

＞支持数据标准的导出。

•数据标准映射

＞支持标准映射到具体元数据和相关相关质量规则。

3.3.4数据相关相关质量管控功能。

•相关相关质量规则管控

＞提供页面新增、通用规则模板、SQL脚本等规则定义方式方

法方法；

＞默认提供预置空值、值域、规范、一致性、数据集比对、非

空判断、主键唯一性等规则校验。

•相关相关质量规则检核

＞支持根据相关相关质量规则生成相关相关质量检核计划；

＞支持相关相关质量检核任务的手动和定时自动化化执行。

•相关相关质量分析报告

＞支持考核算法和策略配置，对相关相关质量规则执行结果

进行量化打分；

＞支持相关相关质量分析结果的查询和可视化展现。

四、数据治理整体方案

41设计原则

system在设计过程中除考虑满足当前招标书建设要求外，还应当

满足后续system平滑扩展升级要求，因此总整体方案设计遵循如下

设计原则。

1）开放性

引入业界开放的、成熟的标准，从而保证system成为符合标准又

不失灵活性的开放整体平台，为未来的system的灵活开放奠定基础。

2）先进性

各工具基于统一的整体架构，采用先进的、成熟的、可靠的技术

与软硬件整体平台，保证基础数据整体平台system易扩展、易升级、

易操作、易维护等特性。

3）可扩展性

随着新的业务需求的不断产生，支持基础数据模型、相关应用分

析模型、前端相关应用的扩展性；支持在统一system架构中服务器、

存储、I/O设备等的可扩展性。

4）安全性

按国家标准、行业标准、安全规范等实现数据安全管控。

5）可维护性

建立统一化可视化的运维体系，数据处理各个环节，能对system

进行相应的性能管控和日志监控。

4.2工具包组成

星环科技提供数据处理工具包是一款基于大数据技术的专业数据

治理工具，可以有效提升后勤数据分析能力、规范核心数据开发过程,

提升后勤数据相关相关质量管控水平。结合后勤业务需求，为后勤保

障大数据整体平台建设打下坚实基础。

通过对客户数据治理工具及服务需求的理解，建议客户采用本公

司数据治理工具包（工具包组成见下图），来满足客户数据治理及服

务建设的要求。

名称供应商说明

元数据管控、数据治

理、数据目录工具。

Governor升级版

（丰富元数据管控、增

TranswarpDataCatalog星环科技

加数据源管控、数据资

产目录、数据标准管

控、数据相关相关质量

管控等功能）

星环科技的数据治理工具（TranswarpDataCatalog）采用B/S架

构，具有友好的可视化界面浏览器端兼容Chrome（71及以上）、FireFox

（64及以上）、Safari（11.1.2及以上或12.0.2及以上）等主流浏览器，

服务器端可运行在Linux>Windowssystem上，相关应用服务器兼容

Tomcat8.5,JDK版本为1.8,数据库推荐星环科技的大数据整体平台

TDH,同时对Oracle、MySQL等传统主流数据库有高度兼容性。

数据治理工具包支持集群模式，可保证7X24小时不间断持续

运行，且计划外宕机时间控制在全年的0.2%以内、计划外宕机次数控

制在全年4次以内，system有效工作时间要求299.8%。

数据处理工具支持高并发。页面查询不高于2秒，复杂查询不高

于5秒，一般页面数据更新处理时间不高于3秒，复杂数据更新不高

于5秒。

数据处理工具数据库到数据库不低于2000条/秒，文件到数据库

不低于3000条/秒。

4.5数据资产目录工具TranswarpDataCatalog

TranswarpDataCatalog（以下简称“DataCatalog"）通过接入各个

数据源的元数据信息，进行有效合理的元数据组织、分析与数据资产

化等服务，在后勤大数据业务场景下，DataCatalog可以提供高效地

元数据分析理解与管控功能，方便数据管控部门能够深入挖掘数据资

产价值，提供便捷的数据资产服务能力。

DataCatalog是Governor的升级版，在继承Governor元数据管

控、数据分析等功能的基础上，完善了元数据管控功能、增加了数据

源管控、数据相关相关质量管控、标准化管控、数据资产目录、资产

可视化等功能。

4.5.1总体架构

DataCatalog总体架构如下图所示：

MetadataSourcesSpringFrameworkUl/Restful

InceptorIHive|HDFSIHBaseDataCatalogUI■ServiceAPI

MetadataIntegration

MessagingAPI

<Kafka><HTTP/REST>

T

CorePlatform

TypeSystemNotificationHJanusGraphEngine

t

CommonGraphDatabaseInterface

Metadata

IndexStore

Store

HBaseElasticSearch

MetadataSourcesAccess提供Inceptor、Hive>HDFS>Hbase以及

传统关系型数据库等的元数据接入采集等功能。

SpringFrameworkUI&RestfulAPI提供DataCatalog的UI界面

以及相关Service的Restful形式的API接口，提供各类型的微服务对

接方式方法方法DataCatalog的UI前台页面数据的数据存储采用

MySQL数据库表，页面数据通过前台页面操作录入、实时或离线方

式方法方法查询后台的整体平台服务获得.

MetadataIntegration&NotificationAPI提供Messaging消息队列

（目前使用Kafka）以及API接口（HTTP或REST方式方法方法）

的元数据操作接口与数据消息总线方式方法方法。

CorePlatform提供元数据统一的TypeSystem类型system>Graph

图计算存储查询引擎层、智能智慧智慧标签算法、知识图谱模型等。

GmphDatabase提供图计算查询引擎的公共存储封装层，支持

JanusGraph开源图计算存储查询引擎Metadata目前使用HBase存储

entity实体信息，索引Index信息存储使用ElasticSearch。

TTft/iRP

**r*ctov>4®

M总览三tns).

G大SUB产&iMsasins统计今日本周本月用8目录藤务通用情况

9xiwiera

。应用市场

A开发平合

•cat资产

■inceptw■HBase■HOFS■Hive■Hypertese■DB2■My$<X■”■ft«*■文“

■TeoxUU■OrKie■3字^■ttKSS■BKH9

依据变化历史血MtTOPS・嫡表TOPS

table1

tables

table4

labl«5

■率8破我■©P«5«

热点射醒分析网导肮

电qtlotmt/

•如博e入数就

0AnalshihhohohdnnnohdhdhOd.

•m9AJSfi

GAnafshihhohobdnnnobdhdhOd...

•fflfW人18*

qilatest/

•90例写入故我

4.5.2元数据管控

1）元数据采集

支持元数据人工采集和自动化化化采集，支持对多数据源的元数

据采集与管控：Inceptor、HDFS、Hyperbase>Mysql、Oracle>DB2、

Hive>TD>Hbase>Teradata>PilotEnterprise以及第三方报表工

具。支持采集任务配置，采集数据源配置，支持自动化化适配不同的

元数据来源，采用适配的采集方式方法方法获取元数据，支持DB数

据采集配置功能将DB记录中记录与元模型进行映射。

元数据管控页面显示已添加的数据源信息列表，包含连接状态、

连接类型、已接入数据量、连入时间等信息。同时，支持添加数据

源、删除数据源和修改数据源配置。

目■KI

■am201Mn21149201Mrt4U9008

7aarm2O1«4rU18:502fH9S1454Q应

501aann20txM1951201*4^195t06

201*4^31747301X^71539os

MMI201*02917OG2O，《SH41903o6

8201MAi142O19MHC5o6

2MW201»M14M201M«ttUOfi

140am201291&39oQ

144aOtwi20i»5<516532Ot«MOt«51os

新建连接X

配置迩接

连接类型DB2

.名称

O/4J12

.雌

OM/1z

O,数据源f4/1€

M/2：

O•数猖座全部S3

OH/2£

取消

O⑸5

2）元数据管控功能

支持存储过程和视图的元数据管控功能，能够提供存储过程和视

图的创建SQL、使用记录、修改记录、概览标签以及关联资产的展示。

Bpro_dcam_ac_dp_accs_trans

具备SQL管控的功能，能够自动化化采集数据整体平台中执行

的SQL,并且按照SQL中的数据表分类，进行历史记录和修改记录

管控，帮助审计历史操作情况和了解数据表的使用情况。

3）元数据维护

提供元数据常规管控能力，包括元数据基本信息、关系、版本的

管控维护，以及元数据检核。

支持自动化化生成、手工录入两种方式方法方法设置版本号、支

持任意版本元数据之间整体比对。支持历史版本查询及恢复。

代码变化历史执行历史

CREATEORREPLACEPROCEDUREdummyInsertProcedure()AS

begin

begin

insertintotableacidjoin3selectsfdsragett,gpafromacidjoinlajoinacidjoin2bon»

dbms_output.put_lineCSQL%ROWCOUNT-1||SQL%ROWCOUNT)

end

executeimmediate'truncatetableacidjoin3*

begin

insertintotableacidjoin3selectsfds,agett,gpafromacidjoinlajoinacidjoin2bon»

dbms_output.put_lineCSQL%ROWCOUNT='SQL%ROWCOUNT)

代个变化历史由

射同行为♦湍累

CREATE_PISQL_FUHCTION

CSEATEORREPLACEPROCKWREdum>>In5ertProcefiure()AS

X“n

insertintotableacid为in3selecta.nasesfds,agett,gpafro«acidjoinlajoinacidjoinlbona」ax-b.nasc

dbmi.output.put_Xine('5QL!W0WC0UNT•'||SQtWOWCOUNT)

end

executeimediste•truncatetable•ci<Jjoin3,

begin

insertintoraole«cidjoin3selecta.na«esrts,agett,gp«fro«acidjoinlajoinacidjoin2bona.^aae•

dt>«$_OUtput.put_lin«(•SQIVKMCOUMT>•||SQLWOMCOUMT)

up4ate«c£djoiri3set«£e>105wneren«ne-'eee'

dDns.output.put.Hn*('SQLXAOWCOUNT*"||SQUVACMCOUNT)

endb

代码变化历史执行历史Q搜戏

时间行为持续时间执行痔Ji

2016-08-17T13：46:41.348ZANON_EXEC12ssuccess

2016-08-ini3：4a：41.348ZANONEXEC0.5ssuccess

2016-08-17T13：46:41.348ZANON_EXEC1.2ssuccess

2016-08-17T13：48:41.348ZANON_EXEC0.5ssuccess

2016-08-ini3:46:41.348ZANONEXECIJssuccess

4）元数据浏览

添加对应数据源后，DataCatalog会自动化化抓取该数据源下的

数据表、视图和存储过程。可以查看并管控该数据源的元数据。支持

多数据源的资产浏览：Inceptor、HDFS、Hyperbase>Mysql、Oracle>

DB2、Hive>TeraData>Hbase、Teradata、PilotEnterprise以及第三方

报表工具。支持查看数据库的元数据描述信息、数据表、视图、存储

过程、关联资产等信息。

•概览信息

隔(

w□JWK121AHunterLane

田©tt/B1K*Iuuurance/default/fiS*/census,into

三

0大数据产品Hcensusjnfo★Q%®血力分析

&人工智能产品

关系量使用记录数客特征

,.FinanceandRes。HKm®(5)JR«RB(100)

'£

AKE^ra.Q

.>EducationThisdatabasecollectsalldatareUtedtotheopioiddrugepidemic.Informationfromthisdatabasehasbeencollectedfrom

卓自定义产品«educationpublicsourcessuchastheCOC

RInsurance

•APPStore，userinfop*opi«Coa«9e

in»u«an<e匚

5Bag资产__default丛fl0B2-te$tjtdh-O10大小12B

*Th>»<MtM*a*ecolcci*..Vuserinfo

SttnDb2»v,people5TlOejnm2O19/3/2S10:05

-HK»«

3College

■■c«mu»jnfolW12«(5/100)贵・金鄢

印TNsdAUiMWCOlKU..students

.Hiidnameagegtshanghaiaddress

Intsuing«tt..atrmg

♦B存H过混

1Alina22femalehan23/FJingAnKerryCentreToww1|ISISNanjingW<

2Addlyn19femalehanSuite4B01,4thfloor,GaoyangBuilding.81SDongda

3Ala»26femalehanOffice1004,BoruiPlaza,A26East3rdRingNorthRo.

4Betty21femalehan37/39,ruedeNeuiltyBP12192582ClichyCedex

♦•文件5Bryony24femalehan23/FJingAnKerryCentreTower111515NanjingW

♦/效翻S袤

♦4?业务字■

•字段信息

QUDte

Mb*omni

SBtX

窿TABLEI■t-i

13062y

SDmsn

-加BB9

HRTABLE1

而TABl£2

国TABLE3

-ra*ss

(3vewi

0

0iNSERTJAaLEl

♦£NUUJD

­・g

•匕gSM

•a*»亨。

•采样数据

ItEtaWn

ZSEMSyS'MTg"111SISNarvngWMtRoodNwyngUnwcvty

Sut*UO,46ltoo«Guyana2F8”OonQdnngR<MdShanQh*AMrtongUwHHity

Ton*Unwnuy