数据服务平台及一表通管理系统技术参数

数据服务平台及一表通管

理系统技术参数

黑龙江建筑职业技术学院

第1章项目建设背景

随着高校信息化建设的发展，应用信息化的逐步深入，管理精细化程度加深，各系统的

数据割裂，形成多个信息孤岛。数据部门产生大量异构数据，如何能方便高效地开放出去,

是学校信息化一直想要解决的难题。在从前校园没有太多应用系统的时候，数据的开放方式

一般是直接将数据导出给对方。随着业务系统的不断增加，简单的数据直连方式不仅低效,

还带来了管理与安全等诸多问题。针对该需求，建设数据总线的解决方案在大量高校中进行

落地，解决了数据共享与数据交换的部分需求。时至今天，随着业务需求的不断增加，业务

服务对象由从前的各单位部门变为全校范围内的师生，更多的应用、更多的用户导致业务共

享与交换的压力呈指数上升，对数据服务架构性能、稳定性、扩展性、可控性有着更高的需

求，数据服务共享缺乏统一管控，多头采集，重复采集，服务通讯无法统一管控等问题日益

突出。与此同时，日益增加的业务数据交换需求与数据交换管理内容为技术部门带来了沉重

的工作压力，如何减轻工作量，并且方便业务部门进行数据管理，实现数据“谁生产，谁维

护，谁负责”，为了解决各类数据问题，打造一个数据服务平台的需求应运而生。

总体来说，目前国内高校所开展的数据治理工作还都处于初级阶段。数据的应用与数据

质量是一个相辅相成、相互推动的关系，对数据资产进行治理，是提升高校数据管理与应用

水平的关键举措。高校应该着眼于长期持续有效的数据治理，建立行之有效的数据治理体系，

挖掘数据的潜力，从而发挥数据资产在高校中的核心价值。

第2章项目需求分析

数据是学校重要资产，也是学校管理与发展核心的支撑前提。因此通过全校性数据治理

解决数据问题，提升信息化应用水平，已是当务之急，刻不容缓。

本项目需要对学校进行数据治理，将通过一套科学数据管理方法,对学校各业务域分散、

重复、混乱的数据，进行梳理、建模、整合、评价、控制，制定数据标准和工作规范，打破

信息壁垒，消除信息孤岛，提高数据合规监管和安全控制，对数据从产生、处理、整合、共

享、应用、销毁等全生命周期进行管理，从而建立高质量的数据管理体系和统一的基础数据

库，支撑各相关业务高效运行，支持学校管理者方便、安全、快速、可靠地利用数据进决策。

根据行业实践经验，数据治理是破解信息孤岛、数据质量不高、信息安全隐患等数据管

理难题行之有效的做法。本项目希望启动全校性数据治理工作，对全校数据开展数据梳理、

数据标准制定、数据治理体制机制建立等工作，并建立数据治理平台0

第3章详细技术设计及指标

3.1数据服务平台

序号数据服务平台总体技术框架及实现功能要求

AAAR受务APIikftAPiftAAPI*««««Aflttai**««««

数据服务平台提供各业务系统数据接入的接口，实现数据交换平台和

各信息系统的有机结合，以统一的数据模型、数据质量标准和接口规

范实现数据自动提取、数据转换、数据发送、数据校验、数据审核

等，同时支持数据同步、历史数据迁移等。数据交换平台是以“统一

标准”、“统一处理”、“统一交换”、“保证质量”、“透明开

放”的方式，为不同业务系统、不同数据库、不同数据格式之间进行

数据交换而提供服务的平台。

模型管理平台：管理学校数据项、数据元素、编号、代码以及资源目录

2等内容，通过平台实现数据标准到资源目录的转换，为学校标准落地应提供

用到数据上提供了必要的前提条件。

数据质量管理模块：管理不同数据项所应用的检测方法、检测脚本、检

测方案等，并提供数据质量报告，显示不同数据内容的数据检测结果。提供

数据共享交换模块：数据共享交换模块是打破信息壁垒、消除信息孤岛

的前提，起到桥梁枢纽作用。在全校业务系统在治理后，通过该平台便

4提供

捷地实现业务数据在不同业务系统间顺畅、实时、批量传输。

5中心库管理：对学校中心库进行数据的采集、清洗、转换、映射、集成提供

过程管理，对基础数据进行标准化，提供数据集成等功能。

实现重新梳理数据资产，并常态化监控学校现有数据情况。学校从前并

不了解所拥有的数据的整体情况，每当需要进行资源共享时，才委托信

息化部门到各业务部门中了解与调研数据，为数据共享带来了巨大的

工作压力。本次中心建设将学校范围内的所有数据资源（数据形态包括

文件、数据库、WebService接口、RESTful接口等）进行注册，梳理数

6提供

据资产，并选择性进行资源上架。并对注册资源进行常态化监控与运

维，让学校时刻了解到各数据的状况，实现注册上的数据资源将有平台

进行常态化监控，如应用接口服务是否开启、数据库表结构是否变化

等，如有变化启动相关资源管理流程。

实现利用分布式技术，实现数据高效共享。学校原有ODI体系系统存在

一定的性能瓶颈问题，本次建设需通过先进的分布式数据采集同步技

术，在技术底层上完成交换传输性能的横向扩展，并且将共享流程融入

7提供

到整个数据共享管理过程中，联动平台的授权、注册、资源变更、资源

监控、任务监控、系统监控等功能。

实现自动化自助共享服务。数据需求部门（包括数据中心）可自行在数

据服务平台上对所需数据资源（或接口资源）发起申请，数据提供方审

批完成后，资源将由平台自动推送，全过程不需要额外人工参与。通过

8提供

该方式让数据共享24小时常态化运行，极大程度减少共享的沟通成本

与免除繁琐的重复工作。

实现常态化数据治理体系：将通过一套科学数据管理方法，对学校数据

进行数据治理，建立统一数据标准，对学校各业务域分散、重复、混乱

的数据，进行梳理、建模、整合、评价、控制，制定数据标准和工作规

9提供

范，提高数据合规监管和安全控制，对数据从产生、处理、整合、应用、

销毁等全生命周期进行管理，从而建立高质量的数据管理体系和统一

的主数据库，支撑各相关业务高效运行，支持学校管理者方便、安全、

快速、可靠地利用数据进决策。

实现数据自治，打造数据服务生态圈。通过数据资源中心，按照“谁主

管，谁提供，谁负责”的原则，在数据共享全流程过程中，数据提供方、

平台管理员、数据需求方各自承担应有的责任并享有相应的权限。从而

10达到数据自治的效果，并且吸引各业务相关人员使用该平台完成各种提供

数据调研、数据共享、数据管理等业务，提高平台粘着力，让更多的人

员参与到数据的挖掘与共享的生态圈中，实现智慧校园数据价值。

3.1.1平台首页

序号技术指标描述要求

1需提供平台首页功能，首页应包含数据概览、资产详情、平台运行监控提供

数据概览

数据概览需提供平台部门系统接入情况、主题表建设情况、数据交换情

2提供

况

交换供需关系应展示数据提供方业务系统、数据需求方业务系统的分布

3提供

情况

数据资产概况应支持以标准数据项、标准代码、交换资源为视角展示所

4提供

涉及表数量和业务系统数量

交换资源详情应通过API资源和数据库资源两个维度展示交换次数和所

5提供

涉及业务系统数量

6资源交换热度需展示交换热度的Top5情况提供

7资源交换失败需展示交换任务失败的Top5情况提供

8费源交换耗时需展示交换任务耗时的Top5情况提供

质量概况需以统计方式展示今日数据质量所涉及的部门、业务系统、检

9核表、检核数据量、问题数据量、问题率，同时也可展示业务系统问题提供

率排行

资产详情

数据资产应包含系统标准化排行、平台数据量趋势、原始库、标准库、

10主题库数据情况、主题域数据情况统计、检核类别分布、数据质量报提供

告、系统质量排行

11系统标准化排行需能展示校内系统标准化排行情况提供

平台数据量趋势需展示原始库、标准库、主题库近一个月的数据量变化

12提供

情况

数据库情况要求能展示原始库和标准库的数据统计情况；主题库能够展

13提供

示主题资产统计情况

14主题域情况应能展示各主题域数据统计情况和共享交换情况提供

15检核类别分部应能展示平台所使用检核类别分部情况提供

数据质量报告需能展示数据质量问题率、总体概况、质量情况、问题详

16提供

情、重点字段、检核概况

系统质量排行需展示平台接入业务系统数据质量排行情况，同时应支持

17提供

下钻至系统质量报告进行问题详情查看

平台运行监控

平台运行监控应包含平台资源使用情况、磁盘空间占用情况、平台任务

18提供

监控情况、任务运行耗时ToplO、平台服务进程监控

平台资源使用情况需以仪表盘方式展示平台底层CPU、磁盘、内存分配和

19提供

使用情况

磁盘数据占用情况需能以仪表盘方式展示治理数据所配置的磁盘空间及

20提供

使用情况

平台任务监控需能以图表形式展示采集、转换、集成、交换任务数量和

21提供

失败任务数量

平台任务耗时需能展示采集任务、转换任务、集成任务、交换任务的耗

22提供

时ToplO排行情况

23平台服务进程监控应能展示维持平台运行所必须的进程状态提供

24投标时需提供集中展示的数据概览、资产详情、平台运行监控功能截图提供

3.1.2标准管理

进行本地化扩充。《教育部教育管理信息标准》是由国家教育部颁布的标准，

它对信息化标准建设起宏观指导作用，信息标准的建设将以此为基本依据；

本地化标准是各学校在以往工作中，根据实际工作需要规范学校信息编码而

设立的信息标准，它对统一信息标准建设起辅助和补充作用。

数据标准类型

管理学校不同的标准类型，如国标/校标，国标第几版、校标第几版。

管理学校数据标准修改内容，对每次修改的时间、修改人、描述、所属版本号

进行详细描述。

学校数据标准版本管理。

学校数据标准版本详细描述。

2提供

数据项标准管理。

管理学校数据项标准，支持Excel表格导入、导出功能。

搜索数据项标准，支持条件搜索、模糊查询。

支持修改、添加功能，能按照格式修改或添加某一数据项标准，并生成新的

版本，并提交。

编码标准

管理学校的编码标准，可查看编码类型、标准类型、编码标准。

3支持Excel表格导入、导出功能。提供

搜索编码标准，支持条件搜索、模糊查询。

代码标准

管理学校的基础数据标准，可查看编码编号、含义及枚举。

4支持Excel表格导入、导出功能。提供

搜索基础数据标准，支持条件搜索、模糊查询。

数据质量核验规则

管理学校编码标准的数据质量核验规则，可查看所属系统、检核类型、检核

规则、责任部门，日期等。

支持Excel表格导入、导出功能。

5提供

搜索基础数据标准，支持条件搜索、模糊查询。

支持编辑、添加功能，能按照格式编辑或添加某一数据质量核验规则，生成

新的版本，并提交。

主数据标准

管理表与表之间的关系。

6可支持表合并，并定义表名、字段、索引、SQL预览功能。提供

根据条件选择具体的表。

序号元数据管理设计技术要求

元数据管理

元数据管理基于CWM规范，同时提供内置数据字典、代码管理等技术元数据

和指标、业务规则等业务元数据，符合学校数据仓库环境的各类元数据管理

模型。元模型可由用户自定义扩展，满足客户化元数据的需求。有元模型查

询、元模型增加、元模型修改、元模型删除、添加关系、权限设置等功能。

元数据管理是关于元数据的创建、存储、整合以及控制的集合，用以支持和

基于元数据的相关应用。通过对元数据的管理，主要达到以下目标：

1提供

提供校级数据字典，便于内外部用户更好地了解学校的数据概况；

提供全局元数据查询检索，便于用户快速定位元数据；

提供元数据详细描述，使用户了解数据组成、结构及数据流向；

提供血缘/影响分析功能，便于用户进行分析判断、问题定位；

提供数据属性标签，便于用户了解数据内容含义，并为后续的数据质量检测、

学校搜索、维护数据提供支撑

元数据管理与维护

主要提供元数据的采集、变更维护等功能，便于数据中心的管理员能够对元

2提供

数据进行有效的管理。

元数据的版本管理

7$MLAf-HIT

IKSXSXXB.gatM

1*，，*«*•»««•«mumflkax.—e初awh

HMVI«B*ntwk«rai*«»

XSkBKSXSXXBflPurtHX

(j："：bnanmnw9aBMU.IMauawwr*.

.m..MB»WI**«B.W

BKSXSXX*

**««MUMMA.MVWMt

amit”,

BUSXSXXSo

■»^St«:R*g**9MA:law•UtflmrtMil:X>l*KinUfl提供

3awn«a.1■■■■■*—.

SKSXSXX*9

1WFS'S:xctstouHtmsaavasoax：工■■tanmai：xMwmue

MS♦望。*0MNMkWa****

>a34s>e*M：?O6«.M4;nHn|aw|

主要提供元数据的历史版本存储、分析和比对的功能，使得用户能够根

据此对元数据对应的数据对象的变化情况进行溯源。

影响分析

影响分析：为了实现正确、及时的分析功能，产品将学校元数据进行整合，

改变了原有各IT系统、BI工具集数据模型等元数据间各自隔离、互补关联

的现状，有效地将各部分的局部表述统一为整体，归并重复表述，并对冲突

4表述进行甄别并提供进一步处理，在此基础上影响分析提供基于数据流影响提供

分析功能。用户分析能迅速了解分析对象的下游数据信息，快速识别元数据

的价值，掌握元数据变更可能造成的影响，以便更有效的评估变化带来的风

险，从而帮助用户有高效准确的对数据资产进行清理、维护与使用。

血缘分析

血缘分析：与影响分析类似，血缘分析是建立在学校整体元数据整合的

基础上，提供了跨IT系统、跨BI工具的元数据分析，实现以数据流向为主

线的血缘追溯。血缘分析的作用主要表现为以下几个方面，提升报表信息的

5提供

可信度，为学校数据的合规性提供验证手段，帮助业务部门与IT支撑部门实

现信息共享、提升协调工作效率。

数据地图

数据地图：学校内的元数据，种类繁多、形式各异，集中管理元数据后，如何

提供便捷的使用方式，变成为发挥学校信息资产价值的关键。无论是元数据

查询等功能，面向元数据细节信息的使用需求，更适用于具体的人员、部门

基于元数据开展相关工作，对于学校管理人员等高层用于，由于关注范围广

泛，大量的细节信息不能有效的满足该类用户的需要，而学校的数据地图用

于宏观层面，组织信息，力求以用户视角对学校信息进行归并、整理，展现

学校的宏观信息，有效挖掘学校信息的潜在价值。

数据概览

存储等排名、主题域数据分布、应用引用数据表分布、我最近访问的表、我

最近收藏的表等功能。

序号技术指标描述要求

数据标准发布中心

数据标准发布中心支持发布数据项标准、数据项标准对比、编辑公告信息、

1提供

上传相关附件及国际文件操作

2支持平台所发布的信息公告查看提供

为了方便学校对数据标准维护，要求平台能展示已发布的数据项标准信息，

3提供

同时对己发布的数据标准提供下载、word版导出功能

支持查看当前数据项标准版本的使用情况，包含数据项标准数量、代码标准

4提供

数量、教育部标准数量、发布版本数量、分类数量、数据项标准的执行率

5支持下载、上传国家/教育部的标准文档提供

6支持下载、上传其他相关附件提供

数据项标准

需支持数据项颗粒度级别的标准的查看、新增、修改、删除、导入、导出、

7提供

下载模板功能

需支持按照数据项分类、数据项子集名称（精确查询、模糊查询）、审核状

8提供

态条件进行数据项查询

9需支持对数据项所属代码标准、对应数据项执行的检核规则进行管理提供

支持记录并展示单个数据项的版本变化情况、当前版本以及每个版本数据项

10提供

的使用情况

11需支持数据项标准的提交审核功能，显示数据项标准的审核状态提供

需支持数据项标准的新增功能，支持定义数据项编码、中文简称、数据项

12提供

名、业务定义及规则、类型、长度信息。

13需支持关联数据子集、针对已审批通过的数据项标准选择关联的数据子集提供

需要支持数据项子集分类结构的管理，包含数据项子集的新增、修改、删除

14提供

功能

15需要支持数据项子集关联数据项，在关联过程中支持定义数据项的约束提供

16需要支持按照数据项名、数据项中文名条件进行数据子集的查询提供

17需支持数据项标准的发布功能，支持填写数据项版本和版本描述提供

需要支持代码管理功能，包含代码标准的新增、删除、导入、导出、修改、

18提供

下载模板功能

需要支持按照代码标准中文名称、拼音标识、标准类型、审核状态条件进行

19提供

代码标准的查询

需要支持代码的新增、编辑功能，支持定义代码基本信息和代码内容，可设

20提供

置代码内容的启停用

元数据管理

需要支持通过UC矩阵功能，对于标准表的数据生产部门、生产系统、使用

21提供

部门、使用系统进行查看

需要支持通过UC矩阵功能，对于标准表字段的数据生产部门、生成系统、

22提供

使用系统、使用部门进行查看

23需要支持数据定责功能，通过数据定责可维护各个业务系统的数据责任人提供

24对于数据项标准应支持数据生产部门的调整，以辅助学校定位“一数一源”提供

需要支持数据地图功能，支持查询标准库、主题库的数据表的数据链路关

25提供

系，包括血缘分析、影响分析、全链分析

支持查询标准库、主题库的数据库表内数据字段的数据链路关系，包括血缘

26提供

分析、影响分析、全链分析

支持查询标准库、主题库的数据库表内数据内容的数据链路关系，包括血缘

27提供

分析、影响分析、全链分析

★需支持数据链路图各节点的上下游情况查看，点击某个节点查看该节点上

28提供

下游的操作详情

需要支持数据字典查看、搜索功能，可根据数据存储层级、业务系统、表

29提供

名，对数据字典进行查看，同时可支持按照层级、业务系统、表名进行查询

支持数据字典管理功能，平台需提供对数据字典进行收藏、修改、删除等功

30提供

能，同时也应支持对数据字典的添加、导出等功能。

数据字典支持查看数据详情。包含数据字典基本信息、表结构及历史、血缘

31提供

关系、数据预览，表结构及历史、下载表结构等。

数据项版本

需支持查看学校发布的所有数据项版本信息，可根据数据项版本和版本描述

32提供

对数据项版本信息进行查询

支持查看所有已发布的数据项标准，支持选择任意两个已发布的数据版本进

33提供

行对比。展示版本间的差异，包括新增、修改、删除

34需支持对学校发布的数据项版本导出提供

数据审核

★需具有数据标准审批流程，当对代码标准、数据项标准、标准表结构、检

35核规则的新增、修改操作时平台需要进行审核（“审核通过”或者“审核不提供

通过”），完善数据标准管理体系。

数据审核可查看表变更、基础数据变更的详细情况，支持通过审核情况及审

36提供

核日期进行查询

3.1,3主数据管理

序主数据管理技术设计

要求

号

主数据集成过程管理

1-----------------•…-----------------9---------------------------------------g1

■waawanannHneanan*

""M«sR«t*c«■!<«-1A-[-.)aatte

im»MnO

aaafljiimw«>oslim

as«■V«aattc

1ZSJ9.t.cod(.iUn(MJDOWCJHT*«t6@2。

1提供

iZ&KLMMMOUH4VSS®BO

>mQQwcktxMpdataqMut/ARB(BRO

4J*”5l«B«®RO

B2MjMtunx.«*>c«an«CB<B0O

图：数据集成过程管理

数据集成过程中，第一步需要进行的是数据清洗与转换，数据清洗的主要目的

是把数据中的脏数据进行过滤，把多个数据源中同一个属性的描述统一表示。原始

库中的数据经过数据清洗会保存到标准库中。数据清洗列表中展示了当前的清洗作

业，可以批量设置作业的开启和关闭状态，同时也提供了设置调度时间。数据清洗

设置包含了数据过滤和数据替换两个功能。数据过滤主要是把原始库中的脏数据过

滤掉，保证标准库中数据都是满足业务要求的。数据替换的主要功能是把各个业务

系统中对同一个属性的描述替换成同一个数据，保证属性描述的一致性。在数据替

换模块，引进了标准化数据。把常用的枚举数据保存到标准库中，主要包括性别，

生源地，学院等属性。

数据清洗完毕后，第二步进行中心库数据集成。在中心库管理模块对数据进行

归并和校正时，有时会遇到数据异常现象将使用区间限定法和历史数据近似值等方

法修复，如：成绩信息，可能存在异常填写，超出正常范围，此时需要采用区间限

定方法去除异常数据，对数据进行校正，如果存在数据格式错误，将通过规则对数

据进行修复，如：日期的表现格式中不同的系统中可能格式不一样，因此，需要使

用同步规则将日期转换成统一的标准。在对数据进行修复是，有时也需要人工干预

判断。对于数据缺失，将根据业务系统特点，如果在业务系统中存在该数据，将采

取从业务系统再次导入，如果不存在该数据，将根据数据规则手动校正数据和补入，

同时建立补入规则，实现后续缺失数据的自动补入。对于没有价值或不影响业务的

数据，将放弃该数据。

由于业务系统众多并相对独立，从而数据重复在建立统一数据库时将是数据治

理中很大的一部分内容，因此将采用自动对比方式，清除完全重复的数据记录，同

一种记录存在差异，但有效只能保存一条时，将采用按时间对比的方式，去除过期

数据。在面临程序不能正确判断数据是否正确的逻辑数据时，则需要人工加以判断，

制定去重规则。

数据类型支持：

数据库：Oracle、DB2、Teradata、MSSQLServer>MySQL等

大数据文件：Hive、HDFS等文件

其他来源：XML、Excel.CSV,TXT、log文件等客户化元数据

中心库构建与管理设计

图：中心库结构效果图

根据数据治理的数据关系模型和数据标准（数据元素标准、代码标准），构建

以人（教师、学生）为核心的数据管理中心库物理模型并建库。基础库的内容主要

包括且不仅限于：公共代码、组织机构信息、人事基本信息、学生基本信息、科研

2项目基本信息、科研论文基本信息、科研机构基本信息、设备基本信息、房产基本提供

信息、专业基本信息、课程库基本信息、人事耿务信息、人事职称信息、人事岗位

信息、研究生导师信息、学生选课信息、学生成绩信息、奖助贷信息、参与科研项

目信息、参与科研论文编写信息、设备保管信息、房产管理信息。中心基础库的建

设要兼顾到国家标准、行业标准以及学校实际业务情况，满足学校管理需要以及上

报数据需求。

根据数据关系模型，通过数据共享交换平台抽取业务数据，集成包括基础数据

库、业务共享数据库和决策支持数据库在内的统一、完整、准确、实时的中心数据

库。基础数据库主要以人员（教工、学生）、教学、科研、财务、资产等对象的基

础信息组成，具有识别唯一性、特征一致性和业务稳定性等特点；业务共享数据库

主要以面向业务主题的共享信息组成，具有事务性、扩展性和多应用共享复用等特

点；决策支持数据库存储决策分析模型、报表、图表等信息。

中心数据库根据业务规则，通过数据共享交换平台提供接口调用和主动推送方式，

分发同步至相关业务系统中，达到消除数据多头采集、重复采集造成的数据不一致

现象。中心数据库作为学校的核心数据库，运维工作非常重要，需要制订完备的运

行维护机制，包括数据备份、恢复、归档等的策略和实施。

序号技术指标描述要求

数据概览

需通过柱状图展示主题库记录数分布情况；通过饼状图展示主题库存储

1占用分布；通过环形图展示主数据检核类型分布；通过折线图展示主数提供

据质量趋势

标准库结构管理

需支持标准库结构管理功能，可基于业务部门、业务系统等维度对标准

2提供

库表进行查询，同时也应支持对标准库表按照表名和更新时间进行排序

3需支持以可视化方式对标准库表新增、拷贝、修改提供

需支持标准库表详情查看功能。选择标准库表，可跳转查看表详情，表

4详情应包含：基本信息、表字段信息、索引信息；基本信息应可查看表提供

名称、数据库来源、业务系统来源等

★标准库表新建过程中须引用已审核通过的数据项标准；检索数据项标

5准时需支持按照数据子集、数据项名、数据项中文名检索数据项标准；提供

新建或修改的标准库表结构时，提交并审核通过后方能生效

6为方便用户去使用标准库表，需支持标准库表的索引添加提供

主题库结构管理

需支持图形化界面展示主题库信息、，同时还应支持以列表形式展示主题

7提供

库信息

列表方式需支持搜索功能，可对主题库表进行搜索，同时也应支持对主

8提供

题库表按照表名、更新时间进行排序

需支持以可视化方式对主题库表的新增、拷贝、修改，同时也应支持基

9提供

于各业务分析、展示需求建立主题库表，支持建表SQL预览功能

需支持主题库表详情查看功能。选择标准库表，可跳转查看表详情，表

10提供

详情应包含：基本信息、表字段信息、索引信息

主题库表新建过程中须引用已审核通过的数据项标准；检索数据项标准

11时需支持按照数据子集、数据项名、数据项中文名检索数据项标准；新提供

建或修改的主题库表结构时，提交并审核通过后方能生效

12为方便用户去使用主题库表，需支持标准库表的索引添加提供

数据关系管理

★需支持以可视化方式展示数据流转架构。界面应呈现原始库、主题

13库、标准库数据流转关系；同时可以通过视化界面实现数据采集、数据提供

转换、数据集成功能

支持可视化数据集成功能，可根据业务需求对单表、多表处理。如单表

14提供

转换、多表集成、多表转换功能

数据采集需支持根据表名、采集状态、是否开启、增量状态、定时状态

15提供

五种检索条件查询采集任务

数据采集需支持设置增量字段，单个采集表单可以配置多个增量字段进

16提供

行采集

数据采集需要支持采集任务调度设置。应具有查看标准化、手动执行、

17提供

查看执行日志、查看链路分析、初始化、启停用采集的功能

数据采集需要支持对采集数据表原始结构变动的感知同步功能，当业务

18系统原始数据表结构发生变化时平台采集会自动感知结构变化并以消息提供

通知提醒

数据采集需要支持原始表结构变更同步，展示变更结构与原结构变化对

19提供

比，点击同步按钮则会应用新的业务表结构并保存历史记录

数据转换需要支持转换任务调度设置功能。应具有手动执行、查看执行

20提供

日志、查看配置、编辑、初始化、删除的功能。

数据转换需支持根据表名、转换方式、是否开启、执行状态、定时状态

21提供

五种检索条件查询转换任务

数据转化需要支持代码转化功能，选择原始代码表并配置标准代码转换

22提供

规则即可完成标准代码转换工作。

数据集成需支持根据表名、集成方式、是否开启、执行状态、定时状态

23提供

五种检索条件查询集成任务

数据集成需要支持集成任务调度设置功能。应具有手动执行、查看执行

24提供

日志、查看配置、编辑、初始化、删除的功能

数据集成应支持对两个或多个表单进行关联配置，最终集成为一个数据

25提供

表单，形成主体数据进行存放。

数据查询

需支持原始库的查询功能，需提供通过多组检索条件对原始层数据进行

查询。对于增量采集的数据需开放单个数据的历史数据查询；展示该数

26据变化的历程，支持查看失效数据、查看对于学校已经删除的数据、查提供

看学校某个时间点的数据状态，方便学校对于原始库数据的管理，监测

数据采集的真实性、有效性

需支持标准库的查询功能，需提供通过多组检索条件对原始层数据进行

查询。对于增量采集的数据需开放单个数据的历史数据查询；展示该数

27据变化的历程，支持查看失效数据、查看对于学校已经删除的数据、查提供

看学校某个时间点的数据状态，方便学校对于标准库数据的管理，监测

数据采集的真实性、有效性

需支持主题库的查询功能，需提供通过多组检索条件对原始层数据进行

查询。对于增量采集的数据需开放单个数据的历史数据查询；展示该数

28据变化的历程，支持查看失效数据、查看对于学校已经删除的数据、查提供

看学校某个时间点的数据状态，方便学校对于主题库数据的管理，监测

数据采集的真实性、有效性

★需支持原始库、标准库、主题库数据查询结果显示列的筛选功能，通

29提供

过选择需要显示的字段，控制数据查询界面展示结果

离线表导入

为满足学校离线数据使用需求平台需支持离线表导入功能。要求根据线

30提供

下EXCEL表信息在线建立表结构，设置字段的校验规则

需支持在线填报数据和线下表导入。支持数据的新增、修改、删除、模

31板下载、导入、导出操作。辅助学校将一些需要治理交换的表格电子化提供

并纳入治理交换流程

备份管理

32需支持原始库、标准库、主题库数据备份管理提供

支持配置备份任务、手动执行备份、删除备份、查看备份内容设置、备

33提供

份是否开启操作

3.1.4数据共享交换

序号数据共享交换设计技术要求

数据共享交换模块提供各业务系统数据接入的接口，实现数据交换

平台和各信息系统的有机结合，以统一的数据模型、数据质量标准和接口

1提供

规范实现数据自动提取、数据转换、数据发送、数据校验、数据审核等，

同时支持数据同步、历史数据迁移等。数据交换平台是以“统一标准”、

“统一处理"、“统一交换”、“保证质量”、“透明开放”的方式，为

不同业务系统、不同数据库、不同数据格式之间进行数据交换而提供服务

的平台。数据交换平台主要通过以下两大类模式提供数据的共享发布和对

外开放：数据订阅类与实时传输类。其中数据订阅类含有轮询订阅模式,

实时传输类有实时接口模式、API共享模式。其计算框架主要由数据传输

框架与报文传输框架组成。

数据传输技术框架

分布式数据交换系统能够把各种纷繁复杂的数据系统集成在一起完成特

定业务，提供同构数据、异构数据之间的数据抽取、格式转换、内容过

滤、内容转换、同异步传输、动态部署、可视化管理监控等方面功能，

支持的数据库包括各主流数据库（如Oracle、SQLServer,MySQL等）、

地理空间数据（如卫星影像、矢量数据）、常规文件（word、excel、

pdf）等各种格式。分布式数据交换平台可以实时或定时源系统采集数

据，在数据从原始库流向标准库的过程中，监控数据量、数据内容、数

据唯一性、正确性的变化情况，形成数据质量报告和数据质量告警。

实际部署过程中，将采用数台服务器充当ETL采集器，然后对接的目标

系统的数据视图、JDBC、共享网络发现等接口，即可对数据进行相关采

集。

数据报文传输技术框架

00）

数据提供方数据提供方

0）提供

数据提供方

数据提供方

数据提供方

分布式服务系统正是使用目前主流的分布式服务框架进行开发的分布式

数据服务平台，通过分布式的服务节点将所有数据服务的调度申请与处

理进行统一调度。分布式服务系统为所有的业务系统提供统一的服务管

理，数据使用者在取得数据授权的前提下，开发应用客户端调用数据接

口获取数据服务，系统将记录接口调用记录，形成接口调用分析表。

数据轮询模式：数据轮询交换模式，指数据使用者订阅数据，在运营者审

批授权后，数据提供者根据订阅信息从业务系统中提取数据生成数据文

件，由数据交换平台采集、处理、推送到使用者端，或者将数据文件放置

在安全的FTP服务器，供订阅人下载的服务模式。该模式适合于数据实时

性要求不太高的情况。

当数据提供方与数据需求方建立起订阅关系时，分别可以选择两种

不同的订阅模式。以下分别说明：

增量数据订阅：增量数据订阅分两个阶段：初始化与更新订阅。初始

化阶段为数据全量采集阶段，并在数据共享交换平台中保留增量标识（时

间戳/版本号/状态位）。更新订阅阶段时将检测上一次增量标识与本次增

量标识的差距，并对差距范围内的数据进行更新。

全量数据订阅：每次数据更新进行全量数据覆盖，数据更新条件可以