学院统一数据出口中心平台需求说明

学院统一数据出口中心平台需求说明序号标的名称数量单位技术（功能）要求一、统一数据出口中心平台1统一数据规划服务1项1、数据规划通过顶层设计，主动规划学校数据资产，实际落地以部门业务职责为指引，按业务域进行数据关系和数据标准的梳理，以“人财物，教科研”的主题域为数据对象，通过业务流程梳理、信息系统梳理和数据流梳理，摸清各主数据信息源头、数据确权、数据关系、应用范围、数据标准、更新使用规则、质量管控规则、数据维护工作规程、数据归档要求等要素，统一数据标准和规范，整理数据标准与我校的源头系统、存量数据及数据平台的映射关系，建立数据关系管理模型，形成数据资源目录，设计数据标准的质量检查规则。2、数据整合与清洗利用数据中心，从应用系统数据库中抽取出需要共享的数据，使数据平台成为全校范围内唯一的全面的数据源，完成数据层的集成，同时为相关应用系统提供共享数据访问服务，为在全校范围内进行综合数据分析服务提供完备、有效、可信的数据基础。（1）总体数据集成工作概要1）分析整理主要应用系统的数据字典，覆盖本平台所有数据集所需之数据。2）分析整理并撰写数据单一来源及数据流向规划报告。3）分析整理并撰写各应用系统的数据质量分析报告，协助学校各单位提升数据质量。4）依据以上报告对各应用系统的可共享数据进行标准化转换清洗，存入学校主数据库。5）以信息标准库和主数据库为基础分主题建立学校主数据仓库，存放历史数据。（2）数据流整体设计设计数据源与数据中心数据共享流程图。包括数据库，视图，存储过程，中间表，上行数据设计，下行数据设计等。（3）数据共享UC矩阵设计根据具体数据集成情况，形成学校数据UC矩阵图。（4）接口配置对数据融合工作主要接口进行设计与实施。应提供接口设计规范及我校接口清单。接口设计规范应包括：数据抽取接口、数据转换与清洗、数据载入接口、接口命名规范设计。接口清单整理需通过对本项目范围内业务系统与数据中心融合过程中的接口信息，包括接口目标（完成业务系统通过何种方式抽取到中间表）等，接口编号，接口描述，上行数据接口（视图信息，存储过程名称，调度名称、调度时间、中间表信息等）。（5）数据结构分析通过对数据结构分析，梳理业务系统实现融合的数据结构。2统一数据标准1套要求统一数据标准应包含但不限于以下功能：1、标准管理1）业务域系统应支持可视化阅览业务域大纲图谱，实现业务域树菜单拖拽，支持业务域分类排序和挂载。支持业务域信息细分为目录和数据表，数据表是业务域模块数据的基本组成单位，也是后续版本发布、系统建模的基本引用对象。而目录则用作对业务表进行归类汇总。系统应支持数据字段信息服务。要求数据字段信息包括数据库表字段的基本属性（字段名称、字段注释、字段类型长度、是否为空、是否主键等）和便于使用者管理数据仓库的拓展管理属性。系统应支持数据字段拆分合并，应对通过业务分析进行拆分或合并数据表需要，实现不同数据表之间的数据字段相互移动。系统应支持维护业务来源表、字段结构信息，为后续进行数据建模提供真实来源信息。2）代码集系统应支持代码分类和代码表：代码采用规律的编码方法，规定了指定代码集的分类或类别，适用于指定对象，代码表为代码项的集合，主要为后续数据清洗提供依据或凭证。系统应支持代码项：代码项为基本数据元素，用于相关信息处理之间的信息交换，依据编码规则，相同系列代码项组成代码集合。支持代码拆分合并，应对通过业务分析进行拆分或合并代码集，实现不同代码表之间的代码项相互移动。支持维护业务源头代码信息，为后续数据清洗工作提供映射关系信息。3）数据导入系统应支持数据导入。要求按照表、字段、代码、代码项的形式，从excel模板中整理好数据，按照一系列的规则校验之后，根据校验显示出来的新增、修改、异常、重复等信息进行修改和重新校验，进而审核导入业务域、字段、代码、代码项。可以批量导入组织结构信息。4）标准自检系统应支持对标准进行自检。要求对信息标准进行必要的合法性校验外，用户可根据具体需求自定义一些规则对信息标准进行额外的校验，自定义规则被分为三大类：关于基本属性的规则校验、关于质量属性的规则校验、关于管理属性的规则校验；校验完成后汇总校验结果形成异常报告，并提供便捷的信息标准规范手段。2、标准版本1）系统应支持在版本管理首页展示当前的版本信息标准数据收录量，并可分各个业务域的统计数据量，以及统计来源于各个部门的字段管理属性。同时对于新增、修改、删除的标准数据，要求包括业务域数据和代码数据，只有发布版本并审核通过后，才能被引用于各个业务数据源。2）系统应支持在浏览器打开该版本的信息标准白皮书pdf文档，实现版本预览。3）系统应支持查询系统中已经发布的版本信息，了解版本历程。4）系统应支持版本审核服务。用户能够审核发布版本是否通过，若审核通过，该版本会成为信息标准最新版本，标准网站，系统建模将使用最新版本的标准数据。5）系统应支持版本发布。准与生效版本的信息标准之间的差异，告知用户对信息标准做了哪些操作。6）系统应支持版本导出。分为“全量导出”和“自定义导出”两种方式，可以导出word、pdf、excel三种格式的文档。全量导出会导出该版本全部的信息标准数据，自定义导出会根据选择的部门，筛选出相关的信息标准数据。系统应支持版本对比。要求版本对比报告展示两个版本的信息标准数据量，小版本到大版本的数据变化量和字段、代码的具体变更情况。7）系统应支持版本回退。信息标准数据会恢复到该回退版本发布时的状态，也就是说该回退版本之后的信息标准数据会清除掉。3、标准参考系统应支持提供参考标准。参考标准为信息标准提供一个规范的、面向教育行业的国家层面上的信息化标准模板，当前参考标准的数据主要来源于教育行业标准（2012年版）。要求该模块为用户提供维护参考标准的可视化界面接口以应对行业标准发生变更或各大高校需要在国家标准的基础上建立适应自身的特色标准，包括导入、新增、修改、删除等功能。4、数据建模1）数据源管理系统应支持数据源管理服务，用户可以使用新增功能，通过本系统创建业务系统数据源，登记功能是把线下已经建立的用户信息记录到本系统，用于批量登记线下已经创建的业务系统用户。系统应支持兼容数据中心数据源，能够登记oracle数据中心数据库，用于物理同步反向核验读取信息标准数据结构。系统应支持旧标准数据元素升级，能够登记oracle旧标准平台数据库，通过升级标准元素、建模数据、版本信息到微服务信息标准管理子系统。对新增的数据源进行管理和查看，通过创建或登记数据源用户和表空间，版本发布创建标准数据库，调用平台数据进行系统集成。兼容数据中心数据源反向核验生成信息标准、旧标准数据元素升级。2）引用结构系统应支持结构引用，要求包括一键引用和自定义引用，自定义引用主要根据业务域进行分类显示标准数据结构信息，并可根据需求手动勾选所需的数据进行引用，还可进行系统过滤。一键引用根据系统过滤来选择所需数据，根据系统来源过滤的条件批量引用数据，用于物理同步数据建模创建数据表。3）业务代码系统应创建的数据源统计引用的代码集，显示各个数据源下引用的代码信息以及引用详情，用于物理同步数据建模创建代码表。4）物理同步系统应支持通过给创建的数据源进行数据引用操作后，在物理同步中可以对该数据源下引用的表数据进行核验数据结构状态。系统应支持通过数据治理技术规范与业务需求梳理的信息标准数据集，对未创建的数据表创建到物理库实体中，提供查看该引用表的建表脚本。系统应支持提供依据信息标准数据结构同步物理表，提供脚本及执行影响分析，并提供直接删除重建物理表。5、资讯管理1）资讯管理系统应提供资讯服务。能够给学校提供管理信息标准相关的权威性公告，包括国际规范、行业规等，各种规范文件的平台，在标准网站首页可以看到已发布的资讯信息。对于单个资讯能够进行修改、删除、发布和撤销等操作。2）标签云系统应支持标签云服务。标签云即关键字的集合，标签是典型的超链接，每个标签都有对应的资源链接地址（在新增标签云的时候要添加有效的链接地址才能跳转到链接的页面）。6、组织架构1）组织架构组织架构可以录入信息标准对应学校的整体架构信息，也能切换到对应的树拓扑图查看详细的架构内容，通过新增或者导入可以录入组织架构以及对应的业务系统信息。用于维护数据字段关于部门系列的管理属性。2）业务系统业务系统是属于组织架构下是业务部门对应的数据，用于维护数据字段关于系统系列的管理属性。7、标准网站网站首页开放式公开业务域标准规范，提供业务域大纲阅览，业务域信息规范各职能部门报告，业务系统来源及应用数据综合性分析。要求信息标准网页面提供标准业务域规范公开、标准资讯、业务域、代码集统计报告、标签云、来源与支撑相关参数指标。应支持丰富多样化通用、标准、资讯检索功能。支持个人中心服务，要求能够展示用户基本信息、收藏和下载信息。以图表的方式展现，整体页面看起来既简洁明了，内容又显得丰满，有助于用户快速的了解学校信息标准的现状及精确的定位用户关注的信息标准。可以展示学校现有的信息标准数据和标准动态信息，并根据不同的操作权限提供数据搜索查看功能。3统一数据溯源1套要求统一数据溯源应包含但不限于以下内容：1、采集信息（1）业务部门应提供对需要进行数据治理的业务部门的信息管理和维护。（2）系统信息应支持采集分析标准的业务系统信息，同时也为后续采集的元数据作系统分类的预处理，支持对系统信息的新增、修改、删除和导出操作；执行删除操作时，当前业务系统下数据源有采集元数据信息时，会被一起被删除。（3）适配器应支持对采集业务系统下的不同类型的数据库的驱动包进行管理和维护，为采集不同的类型的数据库或不同版本的数据库提供有效的驱动，确保完整的采集学校各类业务系统不同类型和不同版本的数据库信息，支持新增，修改和删除操作；但当配置器被引用时，不能被删除。（4）数据源维护应支持管理和维护系统下的数据源信息，为后续的采集各业务系统元数据信息提供有效的数据库信息，支持新增、修改、删除和导出操作，同时也支持测试数据源的连接功能；但操作删除操作时，会将数据源下采集的元数据信息删除。（5）采集任务应支持维护采集业务系统的数据源的采集任务信息，通过平台手动执行采集任务可以快速的根据任务采集各业务系统元数据，通过任务定时调度执行采集任务可以根据业务需求在系统不活跃的时间段执行采集任务面不影响业务系统的使用性能，支持对采集任务的新增、修改和删除操作，同时不采集时可以选择停止，可以通过配置定时执行，也可以点击立即执行对业务系统的数据源进行采集。另外一个数据源只能配置一个采集任务，且只有测试成功的数据源才能配置采集任务。（6）任务日志应支持对采集任务执行的日志进行记录，通过查看日志详细查看采集任务的采集情况，包括采集错误的日志信息，帮助用户快速定位采集任务的报错信息，不支持新增、修改和删除的操作。（7）入库审核应支持对采集的业务系统的数据的审核，用户可以通过审核通过或不通过来决定是否分析此次采集的元数据，通过审核的数据将在元数据模块展示，审核数据不可选，只能以采集任务结果为基础审核，审核通过则整个任务结果都通过，审核不通过则整个任务结果不通过。2、业务元数据（1）元数据管理应支持对元数据按部门分类，一是可以将元数据根据用户理解或部门的业务情况进行清晰的分类管理，二是帮助用户快速的根据分类定位元数据位置。部门节点：应支持对部门下系统列表展示，帮助用户快速的根据分类定位元数据位置。系统节点：应支持对业务系统元数据信息及系统下数据源列表展示和统计信息统计系统下表和字段的相关信息，业务系统元数据信息是对当前业务系统的元数据说明，数据源列表是对系统下数据源的管理，并支持对导入、导出功能，统计信息是对当前系统采集和分析的元数据进行简单的统计展示。（2）数据源节点应支持对数据源元数据信息及数据源下表空间列表的展示，是对当前数据源下采集的表空间信息进行展示及提供处理，并支持对表空间配置是否采集、导入、导出功能，在下次采集该数据源时过滤不采集的表空间的表和字段的信息，统计信息是对当前数据源采集和分析的元数据进行简单的统计展示。（3）表空间节点表分析：应支持统计表空间下表的采集信息、分析信息以及审核信息，以全部、未分析、集成、集成代码表、不集成进行对数据的归类，可以对表信息进行手动分析、查看详情、查看数据操作，全部分类可以对空表不集成、智能分析、导入分析、导入分析报告、导入数据处理操作；未分析可对表类型集成设置、表类型设置；集成可以对数据进行归类、确认分析、添加前后缀操作；集成代码表可以对数据进行归类、确认分析、添加前后缀操作；不集成可以对数据进行归类、确认分析、表类型设置操作。审核：应支持对确认分析的数据进行展示以及操作，以审核、待审核进行对数据的归类，待审核可以对数据进行通过、不通过操作，已审核可以对数据进行回退操作。统计信息：应支持对该表空间下的分析表、字段数据进行统计，并以图表的形式展示。元数据信息：应支持展示表空间的基础信息。（4）表信息节点应支持统计表下字段的采集信息、分析信息以及审核信息，以全部、未分析、集成、不集成进行对数据的归类，可以对字段信息进行手动分析、查看详情、查看数据操作，全部分类可以对空字段不集成、智能分析操作；未分析有集成、不集成、全部集成操作；集成可以对数据进行不集成、确认分析操作；不集成可以对数据进行集成、确认分析操作。应支持对确认分析的字段数据进行展示以及操作，以审核、待审核进行对数据的归类，待审核可以对数据进行通过、不通过操作，已审核可以对数据进行回退操作。应支持对该表下的字段数据进行统计，并以图表的形式展示。应支持展示表的基础信息。3、元数据报告现状分析报告：现状分析报告通过分析统计算法对通过元数据模块分析当前业务系统形成信息标准的表和字段的数据形成报告展示，其中报告内容包括：系统基本信息、系统表分析情况统计、数据分析一览表、初步整理标准分析、数据质量分析。变更分析报告：变更分析报告是采集的元数据历史记录分析系统的数据库变更情况，并生成报告，具体的变更报告是对系统采集元数据的记录进行分析统计并根据报告模板形成系统变更分析报告，其中报告内容包括：系统基本信息、数据库表变更统计、表数据结构变更情况一览、新增表、修改表、删除表。4、溯源知识库知识库管理：知识库管理是对知识库学校信息的展示，统计系统数、表数、字段数等信息。学校节点：学校节点是对学校下系统列表展示，帮助用户快速的根据分类定位，支持导入、导出操作。系统节点：系统管理是对知识库系统下表信息展示，并对表信息进行全部、集成、不集成、代码集进行分类，统计表下的字段数以及数据量。用于辅助快速分析采集的业务系统表。表节点：表节点是对知识库表信息下字段信息展示，并对表信息进行全部、集成、不集成进行分类展示。用于辅助快速分析采集的业务系统字段。5、厂商管理厂商管理：厂商管理是对厂商信息的展示，统计系统数、表数、字段数等信息，支持新增、修改、删除功能。系统节点：系统管理是对厂商下表信息展示，统计表下的字段数以及使用学校数，支持同名检查功能，用于辅助快速分析采集的业务系统表。可以展示厂商表信息，包括统计表字段数和使用学校数。表节点：表节点是对厂商表信息下字段信息展示，用于辅助快速分析采集的业务系统字段。可以展示厂商表信息字段信息，包括辅助业务系统字段。4统一数据交换1套要求统一数据交换应包含但不限于以下内容：1、数据校验规则和数据转换规则应支持在数据交换时支持自动复杂的数据校验规则和数据转换规则，数据校验、转换失败时系统会自动写入日记中并给出相应的报告。2、增量临时表应支持优化数据处理逻辑，将数据比较过程中产生的压力转嫁到数据库层面，明显降低系统内存和CPU占用过大风险，大幅提升系统应对大批量数据的处理能力的同时，有效避免增量数据过大导致的内存溢出、宕机或者系统无响应场景的发生。另外，在增量数据比对过程中，通过提供更精准、更高效、更便捷的特征值比对策略，大幅提升流程效率。3、数据过滤器支持应支持在数据路由时会自动调用配置的数据过滤器插件，并把数据交由数据过滤器进行处理，数据过滤器不但可以过滤不需要交换的数据同时还能对数据进行格式化或二次加工运算。4、SQL语句支持应支持在数据交换时允许直接把SQL语句作为数据源或目标数据源进行数据交换，通过SQL语句可以更灵活更简单的实现数据交换。5、容错机制应支持数据容错机制，可根据流程数据总数量自定义容错率。当流程数据报错达到预置容错率时，平台将自动停止流程，减少内存占用。同时平台通过自定义预警机制及时提醒，直达病灶，快速响应。另外，还支持问题修复后流程自动执行，明显提升系统性能。6、多数据源支持应支持在Web界面下管理所有业务系统的数据源和数据库链接池，数据源密码采用加密算法保存。除原有Oracle、MySQL、sqlserver、postgresql等主流关系型数据库、NOSQL数据库、半结构化及API、webservice外，还支持人大金仓、webAPI。7、多数据库链接池支持应内置多种数据库链接池(DBCP、C3P0、Druid)可供选择，根据不同的数据库类型或要求可以选择不同的数据库链接池管理组件，可以根据不同的数据量及频率定义不同的数据库链接管理方案。8、API接口接入服务应支持面向各种客户端的webAPI服务，仅需提供目标数据库接口即可访问，省掉大量事前配置工作。数据处理前，借助自定义规则及规则校验机制，快速拓展webAPI节点；数据处理时，智能加载分页数据、智能判断尾页等逻辑的加入大幅提升使用体验和使用效率，缩短流程周期。9、系统统计应支持系统统计，为用户实现对今日调度异常流程、今日运行流程总数（次）、接入数据源（个）、总流程数（个）进行展示，包括正在运行的流程、内存使用量、CPU负载情况、线程使用情况。10、系统监控与分析应支持系统监控与分析，包括运行中流程、已结束流程、异常流程、流程调度情况统计、流行运行数据订阅、流程调度日记、流程运行情况统计、增量读取日记、流程调试日记、集群服务器、大屏监控、JVM信息监控、流程运行情况统计、控制台日记、登录日志和操作日志。11、数据流程服务应支持自定义测试数据流程功能。12、全Web化配置应支持全Web化配置功能，而不是基于命令行或者XML配置，只需要链接相应的数据源并创建数据流程即可交换数据。13、数据路由规则定义应支持在Web界面下直接定义数据路由规则，制定规则后系统可根据规则自动运行或手工运行交换数据。14、其他应支持完整的事务控制策略，跨数据库事务控制，保证数据的一致性。应支持多数据源的多表对单一数据源的单表数据交换。应支持单表对不同数据源的多表数据交换。应支持多数据源的多表对多数据源的多表的复杂数据交换定义。应支持多种数据源(RDBS，NOSQL等)。应支持增量数据交换。应支持数据交换时进行数据清洗、校验、补全等操作。应支持数据过滤器，通过自定义的数据过滤器可以实现复杂的数据交换规则。应支持各种不同数据源之间数据的自动转换。应支持通过数据交换日记，记录所有数据投递情况。应支持所有交换的数据可追溯来源及去向。5统一管控数据资产1套要求统一管控数据资产应包含但不限于以下内容：1、平台运行分析应支持对平台的数据库进行各类型分析，包括数据库状态、表空间状态、业务表状况、最近接口调用情况、最新核验动态统计展现。2、数据湖应支持数据湖数据查询，可查询集成到全局数据中心的各业务系统的原始数据的入口，可用于统一入口查询业务数据原始数据，实现对全局数据中心的业务数据集成情况作对比验证。应支持物理同步，同步需要数据入湖的表和字段数据，并后台创建对应数据湖物理表和字段。应支持任务管理，管理数据入湖的任务策略。应支持日志管理，提供数据入湖的日志信息查看。3、历史库应支持历史数据库，支持对当前所有任务执行状态的反馈，包括任务总数、失败成功数及操作状态的监控和展示。历史数据库提供数据地图管理功能，以图形方式展现数据的流向，同时提供各个业务系统的存量以及增量数据情况。提供热门数据库的数据量。应支持数据查询，历史库提供各个历史数据库表的数据的查询操作，依据主键提供历史数据的查看，可配置的查询条件，如可根据学号查看历届学生的信息变更情况。应支持数据统计，提供历史数据库数据增量情况分析、历史数据表数据分布、数据增量排名。支持集中展示历史库增量态势、系统数据分布和数据增量排名，支持全局数据查询。针对业务系统，支持数据生命周期查看，除了表字段数、表记录数、所占空间等基本信息，还应包括可自选时间段、可自定义配置查询字段的详细查询功能。应支持任务管理，历史数据来源于业务数据，即通过调度的方式及时对业务数据进行备份并增加时间维度，任务管理即提供业务数据备份的调度配置。该配置提供手工与定时等多种覆盖时间范围方式。应支持任务监控，任务监控对历史数据备份的过程进行监控，如对于何时进行备份提供各种查询。4、数据仓库应支持展示各数据仓库数据的汇总信息以及已清洗的业务系统的基本信息，查看各业务系统数据表结构信息集及代码集信息；总体描述主要用于查看全局库各个业务系统的总体数据增长、总体数据分布情况，包括系统表总量和数据量情况统计等信息。应支持全局数据查看和系统数据：全局库和各系统的信息标准项、引用代码集数据查询、自定义查询。应支持表权限配置，主要是对用户和角色授权使其有权限查询该表数据。要求对所有业务库资源实现批量授权，授权对象为学校任意角色和用户，支持批量勾选。应支持组织结构管理，数据结构是对全局库的数据结构、数据字典信息的查看。数据字典是管理各业务库的数据字典、代码集。5、主题库应提供主题数据集数据查询，提供主题表的创建、编辑、删除操作，主题表创建支持配置向导方式引用数据库表做关联关系自动生成，也支持自定义编写sql方式创建，并提供数据预览。应支持自定义主题分类，支持主题分类的创建、编辑、删除操作。6、脱敏管理应支持脱敏配置，可配置脱敏字段及其对应的脱敏算法，提供新增、修改、删除、测试和一键配置快速配置常用的字段配置功能，同时如果存在历史数据，还提供查看配置历史作参考。应支持脱敏查看授权，授权可以查看脱敏后原始数据用户、部门、角色、应用权限，授权后，可查看所有的脱敏字段的原始数据。应支持脱敏执行日志，统计脱敏字段脱敏的数据量的日志。应支持脱敏配置日志，记录配置脱敏字段的历史。应支持脱敏统计，对当前脱敏的配置进行统计分析展示。7、接口中心应支持应用管理，提供服务的访问应用管理，包括应用的增删改查。应支持数据源管理，数据源管理提供输入输出接口的数据源，即最终数据从哪里来，存哪里去，提供增删查改以及测试功能，包含全局库数据源可视化和自定义异构数据源（包括ORACLE、MYSQL、SQLSERVER、POSTGRESQL）的管理。应支持输出接口-接口管理，提供对外restful接口和WebService接口统一输出接口管理、输出接口授权、数据授权等。应支持输入接口-接口管理，包括输入接口配置、数据查看、数据审核等。应支持接口统计，包括接口分析和接口日志，接口分析，针对输入输出接口进行各类型分析，包括接口总量分析、接口调用分析、调用态势等。应支持接口日志，对接口的访问情况进行统计，主要提供查询功能，可查询接口访问的时间、开始结束时间、耗时等等信息。应支持接口安全，用来保证接口使用的安全。包含：黑名单和白名单两个子模块黑名单是对应用IP调用接口作限制，当启用黑名单后，黑名单内的IP将不能正常使用接口，白名单是对应用IP调用接口的授权调用的作用，当启用白名单后，白名单内的IP才能正常使用接口。应支持接口审核，对应用通过接口平台申请调试和调用接口的审核操作，通过审核操作，决定应用授权接口是否能调试和调用接口。8、数据库监控应支持数据库运行情况分析，支持分析系统当前以及历史运行情况，直观显示服务器可能面临的问题，预测未来服务器的数据容量情况。提供CPU、内存、活动情况、SGA、HitRatio、SessionWaits、业务数据等监控统计。应支持权限信息查看，包括表权限查看和用户权限查看。能够按数据库用户查看授权的数据表，按表查看授权用户，对授权信息进行修改。应支持热点表查看，支持热点表以图标及列表的方式展示各业务系统当前及历史SQL数量统计。应支持监控告警订阅，对数据库服务器的实时资源占用情况进行监控，当资源占用率到达监控阈值时，立即发送邮件到监控人邮箱。9、数据库核验应支持手工核验，手工核验提供数据库与标准的比照核验功能，首页提供核验选项包括组织结构、空间、定义、反向等操作，同时首页会记录上一次核验的相关信息，点击即可进入到核验操作中。应支持核验操作，核验分为核验对象选择，提供批量选择功能，系统会提示之前核验过和未核验的系统，提供表级选择权限，核验过程进行实时反馈，核验结束后提供统计信息。应支持核验同步脚本，针对核验出的不一致情况，系统提供同步脚本，即修复异常。应支持核验历史，历届的核验都会进行记录，形成核验记录，核验记录可进行查阅，并查看每次核验的报告。应支持核验报告，支持对每次核验的记录进行展示，并生成每次核验的核验报告。应支持核验调度，包括手动核验和自动核验，自动核验的触发方式主要是通过调度，即时间间隔或者定时调度的方式。应支持报告订阅，支持对已经核验的业务系统的核验报告进行订阅管理，将核验报告推送给相关部门或管理人员。6统一数据质量管理1套要求统一数据质量管理应包含但不限于以下内容：1、流程监控应支持以全局、业务系统等多角度来统计分析流程执行情况，实现所有流程的实时监控，保证数据供给稳定。流程监控大屏整体统计了学校各业务系统的数据集成情况，以及数据中心全局库、历史库等数据集成情况，流程最近执行情况分析统计。应支持以业务系统的角度查看相关流程的执行情况和统计，以及展示最近的流程执行分析结果。应支持对流程执行情况进一步分析。不仅仅反映流程执行异常信息，还进一步分析反映流程执行的其他问题，包括流程未定时执行、流程执行超时、流程为手动执行。应提供流程告警订阅，实现定时推送流程异常告警明细以及流程进一步分析的异常明细。应支持数据链路监控情况订阅，定时推送关键数据的流程运行情况和数据质量情况。包括关键流程对核心表新增、修改、删除记录数，已经新增记录数据质量情况需要通过邮件定时推送。应提供流程的详细明细列表，且提供丰富的搜索和筛选条件。流程详情信息包括流程名称、调度信息、流程执行成功、失败总情况统计，还有详细的流程字段映射关系，以拓扑图的形式展现。应支持展示所有流程运行日志明细，且提供丰富的搜索和筛选条件。应支持以日历的方式展示了所有流程执行的信息，包括成功次数、失败次数，以及执行失败的流程详情。应支持流程全链监控，提供强大的数据血缘分析查询能力，为用户实现数据回溯、数据流向关系定位，方便快速异常问题定位，并以元数据与流程结合拓扑图综合展示数据对象全链路情况。提供链路数据对比，跨源、跨表的多个节点中数据进行横向一致性对比。提供链路数据流通情况分析，在一个全链路页面通过主键快速分析某条数据是否有成功从源头流向目标库，从而定位上行数据断点位置，发现数据不一致的问题。应支持分析所有集成到数据中心，以及从数据中心共享出去的相关时间段的数据量统计，以桑基图的方式呈现。2、质量监控质量监控首页：从完整性、规范性、一致性、唯一性、时效性、准确性六大质量维度来评估和监控数据质量。质量监控首页从整体呈现数据中心所有已集成的数据的质量情况。部门质量概况：以部门的角度去展示数据质量得分、核心数据情况、质量改进情况，以及部门的质量改进排名情况。质量查看：提供更加详细的系统级别、表级别、字段级的数据质量明细情况、数据核验异常明细。质量核验：提供自定义选择系统、规则的方式手动进行数据质量核验，以完整性、规范性、一致性、唯一性、时效性、准确性六大质量维度来评估数据质量并根据维度权重综合计算质量得分，线上生成质量核验报告，并提供数据核验分析详细记录。1）自定义勾选系统或单表、自定义选择规则进行核验。2）可对数据进行增量或全量的核验选择，增量只对新增的数据和有变更的数据进行核验，减少重复的数据核验，提供核验的效率。3）支持页面可配置的联合校验，比如证件类型和证件号码联合校验等。常规规则配置：提供正则、非空、值域、数据范围四个常规质量规则的配置入口（对接标准中的质量属性），更方便用户一体化地配置质量规则、核验数据质量。业务监控：提供多种质量模板规则，以及完全自定义规则，实现全校的业务数据监控，定期地进行数据质量监控，并提供详细的质量告警信息查看、异常数据查看。1）支持按照严重告警、重要告警、一般告警、提示告警分级对数据质量问题进行定级。2）支持质量监控问题定时推送通知，以邮件方式推送质量告警信息和告警明细。3、监控大屏监控大屏旨在将隐藏在后台的数据信息以简明易懂的可视化表达方式呈现出来，整体展现数据中心的数据质量情况，实时呈现学校数据质量的最新状态，将数据质量分析形象化、直观化和具体化。监控大屏的指标内容主要可分为三部分：质量相关、流程相关、数据治理成果。1）质量：展示数据中心所有数据的完整性、规范性两个基本维度的质量情况，以及各部门质量改进的统计。2）流程：统计了监控的所有流程的总体基本情况、今日流程运行情况，以及为业务部门共享的数据情况。3）数据治理成果展示：数据治理过程中各个阶段梳理的成果统计，包括业务调研、资产盘点、系统分析、标准梳理等情况统计。通过详尽的指标体系和数据分析过程，最终将整体质量情况以图表的形式详细的展现出来，帮助校领导以及管理人员掌握目前数据治理的整体质量情况。4、质量报告部门质量报告：通过数据治理分析当前各部门业务系统现状，充分评估当前学校数据整体质量情况，依据质量规则对数据质量进行综合校验，生成数据质量报告，供领导查看和对外公布。以部门去统计系统集成状况、数据质量情况等综合月度定期生成一份质量报告，可订阅发送和在线预览生成。5、供需总览（1）支持业务系统集成表、字段和数据量汇总统计。部门供需情况（部门UC分析）：使用数据流向图展示了业务部门和全局库之间集成和使用表的数量。（1）支持悬浮部门可查看使用和共享详情。（2）支持数据中心的概览和数据流向图的过滤查看。系统供需情况（系统UC分析）：展示流程链路两端所涉及的系统提供和使用表的数量。（1）支持系统和系统之间的表流向详情查看，包括今日提供和使用的数据量对比。（2）支持业务系统上下行数据流程，具体数据流向查看。表供需情况（表UC分析）：展示所有表存在供需（UC）关系的分析，直观的反映了所有的数据提供方和使用方。（1）支持按业务部门和业务系统维度分析查看数据包UC情况分析。6、数据流向展示了整个数据治理项目的整体数据流向，从源业务数据集成进入数据中心，再到提供使用下行数据。（1）支持API、ETL和DB视图数据接口数据流向分析。（2）支持全部、正常和异常多种过滤查看方式。7、元数据采集应支持支持Oracle、mysql、sqlserver等主流产品元数据自动采集。要求对数据源配置采集调度任务，并实现自动调度。对定义的数据源立即执行采集。用户能够实现采集平台日志管理和用户操作日志查询功能。应支持元数据变更审核和查看详细。9、元数据管理应支持对所有已经采集入库的元数据进行统一展现、查询、维护更新操作。应支持元数据映射信息维护，包括元数据映射的新增、修改和删除功能。应支持维护上下游元数据之间的关系，该功能为数据地图支撑功能。支持手动新增元数据之间的依赖关系，依赖对象可以根据元模型依赖模型变化而变化。10、元数据全局查询应支持对元数据的关键字模糊查询。并支持高级多条件查询，并展示元数据的路径。11、服务大厅首页：要求在系统首页展示产品简介，用户指南，开发指南，常见问题的收集，让用户更容易地上手使用平台，提高用户对平台的易受性。服务大厅：要求在服务大厅接口展示页按照输入接口，输出接口，excel输入接口、webservice接口和业务域等分类呈现接口，登录后可对授权接口和未授权接口标记区分，让用户更便捷地查看接口。输入输出接口的展示，包括：调用次数较多的输入输出接口统计展示，通过分类和查询功能列表展示输入输出接口的相关信息，如，调用成功率，调用次数等。要求在服务大厅搜索页提供接口的搜索和详情查看。接口详情：要求展示接口的详细信息，包括展现接口名，接口描述，接口返回错误码，接口字段列表，请求参数，接口调用示例等信息，并提供接口授权功能。接口调试：要求提供接口调试功能，测试输出输入接口调用情况。支持以excel、XML、TXT、CSV等类型导出文件。Excel数据输入：支持直接通过平台导入Excel数据。7统一数据出口1套统一数据出口应包含但不限于以下内容：1、数据公示网站公示学校数据资产目录，支持按业务系统、业务部门、主题域三个维度展示学校数据资产目录。提供数据资产目录的检索功能，可按数据表或数据字段的分类进行检索。支持维护热门分类目录和热门字段信息，并在数