数据中台建设方案

数据中台建设方案1信息标准管理平台1.1性能需求要求系统运行稳定，在软件功能抽查测试过程中未发现数据丢失、系统紊乱和致命死机现象，并可以连续无故障运行2小时以上。1.2功能要求(一)标准管理1.业务域依据技术规范基础管理业务域中业务的信息，维护数据元素的元数据结构，其目的主要在于提供规范现有的信息标准信息项唯一性的可视化操作平台，通过现有信息标准的录入和微调来整理一份信息标准，为以后规范信息标准打下基础。支持可视化阅览业务域大纲图谱，实现业务域树菜单拖拽，支持业务域分类排序和挂载。支持业务域信息细分为目录和数据表，数据表是业务域模块数据的基本组成单位，也是后续版本发布、系统建模的基本引用对象。而目录则用作对业务表进行归类汇总。支持数据字段信息服务。要求数据字段信息包括数据库表字段的基本属性（字段名称、字段注释、字段类型长度、是否为空、是否主键等）和便于使用者管理数据仓库的拓展管理属性。支持数据字段拆分合并，应对通过业务分析进行拆分或合并数据表需要，实现不同数据表之间的数据字段相互移动。支持维护业务来源表、字段结构信息，为后续进行数据建模提供真实来源信息。2.代码集支持代码集服务。要求包括：代码分类和代码表：代码采用规律的编码方法，规定指定代码集的分类或类别，适用于指定对象，代码表为代码项的集合，主要为后续数据清洗提供依据或凭证。代码项：代码项为基本数据元素，用于相关信息处理之间的信息交换，依据编码规则，相同系列代码项组成代码集合。支持代码拆分合并，应对通过业务分析进行拆分或合并代码集，实现不同代码表之间的代码项相互移动。支持维护业务源头代码信息，为后续数据清洗工作提供映射关系信息。3.数据导入支持数据导入。要求按照表、字段、代码、代码项的形式，从excel模板中整理好数据，按照一系列的规则校验之后，根据校验显示出来的新增、修改、异常、重复等信息进行修改和重新校验，进而审核导入业务域、字段、代码、代码项。支持批量导入组织结构信息。4.标准自检实现对标准进行自检。要求对信息标准进行必要的合法性校验外，用户可根据具体需求自定义一些规则对信息标准进行额外的校验，自定义规则被分为三大类：关于基本属性的规则校验、关于质量属性的规则校验、关于管理属性的规则校验；校验完成后汇总校验结果形成异常报告，并提供便捷的信息标准规范手段。信息标准管理平台实现信息标准自检，根据非空规则、唯一性规则、一致性规则、规范性规则等信息标准管理原则进行标准检测，并对检测异常的信息标准异常原因进行展示。(二)参考标准支持提供参考标准。参考标准为信息标准提供一个规范的、面向教育行业的国家层面上的信息化标准模板，当前参考标准的数据主要来源于教育行业标准（2012年版）。要求该模块为用户提供维护参考标准的可视化界面接口以应对行业标准发生变更或各大高校需要在国家标准的基础上建立适应自身的特色标准，包括导入、新增、修改、删除等功能。(三)版本管理支持在版本管理首页展示当前的版本信息标准数据收录量，并可分各个业务域的统计数据量，以及统计来源于各个部门的字段管理属性。同时对于新增、修改、删除的标准数据，要求包括业务域数据和代码数据，只有发布版本并审核通过后，才能被引用于各个业务数据源。支持在浏览器打开该版本的信息标准白皮书pdf文档，实现版本预览。支持查询系统中已经发布的版本信息，了解版本历程。支持版本审核服务。用户能够审核发布版本是否通过，若审核通过，该版本会成为信息标准最新版本，标准网站，系统建模将使用最新版本的标准数据。支持版本发布。支持预览预发布版本与生效版本的信息标准之间的差异，告知用户对信息标准做了哪些操作。支持版本导出。分为“全量导出”和“自定义导出”两种方式，可以导出word、pdf、excel三种格式的文档。全量导出会导出该版本全部的信息标准数据，自定义导出会根据选择的部门，筛选出相关的信息标准数据。要求支持不同版本的信息标准之间可以进行标准对比，并生成版本对比报告，以及支持导出，查看信息标准的数据结构、数据字段、代码集和代码项的变动情况。当前版本支持版本预览和版本导出操作，导出格式至少包括word、PDF等。支持版本回退。信息标准数据会恢复到该回退版本发布时的状态，也就是说该回退版本之后的信息标准数据会清除掉。(四)系统建模1.数据源管理支持数据源管理服务，用户可以使用新增功能，通过本系统创建业务系统数据源，登记功能是把线下已经建立的用户信息记录到本系统，用于批量登记线下已经创建的业务系统用户。支持兼容数据中心数据源，用于物理同步反向核验读取信息标准数据结构。支持旧标准数据元素升级，能够登记oracle旧标准平台数据库，通过升级标准元素、建模数据、版本信息到微服务信息标准管理子系统。对新增的数据源进行管理和查看，通过创建或登记数据源用户和表空间，版本发布创建标准数据库，调用平台数据进行系统集成。兼容数据中心数据源反向核验生成信息标准、旧标准数据元素升级。2.引用结构支持结构引用，要求包括一键引用和自定义引用，自定义引用主要根据业务域进行分类显示标准数据结构信息，并可根据需求手动勾选所需的数据进行引用，还可进行系统过滤。一键引用根据系统过滤来选择所需数据，根据系统来源过滤的条件批量引用数据，用于物理同步数据建模创建数据表。3.业务代码创建的数据源统计引用的代码集，显示各个数据源下引用的代码信息以及引用详情，用于物理同步数据建模创建代码表。4.物理同步支持通过给创建的数据源进行数据引用操作后，在物理同步中可以对该数据源下引用的表数据进行核验数据结构状态。支持通过数据治理技术规范与业务需求梳理的信息标准数据集，对未创建的数据表创建到物理库实体中，提供查看该引用表的建表脚本。支持提供依据信息标准数据结构同步物理表，提供脚本及执行影响分析，并提供直接删除重建物理表。(五)系统管理1.系统设置配置该系统需用到的一些动态数据参数，所需用到的数据都必须从系统设置读取。主要包括版权、LOGO标志、白皮书、数据源读取属性配置等信息。2.操作日志记录在该平台的操作详情，包括用户账号、浏览器类型、访问IP、登录时间、操作次数、操作详情等。2主数据管理平台2.1性能需求要求系统运行稳定，在软件功能抽查测试过程中未发现数据丢失、系统紊乱和致命死机现象，并可以连续无故障运行2小时以上。2.2功能要求(一)平台首页支持对主数据平台的数据库进行各类型分析，包括数据库状态、表空间状态、业务表状况、最近接口调用情况、最新核验动态统计展现。(二)全局库主要用于展示各全局库数据的汇总信息以及已清洗的业务系统的基本信息，查看各业务系统数据表结构信息集及代码集信息；总体描述主要用于查看全局库各个业务系统的总体数据增长、总体数据分布情况，包括系统表总量和数据量情况统计等信息。全局数据查看和系统数据：全局库和各系统的信息标准项、引用代码集数据查询、自定义查询。表权限配置：主要是对用户和角色授权使其有权限查询该表数据。要求对所有业务库资源实现批量授权，授权对象为学校任意角色和用户，支持批量勾选。组织结构：数据结构是对全局库的数据结构、数据字典信息的查看。数据字典是管理各业务库的数据字典、代码集。(三)数据湖数据湖数据查询：数据湖为用户提供查询集成到全局数据中心的各业务系统的原始数据的入口，可用于统一入口查询业务数据原始数据，实现对全局数据中心的业务数据集成情况作对比验证。物理同步：同步需要数据入湖的表和字段数据，并后台创建对应数据湖物理表和字段。任务管理：管理数据入湖的任务策略。日志管理：提供数据入湖的日志信息查看。(四)历史库管理历史数据库：支持对当前所有任务执行状态的反馈，包括任务总数、失败成功数及操作状态的监控和展示。历史数据库提供数据地图管理功能，以图形方式展现数据的流向，同时提供各个业务系统的存量以及增量数据情况。提供热门数据库的数据量。数据查询：历史库提供各个历史数据库表的数据的查询操作，依据主键提供历史数据的查看，可配置的查询条件，如可根据学号查看历届学生的信息变更情况。数据统计：提供历史数据库数据增量情况分析、历史数据表数据分布、数据增量排名。支持集中展示历史库增量态势、系统数据分布和数据增量排名，支持全局数据查询。针对业务系统，支持数据生命周期查看，除表字段数、表记录数、所占空间等基本信息，还应包括可自选时间段、可自定义配置查询字段的详细查询功能。任务管理：历史数据来源于业务数据，即通过调度的方式及时对业务数据进行备份并增加时间维度，任务管理即提供业务数据备份的调度配置。该配置提供手工与定时等多种覆盖时间范围方式。任务监控：任务监控对历史数据备份的过程进行监控，如对于何时进行备份提供各种查询。(五)服务中心应用管理：提供服务的访问应用管理，包括应用的增删改查。数据源管理：数据源管理提供输入输出接口的数据源，即最终数据从哪里来，存哪里去，提供增删查改以及测试功能，包含全局库数据源可视化和自定义异构数据源对(国产数据库的支持将按学校要求进行适配）的管理。输出接口-接口管理：提供对外restful接口和WebService接口统一输出接口管理，是基于全量数据库打造微服务的核心功能，用户可图形化配置接口，可选择数据源（包含自定义的异构数据源）、多表级联、自定义设置查询条件和显示列等功能。同时提供发布、测试、停止等功能。输出接口-接口授权：配置发布接口后根据应用对接口授权，授权后，第三方应用或者业务系统即可通过restful接口或WebService接口使用主数据平台发布的接口。输出接口-数据授权：通过对发布接口不同授权应用添加指定的过滤条件，对输出接口的数据进行不同应用不同输出数据，对输出接口的数据进行严格管控。输入接口-接口配置：提供自定义导入的图形化配置功能，支持配置excel接口、restful接口和WebService接口，接口发布成功后均能授权应用后在接口平台上查询和使用，支持对数据的增、改、删操作。输入接口-数据查看：提供查看excel接口和WebService接口导入数据功能，验证导入数据是否成功。输入接口-数据审核：对导入数据进行审核，提供审核通过、打回等操作，通过审核后才真正入库到全局库表或业务库表中。接口统计：包括接口分析和接口日志，接口分析，针对输入输出接口进行各类型分析，包括接口总量分析、接口调用分析、调用态势等。接口日志：是对接口的访问情况进行统计的功能，主要提供查询功能，可查询接口访问的时间、开始结束时间、耗时等信息。接口安全：接口安全模块，用来保证接口使用的安全。包含：黑名单和白名单两个子模块黑名单是对应用IP调用接口作限制，当启用黑名单后，黑名单内的IP将不能正常使用接口，白名单是对应用IP调用接口的授权调用的作用，当启用白名单后，白名单内的IP才能正常使用接口。接口审核：对应用通过接口平台申请调试和调用接口的审核操作，通过审核操作，决定应用授权接口是否能调试和调用接口。(六)数据仓库支持对业务数据进行多维度分析构建事实表，提供事实表管理及建模。提供对历史数据通过聚合等多种统计产生的聚集数据，支持事实表的创建维护功能及事实数据查看，从总体到部门再到具体表的事实数据查看。支持对仓库的维度表进行管理，用于维度建模、多维度分析。提供数据分析过程中进行数据钻取，创建立方体的必要条件，提供维度表的增删改查以及创建功能和维度数据的查看操作，从分类到具体的维度表，再到查看的层层钻取方式查看。指标体系是对相关指标信息进行管理与数据丰富；分组管理是对已有的数据维度进行维度划分，形成新的维度；主题管理是对事实表的度量与维度进行抽取并做数据转换形成可展示数据。支持对仓库的指标进行管理，提供指标的维护与指标数据查询。任务调度：支持任务调度。包括配置事实表、维度表数据拉取任务信息和调度任务管理等操作。主题配置：通过对全局库与用户关注主题相关的表进行重新组合，并对组合表的字段进行重新分类配置，形成一个主题在主题查询展示。查询权限配置：对配置的主题进行用户、角色、部门的查询个人数据、部门数据、全部数据的权限配置。数据权限配置：授权查看部门、全部数据的用户、角色、部门配置主题的数据过滤条件，对数据进一步管控。(七)数据库监控数据库运行情况分析：支持分析系统当前以及历史运行情况，直观显示服务器可能面临的问题，预测未来服务器的数据容量情况。提供CPU、内存、活动情况、SGA、HitRatio、SessionWaits、业务数据等监控统计。权限信息查看：包括表权限查看和用户权限查看。能够按数据库用户查看授权的数据表，按表查看授权用户，对授权信息进行修改。热点表查看：支持热点表以图标及列表的方式展示各业务系统当前及历史SQL数量统计。SQL查询记录：查询最近访问的SQL查询，提供多种查询方式。TOPsql：查询经常使用的10条SQL。支持由数据库检索日志定位出热点SQL语句，对热点SQL语句进行分类存储，可以分析出热点SQL性能以及热点SQL的历史信息等。死锁查看：对死锁情况进行查询。监控告警订阅：对数据库服务器的实时资源占用情况进行监控，当资源占用率到达监控阈值时，立即发送邮件到监控人邮箱。(八)数据库核验手工核验：手工核验提供数据库与标准的比照核验功能，首页提供核验选项包括组织结构、空间、定义、反向等操作，同时首页会记录上一次核验的相关信息，点击即可进入到核验操作中。核验操作：核验分为核验对象选择，提供批量选择功能，系统会提示之前核验过和未核验的系统，提供表级选择权限，核验过程进行实时反馈，核验结束后提供统计信息。核验同步脚本：针对核验出的不一致情况，系统提供同步脚本，即修复异常。核验历史：历届的核验都会进行记录，形成核验记录，核验记录可进行查阅，并查看每次核验的报告。核验报告：支持对每次核验的记录进行展示，并生成每次核验的核验报告。核验调度：系统核验方式提供两种，包括手动核验和自动核验，自动核验的触发方式主要是通过调度，即时间间隔或者定时调度的方式。报告订阅：支持对已经核验的业务系统的核验报告进行订阅管理，将核验报告推送给相关部门或管理人员。(九)系统管理支持系统设置，包括对系统logo，历史背景图片，页脚等设置。支持显示访问系统的用户详细信息。支持系统访问量统计和模块操作量统计。(十)主题查询主题组查询：当网络中心管理员授权查看两个主题以上时，展示些页面通过切换主题查看不同主题的数据。主题标签分类查询：查看主题重构后的分类信息，直观了解主题查询结构内容。主题数据查询：当授权有查看部门、全部数据时，可以通过切换，查看对应的数据。如没有，只能查看主题相关的个人数据。(十一)数据脱敏脱敏首页：展示数据脱敏相关介绍及脱敏算法介绍。脱敏配置：配置脱敏字段及其对应的脱敏算法，提供新增、修改、删除、测试和一键配置快速配置常用的字段配置功能，同时如果存在历史数据，还提供查看配置历史作参考。脱敏查看授权：授权可以查看脱敏后原始数据用户、部门、角色、应用权限，授权后，可查看所有的脱敏字段的原始数据。脱敏执行日志：统计脱敏字段脱敏的数据量的日志。脱敏配置日志：记录配置脱敏字段的历史。脱敏统计：对当前脱敏的配置进行统计分析展示。3数据交换平台3.1性能需求1、应支持完整的事务控制策略，跨数据库事务控制，保证数据的一致性。应支持多数据源的多表对单一数据源的单表数据交换。应支持单表对不同数据源的多表数据交换。应支持多数据源的多表对多数据源的多表的复杂数据交换定义。应支持多种数据源。应支持增量数据交换。应支持数据交换时进行数据清洗、校验、补全等操作。应支持数据过滤器，通过自定义的数据过滤器可以实现复杂的数据交换规则。应支持各种不同数据源之间数据的自动转换。通过数据交换日记，记录所有数据投递情况。平台中所有交换的数据可追溯来源及去向。2.要求系统运行稳定，在软件功能抽查测试过程中未发现数据丢失、系统紊乱和致命死机现象，并可以连续无故障运行2小时以上。3.2功能要求(一)离线开发支持查看任务总量、任务类型数量及占比概览。支持查看任务出错情况统计信息。支持查看数据传输详细情况，包含插入、更新、删除的数据总量。支持查看业务组任务量分布概览。支持查看今日任务实例数，待重跑任务、执行中任务、运行中任务、已结束任务、失败任务、终止等实例状态数量。支持查看任务运行实例详情，展示今日运行最慢任务前10任务实例情况。支持钉钉、企微、飞书等告警信息接收。支持任务失败告警。支持任务超时告警。支持数据异常波动告警。支持元数据变更告警。支持多数据源类型的新建、测试、修改、检索等操作。支持多种国产数据源。支持数据源元数据同步。支持数据表检索，表元数据查看。支持通过元数追踪任务。支持元数据变更告警。支持数据表的数据在线预览。支持Java、JavaScript、Shell、Python脚本编辑器。提供在线数据库编辑器，并支国产数据库系统引擎实现在线查询。运行结果查看，支持在线查看结果并导出。查询内容可以保存模板，支持模板查询，模板切换。查询内容可以快捷发布为开发任务。支持业务按应用划分，不同的应用可以指定运行的集群服务器。支持多种任务调度模式包括（手动、定时、独立调度机等）。支持多种数据源，实现从A源到B源的数据交换任务。支持数据库事务，目标数据源写入失败时系统自动回滚所有数据。支持传输数据的反向朔源功能。支持任务复杂的Excel文件数据的读取并清洗到目标数据库中。支持调试模式，在调试模式下系统会跟踪和输出所有数据的调度、转换、校验过程，可以快速定位问题。支持包括数据库、普通文本、CSV、XML、Excel、Json等多种格式的文件。支持基于文件的批量抽取、加载。支持断点续跑能力，能自动从断点处重新传送数据，支持手动调整断点位置。支持流程出错时自动发送预警消息支持钉钉，微信(企业微信)、邮件等多种通知方式。支持数据缓冲功能，可以把数据缓冲到中间库再进行数据的传输。支持多种数据合并计算等操作。支持多线程同时并行传输能力。支持数据校验的功能，如空值检测、长度检查、数值范围检查、正则表达式校验等。遵循BPMN2.0规范支持数据处理节点的串行、并行、循环等复杂流程的缓制和数据处理。支持任务调度功能，支持即时启动、定时启动、周期启动等多种启动模式。支持各种数据抽取模式，如全量同步、增量同步、分批增量同步、双向同步等功能，支持基于触发器、时间戳、标志位等模式实现增量。支持HTTP、JMS、FTP、WebServices、Kafka、TCP/IP、RFC、MQTT等多种传输协议。提供数据质量功能，可以实时监控传输出错的数据，支持自定义规则检查目标库的数据质量。支持异常恢复机制，在异常后，支持自动和手动恢复。异常恢复可以保证恢复的流程从异常点开始重新同步，保证数据的最终完整性和一致性。支持人工审批节点，对于重要数据可经人工审核后传输到后继节点。任务支持发布成为API服务供第三方进行调用。支持任务执行的结果数据作为API输出给第三方。支持源端数据通道流量限制，读并发数，脏数据阈值，无数据异常预警等控制管理。数据开发任务多语言支持，支持使用多种语言进行数据开发（Java、Hive、Spark、Python等）。支持脚本语法智能提示，关键词高亮、在线编译Java代码。支持脚本历史版本查看，版本管理，支持与git、svn代码库进行代码同步。支持自定义UDF规则的创建、注册、查看、维护。支持UDF规则开发界面中查看引用。支持子任务，子任务数据流可返回主任务。支持一次性，分钟、小时、天、周、月等多种时间周期设置调度策略，调度策略修改后所有任务自动调整到新策略。支持跨周期任务依赖。提供可视化的方式展示任务依赖关系。支持任务自依赖。支持手动运行任务。支持单步调试任务，并可以实时查看每一步的数据变化情况。支持任务根据内存使用率自动退出执行。支付任务并发数。支持任务失败重试次数，以及失败自动告警。支持邮件、钉钉、企微、飞收、短信告警方式。支持任务全局告警设置和单节点告警设置。支持任务运行超时告警。支持元数据变更告警。支持源目标数据不一致告警。支持任务完成延迟告警。支持任务创建、启动、上线、下线、手动执行。支持在线编辑任务、编辑依赖、编辑运行设置、编辑告警设置。支持在线维护任务负责人。支持查看实例，查看操作记录、查看运行时长统计、查看依赖。支持复制任务的方式创建新任务。支持批量导出任务。支持手动重跑当前任务及下游任务，支持仅重跑当前任务及下游任务，支持重跑实例等。支持执行中，待重跑，运行中，已完成，失败，被终止、待审批等实例状态。支持任务参数及实例状态等维度筛选查看任务实例情况。支持图形化查看任务实例上下游依赖信息。支持批量操作实例，批量重跑，强制执行，置为成功，强制终止等。支持重跑当前实例，支持重跑当前及当前任务的下游任务，支持仅重跑当前任务，支持补录下游实例。支持批量导出实例详情。支持查看任务实例运行日志。支持待审批数据查看和删除。支持动态回放任务执行过程。支持查看任务告警情况。支持对库、表中的数据进行管理并发布成为API服务。支持数据血缘提供表级、字段级的血缘分析，支持表、字段级的关系图。支持表标识定义，增加不同标签。支持表级，字段级的操作记录审计。支持内存以及线程查看。支持executor机管理，动态扩展不同任务类型不同的调度机器。支持部署独立的调度机，调度机可根据内存等使用情况查找最优的任务执行机进行任务处理。支持executor机内存，负载等监控，并提供监控告警。支持Web界面上传各种文件并实时进行数据处理和读取。支持流程的实时回放功能，可以回放流程的数据传输过程。支持数据源的更新功能，修改配置后能实时更新数据源的配置信息。(二)实时开发支持任务插入数据、更新数据、删除数据的实时查看。支持集群ClusterLoad监控概览查看。支持集群的MemoryUsage监控概览查看。支持任务管理，包括任务的启动，停止，删除，变更负责人，修改topic偏移量等管理。支持sql任务，jar任务，画布任务等任务。支持可视化拖曳，实现任务流开发画布任务。支持在线运行调试，查看调试日志。支持jobManager容器资源，parallelism，checkpoint时间路径，savepoint类型目录等高级参数设置。支持任务开发，包含kafka，维表，topic输入，自定义函数，数据源，sql，fliter，join等等算子。支持查看运行ID，运行状态，心跳时间，CPU负载，内存，yarn运行id，任务流程图等信息。支持在线查看运行日志，包含系统日志及yarn日志。支持通过MQ等方式实时接入数据并进行处理。支持全表对比增量方式实时同步数据。支持分批增量方式实时同步数据。支持使用时间戳，触发器等方式同步数据。支持从LOF日志目录中读取数据并传输到目标仓库。支持维表的创建，编辑，删除，数据预览。支持维表的字段及类型维护。支持规则管理、支持在线编写Java规则，上传jar包等。支持注册全局规则。支持日志审计管理，用户使用的接口请求日志等。支持服务器日志查看，支持正则搜索。提供传输出错的数据统一监控功能。当数据库表字段名、类型、长度等发生变更时能自动预警。提供任务停止调度预警功能。提供数据质量监测的分析功能，能统计数据表中的空字段、长度不合格、类型不对的数据，支持自定义规则。对于脏数据可以进行自动下发给各数据运维团队进行整改。4API接口平台4.1性能需求要求系统运行稳定，在软件功能抽查测试过程中未发现数据丢失、系统紊乱和致命死机现象，并可以连续无故障运行2小时以上。4.2功能要求(一)数据服务首页支持数据服务发布、下线、监控、检索、评价的全生命周期管理能力。支持数据服务版本变更时发布数据服务变更通知，用户可以及时接收API变更信息。支持对常用数据服务的关注收藏功能。支持对无权调用的API进行流程审批功能，审批通过后用户自动获取权限，审批时可以设定调用权限的有效期，超过有效期后系统自动回收数据服务的调用权限。提供待我审批的API、我申请的API、被拒绝的API、已审批通过的API查看列表。提供API调用的SDK以及API调用指南说明。数据服务必须按应用进行分组展示，数据服务可以设定可见范围和调用审批角色。支持API文档的可见范围设置，无权限的用户不允许查询相应的API列表。(二)数据服务路由包括API注册、路由配置、插件管理、实时监控等功能。支持内部基于Web的业务系统通过API网关暴露到外网。支持数据库路由能力可以把内部数据库服务暴露给调用端的能力并能产生调用日志。路由配置支持分类管理功能。支持路由配置的搜索、排序功能。支持复杂的路由匹配规则能力，可要根据URL、参数、请求头等匹配到不同的路由。支持伪装API后缀名的能力，即可以把后端的API或URL伪装为.html,.css等文件的能力。路由支持超时时间、重试次数、重试间隔等的自定义能力。允许匿名访问路由的能力，方便把公共的网页或API提供给公众访问。支持自定义负载均衡实现多个后端服务的API负载均衡路由。支持路由出错时输出模拟数据给调用端的能力。支持调试状态，可以跟踪输出路由的详细调用过程，可快速定位路由错误。可与第三方服务注册与发现中心集成可根据服务实例自动匹配路由、发生故障时自动停止转发到故障服务器、服务器上线时能自动创建路由配置。当服务注册与发现服务器断开时，API网关可以依赖本地缓存数据继续运行和路由不受影响。支持自定义日记等级策略，可以实现路由输入、输出数据的详细记录和追踪。支持对路由服务的Header头的透传、过滤、追加、删除、替换等能力。支持路由配置的灰度发布功能，可以自定义灰度发布策略实现复杂的灰度发布功能。支持多个相同路由的版本和排序功能，排序在前的优先匹配成功并路由到后端服务。支持对路由的熔断保护策略包括熔断开启阀值、熔断时间、熔断器出错百分比的自定义能力。支持按信号量隔离并发数的能力,超过信号量时采取排队调用的功能。支持按并发线程数据隔离并发数的能力。自动统计路由的成功、失败转发次数以及平均耗时。支持对后端异常消息进行统一包装处理能力，为消费端提供统一友好的错误提示。支持对WebService的全站路由。支持路由配置实时更新功能，更新后立即同步所有集群网关。路由配置支持导入导出功能，实时在多个环境中的配置转移能力。支持路由自动生成拓朴图功能，能直观展示路由中所有提供的API列表以及平均响应时间。路由支持绑定权限、只有具有相应权限的用户才能调用路由中的API。提供API接口可以由第三方系统调用接口来实现路由的创建，修改、删除操作。(三)数据服务网关提供Web界面向导式注册RestfulAPI，WebService、Dubbo接口的能力。支持API的多版本管理功能,可以实现多版本的同时发布。可以根据HTTP请求头版本标识等自动调用不同版本的API。支持API的报文转换能力可以实现XML、JSON、字符串等的互转。支持参数映射配置功能，可以把HTTP中传入的参数经过转换后传入后端API。支持对API进行应用分组和分类管理和授权。支持内网的HTTP协议转换为外网要求的HTTPS协议。支持HTTPS协议的API注册并转换为HTTP协议。支持API输出模拟数据的能力，在后端API出现故障时自动输出模拟数据给调用端。支持注册API的过滤器控制功能，可以在后端API调用前，调用后进行数据的控制。支持自定义的日志级别，可以针对每个API制定不同的日志记录策略、日志级别调整后实时生效。支持针对API的Header头的透传、过滤、追加、删除、替换等能力。支持针对API的超时时间、重试次数、重试间隔的自定义能力。API提供多种认证方式包括(token认证、appkey认证、审批后调用、匿名)并可以自定义扩展认证方式。支持OpenAPI3.0标准文档向导式导入到API网关中。支持对API进行调试，可以跟踪API转发的全过程方便排除故障。注册的API能自动生成API文档，并可以导出标准的OpenAPI3.0文档。支持对API的熔断保护策略包括熔断开启阀值、熔断时间、熔断器出错百分比的自定义能力。支持对后端API返回的错误码和错误消息的进行统一包装处理的能力。API文档支持富文本编辑功能，支持上传附件说明功能，支持二维码分享功能。API可以绑定多个权限，只有具有相应权限的用户才能调用此API。支持根据注册API的输入参数自动生成测试界面和测试用例的能力。支持输入参数的校验（枚举、正则、长度、类型、手机号，邮件）等的校验，为后端API屏蔽无效请求。支持输入参数的自动编码功能，有利于屏蔽JS和SQL注入的攻击。API支持一键发布到API管理门户中，在门户中可以对API进行展示、检索、评价、测试等。API注册支持导入导出功能，导出后可以在其他环境中一键导入并实时生效,API支持导出和导入的格式包括Excel、Word以及Bson等文件。支持公共变量配置能力，可以把多个API共用的IP、用户ID等配置成公共变量，修改公共变量后所有API自动变更为最新的配置值。API管理能力提供API接口，第三方系统可以使用API实现对API的注册、删除、修改等操作。(四)数据服务编排提供Web可视化的拖、拉、拽实现服务流程的可视化编排与业务逻辑重组。支持多租户进行流程的设计和管理。多个API编排后可以重新发布为一个新的API接口，并可对新的API重新设定权限和限流规则等。编排流程支持按日、时、分等规则进行自动调度运行。多个API编排后可以根据不同输入参数、权限等信息发布多个不同的新API接口。编排流程支持调试功能，能详细输出每个编排节点的输入输出信息方便多个API之间的联调测试。支持手工启动流程、停止流程、调度流程等功能。支持相似流程的快速复制，加快流程开发速度。支持编排流程分类管理。可以对编排流程进行钻取展示并显示此流程的运行日记和发布的API数量。支持流程的调试级别以及日志级别的实时修改，修改后立即生效。支持流程级别的事务，节点运行失败可以选择正向补偿。支持流程回放功能，方便对流程的运行过程进行可视化监控。支持断点续跑功能，某一个节点出现故障时可以恢复状态并续跑。支持故障转移功能，当某一台服务器出现故障时能转移到其他服务器上执行。支持最大并发数控制功能，允设定流程的最大并发运行数量，防止并发冲突。支持针对失败节点的正向补偿功能。正向补偿规则可实现自定义设定补偿次数和时间间隔，补偿失败自动进入失败队列。支持流程多版本管理功能。支持Restful、WebService、Dubbo、Java代码、Kafka、Python、Shell等协议接口混排功能。支持人工审批节点，经过人工确认后流程继续执行后续逻辑。支持定义一段Java逻辑代码并保存为可重复使用的节点。支持自定义模板节点功能，可以把常用的API节点设置为模板。提供WebIDE编写可执行的Java逻辑代码并作为节点逻辑进行执行。支持企业微信消息、钉钉消息、手机短信、邮件等节点。支持并行分支功能多个分支可支持同步或异步执行。支持定时器功能，可以实现部分节点的延时执行。支持并行网关、排他网关、包含网关、聚合网关等复杂的流程设计功能。支持节点可选是否需要补偿功能。节点执行结果可选是否输出给调用端。API节点支持负载均衡策略、重试次数、重试间隔、超时时间等的设置。节点API支持可选同步还是异常调用模式。支持Header透传、删除、修改、替换等功能。支持参数映射功能，上一节点的数据经过映射后传入下一节点中，支持可视化参数映射配置。支持自定义断言功能，可根据断言结果执行不同的后继节点。支持在API节点中直接测试API功能。多个并行分支支持执行顺序指定功能，可指定各分支节点执行的先后顺序。支持异步线程同时运行多个节点并进行结果聚合功能。支持主流数据库（含国产数据库）的读写。支持异步队列模式，对于高并发的请求可以放入队列中并设置后继节点并发线程数。支持长流程异步回调功能，业务系统完成逻辑处理后回调API流程后继续执行后继节点。支持数据拆分功能前继节点的结果数据可逐行拆分后传给后继节点并支持断点续传。支持流程导出打包功能，打包后的流程可以导入到其他环境中。(五)数据服务开发支持数据模型管理，基于数据模型可以一键无代码发布API服务。支持国产数据库、Java、Python、JS、Shell脚本一键发布API服务。能自动扫描Java项目中的注解并自动发布成为API服务。Java、Python等脚本必须在线热发布，无需重启中间件。支持存储过程一键发布API服务。API开发必须按照应用的维度进行管理和开发、开发好的应用可以一键打包并安装到其他环境中，整个过程无需重启应用服务器可立即生效。支持定时任务开发，方便对外部系统的API进行定时调用。提供WebIDE在线编写Java脚本并发布复杂业务逻辑的API服务。(六)数据服务网关策略管理支持针对路由和API的全局控制策略配置，通过配置策略可以实现对API转发前、转发后的数据进行处理和拦截等功能，并可基于控制策略实现自定义的认证、日志记录以及异常预警功能。支持针对路由的灰度发布策略自定义功能，通过灰度发布可以实现不同的用户转发到不同的后端服务器的能力。支持自定义负载均衡策略，通过负载均衡策略可以实现对多个后端服务的流量进行分配，当后端服务器出现故障时能自动排除出现故障的服务器。(七)数据服务报文转换及管理支持对所有API的模拟数据统一管理能力，当API出现异常时能自动输出模拟数据给调用端。支持统一的报文数据转换管理能力，可以对API的请求数据、请求Header头统一进行修改、删除、添加操作，可以对API的返回数据及Header头进行统一的修改、删除、添加操作，可以实现对请求或响应数据的格式转换能力。支持统一的后端数据缓存管理能力，可以对后端返回的数据进行缓存，可以根据用户、URL、参数等维度进行缓存，支持自定义缓存有效期，通过缓存功能可以减轻后端服务的并发压力。(八)数据服务网关安全防护支持IP黑白名单配置，支持不同的服务器绑定不同的IP黑白名单，支持自定义提示消息以及返回的HTTP状态码。支持敏感字符的统一管理和维护，不同的API可以绑定不同的敏感字符策略，当提交的数据中包含敏感字符时系统自动拒绝请求，支持自定义提示消息以及HTTP错误状态码。支持统一对API的请求和响应数据进行加解密配置，支持DES、AES、BASE64等多种加解密方式，加解密密码支持自定义。支持统一对API以及路由设定限流策略，限流策略支持每秒最大并发数限制、超过并发时支持快速返回提示或进入等待队列排队处理，当API网关的总并发数达到最大峰值时支持自动为低级别的API进行降速以保护整体网关的性能。支持调用次数限制，调用次数可以针对每个用户按月、日、小时、分钟设定可以调用的最大数据。支持调用时段设置，可以针对不同的API设定可以调有的时段，不在时间范围内则拒绝调用。支持统一对路由和API进行集中的权限管理策略定义，可以拦截不同的URL路径进行统一的权限检查，方便集中管控权限。(九)数据服务预警支持统一的响应超时预警能力，对不同的API设定不同的超时预警规则，当API超时后系统可立即发送手机短信、邮件、即时消息等通知API的相应管理员。支持统一的错误码预警能力，当后端API返回非200状态码时系统能立即进行预警，预警消息立即发送到手机短信、邮件、即时消息等，并可通知相应的API开发者进行处理。支持统一的请求速率预警能力，当某一个API的请求速率超过预设置时立即预警，防止API受到攻击或异常死循环调用等。支持统一的异常业务数据预警能力，可以针对API中的业务数据进行检测，当发现不合规的业务数据时能立即通知API的管理人员，防止对业务上造成损失。(十)数据服务网关插件支持API网关中所有的能力采用插件的方式进行管理和自定义并可以进行自定义修改。为了不影响API网关的性能，所有插件必须采用普通的Java代码进行创建以保证最好的执行性能。插件支持WebIDE进行在线修改插件的Java代码，修改并可以实时生效。插件支持热部署，修改和部署新的插件后无需停机。支持API参数验证插件的自定义，可以快速实现自定义的参数规则较验。(十一)数据服务网关监控提供统一的java异常日志web监控功能，可在web界面中查看应用服务器产生的异常日志方便对API接口进行联调。根据路由和API配置信息能自动生成网关与后服务的拓扑图。提供所有网关集群服务器的监控和管理功能。能实时监控到网关当前的并发数、平均耗时、成功请求数、失败请求数、正在执行的API接口等信息。提供统一的API熔断监控功能，能查看到所有已熔断的API接口、熔断时间、错误次数、错误百分比等信息。能监控第三方API的可用性，当不可用时自动发送预警信息。提供API之间的依赖调用关系自动分析能力，能自动生成APM调用链路图。提供与服务注册中心实例同步的监控信息，可以实时监控与注册发现中心的同步服务服务器。5数据质量管理平台5.1性能需求1、要求系统运行稳定，在软件功能抽查测试过程中未发现数据丢失、系统紊乱和致命死机现象，并可以连续无故障运行2小时以上。5.2功能要求(一)监控大屏整体展现数据中心的数据质量情况，实时呈现学校数据质量的最新状态，将数据质量分析形象化、直观化和具体化。监控大屏的指标内容主要可分为三部分：质量相关、流程相关、数据治理成果。1）质量：展示数据中心所有数据的完整性、规范性两个基本维度的质量情况，以及各部门质量改进的统计。2）流程：统计监控的所有流程的总体基本情况、今日流程运行情况，以及为业务部门共享的数据情况。3）数据治理成果展示：数据治理过程中各个阶段梳理的成果统计，包括业务调研、资产盘点、系统分析、标准梳理等情况统计。通过详尽的指标体系和数据分析过程，最终将整体质量情况以图表的形式详细的展现出来，帮助校领导以及管理人员掌握目前数据治理的整体质量情况。(二)流程监控流程监控大屏：以全局、业务系统等多角度来统计分析流程执行情况，实现所有流程的实时监控，保证数据供给稳定。流程监控大屏整体统计学校各业务系统的数据集成情况，以及数据中心全局库、历史库等数据集成情况，流程最近执行情况分析统计。系统流程监控：以业务系统的角度查看相关流程的执行情况和统计，以及展示最近的流程执行分析结果。1）对流程执行情况进一步分析。不仅仅反映流程执行异常信息，还进一步分析反映流程执行的其他问题，包括流程未定时执行、流程执行超时、流程为手动执行。2）提供流程告警订阅，实现定时推送流程异常告警明细以及流程进一步分析的异常明细。3）数据链路监控情况订阅，定时推送关键数据的流程运行情况和数据质量情况。包括关键流程对核心表新增、修改、删除记录数，已经新增记录数据质量情况需要通过邮件定时推送。流程明细：提供流程的详细明细列表，且提供丰富的搜索和筛选条件。流程详情信息包括流程名称、调度信息、流程执行成功、失败总情况统计，还有详细的流程字段映射关系，以拓扑图的形式展现。流程运行日志：展示所有流程运行日志明细，且提供丰富的搜索和筛选条件。流程调度监控：以日历的方式展示所有流程执行的信息，包括成功次数、失败次数，以及执行失败的流程详情。数据溯源：流程全链监控，提供强大的数据血缘分析查询能力，为用户实现数据回溯、数据流向关系定位，方便快速异常问题定位，并以元数据与流程结合拓扑图综合展示数据对象全链路情况。1）提供链路数据对比，跨源、跨表的多个节点中数据进行横向一致性对比。2）提供链路数据流通情况分析，在一个全链路页面通过主键快速分析某条数据是否有成功从源头流向目标库，从而定位上行数据断点位置，发现数据不一致的问题。流程流量分析：分析所有集成到数据中心，以及从数据中心共享出去的相关时间段的数据量统计，以桑基图的方式呈现。(三)质量监控质量监控首页：从完整性、规范性、一致性、唯一性、时效性、准确性六大质量维度来评估和监控数据质量。质量监控首页从整体呈现数据中心所有已集成的数据的质量情况。部门质量概况：以部门的角度去展示数据质量得分、核心数据情况、质量改进情况，以及部门的质量改进排名情况。质量查看：提供更加详细的系统级别、表级别、字段级的数据质量明细情况、数据核验异常明细。质量核验：提供自定义选择系统、规则的方式手动进行数据质量核验，以完整性、规范性、一致性、唯一性、时效性、准确性六大质量维度来评估数据质量并根据维度权重综合计算质量得分，线上生成质量核验报告，并提供数据核验分析详细记录。1）自定义勾选系统或单表、自定义选择规则进行核验。2）可对数据进行增量或全量的核验选择，增量只对新增的数据和有变更的数据进行核验，减少重复的数据核验，提供核验的效率。3）支持页面可配置的联合校验，比如证件类型和证件号码联合校验等。常规规则配置：提供正则、非空、值域、数据范围四个常规质量规则的配置入口（对接标准中的质量属性），更方便用户一体化地配置质量规则、核验数据质量。业务监控：提供多种质量模板规则，以及完全自定义规则，实现全校的业务数据监控，定期地进行数据质量监控，并提供详细的质量告警信息查看、异常数据查看。1）支持按照严重告警、重要告警、一般告警、提示告警分级对数据质量问题进行定级。2）支持质量监控问题定时推送通知，以邮件方式推送质量告警信息和告警明细。(四)质量报告部门质量报告：通过数据治理分析当前各部门业务系统现状，充分评估当前学校数据整体质量情况，依据质量规则对数据质量进行综合校验，生成数据质量报告，供领导查看和对外公布。以部门去统计系统集成状况、数据质量情况等综合月度定期生成一份质量报告，可订阅发送和在线预览生成。(五)系统管理系统设置：对平台的基本设置项的配置，包括logo，学校名称等。参数管理：对平台用到的相关参数的集中管理和配置。告警订阅：可设置定期以邮件方式推送流程告警、质量告警和质量报告。调度策略管理：对平台质量核验告警、流程告警等用到的所有相关调度进行集中式配置和管理。配置向导：在平台初始化过程中提供配置向导，指导如何配置平台关联的相关数据源等维护，分步骤式指导用户配置平台相关的系统参数。操作日志：记录在该平台的操作详情，包括用户账号、浏览器类型、访问IP、登录时间、操作次数、操作详情等。6数据资产信息管理平台6.1性能需求要求系统运行稳定，在软件功能抽查测试过程中未发现数据丢失、系统紊乱和致命死机现象，并可以连续无故障运行2小时以上。6.2功能要求(一)数据公示网站公示学校数据资产目录，支持按业务系统、业务部门、主题域三个维度展示学校数据资产目录。提供数据资产目录的检索功能，可按数据表或数据字段的分类进行检索。支持维护热门分类目录和热门字段信息，并在数据公示网站展示。提供学校信息标准规范等文件的查看和下载功能。支持对字段信息，表信息进行收藏，数据需求方可收藏所需数据后，发起数据申请流程。提供数据需求申请。数据需求方在公示网站上未检索到所需数据时，可填写数据需求单，数据中心管理员可查收到数据需求单。数据资产目录excel下载，提供将数据资产目录，即表和字段下载为excel文件的功能。数据反馈。若数据需求方对表和字段的来源或共享属性等存在疑问，可反馈给数据中心管理员。(二)数据资产管理通过业务库，实现对业务系统进行展示，支持新增，修改，删除。全局库：对学校数据资产目录进行管理，维护数据目录的来源信息和共享等级。支持对数据目录信息进行备