特检院数据共享交换平台项目需求

特检院数据共享交换平台项目需求一、项目背景随着我院检测业务规模的不断壮大、互联网+检测业务日益发展，伴随着信息技术的快速发展，内部的业务信息化应用系统也不断增加，如“综合业务管理信息系统”、“客户服务平台”、官方网站系统（中/英）、数据传输接口平台、移动端（微信）检测业务功能和OA协同办公等系统，内部系统之间、内部与外部系统的数据交互的需求也越来越多，亟待解决信息数据整合与共享。为此，建立统一的、规范的数据共享交换平台，实现我院内部不同业务系统之间、内部与外部系统之间的数据互联互通互用，不仅可以更好地解决这些问题，而且还可以提升我院的服务能力，增强服务企业的效率。二、项目目标数据共享交换平台的建设目标是：依托我院云计算数据中心建设一个具有跨平台、广泛接入、可靠传输、可扩展、可视化配置等特点的数据共享交换平台。整个过程，需要完成四个阶段性目标：一是梳理相关的数据管理规范；二是制定对内和对外的数据交换接口标准；三是搭建数据共享交换基础管理平台；四是建立一个具有高质量的数据共享交互应用中心，实现不同应用系统间的数据无缝连接，为构建“智慧质检”夯实基础。同时，为互联网+检测业务大数据分析提供数据参考，为我院经营决策提供可靠的数据依据，最终实现我院的业务增产增收。三、建设原则为了保证数据共享交换平台建设达到预期目标，在进行系统的设计、开发、部署和运行管理规划时将遵循如下原则：（一）统筹规划，分步实施注重顶层设计和统筹规划的同时，要兼顾重点业务工作，急用先行、分步实施。依据业务重要性和急迫程度、业务流的稳定性、建设条件等因素，首先考虑平台的功能完备和稳定可靠，再逐渐对接更多的部门和业务。先满足重点业务、重点场景数据整合治理的需求，再考虑全面覆盖和功能提升。（二）需求导向，注重实效以实际需求为导向推进项目建设，规范数据工作，支撑业务协同，同时根据情况建设相应的平台功能，解决实际问题，符合实际情况，追求实际效果。（三）统一标准，促进服务按照国家、地方、行业等相关标准进行数据资源的采集、存储、使用工作，坚持“一数一源”、多源校核，统筹建设贴源层、治理层、应用层等各类标准规范。有效促进数据共享、开放、分析等服务。（四）重视安全，保障运维按照国家的安全技术要求和管理规范，建立全面的信息安全保障体系，实现网络安全、系统安全、数据安全，建立安全保障体系。建立项目运维机制和配套的运维平台，保障系统长效稳定运行和便利维护。系统具有数据传输加密、共享鉴权等数据安全保障措施，保证数据的安全性。针对数据安全性，采用立体化的安全防范手段，一方面加强对现有安全设备的利用，另一方面应采用安全加密和脱敏系统加强对数据的防护，并结合已有的安全管理制度，形成高安全性防护。（五）技术先进，使用便捷在项目建设引入领先的新技术，如大数据、容器化、微服务等，为平台持续发展打下良好的基础。在系统使用层面，尽可能考虑用户的使用场景和使用的便捷性，提升用户体验。整个系统的建设采用先进的技术，符合技术发展趋势，平台采用先进的架构，各个部分之间采用松耦合，一个子系统出现问题不会影响其他系统。平台应注重易用性，方便用户使用。各个子系统注重易用性的设计，界面和操作直观、美观、方便，易理解性；易操作性，提供便捷、一致的操作方式；简单便捷，将复杂的数据治理工作变成简单的“拖拉拽”方式实现。四、项目内容序号指标项关键及重要技术指标要求（一）总体技术要求梳理数据规范全面梳理并制定统一的数据交换标准规范，确保数据的一致性和可溯源性，为数据共享打下坚实基础。构建交换标准构建全面的数据共享交换标准，支持数据库与API两种方式，满足内外数据流通需求。通过设立外部客户数据接口，实现客户自助下单、追踪检测进度和获取检测报告等，提高客户复购率。强化数据安全建立全方位的数据安全防护体系，包括数据安全分类分级、安全存储、授权访问及加密传输等措施，有效保障数据安全。集成业务应用完成综合业务管理信息系统、OA系统、GQI业务传输平台、快尚数据及食品EBS系统多系统的数据对接与集成；支持顺德基地、东莞基地LIMS系统、中诚公司等专属业务系统的灵活接入。从而实现提高数据接入效率，避免重复建设，降低投入成本。满足国产化需求根据我院国产化工作计划，系统需支持国产化、普通环境及信息技术应用创新等多种环境，满足不同用户场景需求。（二）数据安全需求安全等级和分类管理支持根据安全管理需求自定义数据分类，支持基于树形结构的管理能力，分类信息可以与安全等级关联；支持根据安全管控需求自定义安全等级，支持基于树形结构的管理能力，并设置安全等级对应的共享类型、导出限制、是否必须脱敏使用等信息。智能识别规则在数据分类分级的基础上，定义敏感数据的识别规则，以及对敏感数据识别规则的管理，敏感数据识别规则能够根据字段名称、相似名称进行敏感数据识别。智能识别任务在数据分类分级、敏感数据识别规则的基础上，定义敏感数据识别任务，自动扫描数据库，完成敏感数据扫描，可根据实际情况定义任务执行策略，以及对任务的禁用/启用、手动触发扫描的管理。敏感数据管理敏感数据识别管理能够支持自定义数据识别规则，规则可与数据分类、安全等级进行关联，支持规则的模糊匹配和精准匹配，有效识别敏感数据；支持基于已设置的敏感数据识别规则，创建敏感数据扫描任务，并配置不同的执行策略。支持基于敏感数据扫描结果，对敏感数据管理，从分类和安全等级两个维度查询敏感数据，展示该敏感数据的详细信息。敏感数据查询支持基于分类分级进行对应的敏感数据查询，掌握敏感数据的在数据库、物理表中的实际情况。敏感数据分布提供持敏感数据分布统计，包括涉及的物理表数量、敏感表数量、敏感字段数量等，综上实现敏感数据的全流程识别与管控，保证敏感数据的识别与监控、访问和使用安全。(三)数据共享交换管理基础平台首页平台概览数据资产概览支持多个维度统计资产数据信息，包括部门个数、数据资源个数、物理表个数，字段个数、API总数等，直观展现数据整体情况；并能够从组织的部门角度，查看数据资产分布，以图形化方式直观感受各部门按年、按月、按日的数据资源的数量，以及部门间的分布差异，直观感受变化趋势。数据归集概览从数据归集角度感知组织内数据变化情况。从数据来源个数、物理表个数，数据归集任务数、数据归集总量等维度统计数据归集情况，展示数据归集整体概况，以图形化方式直观展示各源头部门按年、按月、按日的数据归集变化趋势，直观了解数据归集数量的差异以及排名。数据共享概览从数据共享角度感知组织内数据共享和应用情况，包括共享概况、数据共享趋势、API调用趋势等。通过对数据共享范围、数据共享资源、数据共享次数等内容进行汇聚展示，如信息项个数、库表共享总量、API调用总量等，增强数据共享情况感知。图形化展示数据共享的增量变化、API调用趋势，数量支持按年、月、日的时间维度进行统计，直观感受变化趋势。消息通知接收各种类型的消息、通知和提醒，展示数据相关流程信息，促进组织内不同部门之间的信息交换。数据集成数据源接入数据源接入提供异构数据源接入功能，涵盖市场常用数据库类型，包括关系型数据库、非关系型数据库、大数据数据库、电子文件等，并支持基于树形结构对数据源分类管理，按照分类和分层展示。数据库设置针对接入数据源能够根据元数据采集功能自动统计物理表数量和数据总量，能够查看数据基本信息。文件管理针对FTP数据源类型，支持基于WEB页面的文件管理手段，可在不登录FTP服务端的情况下提供FTP基本操作功能，可配置指定文件路径。数据归集实时归集配置支持Mysql、Oracle等数据源的实时数据采集，支持实时采集任务的新增、停止、编辑、删除的管理能力；可实时监测实时任务的数据插入、更新、删除的趋势，以及总插入、总更新、总删除的数量。批量归集流程开发针对数据采集流程，平台提供拖拽式组件，实现数据采集交换流程的开发。批量归集任务管理针对已经创建好的归集任务，可以配置不同的执行策略，以及对各个归集任务进行监控，确保任务的正常执行。支持对归集任务配置不同的执行策略，包括定时执行、指定时间执行、按时间间隔执行以及按照天、周、月配置执行时间，采集任务依据策略有序执行，并自动生成归集执行任务日志。批量归集任务日志支持对归集任务执行日志的统一管理，记录每个任务的数据量、执行耗时、执行时间、执行状态以及每个流程及步骤的读、写、更新、输入、输出、错误、执行时间等信息，保证数据归集任务的执行情况有档可查。数据整合清洗流程开发及编排数据清洗流程提供数据清洗、加工、去重、标准化等处理能力，能够给予可视化操作快速实现流程开发。清洗流程编排提供多个数据清洗流程的编排执行能力，提供任务编排设计器。清洗流程任务管理对已经创建好的清洗任务，可以配置不同的执行策略，以及对各个整合任务进行监控，确保任务的正常执行。支持配置不同的执行策略，包括定时执行、指定时间执行、按时间间隔执行以及按照天、周、月配置执行时间，清洗任务依据策略有序执行，并自动生成清洗执行任务日志。支持清洗任务的列表展示、新增、编辑、查看详情、立即运行等操作。清洗任务执行日志支持对清洗任务执行日志的统一管理，记录每个任务的数据数据量、执行耗时、执行时间、执行状态以及每个流程及步骤的读、写、更新、输入、输出、错误、执行时间等信息，保证数据清洗任务的执行情况有档可查。编排执行编排执行对于复杂的、多流程组合执行的采集，提供可视化的流程编排功能，拖拽式的便捷操作功能，便于日常使用。支持基于WEB页面的拖拽式数据流程编排，串行或并行运行数据流程。编排任务执行日志编排执行日志记录每次任务执行的详细信息，包括数据量、执行耗时、执行时间、执行状态等内容，并可以查看每次执行日志的详细信息以及每个编排任务的执行日志。数据治理元数据数据资产地图基于全局元数据信息，对数据源个数、物理表个数、元数据数量等内容进行量化，增强对元数据结构的感知。可视化呈现数据库、物理表以及元数据之间的关系图谱，使用不同颜色将不同主题的数据库（来源库、贴源库、治理库、应用库、共享库）进行区分，展现数据分布结构。提供页面交互手段，点击查看数据资源下钻信息，直观了解数据血缘、数据流向、以及产生变更时会发生的影响。元数据检索元数据的检索和应用支持以元数据编码、字段名称、业务名称、英文名称等属性检索元数据，以及查看元数据的基本信息、详细信息、血缘分析、影响分析、全链分析和标准化差异。元数据管理元数据基本信息的维护功能，包括对元数据基本信息、血缘关系、影响关系进行管理，能够标识核心元数据，支持批量导入和手工维护功能，提供新增、修改元数据功能。元数据自动采集系统提供各类异构元数据的自动采集，内置常见数据源的适配器，支持常见的关系型数据库的元数据自动采集，并支持配置采集任务。元数据变更日志元数据产生变更时自动生成日志，记录新增表、修改表、新增字段、删除字段等操作的信息，方便对数据库变更追踪管理。标准登记标准检索1）支持按照标准名称、标准描述、代码集、数据元等维度的关键字检索功能；2）支持按照国家标准、行业标准、地方标准、团体标准、规范、代码集等条件进行检索；3）支持按照现行、即将实施、被替代、废止等状态进行检索；4）支持查看标准详细信息以及标准对应的代码集和数据元信息；5）支持在线查看和下载标准文件。国家标准1）支持按照ICS和CCS分类对国家标准的管理和维护；2）支持标准新增、查看、编辑、删除等维护功能；3）支持标准文件的上传、删除、查看等维护功能。行业标准1）支持按照行业分类标准对行业标准进行管理和维护；2）支持标准新增、查看、编辑、删除等维护功能；3）支持标准文件的上传、删除、查看等维护功能。地方标准1）支持按照地方标准分类对地方标准进行管理和维护；2）支持标准新增、查看、编辑、删除等维护功能；3）支持标准文件的上传、删除、查看等维护功能。团体标准1）支持按照ICS和CCS分类对团体标准的管理和维护；2）支持标准新增、查看、编辑、删除等维护功能；3）支持标准文件的上传、删除、查看等维护功能。规范管理1）支持对规范的分类管理；2）提供业务规范的数字化管理功能，包括规范的新增、查看、编辑、删除功能；3）支持规范文件的上传、删除、查看等维护功能。4）详细记录规范的操作人、操作时间、操作内容等信息，用于记录规范的操作和变更行为。标准导入支持根据项目需求批量导入平台，并详细记录每次导入的历史记录，包括导入标准个数、状态、时间。代码集检索支持根据标准名称、代码集名称等关键字的模糊检索功能，并查看已解构代码集的详细信息。数据元检索数据元标准的检索、查看、导出功能。标准解构管理1）提供标准文件以及规范里面包含的代码集解构功能，支持代码集新增、复制、批量导入、批量导出、提交审核等代码集管理功能；2）提供标准文件以及规范里面包含的数据元的解构功能，支持数据元的新增、修改、删除等管理功能。并记录标准和代码集的操作记录。标准解构审核针对提交的代码集提供审核管理功能，针对解构不正确的代码集能够驳回重新修改。数据共享API共享服务维护服务是API的集合，服务管理支持对API服务进行新增、维护、下架，以及基于服务维度的并发数和日最大访问量的设置。自助API自助API开发功能，提供可视化界面无代码开发API，在线自动生成返回示例和API文档，同时还可以对返回报文进行格式化、脱敏、分页、加密等深化处理。可视化API开发：在系统页面上提供可视化、无代码式开发API组件，配置API基本信息、输入参数、返回参数等信息后，可自动生成返回示例，同时支持对返回值进行处理。穿透API维护穿透API维护支持接入第三方API，支持地址转换和地址标准化，对外提供统一标准的调用地址；支持返回参数的批量导入。编排API维护支持WEB可视化的API编排能力，内置基本组件、流程控制、报文转换以及其他类型的组件，通过可视化拖、拉、拽对API进行编排和调度，支持RestfulAPI、WebService、JAVA等多协议转换混合编排和API服务聚合能力。API文档API文档功能为管理员、服务提供者提供API检索、查看API详情以及下载API文档功能。API文档可在线生成，包括API基本信息、调用参数说明、返回参数说明、返回示例等信息。API授权API授权支持管理员根据场景和需求统一分配调用码，支持将调用码与调用场景关联，实现对API调用的授权和管理。转换规则自助式API支持数据转换功能，配置数据转换规则后，将后端服务和数据翻译成API的输出形式。支撑包括值映射、剪切字符串、日期格式化、正则表达式、默认值、补齐、脱敏、自定义等类型的转换规则。白名单和黑名单将不合法的服务、API及终端加入平台黑名单，限制其访问。支持黑名单的列表展示，且可将内容从黑名单删除。按类型、内容搜索黑名单。将API授权给可信终端，白名单IP可直接调用非鉴权接口，也可使用公私钥调用鉴权接口，保障调用来源的合法。支持白名单的列表展示，且可将内容从白名单删除。按服务名称、内容搜索白名单。数据共享实时分发管理对于数据及时性有较高要求的场景，平台提供实时数据采集和实时分发功能以满足需求。可配置实时采集或分发的任务属性，有需要时即可一键触发，无需等待采集或分发条件触发。共享流程开发针对数据共享流程，平台提供拖拽式组件，实现数据共享交换流程的开发。共享任务管理针对已经创建好的共享任务，可以配置不同的执行策略，以及对各个共享任务进行监控，确保任务的正常执行。支持对共享任务配置不同的执行策略，包括定时执行、指定时间执行、按时间间隔执行以及按照天、周、月配置执行时间，共享任务依据策略有序执行，并自动生成共享执行任务日志。共享任务日志支持对共享任务执行日志的统一管理，记录每个任务的数据量、执行耗时、执行时间、执行状态以及每个流程及步骤的读、写、更新、输入、输出、错误、执行时间等信息，保证数据共享任务的执行情况有档可查。数据应用数据查询单一视图配置可通过可视化、自定义SQL两种方式配置单一视图，方便查询由多个关联表组成的相关数据。支持以可视化的方式，进行增减视图参数、筛选显示信息、配置查询条件、选择排序信息等操作，减少数据视图维护的难度及成本。聚合视图配置可将多个单一视图配置成聚合视图，方便在同一个页面中查询有复杂关联性的相关数据。数据查询对于接入系统的数据库，数据库管理功能提供统计分析以及视图查询功能，方便应用人员快速查询、统计数据。数据查询日志为保障数据使用安全，记录用户查询视图的使用日志，支撑数据查询使用的安全审计，包括视图名称、查询参数、查询人员、查询时间等。查询日志支持基于多维信息的综合查询，包括视图名称、视图同步时间、查询人等。统计分析数据归集分析批量归集分析平台提供对数据归集任务的采集数据总量以及每日归集数据量进行统计分析。支持按照任务名称、主题分类、部门等方式检索统计分析列表；支持图形化显示数据归集任务近一年每日数据量变化趋势。实时集成分析提供实时采集任务的统计分析功能，列表形式展示总插入、总更新、总删除，支持图形化图标展示详情，可支持小时、天的实时采集变化趋势图，可查看来源表的总插入、总更新和总删除的变化趋势。数据清洗分析平台提供对数据清洗任务的数据总量以及每日数据量进行统计分析。支持按照任务名称、主题分类等方式检索统计分析列表；支持图形化显示数据清洗任务近一年每日数据量变化趋势。数据共享分析批量共享分析平台提供对数据共享任务的数据总量以及每日数据量进行统计分析。支持按照任务名称、主题分类、部门等方式检索统计分析列表；支持图形化显示数据共享任务近一年每日数据量变化趋势。API服务调用分析从API服务维度出发，以列表和图表展示服务每日调用量（成功次数/失败次数）、调用总量（成功次数/失败次数）、今日调用量及日调用量趋势（成功量/失败量）等统计信息。API用户调用分析从API用户维度出发，以列表和图表展示调用者调用API的今日调用量（成功数/失败数）、调用总量（成功数/失败数）及日调用量趋势（成功量/失败量）等统计信息。API调用分析从API维度出发，以列表和图表展示API的今日调用量（成功次数/失败次数）、调用总量（成功次数/失败次数）及日调用量趋势（成功量/失败量）等统计信息。API质量分析以列表和图表展示测试集中API的每日质量变化趋势，包含可用性率、正确率、性能满足率、故障时长等。以及最近一周、最近两周、最近一月的可用率、正确率、性能满足率的变化趋势。实时分发分析提供实时分发任务的统计分析，统计每个任务分发数据的总插入、总更新、总删除数据量，支持按照时间区间统计，并可以按照小时、天的方式展示分发数据量的变化趋势。支持下钻到每个物理表的的详细分析信息和分发数据变化趋势。监控预警数据归集监控批量归集任务监控对已配置的数据归集任务进行监控，监控指标阈值为执行耗时和采集记录数，支持使用单一指标阈值或组合指标阈值。任务超过阈值触发预警时，通过指定的预警方式渠道（微信、短信、邮件），向指定联系人发送预警信息，并附带异常原因方便快速定位问题。实时归集任务监控针对实时同步任务建立监控任务，设定同步记录数的监控指标，以及设置预警方式。集群监控平台提供对集群监控预警进行统一管理的功能。支持对集群运行状态、集群主机状态进行监控预警；支持集群预警信息的列表展示，并且可以做新增预警、取消预警、编辑等操作；支持按照集群名称条件，筛选符合条件任务预警信息。数据清洗监控对已配置的数据清洗任务进行监控，监控指标阈值为执行耗时和采集记录数，支持使用单一指标阈值或组合指标阈值。任务超过阈值触发预警时，通过指定的预警方式渠道（微信、短信、邮件），向指定联系人发送预警信息，并附带异常原因方便快速定位问题。数据共享监控实时分发任务监控支持针对实时分发任务建立监控预警，设置每秒钟分发记录数的监控指标阈值，配置微信、短信、邮件等预警方式和预警联系人，实时分发任务出现异常情况能够及时预警。API集监控对已配置的API集任务进行监控，支持可用性、正确性、响应时间等监控指标，可设置监控频率、API调用无效的重试次数以及连续告警次数。API集监测触发预警规则时，通过指定的预警方式渠道（微信、短信、邮件），向指定联系人发送预警信息，并附带异常原因方便快速定位问题。图形化展示API的监测结果，支持最近一周、最近两周、最近一月的可用率、正确率、超时率、平均响应时间的趋势图。批量共享任务监控对已配置的数据整合任务进行监控，监控指标阈值为执行耗时和采集记录数，支持使用单一指标阈值或组合指标阈值。任务超过阈值触发预警时，通过指定的预警方式渠道（微信、短信、邮件），向指定联系人发送预警信息，并附带异常原因方便快速定位问题。联系人管理配置联系人基础信息，用于监控预警信息的推送。联系人信息包括姓名、部门、手机、邮箱、微信号等。用户中心用户管理用户管理功能可以支持用户帐户和权限的管理，配置平台的安全规则和安全策略，按角色授权用户访问特定功能模块。支持按层级、按垂直部门等方式管理组织机构，为组织机构设定不同职位功能。角色管理支持基于树形结构角色的新增、修改和删除，支持角色的菜单权限、操作权限和数据权限的设置和取消，实现平台菜单权限的安全管理；支持角色成员的新增和删除。功能权限管理支持基于树形结构维护平台菜单的新增、修改和删除；支持菜单与资源的关联和资源新增，未经授权的用户无法访问相关资源，实现安全管控。用户登录日志登录日志记录用户登录操作详情，包含了与用户身份验证和访问控制相关的信息，包括用户信息、时间戳、IP地址等，可用于跟踪系统用户的活动，检测潜在的恶意登录尝试等。用户操作日志操作日志记录系统操作和事件的详情，包括用户身份、操作模块、操作行为、操作时间等，有助于监视系统的运行状态，感知系统负载；依据操作行为，快速定位并排除系统；同时辅助运维人员对系统进行维护，提高维保效率。基础配置业务主题管理通用的主题管理模块，涵盖主题的增加、修改、删除等维护功能。组织机构管理支持与用户中心的组织机构对接，支持组织机构的同步和查看。消息通知配置配置监测信息通知机制，包括是否发送邮件通知、企业微信信息、邮件通知信息等。工作空间配置基于用户体系，为数据管理部门、数据治理团队、中心管理人员等用户建立空间管理，分用户、分主题管理数据。各个用户