数据交换及基础支撑平台需求方案

数据交换及基础支撑平台需求方案一、项目概况1.1项目建设目标在各委办局业务应用系统逐步完成信创改造的大背景下，通过本项目搭建业务系统与数据分仓数据交换的统一桥梁，解决信创环境下各应用系统与ODPS（开放数据处理服务）不兼容导致的数据交换掉线、报错问题。同时通过项目建设形成全新的数据申请流程机制，提高数据申请、下发过程的效率，并做到全程可追溯。在应用安全方面通过数据加密、脱敏、各类日志功能的建设提升数据传输安全和使用安全水平。为促进数据资源的高效利用，项目基于数据仓，搭建统一集约的数据应用基础支撑底座。实现全区公共数据资源的汇聚和统一处理，支撑各业务部门快速灵活地调用数据资源，从而降低各个单位利用各类数据资源的门槛和成本。同时促进数据共享汇聚、推进业务整体协同。最终达到提高业务系统整体运行效率，提高数据服务中心服务质量的目的，并有利于进一步挖掘数据应用场景，为数据要素市场化工作提供参考。1.2项目建设内容本项目建设内容主要包括数据交换平台搭建、数据安全升级、数据运营、数据应用基础支撑底座搭建等内容。具体建设内容如下：业务应用层建设主要是在信创环境下搭建数据归集管理、数据申请管理、数据动态监管等内容，为提供可靠的数据共享和协作平台，促进业务信息化升级。应用支撑层内容包括数据交换与集成系统、统一用户管理系统、系统管理、信创数据库连接器等内容。3、数据资源层将对业务交换数据进行统一的数据加密、脱敏，并构建用于数据交换过程的表单，支撑业务应用层、应用支撑层的使用。4、基础设施建设主要为依托市信创云计算资源、存储资源、安全资源等进行系统部署运行，并在此基础上租赁国产化数据库和国产操作系统。1.3项目建设规模本项目覆盖行政区划内所有区级部门、乡镇街道，优先完成区内已完成信创改造工作的应用接入。1.4项目清单序号费用名称数量备注一业务应用层（一）数据汇聚管理1数据资源配置管理1项2数据任务管理1项3离线数据管理1项（二）数据预校验配置管理1校验规则配置1项2校验规则删除1项3校验规则编辑1项4校验规则查询1项5校验规则运用1项（三）数据运营管理1数据需求提交1项2数据需求受理1项3数据需求处理1项4数据需求反馈1项5数据需求查询1项6数据需求提醒1项（四）数据交换看板1数据交换态势监测1项2基础性能态势监测1项二应用支撑层（一）数据交换与集成1数据库桥接与适配1项2数据传输管理1项（二）信创数据库连接1智能连接1项2智能调配与负载均衡1项（三）异构数据同步1项（四）统一用户管理1组织管理1项2用户管理1项3角色管理1项4权限管理1项（五）系统管理1操作日志管理1项2系统日志管理1项（六）项目共享使用组件资源1项三数据资源层（一）数据库设计1项（二）数据安全1数据加密1项2数据脱敏1项四基础设施层信创产品服务费用（一）数据库3套3年质保期（二）操作系统14套3年质保期二、需求分析2.1核心业务目标分析本项目通过选用符合国家安全标准的国产软件产品，对业务数据交换业务进行信创升级改造，打造安全、高效、互通的业务数据生态环境。同时，保障区域内各部门间的数据互联互通，提高业务效能，更好地服务于社会治理和公共服务。具体目标如下：1.基于国产化技术架构：数据交换平台采用国内自主研发的基础软硬件设施，包括服务器、操作系统、数据库等，确保数据交换的安全可控。2.数据安全性与隐私保护：在数据交换过程中严格执行国家有关数据安全和个人隐私保护的法律法规，采用加密、脱敏、权限控制等技术手段，保障数据在传输、存储、使用全过程的安全。3.实现线上数据申请：基于区内数据申请的实际情况，梳理数据申请流程，确保功能实用完整，使用便捷高效。4.平台兼容性与扩展性：数据交换平台需具备良好的兼容性，能够对接现有各种业务信息系统，同时具备高度的扩展性，以适应未来业务信息化发展的新需求。5.提供数据基础支撑：构建统一集约的数据应用基础支撑底座，支撑各业务部门快速高效调用数据资源，从而降低各个单位信息化建设成本。2.2业务功能、业务量分析2.2.1业务功能2.2.1.1数据交换信创改造需求通过分析当前数据交换过程出现的问题，选用符合国家安全标准的国产软硬件产品，适配新的技术架构、运行环境，解决业务信息化应用建设中信创改造采用国产数据库、操作系统等产品组件与数据仓库之间的兼容性问题，确保系统能够稳定高效地进行数据交换。2.2.1.2数据安全保障需求落实数据分级分类要求，结合数据管理工作实际情况，采用先进的加密技术和安全防护措施，确保业务数据的录入、上传、申请、审核、交换全过程的安全性。强化数据安全措施，确保系统符合国家关于信息安全和数据保护的相关法律法规。保护敏感数据，避免数据泄露风险，保障系统合规运行。2.2.1.3数据交换监管需求通过数据交换监管，实现数据库性能数据（响应时间、吞吐量等关键性能指标）、资源利用数据（存储资源、连接数和会话数等使用情况）、业务运行数据（业务执行效率，数据交换量和业务成功率等运行情况）、智能预警（性能预警、资源预警）等多维度的监管，为管理部门提供更加全面的数据监测和分析体验。2.2.1.4数据申请规范化需求通过线上数据申请功能，实现数据申请的追溯留痕、数据申请实时进度查询、数据申请需求快速处置和及时通知。提升跨部门数据申请效率，规范数据申请程序。2.2.1.5数据应用支撑底座建设需求通过统一采购建设、统一资源共享、统一监督管理，集约节约建设统一的数据基础支撑平台，为后续以标准化、组件化、平台化方式供给数据资源提供基础支撑，促进业务部门高效利用各类数据资源。2.2.2数据结构与数据资源共享需求分析2.2.2.1数据结构数据交换系统作为数据交换信创通道需对接第三方业务系统、省一体化数字资源系统（IRS）、各业务单位提供的电子表单材料等。2.2.2.1.1结构化数据结构化数据主要指系统内例如组织架构、权限分配表等日常使用数据。系统通过界面的方式对具备查阅权限的用户提供日常增、删、改、查等操作。2.2.2.1.2非结构化数据非结构化数据主要指业务部门提交的数据申请表单，以及数据申请审核意见。平台应提供大数据存储工具实现对此类数据的存储、搜索和查阅。2.2.2.1.3半结构化数据半结构化数据对存储的数据格式没有固定限制，允许在保持数据一定结构的情况下自由组织数据，以满足不同应用对数据访问的要求。2.2.2.2数据实时性要求2.2.2.2.1实时流数据共享系统应支持对实时产生的数据进行共享交换使用的能力。2.2.2.2.2非实时流数据共享系统所使用的大数据存储工具应支持对已存储的数据进行共享交换。2.2.2.3数据归集需求数据交换及基础支撑平台建设完成后将优先与已完成信创改造应用进行对接，后续将根据业主需求，持续对接其他应用，数据归集必须符合安全规范。2.2.2.4数据共享需求数据交换系统主要作用为提供数据交换信创通道，无跨部门、跨层级的数据资源共享需求。2.3系统功能、性能2.3.1系统功能、性能需求分析2.3.1.1功能需求分析2.3.1.1.1数据汇聚功能需求分析数据汇聚功能要求实现将各部门相关的信息资源统一采集交换到数据交换平台中，满足多种采集方式，能够满足不同的网络环境、不同的数据类型等情况下进行数据的采集，并对采集的数据进行处理，进入中心库保存。数据交换信创改造平台的数据汇聚功能包含数据采集、数据交换、数据处理等功能。2.3.1.1.2数据治理功能需求分析数据在交换共享、业务应用过程中，数据来源于各个业务系统，只有建立对数据质量的信任，才能放心地进行使用。所以数据治理和质量保障在数据交换平台建设中显得尤为重要，数据治理功能主要包括数据校验、数据清洗、数据脱敏等功能。2.3.1.1.3数据运营管理功能需求分析数据运营管理涉及数据需求申请、数据需求处理、数据交付等多个环节。业务部门线上提交对数据的需求，包括数据的类型、格式、来源、用途等。提交后，数据服务中心则负责处理这些需求，确保业务部门能够及时获得所需的数据，同时维护数据的安全性和合规性。数据运营功能主要包含数据需求申请、数据需求处理、处理结果反馈、消息提醒等功能。2.3.1.1.4数据看板功能需求分析通过建设数据交换看板，实现数据库性能数据（响应时间、吞吐量等关键性能指标）、资源利用数据（存储资源、连接数和会话数等使用情况）、业务运行数据（业务执行效率，数据交换量和业务成功率等运行情况）、智能预警（性能预警、资源预警）等多维度的监管，为管理部门提供更加全面的数据监测和分析体验。2.3.1.2性能需求分析数据交换系统性能需求分析主要包括以下：1.数据处理能力：系统应具备高效的数据读写、处理和转发能力，能够支持大规模、高并发的数据交换任务，尤其是在高峰期仍能保持稳定高效的处理速度。必须考虑不同类型和格式的数据（如结构化、半结构化和非结构化数据）处理需求，确保各类数据能顺利导入、导出和转换。2.记录写入速度：记录数据的写入速度需保证数据的高速记录和存储，为后续的数据分析和使用提供坚实基础。3.存储能力：平台应需有足够的存储空间用于暂存交换的数据，同时需考虑数据备份、归档的需求。存储系统应支持快速存取、扩展性强，满足大量数据的存储和索引需求。4.并发处理能力：平台应能支持多个部门、多个业务线同时进行数据交换，确保并发请求的处理效率，避免因并发量增大导致的系统瓶颈问题。5.安全性和稳定性：系统部署环境建立在信创云平台之上，能够借助信创云平台自身的安全措施，系统安全等级保护测评需达到等保二级标准。同时在数据的安全上，要能实时实现数据的副本备份。6.扩展性和兼容性：平台需具备良好的扩展性，随着业务信息化的发展，能够容易地增加新的数据交换功能和对接新的业务系统。兼容主流的国产化软硬件环境，符合信创要求，支持多种数据接口标准，便于与其他系统对接。7.响应速度和用户体验：系统要有良好的并发响应能力和性能指标，满足全区用户的使用需求。8.性能监控和优化：建立健全的性能监控体系，能够实时掌握平台运行状态，通过数据分析找出性能瓶颈，持续优化系统架构和配置，不断提升数据交换平台的性能表现。9.可用性系统能够完成所要求的所有功能操作，同时具有良好的运行速度，有较高的数据承载能力，对一些耗时操作要求进行算法优化。系统支持7×24小时不间断运行，系统可用率≥99.9%。2.4业务应用层设计需求分析2.4.1数据汇聚管理数据汇聚管理可将各部门数据资源统一采集交换到数据交换系统前置库中，且能够满足多种采集方式、不同的网络环境、不同的数据类型等情况下进行数据的采集需求，并对采集的数据进行处理，进入中心库暂存。数据汇聚管理模块包含数据源配置、数据任务管理、离线数据导入管理等。2.4.1.1数据源配置管理系统为数源单位提供数据源管理功能用以实现数据的归集。提供数据源的管理功能和数据源的实时监测管理及预警通知。2.4.1.2数据任务管理提供数据同步任务的管理功能，包括任务的新建、删除、修改、查询、启用/禁用任务。2.4.1.3离线数据管理提供离线数据的归集功能。通过导入excel、csv文件，并指定数据表的数据定义语言，进行离线数据的上传。系统根据数据表的数据定义语言，新建或清空前置库对应当前部门用户下的数据表。然后对用户导入的数据进行加密并保存到前置库对应的数据表中，完成离线数据的上传任务。2.4.2数据检验配置管理提供数据检验配置管理功能，通过实施数据校验机制，在数据上传前对数据进行初步的质量控制和过滤，确保数据的准确性和一致性，为后续的数据处理、分析和业务决策提供数据基础。2.4.3数据运营管理数据运营管理模块旨在协助业务部门进行IRS数据申请，同时确保大数据中心的数据运营管理流程得以精准记录。2.4.3.1数据需求提交中心管理员与系统运维人员将依据申请信息，进行数据分析与查找。在与业务部门确认后，将准确的数据从数据仓推送至指定部门的数据仓库。处理完成后，系统将即时更新状态并通知用户，同时提供数据详情和使用建议。此外，中心管理员将录入完整的数据资源清单和描述，确保数据管理的规范性和可追溯性。提供用户的需求提交功能，填写数据资源清单和描述进行申请。2.4.3.2数据需求受理业务单位发起数据申请后，数据服务中心进行受理。受理成功后，中心管理员可导出数据需求单，供运维团队进行数据查找与准备。2.4.3.3数据需求处理中心管理员与系统运维人员将依据数据申请信息，进行数据分析与查找。与业务部门确认后，将相应数据从数据仓推送至部门指定的数据仓库中。处理完成后，系统将线上同步更新申请状态为已处理，并即时通知数据申请用户，同时提供数据详情和使用建议。中心管理员需要录入申请的数据资源清单和相关描述。2.4.3.4数据需求反馈业务管理员可对本次数据需求申请提供反馈评价，以便数据服务中心根据范围结果不断优化数据服务水平。2.4.3.5数据需求查询中心管理员可通过多种筛选条件，如需求部门、需求类型、提交时间等，轻松检索数据需求的详细信息，包括需求描述、处理结果等。2.4.3.6数据需求提醒为提升工作效率，系统支持在数据需求提交、受理、处理等多个环节发送消息提醒。例如，数据需求提交后提醒中心管理员，需求受理或处理后提醒业务提交人员。2.4.4数据交换看板2.4.4.1数据交换态势监测2.4.4.1.1总体交换看板提供总体交换看板功能，采用直观的图形和详细的列表形式，为用户呈现全面的数据交换情况。2.4.4.1.2实时交换看板提供总体交换看板功能，为用户提供了数据交换进度的实时更新数据。2.4.4.1.3任务执行看板提供任务执行看板用于异常任务的监控和管理。为用户查看异常任务的总体运行情况。2.4.4.1.4离线数据导入看板提供离线数据的导入情况看板，掌握各数源单位的离线文件数据上传动态。2.4.4.2基础性能态势监测2.4.4.2.1基础性能看板提供基础性能态势监测模块实时收集和分析任务执行过程中的资源使用情况看板。2.4.4.2.2监测预警感知提供数据库性能预警和硬件资源预警功能。2.5应用支撑层设计需求2.5.1数据交换与集成数据交换与集成是支持数据同步与集成的核心部分。通过高效的数据库连接机制，该系统能够多线程地从数据源中的数据表获取全量数据。数据在传输过程中经过加密处理，确保数据安全性后被插入到前置库对应的数据表中，完成数据的上传与同步。本项目中至少完成4个主流国产数据库品牌的桥接与适配，包括达梦、人大金仓等，具体根据项目实施过程中实际需求确定。提供数据传输的策略配置、传输性能优化、传输安全性保障功能。2.5.2信创数据库连接管理提供适配国产数据库可配置与可扩展的数据库连接管理模块。包含智能化的数据库连接服务，提供实时状态监控、自动故障恢复、智能连接池等功能。提供实时性能评估、智能路由选择、高级故障转移。2.5.3异构数据同步异构数据源离线同步通过Reader插件和Writer插件机制，提供稳定且高效的数据同步功能，实现国产数据库之间的无缝数据同步。满足用户在国产化数据库迁移和集成方面的需求。2.5.4统一用户管理实现部门、用户、部门用户关系的管理，实现独立单位管理。独立单位管理员可以管理自己单位的部门、用户等相关信息。通过与其他组件的协同，实现统一身份认证、单点登录、用户资源、授权访问流程。2.5.5系统管理2.5.5.1操作日志管理操作日志管理将记录所有用户在系统上执行的操作信息和系统自动触发的操作与任务，保证系统运行过程信息的可追溯性，同时能够帮助用户发现安全风险、定位问题排除故障。2.5.5.2系统日志管理系统日志管理是确保系统稳健运行、数据完整性和安全性的重要环节。它涵盖了用户登录、系统操作、数据导入导出等关键活动的日志记录和查询功能。2.5.5.3字典管理字典管理模块是系统数据管理的核心组成部分，提供了数据交换过程中数据源、数据结构、数据流、处理逻辑的详细描述和定义，在数据交换过程中遇到问题，如数据格式不匹配、数据缺失或异常等，可以参考数据字典进行问题排查，快速定位问题原因。字典管理模块为用户提供了创建、编辑、查询和删除系统中所使用的各类字典项的功能。这些字典项涵盖了系统中的关键数据项，如数据库类型、登录类型、任务类型等。2.5.6项目共享使用组件资源2.5.6.1浙政钉消息通知组件为满足系统消息通知的实时性和便捷性需求，对接浙政钉消息通知组件，调用该组件后，可将本项目中的消息发送到浙政钉用户，可在浙政钉查看通知消息。2.5.6.2浙政钉登录组件为了提升用户的登录体验，需对接浙政钉登录组件。通过浙政钉的扫码登录功能，快速、安全地登录系统。2.5.6.3资产管理平台真替真用组件对接资产管理平台真替真用组件。完成应用监控管理、指标监控管理、监控展示管理。2.6数据资源层设计需求2.6.1数据库设计为确保数据的完整性、安全性和高效性。在数据库设计过程中，遵循了一致性、完整性、安全性等原则，在此基础上构建交换系统所需的业务表。2.6.2数据安全在数据库设计中，充分考虑了数据的安全性。数据加密模块对接入数据进行加密。同时，采用严格的权限管理和访问控制策略，确保只有授权的用户才能访问和操作数据。此外，制定完善的数据库备份和恢复策略，以应对可能的数据丢失或损坏风险。2.7基础设施层设计需求2.7.1信创云资源申请本系统结合实际情况，拟依托市业务云基础设施资源，采用信创云提供的资源进行相关应用部署，并通过业务外网进行访问。根据数据交换、存储以及应用基础支撑的需求，本次拟申请14台ECS，清单如下。业务云资源申请表名称配置需求数量国产云服务器（应用服务器）8核，16内存，500G硬盘，千兆网口2台国产云服务器（交换服务器）8核，16内存，500G硬盘，千兆网口3台国产云服务器（缓存服务器）4核，8内存，500G硬盘，千兆网口1台国产云服务器（数据库服务器）8核，16内存，500G硬盘，千兆网口2台国产云服务器（应用服务器）4核，8内存，500G硬盘，千兆网口5台国产云服务器（数据库服务器）8核，16内存，500G硬盘，千兆网口1台2.7.2国产化软件租赁本项目计划租赁3套国产化数据库，14套国产化操作系统，租期为三年，三年租期结束后，国产化软件服务提供方需将资产免费移交至建设单位或建设单位指定单位。2.7.2.1操作系统国产化服务器操作系统突出高安全性、高可用性、实时性、兼容性等关键应用指标；兼容主流CPU、整机、存储、数据库、中间件等。2.7.2.2数据库国产数据库软件具备数据存储、访问控制、身份鉴别、安全审计和数据备份恢复等功能。国产数据库部署在服务器，以后台服务形式运行，数据库管理员及用户在管理主机上通过图形化管理工具或命令行工具，可实现对数据对象（表、视图、约束、索引、触发器、存储过程等）的配置管理；开发人员可通过标准化数据库访问接口，开发基于数据库的应用系统和软件产品。国产数据库主要实现以下功能：1.实现数据共享：数据共享包含所有用户可同时存取数据库中的数据，也包括用户可以用各种方式通过接口使用数据库，并提供数据共享。2.减少数据的冗余度：同文件系统相比，由于数据库实现了数据共享，从而避免了用户各自建立应用文件。减少了大量重复数据，减少了数据冗余，维护了数据的一致性。3.保持数据的独立性：数据的独立性包括逻辑独立性（数据库中数据库的逻辑结构和应用程序相互独立）和物理独立性（数据物理结构的变化不影响数据的逻辑结构）。4.数据实现集中控制：文件管理方式中，数据处于一种分散的状态，不同的用户或同一用户在不同处理中其文件之间毫无关系。利用数据库可对数据进行集中控制和管理，并通过数据模型表示各种数据的组织以及数据间的联系。5.数据一致性和可维护性，以确保数据的安全性和可靠性：主要包括：安全性控制、完整性控制、并发控制，使在同一时间周期内，允许对数据实现多路存取，又能防止用户之间的不正常交互作用。6.故障恢复：由数据库管理系统提供一套方法，可及时发现故障和修复故障，从而防止数据被破坏。数据库系统能尽快恢复数据库系统运行时出现的故障，可能是物理上或逻辑上的错误。比如对系统的误操作造成的数据错误等。2.8网络安全需求分析本项目按照计算机信息系统等级保护二级的要求进行构建。达到系统可用性、可控性、抗攻击性、完整性、保密性的安全目标。三、项目实施要求3.1项目实施团队要求要求成立独立的项目团队开展项目的开发和实施工作，团队成员数量不得少于5人；要求专职项目经理负责项目实施过程的全程管理；要求保证整个开发实施过程中的人员稳定性，整个过程中人员替换不得超过2人次(人员主动离职情况除外，但需提供离职证明）；3.2项目实施进度要求本项目建设期9个月。3.2.1初步验收中标人完成项目的所有开发、测试、部署、数据准备、用户培训、试运行准备工作，具备正式上线运行条件，由用户方组织进行初步验收，初步验收通过后，项目进入试运行。3.2.2软件试运行项目试运行时间不少于三个月，在试运行期限内，项目中标人必须在试运行期内指派专人配合用户方做好试运行工作，对出现的问题及时进行修改完善。软件试运行结束，应出具试运行报告。中标人凭试运行报告，申请办理本合同的终验收手续。3.2.3交付验收试运行通过后，按系统软件正常的运行规范、操作规程、安全规章对软件系统各部分，采购方将组织各类用户和专家进行全面运行检验，对系统进行最终的质量验收。验收时如发现有影响其它分项工程或影响全系统工程正常运行的问题，按实际情况分清责任，责成项目中标人解决，并暂停验收，待项目中标人处理完毕后，再进行验收。信创产品租赁期内，如涉及应用停止使用，承建方应及时报告反馈，所涉及到的信创产品停止租赁，租赁费用根据租赁时间按实结算。3.2.4最终验收租赁期满，本项目进行最终验收。3.3