2023XX区大数据平台建设项目技术方案

XX区大数据平台建设项目技术方案（一）项目目标1、完善升级现有平台功能，纳入到大数据服务平台中，新建相应功能，形成完善、统一的平台支撑服务能力，能够与一期大数据平台功能衔接。2、完成第二批部门数据目录梳理，增强数据落地能力，并建设人口、法人等基础库，形成基础、主题领域的数据支撑服务能力。3、数据汇聚与治理，对接全区各委办局的系统，实现数据的汇聚与共享，满足数据共享需求、政务服务、领导驾驶舱等数据应用的需求。4、建设大数据运营管理相关的制度标准，加强大数据运营的管理能力。5、制定制度规范。（二）建设内容本项目所建设内容如下：1、标准规范设计按照国家法规要求履行规范文件发布流程，最终以相关文件经专家审议通过为验收标准。要求标准包括一系列共享平台关键标准，为平台制定数据采集、交换、加工处理、信息共享、信息安全、标准的平台接口规范，实现数据脱敏和数据保护的能力。建立大数据平能力服务平台标准贯彻实施机制，编写规则满足统一性、标准间的协调性、不同版本的等效性、适用性和计划性原则。2、物联网接入建设建设针对物联网设备或物联网现有系统，进行实时数据与批量数据的采集、接入等，汇聚和传输的物联网平台，为大数据平台分析提供数据支撑。应包括数据采集模块、数据源管理模块、数据接入模块、日志管理模块等。3、数据汇聚支持从XX区各相关部门汇聚登记数据资源并存储，并将汇聚后的数据目录在资源目录管理中完成政务数据资源目录导入、管理等工作。应提供数据交换、数据抽取、数据抓取和数据填报等服务。4、数据处理基于大数据和可视化技术，提供面向数据开发、系统运维等用户的具备良好交互特性的平台工具。应包括数据加工处理模块、数据质量管理模块等。可实现多源异构数据的处理，高效完成数据抽取、清洗、质量稽核等各类数据流开发。5、数据管理对数据资源进行统一管理，负责对大数据平台所有接入数据进行统一治理、安全管控和数据服务工作，同时负责统一对资源目录和其他业务系统或数据分析需求提供数据输出服务。6、数据库建设大数据平台通过汇聚XX市及XX区各委办局的业务数据,基于数据治理工具，根据业务主题需求建设各类基础库、主题库和社会数据库。7、数据开放形成资源开放服务体系，基于政务外网端门户，为区各政府部门及社会单位提供可共享数据资源的在线查找、定位及下载服务，包括但不限于统一用户登录、工作动态、政策法规、下载中心、目录导航、个人中心等功能。8、人工智能应用人工智能技术，提供丰富的预置算法库，提供数据建模，模型管理、模型评估、模型应用等功能模块。9、共性支持提供面向各业务专题分析的可视化分析工具、基础模型和数据展现封装工具，区各政府部门能够根据业务模型利用分析工具开展数据挖掘及分析展现，可支持各部门开展大数据分析，支持各部门其他业务系统的数据接入及分析应用。10、运维管控运维管控作为XX区大数据平台项目中管理团队与物理资源之间的总通道，是人感知并控制包括存储、数据、业务等资源运营状态的枢纽，通过运维管控对接其他各服务和平台。11、目录梳理按照《XX市目录链管理规则（试行）》（京经信函［2019）220号）中关于政务数据资源目录的管理要求，调研全区各部门（含科室）信息系统建设情况，梳理部门职责信息、业务名称、所属系统名称、数据资源名称、数据项中文名称、数据项共享方式、数据项开放属性等内容，完善XX区“职责目录-数据目录-系统目录”三级目录体系，支持全区政务数据资源跨部门、跨层级、跨领域的共享和开放。（三）技术要求大数据服务平台可根据业界标准满足用户体验，同时满足XX区现有业务运行需要和未来新增业务的接入需求，系统达到以下技术指标：1、数据交换及处理端到端数据交换能力：系统支持数据库、文件和消息等多种交换方式，并具有良好的负载均衡能力，交换传输速率应至少达到1500xlkmsg/sec,文件传输速率应至少达到2M/sec,支持负载均衡、HA高可靠性、持久连接和客户端存储机制；系统响应速度：节点之间支持HTTP/TCP/SSL安全传输协议，采用可靠事件传输机制保证数据传输质量和效率，在网络速度为100Mbps的情况下，传输1KB大小的数据，业务系统之间端到端每秒至少达到1000个（lKB*1000msg/sec）,保证业务系统的效率和可用性；目录检索操作响应时间应少于0.1秒。2、物联网平台响应速度实时接收设备信息，延时〈二1分钟；对接入后的每条记录处理到转发时长〈二3分钟；实时性应满足及时转发，延时不大于3分钟；具备并发能力，每秒接入的记录在2000条，计算框架应有能力每秒处理数据在3000条的能力，以保证消息不积压。3、数据管理的性能元数据分析响应时间不大于5秒；批量数据元导入时间不大于10秒；数据模型加载时长不大于5秒。4、数据治理：数据清洗、转换率峰值满足5000条/秒，且并发任务数不小于100；数据质量巡检效率峰值满足5000条/秒，且并发任务数不小于100；5、数据共享开放查询查询基础数据（精确匹配）的响应时间不大于3秒；查询单个数据主题（百万级）的响应时间不大于3秒;目录检索的响应时间不大于2秒；查询统计报表（非实时统计）的响应时间不大于3秒;支持第三方业务系统同时访问数据服务接口的要求，接口响应时间W3秒。（四）等保安全建设根据大数据平台的业务特点和需要，构建合理、先进、可靠、综合、统一的安全保障体系，包括平台安全及数据安全，确保大数据平台全生命周期数据信息安全及业务系统的正常运行。系统达到国家信息安全等级保护三级的相关要求。（五）集成服务要求从数据集成、数据支撑和数据访问三方面设计平台的总体架构。要求包含但不限于基础设施、存储计算、数据汇聚、数据治理、数据资源、数据服务支撑、应用服务，以及安全保障、标准规范、运维安全保障体系三部分内容，详细描述设计各部分内容具体功能及架构分布。要求大数据服务平台部署在XX区政务云环境中，可直接与现有的业务系统平台联通。云平台统一提供主机、存储、网络