大数据平台建设项目可研方案

数据平台现状：数据平台已实现部分功能为了满足大数据中心考核要求为了满足大数据中心考核要求，以及区委办局数据共享调用的要求，在尚未申报资金的情况下，目前在区信息中心已经搭建的大数据环境持续为数据目录编制系统提供支持，对接对接大数据中心下发数据需求，对数据编市区两级交换平台级联开发，满足区别数现有网络、设备以及其他信息资源情况机房现状机房现状）：虚拟化平台现状虚拟化平台现状网络现状网络现状本项目与已有系统的关系六位一体大数据资源体系汇聚整合共享应用展示归集全区公共数据市级数据资源落地市大数据平台对接功能模块全面升级整体架构重新部署归集全区公共数据市级数据资源落地市大数据平台对接功能模块全面升级整体架构重新部署原有系统与数据原有系统与数据项目建设的必要性1公共大数据平台建设是贯彻和落实数据战略的重要实践架构需求项目需求分析架构需求功能需求功能需求•区大数据支撑子平台•区数据共享交换子平台•区数据资源中心•区三清单一目录管理•区数据治理子平台•区数据管理子平台•区数据安全子平台•区统一数据管理门户性能需求性能需求业务量需求业务量需求•市级大数据资源平台•3年内委办局上线总数•数据资源中心三年总硬件设备需求项目需求分析硬件设备需求••大数据资源平台：14台•大数据共享交换体系软•数据治理系统软件：2台•配置：4C/8G/300G标准配置，共需要144C核数，288G内存，10800G磁盘容量。•平台应用部署资源的硬件部分可考虑由区电子公共云统一提供。网络环境需求网络环境需求••公共大数据资源平台标准规范需求标准规范需求•资源数据库数据涉及部门据质量问题突出。统一标信息共享、业务协同的基础。安全保障需求安全保障需求•物理安全•网络层安全•系统层安全•应用系统安全项目建设原则和基本策略基于市基于市级技术规范开放原则先进原则高效率、可管理维护”安全保密原则利旧利旧原则渐进渐进原则可靠原则实用原则项目建设标准与规范管理及技术标准规范管理及技术标准规范l《公共信息资源交换体系第1部分：总体框架l《公共信息资源交换体系第2部分：技术要求l《公共信息资源交换体系第3部分：数据接口规范l《公共信息资源交换体系第4部分：技术管理要求项目总体建设目标构建以区城市大脑为核心，打造“能呼吸、自生长、有温度、共生态”的区级综合智能体（一体提升“城市服务人性化、管理精细化、应急快速化、决策科学化”（四化）水平构建区级数据基础库、专题库和主题库为核心构建数据集成、数据共享、数据管理、数据决据协同服务、城区管理协同服务、惠民数据协基于数据资源平台为m区领导决策和减轻基层人•聚：推进与市级RK、FR、空间地理库的数据集成，促•管：构建一站式数据资产管理平台，通过级联实现区内数据上报市级平台，结合区内情况进行本地数据资产目总体建设目标•通：实现基于应用场景的数据资源授权管理机制，推动总体建设目标•用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务•安：打造整体安全管控体系，保证平台上公共数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期项目建设路径规划持续完善数据资源中心的相应的基础持续完善数据资源中心的相应的基础库、主题库和专题库，并支持各类综合创新应用顺利运行；实现以单位惠民数据共享和实现社会数据交换功能，全面实现内外部数据交换共享；建设全面的保障体制，共享制度更趋于标准化、体系化、制度化；完善组织实施机制，提高数据开放管理水平，实现数据治理标准规范和安全保障，奠定数据发展基础;构建公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”的大数据资源体系，支撑区级大数据资源生态体系闭环。启动公共大数据平台资源中心建设建立统一的单位数据信息资源目录启动大数据资源平台各平台功能建设建设充实现有管理功能构建城市驾驶舱支撑城市运行应急指挥的应用新建宏观经济库，民生保障等相关主题库，数据资源中心完成度达到启动公共大数据平台资源中心建设建立统一的单位数据信息资源目录启动大数据资源平台各平台功能建设建设充实现有管理功能构建城市驾驶舱支撑城市运行应急指挥的应用完善公共大数据资源平台功能建设，实现全区大数据综合运营管控；汇聚单位侧与社会侧的公共、视频、物联数据等，建立大数据服务平台，带来多样化的大数据服务；完善组织能力保障，实现跨越共享。市-区一体化大数据资源平台总体架构公共大数据资源平台的总体架构统一数据开放门户统一数据开放门户标准规范体系安全保障体系数据台智能标签数据探索画像分析数据DNA全景监控台身份认证和权限管理敏感数据发现数据分级分类管理标准规范体系安全保障体系数据台智能标签数据探索画像分析数据DNA全景监控台身份认证和权限管理敏感数据发现数据分级分类管理数据脱敏管理安全审计分析台监测资源管理应用系统监测业务服务监控服务启动故障预案日常巡检数据标准管理元数据管理数据分级分类数据资产管理流数据处理数据集成管理数据架构管理数据质量管理数据分析呈现自然人FR组织电子证照空间地理应急指挥数据库城市管理数据库经济发展数据库公共安全数据库市场监管数据库…人脸/车辆数据库公共场所数据库视频点位数据库视频布控数据库城市事件数据库…设备基础数据库设备维修数据库水务预警数据库燃气预警数据库污染预警数据库…门址数据库水务数据库气象数据库公安数据库…LBS数据库楼宇租金数据库工商数据库产业数据库…专题库主题库基础库SRC近源数据层：区级条线业务数据，以及结构化的视频及物联网感知数据ODS源数据层：区级条线业务数据，以及结构化的视频及物联网感知数据台数据交换服务管理统一监控交换级联对接联调接口开发公共大数据资源平台各子平台间关系应用服务支撑应用服务支撑访问控制数据资产统计分析应用服务支撑应用服务支撑访问控制数据资产统计分析统一数据管理门户统一数据管理门户统一数据开放门户统一数据开放门户共享交换标准规范体系安全保障体系数据管理子平台（数据标准管理、元数据管理、数据资产管理、数据架构管理、数据异常管理、数据开发统一调度管理、数据质量管理数据智能子平台（数据探索、智能标签、数据DNA、全景监控、画像分析）数据抽取数据管理与治理共享交换数据湖－>数据库（基础库／主题库／专题库）共享交换子平台（数据交换/服务管理／统一监控／交换共享交换标准规范体系安全保障体系数据管理子平台（数据标准管理、元数据管理、数据资产管理、数据架构管理、数据异常管理、数据开发统一调度管理、数据质量管理数据智能子平台（数据探索、智能标签、数据DNA、全景监控、画像分析）数据抽取数据管理与治理共享交换数据湖－>数据库（基础库／主题库／专题库）共享交换子平台（数据交换/服务管理／统一监控／交换级联等）数据安全管控数据汇聚数据安全子平台（数据风险审计、风险识别管理、数据安全管理、敏感数据管理）数据共享公共大数据资源平台数据安全管控运行支撑大数据基础支撑平台市／部门市平台委办局节点行业／互联网互联网交换互联网交换节点行业数据互联网数据平台网络架构本次公共大数据资源平台建设主要依托区信息服务中心提供信息基础设施和网络环境，并在区电子公共云统一规划和标准要求下进行该平台的搭建和部署建设。信息安全保障方案确保数据与信息安全，符合信息安全管控规范围绕数据为核心，围绕数据为核心，从数据采集、存储、访问、使用、修改、共享、丢失、泄漏等多个维度展开，构建全生命周期的数据安全保障体系，形成数据与信息安全管控闭环数据安全l确保数据存储与使用安全l使用数据备份和数据安全l确保数据存储与使用安全l使用数据备份和恢复等数据安全设计l使用数据加密、脱敏等技术系统安全l保证服务器操作系统，数据库，中间件在内的平台相关系统安全l使用安全评估管理工具所进行的系统安全分析和加固信息安全l保证平台所涉及信息安全l是由完整的用户身份认证以及安全日志审计跟踪l对安全日志和事件的统一分析和记录网络安全l确保平台网络的设计、构建和使用的安全l使用基于网络的各种相关安全技术和手段，如防审计等物理安全l确保数据中心机房的安全l包括机房的选址，机房场地安全，防电磁辐射泄漏，防静电，防火等内容项目建设技术路线数据工作流数据资产可视化机器学习统计挖掘运维与批处理框架高性能处理框架分布式文件分布式大表搜索引擎分布式缓存消息队列r术公共大数据资源平台建设目标与内容一期建设内容数据共享交换子平台数据安全子平台数据管理子平台统一运维子平台数据共享交换子平台数据安全子平台数据管理子平台统一运维子平台区级数据资源中心城市驾驶舱统一数据管理门户架构，建立基础的数据资源中心，支撑各部门急用先行的数据共享需求建立统一的单位数据信息启动数据基础支撑子平充实现有管理功构建城市驾驶舱，支撑基于大数据源中心建设：完善基础库资源目录，建立动态更新台、数据管理子平台、能，形成共享工归集全区可视化资源平台的城市建设，建立以应急指挥、机制，明确全区各部门可数据安全子平台和统一作体制和制度；资源集成呈现并运行应急指挥的城市管理为核心的相关主向其他单位机构共享的公数据管理门户等为核心综合多维场景全应用；题库，数据资源中心完成度达到总体30%，基本完共数据，建立全区统一的数据交换共享平台及数据功能的公共大数据资源平台功能建设：实现大面分析；成支撑城运中心中应急指中心，对上对下实现垂直数据综合管理与服务功挥为主题的资源归集，并形成相关的基础库、专题共享，横向打通各部门间的数据藩篱，实现部门间能；库和主题库；业务协同和指挥联动；公共大数据资源平台一期建设总体架构与内容统一数据开放门户统一数据开放门户台数据交换台数据交换服务管理统一监控交换级联对接联调接口开发数据台身份认证和权限管理敏感数据数据台身份认证和权限管理敏感数据发现数据分级分类管理画像分析数据DNA数据脱敏管理安全审计分析台数据探索智能标签全景监控台监测资源管理应用系统监测业务服务监控服务启动故障预案日常巡检数据标准管理元数据管理数据分级分类数据资产管理流数据处理数据集成管理数据架构管理数据质量管理数据分析呈现LBS数据库楼宇租金数据库工商数据库产业数据库…公共视频数据域公共物联网数据域时空数据域社会数据域LBS数据库楼宇租金数据库工商数据库产业数据库…公共视频数据域公共物联网数据域时空数据域社会数据域标准规范体系安全保障体系人脸/车辆数据库公共场所数据库视频点位数据库视频布控数据库标准规范体系安全保障体系人脸/车辆数据库公共场所数据库视频点位数据库视频布控数据库城市事件数据库…门址数据库水务数据库气象数据库公安数据库…设备基础数据库应急指挥数据库城市管理数据库经济发展数据库公共安全数据库市场监管数据库专题库设备维修数据库水务预警数据库燃气预警数据库专题库设备维修数据库水务预警数据库燃气预警数据库污染预警数据库主题库主题库…………自然人FR组织自然人FR组织电子证照空间地理基础库基础库SRC近源数据层：区级条线业务数据，以及结构化的视频及SRC近源数据层：区级条线业务数据，以及结构化的视频及物联网感知数据ODS源数据层：区级条线业务数据，以及结构化的视频及物联网感知数据公共大数据资源平台一期各子平台关系图统一数据管理门户统一数据管理门户应用服务支撑访问控制数据资产统计分析应用服务支撑安全保障体系标准规范体系市／部门市级平台应用服务支撑访问控制数据资产统计分析应用服务支撑安全保障体系标准规范体系市／部门市级平台委办局节点行业／互联网互联网交换节点共享交换行业数据互联网数据数据管理子平台（数据标准管理、元数据管理、数据资产管理、数据架构管理、数据异常管理、数据开发统一调度管理、数据质量管理等）数据管理与治理共享交换数据湖－>数据库（基础库／主题库／专题库）享交换子平台（数据交换/服务管理／统一监控／交换级联等）数据共享交换行业数据互联网数据数据管理子平台（数据标准管理、元数据管理、数据资产管理、数据架构管理、数据异常管理、数据开发统一调度管理、数据质量管理等）数据管理与治理共享交换数据湖－>数据库（基础库／主题库／专题库）享交换子平台（数据交换/服务管理／统一监控／交换级联等）数据安全管控数据汇聚数据安全子平台（数据风险审计、风险识别管理、数据安全管理、敏感数据管理）数据共享公共大数据资源平台数据安全管控运行支撑大数据基础支撑平台大数据基础支撑平台公共大数据资源平台一期功能架构门户应用层数据共享数据采集数据源结构化数据区 应用租户 应用租户 应用租户共享层（标签、指标、基础应用库-自然人&FR&地理位置&电子证结构化数据区 应用租户 应用租户 应用租户共享层（标签、指标、基础应用库-自然人&FR&地理位置&电子证统一运维应用系务监控应用集成支撑应用集成支撑应用分析应急主题库应急主题库应急专题库应急专题库数据安全数据安全加密秘数据基础支撑子平台建设方案-总体架构数据基础支撑子平台建设方案-数据范围与存储公共大数据资源平台数据湖/库归集的数据范围、种类和存储方物联网数据物联网数据数据共享交换子平台建设方案-整体定位数据共享交换子平台建设方案-架构设计数据共享交换子平台建设方案-业务逻辑区级数据资源中心建设方案-建立区级数据湖区级数据资源中心建设方案-构建基础库KR公安口RK出生、死亡及户籍登记基本信息民政口婚姻关系双方RK信息理理理管理、标签映射和关系、图理、字段映射、执行策略、管理、标签映射和关系、图区级数据资源中心建设方案-构建主题库本期建设本期建设主题库的建设方案可以依照智慧城市的建设需求进行增加，本期主题库的建设重点为“区应急指挥、城市管理主题库”区级数据资源中心建设方案-构建专题库媒体媒体本期建设本期建设区级数据资源中心建设方案-三清单梳理数据申请流程：数据申请流程：数据管理子平台建设方案-总体方案应用层应急专题库数据资源层应急主题库数据管理子平台建设方案-统一开发调度管理数据统一开发与调度管理能够支撑多种混搭数据库环境的开发调度功能，实现数据从“采集→加工→对外应用服务”的全生命周期管理。基于元数据以及日志数据提供端到端的全过程数据开发质量支撑数据标准管理、元数据资产管理、流数据处理、数据管理子平台建设方案-数据分析呈现统一数据管理门户建设方案资源目录监控城市驾驶舱建设方案-总体方案城市驾驶舱建设方案-设计思路城市驾驶舱建设方案-功能架构数据资源数据资源重点专题数据安全子平台建设方案-全生命周期安全管理设计安全服务体系平台身份访问控制数据授权管理身份访问控制数据授权管理数据脱敏数据加密/数据脱敏数据加密/密钥管理分类分级和数据防数据流日志采集及存储统一安全审计分析风险告警监控日志采集及存储统一安全审计分析风险告警监控身份认证信息数据授权信息安全服务信息数据使用信息安全服务信息整体：数据安全合规审查数据安全子平台建设方案-功能架构大数据资源平台的整体安全防护体系包括数据资源平台环境安全和数据全生命周期安全两大核心要素。数据的全生数据资源平台的安全管理子平台功能架构设数据全生命周期安全统一运维子平台建设方案项目风险及控制措施信息技术的发展是日新系统管理维护、用户数项目实施过程中的风险项目实施过程中的需求在项目建设过程中如果月异的，在系统建设时据存储、系统数据传输因素是存在的，如何进变动不但影响系统的正实施单位、承建单位参采用的有关技术和标准等方方面面都会涉及到行有效的组织和协调、常、按时实施，而且很与项目建设的相关人员可能随着时间的流逝而安全性的问题。因此，严格控制实施进度将是可能会造成巨大的经济发生变动，将会对项目脱离主流技术路线，从整个系统在安全方面存一个极具挑战性的课题。损失，因此需求的变化的顺利实施形成很大风而带来较大的风险。在很大的风险。也会导致项目风险的存在。险，尤其是关键环节、关键技术等方面移交不清晰，其影响尤其巨大