城市大数据资源平台概要设计方案：促进城市科学管理优化城市资源配给

城市大数据管理中心11背景与需求分析2总体架构设计平台功能设计4平台数据综合应用5项目实施方案景市大数据中心牵头，在政务公共数据管理和互联网政务服务方面采取了一系列的实践工作。根据《市公共数据和一网通办管理办法》要求，前期已在“一网通办”的政务服务领域进行了信息化项目建设，在提升了政府治理能力和公共服务水平的同时，也产生了汇聚全市政务公共数据，探索政务服务领域应用的需求。市大数据中心作为全市政务数据的主要管理单位，承担着政策本地化落实、政务数据交换、大数据应用研究、信息化建设运维以及其他数据相关的工作职责，从中心成立之初便开始研究政务数据管理和应用的方法，去年年底探索了以政务数据交换共享为核心的实践，但随着对中心职能的理解加深，我们认为中心不仅作为全市政务数据的“枢纽中转中心”，更应该成为各政务服务条线领域的“归集管理中心”，为本市的经济活动、公共事业、社会关系、人员密度等各城市管理领域提供数据层面的最大支撑。提升共享协同ü公共数据共享ü社会数据协同ü条线业务协同ü数据服务开放学管理ü数据完整归集ü数据实时同步ü资源目录健全ü数据全面治理运行ü应急事件响应ü事件风险预防准城市服务ü社会治理ü宏观经济ü市场监管ü生态保护设与使用情况大数据中心自去年开始，根据整体规划启动了市数据共享交换平台项目的建设，并于2019年1月开始正式进行全市范围的试运行。平台建设内容包括：1、总集成及部分应用开发：平台集成门户及整体平台的基础功能菜单级整合；2、数据治理子系统：包含数据交换模块和服务管理模块，实现数据资源目录及三清单的管理，并提供市级数据库的对外发布利用；3、数据共享交换子系统：实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能，以及数据湖数据的存储管理、共享与交换；4、数据质量监管及支撑子系统：实现数据质量管理功能，包括数据质量规则制定、数据质量稽核、数据质量问题闭环管理；平台接入52个委办的公共数据，每月16亿条以上平台接入52个委办的公共数据，每月16亿条以上，数据总容量在176.0TB，人口库预计46.75TB，法人库预计91.05TB。聚“四大基础库”、“市级统建系统”、“各市级委办系统”、“各行政区系统”的经过初始治理的原始数据；并存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源，为城市管理、公共服务等提供数据来源；数据共享时效性要求无法满足业务需要•前期平台未规划数据实时采集技术数据共享时效性要求无法满足业务需要•前期平台未规划数据实时采集技术，无法协同•数据治理层面未考虑国家资源平台建设要全生命周期安全管控能力有待提升•数据安全管控仅考虑部分安全应用，数据全生命周期的安全管控存在短板，需整体全防护能力在数据共享交换平台项目试运行期间，随着数据存储量的增长、数据交换共享需求量的增加，逐渐发现平台存在一些问题。源源端数据标准各异，加工存在技术壁垒•数据湖&数据库缺乏统一规划，数据标准完善•现有平台应用支撑能力较为薄弱，容易形数据沼泽城城市管理数据缺乏，精准服务无法开展•数据共享和数据开放能力不全面，开放门用价值不高•未规划主题/专题领域的数据综合应用，应标分析全全生命周期安全管控能力有待提升城市管理数据缺乏，精准服务无法开展源端数据标准各异，加工存在技术壁垒缺乏实时归集技术，数据共享协同低效•聚：推进人口、法人、空间地理库数据源整合，促进电子证照库对接利用。逐步推进社会数据、互联网数据等采集汇聚•管：构建一站式数据资产可视化管理，通过对数据资产的血缘谱系和信息资源目录的统一管理，实现数据•通：实现基于应用场景的数据资源授权管理机制，推动公共数据按需充分共享。实现数据分级分类开放管理，扩展共享交换平台功能：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新•安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力理子系统理子系统管用用通聚放子系统安容分析理子系统理子系统管用用通聚放子系统安结合项目的建设分项目标分析，认为本次大数据资源平台的建设内容应包括：全管数据开放子系统(含开放门户)主要实数据开放子系统(含开放门户)主要实现数据应用方管理、开放清单管理(含开放清单维护、开放目录关联、开放数据集维护)、数据开放管理等功能。主要实现首页、数据目录、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各户的建设。合应用设，构建大数据综合应用示范辅助领导决策，构建应用管理中心支撑数据应用，以为各部优质的数据服务。安全管理子系统主要实现安全基础功能管理、数据安全审计、风险识别管理、数据安全管理、敏感数据管理、安全监管中心、数据安全采集等功能，以及对大数据资源平台能模块的安全嵌入。主要实现公共基础库建设(含人口库、法人库、空间地理库)、支持公共主题库建设(含经济活动库、公共事业库、社会关系库、人员密度库)、支持公共专题库建设(含经济运行监测、宏观经济预测等19个专题库)。管理子系统主要实现数据架构管理、数据关系管理、数据分级分类管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱、数据分层管理、数据理、数据资产管理功能。治理子系统通过国家资源管理子系统实现资源申请、撤销、审核、查询、消息、配置、应用及事项、使用单位对接、目录对接、业务流程对接、通知、监控模块对接等主要实现多租户功能、运营中心、开发中心、消息推送、数据推送、个人信息统管理功能。 1背景与需求分析 2总体架构设计 平台功能设计4平台数据综合应用5项目实施方案据采集运维政务数据(国家、市级、区)公共事业数据运维政务数据(国家、市级、区)公共事业数据物联网数据(气象、摄像头…) 专题据综合应用市综合体专题专题据综合应用市综合体专题经济专题7务中心定义理务中心定义理发集4据开放管理服务据图谱据接口据地图据共享服务库表表权开放子系统据分析和可视化服务据可视化工具据探索工具1据资产管理据资产总览1据资产管理据资产总览目录管理子系统地图报告据架构据异常据架构据异常据流程据运维据管理据分层审核块申请审核块申请块管理块治理子系统知管理块接块2块任务中心务监控任务中心务监控知公告控制台据结构化数据区批数据计算流数据计算应用租户应用租户事件指标模型应用租户共享层据结构化数据区批数据计算流数据计算应用租户应用租户事件指标模型应用租户共享层(标签、指标)标准层(主题模型)据湖区数据区6分分布式文件存储分布式数据存储RDB存储图数据库消息队列开放区据沙箱据沙箱据沙箱4开放区据沙箱据沙箱据沙箱4开放子系统据处理数据开放脱敏区采集采集体采集据导入上报采集采集体采集据导入上报行行业数据(金融、电信)据安全问数据据安全问数据储及处理审计据脱敏统5风险水印/名管理钥管理据采集据开放门户门户经济专题专题市综合体专题据综合应用据共享服务表权控分析据分析及可视化据可视化工具据探索工具据资产总览据开放门户门户经济专题专题市综合体专题据综合应用据共享服务表权控分析据分析及可视化据可视化工具据探索工具据资产总览目录据资产管理地图报告据开发调度管理据流程据架构据关系据分层据异常据运维据结构化数据区批数据计算流数据计算据沙箱据沙箱采集体采集采集务中心定义理发集据开放管理据图谱据接口据地图申请块块审核块知管理块管理块接块分布式文件存储分布式数据存储RDB存储图数据库消息队列据沙箱数据开放脱敏区据导入上报政务数据(国家、市级、区)公共事业数据行业数据(金融、电信)物联网数据(气象、摄像头…)任务中心务监控知公告应用租户应用租户控制台事件指标模型应用租户共享层(标签、指标)标准层(主题模型)据湖及运营门户建设区数据区开放区据处理市领导各委办局分析人员区政府外部机构公民开发者运维管理者运维数据安全问数据据脱敏加密/钥管理水印/名管理储审计 (安全风险入识别)及处理本期项目设备部署如下图所示，将在移动云(怒江机房)新增申请150台虚拟机设备、80台实体服务器用于本期软件部署。n大数n大数据资源区：包括市级数据湖和市级数据大数据资源数据湖：主要存放市级政府部门业务数据库、构化等多种类型的数据。市级数据库：主要用于存放经过一系列清洗、载、治理步骤后的高质量的政务数n全市各部门、政务数据资源汇集和共享交换过程中的加工后的数据。n开放的数据，高级别的数据安全保护。大数据资源平台支撑数据共享交换(生产职能)、数据分析、数据开放三大核心数据服务，包括大数据资源区、对内共享交换区和对外开放区三大数据区。对内共享交换区共享交换数据实时数据区市级数据库中心租户融合租户基础库主题库非结构化数据结构化数据市级数据湖实时数据区市级数据库中心租户融合租户基础库主题库非结构化数据结构化数据市级数据湖离线数据区对外开放区安全安全沙箱数据对外开对外开放脱敏数据审用审角色管权限管理员审用审角色管权限管理员角色用单位用户管审用审管绑定绑定块管管角色角色审权限审计员•三权分立：管用审角色分离•分级授权：中心租户统一为牵头单位进行管理权限的分配，单位内部权限设计由内部用户支撑•人机账户分离：人员账号及机器账号实现互斥用用11背景与需求分析2总体架构设计平台功能设计4平台数据综合应用5项目实施方案6市级数据库据库数据管理子系统6市级数据库据库数据管理子系统27大数据综合应用开放门户开放管理沙箱数据开放子系统密/密理/签理 (安别)理14入入数数据治理子系统综合应用3平台集成门户3门户55数据安全管理子系统制储数据接入批数据处理通过数据采集平台任务调度的方式，根据时间戳定时探查委办局前置库数据以及结构化文件的变动，通过数据采集平台的解析，抽取增量数据到数据湖。数据接入流数据处理通过数据湖内独立部署kafka消息系统，采用委办局推送或自动拉取的方式，将流数据接入大数据支撑平台。据支撑平台据支撑平台：各类批数据通过数据采集功能进入数据支撑平台，经过存储、清洗、汇总和关联汇总等，产生应用数据，并实现数据共享或开放。：流数据通过数据采集功能进入数据支撑平台后，根据不同需求，可实现实时数据计算后的开放，也可实现通过实时数据分析后汇总产生应用数据，进而实现数据共享或开放。管理资源管理资源览检核映射护入护化关联运行数据资源层政政务云管理基础设施层逻辑资源层(计算、存储、网络资源)理理3、通过基础元数据定义数据资产规格(如：库表、文件、文件夹、接口等)，并借助统一平台实现资源接入。目录管理标准管理资源管理…理撑平台目录管理标准管理资源管理…理撑平台发调度平台：•与共享及运营门户对接：实现统一授权、统一登录以及任务工单同步•与数据开放门户对接：实现开放清单的编制发布•与大数据支撑平台对接：实现流数据接入以及支撑数据资产的管理•与数据开发调度管理对接：实现资源目录的双向同步维护更新•与批数据接入对接：实现数据的归集与共享下发据开发调度管理数据开发调度管理能够支撑多种混搭数据库环境的开发调度功能，实现数据从“采集→加工→对外应用服务”的全生命周期管理。基于元数据以及日志数据提供端到端的全过程数据开发质量管控能力。支撑数据架构管理、数据关系管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱、数据分层管理、数据运维管理、数据资产管理功能。据开发调度管理据开发调度管理集平台调度对接元数据同步产JDBC接口流数据处理撑平台边界集成说明：接平台发布流数据处理任务处开发据分析及可视化用户对拥有权限的数据资源进行数据探索及数据可视化分析。u数据探索工具：用户通过数据探索工具对拥有权限的数据进行在线自助数据查询，工具记录访问日志。数据目录 全量)数据目录 全量)服务管理运行服务传输用户应用数据共享交换服务基于大数据区共享层的数据目录，对各委办局及其应用系统间进行数据共享、交换。源 部数据 |授权管理|运行监控|服务计量|平台管理数据目录数据目录 (开放子集)…全略|数据出口安全|请求控制|黑白名单管理|安全审计p2、数据治理子系统·国家资源平台级联国家数据资源共享交换平台体系由国家共享平台、省级共享平台、地市共享平台等多级平台组成。各级共享平台横向连通所辖区域政务部门的政务信息资源，纵向多级平台对接，形成横向联动、纵向贯通的数据共享交换体系。其中国家资源管理子系统是国家与上海市两级数据共享交换平台的重要组成部分，通过国家资源管理子系统的上线运行，可以更加高效的实现国家与上海市的资源交换，更加快速满足政务部门业务办理的需要。资源申请功能资源撤销功能资源审核功能资源申请功能资源撤销功能资源审核功能注册变更撤销更新授权密钥获取资源申请管理资源申请模块资源申请管理资源撤销管理资源撤销模块资源撤销管理资源申请的审核管理资源审核模块资源申请的审核管理查询已上线资源已发布的资源管理功能数据治查询已上线资源已发布的资源管理功能数据治理子系统(扩展功能)代办消息预警消息申请审核消息代办消息预警消息申请审核消息国家资源平台配置库表服务接口申请审核文件资源申请审核配置管理模块配置库表服务接口申请审核文件资源申请审核服务事项管理政务事项管理与市数据交换共享单位信息注册应服务事项管理政务事项管理与市数据交换共享单位信息注册使用单位对接模块目录接口密钥目标对接模块目录接口密钥变更撤销发布订阅市数据共享交换平台对接管理资源对接模变更撤销发布订阅市数据共享交换平台对接管理业务流程对接模块通知下发管理监控目录及资源对接通知管理通知下发管理监控目录及资源对接对接监控模块3、平台集成门户·共享及运营门户户•门户集成数据治理子系统、数据管理子系统、事件中心、数据开发子系统等业务系统。提供统一的待办工单流转和个人消息提醒功能，通过门户入业务的协同管理。•门户提供统一的权限管理并适配各管理子系统。提供角色互斥配置，实现管理用户和授权。•门户实现CA认证、统一身份认证和单•门户集成的各个系统界面风格上实现统一，包括列表样式、页面布局页面配、字体大小、按钮风格等。3、平台集成门户·共享及运营门户共享资产治理管理权权录限务推送送告4、数据开放子系统·数据开放管理数据开放门户与数据开放管理关系示意图数据开放管理架构4、数据开放子系统·数据开放门户4、数据开放子系统·数据沙箱u数据开放主体可以把无条件开放数据或有条件开放的数据经脱敏脱密处理后存放于安全沙箱中；u数据利用主体基于允许开放的数据，在沙箱安全隔离的计算环境中执行计算任务，生成计算结果；u用户全生命周期使用日志可供监管方审查。u对于已经通过数据开放主体审核的结果，数据利用主体可以按照约定的方式进行使用。安全运营中心安全运营中心Ø身份访问控制Ø数据授权管理事中：Ø流量数据采集Ø数据脱敏Ø安全运营中心安全运营中心Ø身份访问控制Ø数据授权管理事中：Ø流量数据采集Ø数据脱敏Ø数据加密/密钥管理Ø数字水印/签名管理事后：Ø日志采集及存储Ø安全审计(安全风险接入识别)Ø告警监控管理及处理整体：台数数据流Ø数据安全合规审查Ø数据安全合规审查权信息息量信息息导入5、数据安全管理子系统·数据抽取流程安全设计业务流程中•平台端，服务商执行信息维护的权限，通过“鉴权中心”，“身份认证管理”和“数据授权管理”进行策略设置及下发，确保访问控制安全性和有效性；•在采集数据入库存储时，进行数据加密处理，保障数据存储安全；•通过“数据流量采集”技术产品，采集主要数据节点的流量信息，解析流意活动等行为，为安全运营监控中心提供数据来源5、数据安全管理子系统·共享交换流程安全设计换的业务流程中认证管理”和“数据授权管理”进行策略设置及下发，控制委办局申请共享和交换数据的权限，确保访问控制安全性和有效性；•委办局端，根据身份认证管理和数据交换需求；•在采集数据入库存储时，进行数据加密处理，保障数据存储安全；•封装数据，发布至共享交换平台时，进行数字签名/水印和脱敏，确保数据共享安全5、数据安全管理子系统·主题库建设流程安全设计的业务流程中•委办局端，根据身份认证管理和数据授权管中心”，“身份认证管理”和“数据授权管理”进行策略设置及下发，控制委办局申请主题库建设的权限，确保访问控制安全性和有效性；管用审管用审管用审管用审管用审管用审登录数据治理/共享/开发/…安全管理子系统…身身份认证鉴权中心理理授权管理管理计计计递理式略大数据中心、委办局、区等各单位使用大数据资据总体数据权限管理方针，用、审分离原则情况下，各单位管理员可自行定义用户。身份认证鉴权中心，提供用户管理、认证管理、授权管理及审计管理功能，实现统一身份管理。5、数据安全管理子系统·流量数据采集(事中)大数据安全分析系统通过采集全网流量及日志数据，结合机据的长时间窗口存储、全文检索分析、异常行为检测和安全合制，增强整体安全防护能力。核心功能:.流量探测.流量分析.流量解析.汇总及外发数据.流量过滤.预测告警5、数据安全管理子系统·数据脱敏(事中)数据脱敏系统提供静态脱敏、动态脱敏业务能力，可以对大数据平台各种存储环境中的数据进行静态脱敏，将数据脱敏到结构化、非结构化文件或数据库，对数据进行基于场景的动态脱敏，保护敏感信息确保数据在使用过程中的安全性。密钥管理(事中)由密钥管理系统(简称SecKMS)和国密算法SDK(简SecAPP)两部分组成，两部分既相互独立又相互依存，前者为后者提供密钥来源，后者为前者密码运算能力。SecAPP接口对存入的敏感数据进行加密保护，确保数据的安全存储。SecAPP支持客户端的本地加密(进程中)和密钥服务器的集中加密。对本地加密，通过密钥缓存模块可提供安全的内存密钥缓存和持久密钥缓存管理。通过完善的密钥到期时间和密钥保护策略机制，确保密钥的安全性和易用性，有效保障业务系统敏感数据安全。 签名管理 通过在大数据平台中使用数字水印技术，在一定程度上成功的达到数据文件来源可跟踪，确认内容创建者、使用者、传送隐秘信息或者判断大数据平台门户页面是否被篡改等目的。 在网页页面上，打上用户标识、访问时间、应用功能号、访问IP、访问机器的MAC地址。在导出的excel、txt文件上，打上用户标识、访问时间、应用功能号、访问IP、访问机器的MAC地址。 在导出的word、pdf文件上，打上用户标识、访问时间、应用功能号、访问IP、访问机器的MAC地址。u日志采集•采集u日志加载•清洗过滤•标准化•关联补齐•数据标签化u日志存储•统一存储5、数据安全管理子系统·安全审计(事后)全审计u数据安全审计：实现对数据高危操作、敏感操作等审计。l数据库审计l应用授权审计l数据访问权限审计u综合日志审计：实现对数据来源、系统日志进行审计，并对审计结果加以分析。u安全风险识别：基于日志数据+流量数据的聚合、关联分析，识别安全风险。5、数据安全管理子系统·告警管理(事后)n告警触发：通过对日志的审据安全异常告n告警触达：根据告警规则配员+告警内容下模块统一下发至代码审计安全基线编制和漏扫代码审计安全基线编制和漏扫系统漏扫和渗透测试风险分析报告等级保护三级数据安全能力成熟度三级安全保障能力EAL三级1背景与需求分析2总体架构设计平台功能设计4