市级数字政府大数据管理中心大数据资源平台建设和实施方案相关两份资料

市级数字政府大数据管理中心大数据资源平台建设和实施方案整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行2023年背景与需求分析总体架构设计平台功能设计平台数据综合应用2134项目实施方案5整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行大数据管理中心发展背景为建设卓越全球城市，实现政府治理能力现代化目标，由市大数据中心牵头，在政务公共数据管理和互联网政务服务方面采取了一系列的实践工作。根据《市公共数据和一网通办管理办法》要求，前期已在“一网通办”的政务服务领域进行了信息化项目建设，在提升了政府治理能力和公共服务水平的同时，也产生了汇聚全市政务公共数据，探索政务服务领域应用的需求。市大数据中心作为全市政务数据的主要管理单位，承担着政策本地化落实、政务数据交换、大数据应用研究、信息化建设运维以及其他数据相关的工作职责，从中心成立之初便开始研究政务数据管理和应用的方法，去年年底探索了以政务数据交换共享为核心的实践，但随着对中心职能的理解加深，我们认为中心不仅作为全市政务数据的“枢纽中转中心”，更应该成为各政务服务条线领域的“归集管理中心”，为本市的经济活动、公共事业、社会关系、人员密度等各城市管理领域提供数据层面的最大支撑。规划公共数据发展路线支撑城市服务能效提升精准城市服务整体共享协同数据科学管理公共数据共享社会数据协同条线业务协同数据服务开放社会治理宏观经济市场监管生态保护城市高效运行应急事件响应事件风险预防数据完整归集数据实时同步资源目录健全数据全面治理大数据共享交换平台建设与使用情况大数据中心自去年开始，根据整体规划启动了市数据共享交换平台项目的建设，并于2019年1月开始正式进行全市范围的试运行。平台建设内容包括：1、总集成及部分应用开发：平台集成门户及整体平台的基础功能菜单级整合；2、数据治理子系统：包含数据交换模块和服务管理模块，实现数据资源目录及三清单的管理，并提供市级数据库的对外发布利用；3、数据共享交换子系统：实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能，以及数据湖数据的存储管理、共享与交换；4、数据质量监管及支撑子系统：实现数据质量管理功能，包括数据质量规则制定、数据质量稽核、数据质量问题闭环管理；5、大数据支撑管理子系统：包含市级数据湖和市级数据库，汇聚“四大基础库”、“市级统建系统”、“各市级委办系统”、“各行政区系统”的经过初始治理的原始数据；并存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源，为城市管理、公共服务等提供数据来源；平台接入52个委办的公共数据，每月16亿条以上，数据总容量在176.0TB，人口库预计46.75TB，法人库预计1.78TB，空间地理库预计7.99TB，电子证照库预计91.05TB。前期平台建设问题分析在数据共享交换平台项目试运行期间，随着数据存储量的增长、数据交换共享需求量的增加，逐渐发现平台存在一些问题。数据湖&数据库缺乏统一规划，数据标准需继续制定完善现有平台应用支撑能力较为薄弱，容易形成数据沼泽源端数据标准各异，加工存在技术壁垒数据共享和数据开放能力不全面，开放门户使用价值不高未规划主题/专题领域的数据综合应用，应用创新动能不足，需进行补充完善城市管理数据缺乏，精准服务无法开展数据安全管控仅考虑部分安全应用，数据全生命周期的安全管控存在短板，需整体提升安全防护能力整理制作郎丰利1519全生命周期安全管控能力有待提升前期平台未规划数据实时采集技术，无法支撑高效业务协同数据治理层面未考虑国家资源平台建设要求，需重新设计系统功能实现数据共享时效性要求无法满足业务需要本期平台建设目标分析源端数据标准各异，加工存在技术壁垒城市管理数据缺乏，精准服务无法开展全生命周期安全管控能力有待提升缺乏实时归集技术，数据共享协同低效聚：推进人口、法人、空间地理库数据源整合，促进电子证照库对接利用。逐步推进社会数据、互联网数据等采集汇聚管：构建一站式数据资产可视化管理，通过对数据资产的血缘谱系和信息资源目录的统一管理，实现数据的全过程管理，以及各环节安全监管通：实现基于应用场景的数据资源授权管理机制，推动公共数据按需充分共享。实现数据分级分类开放管理，扩展共享交换平台功能用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力建设目标本期平台建设内容分析结合项目的建设分项目标分析，认为本次大数据资源平台的建设内容应包括：数据管理子系统数据治理子系统平台集成门户聚管通用数据开放子系统市级数据库大数据综合应用安数据安全管理子系统本期平台建设内容分析数据开放子系统（含开放门户）大数据综合应用数据安全管理子系统通过宏观经济、市场运行、民生幸福、城市立方体等专题应用的建设，构建大数据综合应用示范辅助领导决策，构建应用管理中心支撑数据应用，以为各部门提供优质的数据服务。主要实现数据应用方管理、开放清单管理（含开放清单维护、开放目录关联、开放数据集维护）、数据开放管理等功能。主要实现首页、数据目录、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各项门户的建设。主要实现安全基础功能管理、数据安全审计、风险识别管理、数据安全管理、敏感数据管理、安全监管中心、数据安全采集等功能，以及对大数据资源平台各功能模块的安全嵌入。主要实现公共基础库建设（含人口库、法人库、空间地理库）、支持公共主题库建设（含经济活动库、公共事业库、社会关系库、人员密度库）、支持公共专题库建设（含经济运行监测、宏观经济预测等19个专题库）。市级数据库数据治理子系统平台集成门户数据管理子系统主要实现数据架构管理、数据关系管理、数据分级分类管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱、数据分层管理、数据运维管理、数据资产管理功能。通过国家资源管理子系统实现资源申请、撤销、审核、查询、消息、配置、应用及事项、使用单位对接、目录对接、业务流程对接、通知、监控模块对接等功能。主要实现多租户功能、运营中心、开发中心、消息推送、数据推送、个人信息管理、系统管理功能。背景与需求分析总体架构设计平台功能设计平台数据综合应用2134项目实施方案5总体架构·大数据资源平台功能架构规划市领导各委办局分析人员区政府外部机构公民开发者运维管理者数据中心层对外开放区对外数据开放脱敏区数据沙箱数据沙箱数据沙箱私有数据处理分布式数据存储消息队列RDB存储数据安全身份访问控制流量数据采集日志采集及存储告警监控管理及处理安全审计数据脱敏服务安全风险识别统一运维数据运维平台运维门户数据开放门户平台集成门户存储计算区批数据计算流数据计算数据采集政务数据（国家、市级、区）公共事业数据行业数据（金融、电信）物联网数据（气象、摄像头…）离线采集实时采集流媒体采集数据导入上报准实时采集图数据库应用层宏观经济专题市场运行专题城市综合体专题民生幸福专题大数据综合应用采集数据源分布式文件存储服务开放层数据共享服务服务列表下载数据分析和可视化服务数据可视化工具数据探索工具服务授权接口库表数据开放管理服务数据地图数据接口数据图谱规则定义事件采集事件分发事件服务中心事件处理非结构化数据区图片数据离线数据区数据湖标准层（主题模型）共享层（标签、指标）实时数据区应用租户应用租户应用租户实时模型实时指标实时事件结构化数据区文本数据数据处理层数据资产管理数据开发调度管理数据资产资产总览资产目录资产地图资产报告共享及运营门户建设国家资源平台级联数据架构管理数据管理管理数据异常管理数据流程管理数据分层管理数据运维管理待办任务消息中心管理控制台任务监控通知公告资源申请模块资源审核模块消息管理模块配置管理模块通知管理模块监控对接模块数字水印/签名管理密钥管理数据管理子系统数据治理子系统大数据综合应用数据开放门户平台集成门户数据开放子系统数据开放子系统市级数据库数据安全管理子系统124674435数据管理子系统1总体架构·大数据资源平台功能架构设计市领导各委办局分析人员区政府外部机构公民开发者运维管理者数据中心层对外开放区对外数据开放脱敏区数据沙箱数据沙箱数据沙箱私有数据处理分布式数据存储消息队列RDB存储采集数据安全身份访问控制流量数据采集数据脱敏数据加密/密钥管理数字水印/签名管理日志采集及存储安全审计（安全风险接入识别）统一运维数据运维平台运维门户数据开放门户平台集成门户存储计算区批数据计算流数据计算数据采集政务数据（国家、市级、区）公共事业数据行业数据（金融、电信）物联网数据（气象、摄像头…）离线采集实时采集流媒体采集数据导入上报准实时采集图数据库应用层宏观经济专题市场运行专题城市综合体专题民生幸福专题大数据综合应用数据源分布式文件存储服务开放层数据共享服务服务列表数据分析及可视化数据可视化工具数据探索工具服务授权统计分析服务监控数据开放管理数据地图数据接口数据图谱规则定义事件采集事件分发事件服务中心事件处理非结构化数据区图片数据离线数据区数据湖标准层（主题模型）共享层（标签、指标）实时数据区应用租户应用租户应用租户实时模型实时指标实时事件结构化数据区文本数据数据处理层数据资产管理数据开发调度管理数据资产资产总览资产目录资产地图资产报告共享及运营门户建设国家资源平台级联数据架构管理数据关系管理数据异常管理数据流程管理数据分层管理数据运维管理待办任务消息中心管理控制台任务监控通知公告资源申请模块资源审核模块消息管理模块配置管理模块通知管理模块监控对接模块告警监控管理及处理总体架构——大数据资源平台部署架构本期项目设备部署如下图所示，将在移动云（怒江机房）新增申请150台虚拟机设备、80台实体服务器用于本期软件部署。总体架构·大数据资源平台数据架构大数据资源区：包括市级数据湖和市级数据库两大数据资源数据湖：主要存放市级政府部门业务数据库、未经加工的原始业务数据库，支持存储结构化、非结构化等多种类型的数据。市级数据库：主要用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源。对内共享交换区：主要用于存放全市各部门、各区政务数据资源汇集和共享交换过程中的数据，包括直接共享交换的数据和来自市级数据库加工后的数据。对外开放区：主要用于存放对外开放的数据，通过单独的对外开发区与大数据资源区隔离，可以提供更高级别的数据安全保护。大数据资源平台支撑数据共享交换（生产职能）、数据分析、数据开放三大核心数据服务，包括大数据资源区、对内共享交换区和对外开放区三大数据区。共享交换数据对内共享交换区大数据资源区离线数据区实时数据区结构化数据市级数据湖市级数据库非结构化数据安全沙箱数据对外开放区对外开放脱敏数据中心租户融合租户基础库主题库总体架构·大数据资源平台权限架构单位用户使用权权限管理员管理权管用权限审计员审计权审管用审管用审授权角色中心用户角色角色授权委办局下级单位三权分立：管用审角色分离分级授权：中心租户统一为牵头单位进行管理权限的分配，单位权限设计由用户支撑人机账户分离：人员账号及机器账号实现互斥分配分配角色权限绑定功能模块人员账号机器账号管理员审计员用户管用审背景与需求分析总体架构设计平台功能设计平台数据综合应用2134项目实施方案5整体对应关系平台集成门户共享及运营门户3大数据综合应用大数据综合应用7数据安全管理子系统身份访问控制流量数据采集数据脱敏数据加密/密钥管理数字水印/签名管理日志采集及存储安全审计（安全风险接入识别）告警监控管理及处理5数据开放子系统数据开放管理数据开放门户4数据沙箱市级数据库主题数据库运营支撑6基础数据库数据管理子系统流数据接入数据支撑平台数据资产管理数据开发调度管理数据分析及可视化批数据接入数据共享服务1数据治理子系统国家资源平台级联21、数据管理子系统·批数据接入批数据处理通过数据采集平台任务调度的方式，根据时间戳定时探查委办局前置库数据以及结构化文件的变动，通过数据采集平台的解析，抽取增量数据到数据湖。郎丰利整理制作。1、数据管理子系统·流数据接入流数据处理通过数据湖内独立部署kafka消息系统，采用委办局推送或自动拉取的方式，将流数据接入大数据支撑平台。1、数据管理子系统·数据支撑平台1、数据管理子系统·数据支撑平台批数据处理：

各类批数据通过数据采集功能进入数据支撑平台，经过存储、清洗、汇总和关联汇总等，产生应用数据，并实现数据共享或开放。流数据处理：流数据通过数据采集功能进入数据支撑平台后，根据不同需求，可实现实时数据计算后的开放，也可实现通过实时数据分析后汇总产生应用数据，进而实现数据共享或开放。1、数据管理子系统·数据资产管理逻辑资源层（计算、存储、网络资源）政务云管理存储管理网络管理资源调度系统管理应用层资源管理模型管理元数据存储库业务库主题数据库元数据数据资源层基础设施层用户管理目录管理标准管理专题数据库基础数据库模型维护关系关联代码关联对标分析目录维护资源编目目录分类目录标签标准维护标准导入标准浏览落地检核数据源管理资源注册前置节点库表资源资源发布资源审核文件资源接口资源…版本管理模型物化目录浏览目录级联代码映射版本管理指标…部门数据库部门数据库人口库法人库…互联网+监管健康卫生…城市运行经济运行…1、根据提供方供数责任，对接入数据资源进行编目，维护其业务属性和管理属性，使其初步具备共享条件。2、参照数据标准设计数据模型结构、业务代码，通过建立变更管理和版本控制，实现数据模型管控。3、通过基础元数据定义数据资产规格（如：库表、文件、文件夹、接口等），并借助统一平台实现资源接入。1、数据管理子系统·数据资产管理系统集成功能：与共享及运营门户对接：实现统一授权、统一登录以及任务工单同步与数据开放门户对接：实现开放清单的编制发布与大数据支撑平台对接：实现流数据接入以及支撑数据资产的管理与数据开发调度管理对接：实现资源目录的双向同步维护更新与批数据接入对接：实现数据的归集与共享下发共享门户、运营门户数据资产管理模型管理目录管理标准管理资源管理数据开放门户数据开发调度平台数据支撑平台批数据接入…1、数据管理子系统·数据开发调度管理数据开发调度管理能够支撑多种混搭数据库环境的开发调度功能，实现数据从“采集→加工→对外应用服务”的全生命周期管理。基于元数据以及日志数据提供端到端的全过程数据开发质量管控能力。支撑数据架构管理、数据关系管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱、数据分层管理、数据运维管理、数据资产管理功能。1、数据管理子系统·数据开发调度管理1、数据管理子系统·数据开发调度管理

边界集成说明：与数据采集平台集成：数据采集平台的采集任务完成后，通知开发调度管理平台的库内处理程序进行调度任务的衔接与数据支撑平台集成：数据支撑平台提供JDBC接口，供开发调度管理平台调用，实现数据库操作的调度开发调度管理平台对数据支撑平台发布流数据处理任务与数据资产管理平台集成：数据资产管理平台提供元数据同步接口，把模型元数据同步给开发调度管理平台做库内处理开发数据采集平台调度对接开发调度管理平台元数据同步数据资产管理平台数据支撑平台JDBC接口流数据处理1、数据管理子系统·数据分析及可视化用户对拥有权限的数据资源进行数据探索及数据可视化分析。数据可视化工具：专题数据，主题数据加工完成后，用户可利用可视化工具开发可视化报表，经过测试发布上线后，对外提供可视化服务；数据探索工具：用户通过数据探索工具对拥有权限的数据进行在线自助数据查询，工具记录访问日志。1、数据管理子系统·数据共享服务数据共享交换服务基于大数据区共享层的数据目录，对各委办局及其应用系统间进行数据共享、交换。数据运营管理服务档案|授权管理|运行监控|服务计量|平台管理数据源数据安全安全策略|数据出口安全|请求控制|黑白名单管理|安全审计数据目录（开放子集）资源定义资源展现…资源管理外部数据服务鉴权服务调用数据传输协议转换数据目录（全量）httphttpsftp推送用户外部用户应用外部应用服务管理数据服务目录共享服务开发共享服务日志服务生命周期运行服务2、数据治理子系统·国家资源平台级联国家数据资源共享交换平台体系由国家共享平台、省级共享平台、地市共享平台等多级平台组成。各级共享平台横向连通所辖区域政务部门的政务信息资源，纵向多级平台对接，形成横向联动、纵向贯通的数据共享交换体系。其中国家资源管理子系统是国家与上海市两级数据共享交换平台的重要组成部分，通过国家资源管理子系统的上线运行，可以更加高效的实现国家与上海市的资源交换，更加快速满足政务部门业务办理的需要。2、数据治理子系统·国家资源平台级联国家资源平台数据治理子系统（扩展功能）资源申请模块资源撤销模块资源审核模块查询模块消息管理模块配置管理模块应用及事项管理模块使用单位对接模块目标对接模块资源对接模块业务流程对接模块通知管理对接监控模块资源申请功能资源申请管理资源撤销功能资源撤销管理资源审核功能资源申请的审核管理查询已上线资源已发布的资源管理功能申请审核消息代办消息预警消息配置库表文件资源申请审核服务接口申请审核服务事项管理政务事项管理单位信息注册与市数据交换共享目录接口密钥更新授权密钥获取注册撤销变更发布通知下发管理市数据共享交换平台对接管理订阅变更撤销监控目录及资源对接3、平台集成门户·共享及运营门户共享及运营门户门户集成数据治理子系统、数据管理子系统、事件中心、数据开发子系统等业务系统。提供统一的待办工单流转和个人消息提醒功能，通过门户入口实现对业务的协同管理。门户提供统一的权限管理并适配各管理子系统。提供角色互斥配置，实现权限的管、用、审分离。各用户单位可自主管理用户和授权。门户实现CA认证、统一身份认证和单点登录。门户集成的各个系统界面风格上实现统一，包括列表样式、页面布局页面颜色搭配、字体大小、按钮风格等。3、平台集成门户·共享及运营门户平台集成门户数据资产管理数据治理管理数据共享管理事件中心管理可视化分析系统管理色彩字体控件布局统一登录认证统一权限配置统一鉴权中心统一授权管理待办任务通知公告消息推送数据推送统一风格统一功能统一认证统一推送4、数据开放子系统·数据开放管理数据开放门户与数据开放管理关系示意图数据开放管理架构4、数据开放子系统·数据开放门户开放门户功能架构4、数据开放子系统·数据沙箱数据开放主体可以把无条件开放数据或有条件开放的数据经脱敏脱密处理后存放于安全沙箱中；数据利用主体基于允许开放的数据，在沙箱安全隔离的计算环境中执行计算任务，生成计算结果；用户全生命周期使用日志可供监管方审查。对于已经通过数据开放主体审核的结果，数据利用主体可以按照约定的方式进行使用。5、数据安全管理子系统·全生命周期安全管理设计安全服务体系平台基础设备信息源身份认证信息数据授权信息安全服务信息数据流量信息大数据平台数据流数据流安全运营中心安全服务信息导入安全运营中心服务流程平台事前：身份访问控制数据授权管理事中：流量数据采集数据脱敏数据加密/密钥管理数字水印/签名管理事后：日志采集及存储安全审计（安全风险接入识别）告警监控管理及处理整体：数据安全合规审查5、数据安全管理子系统·数据抽取流程安全设计平台端，服务商执行信息维护的权限，通过“鉴权中心”，“身份认证管理”和“数据授权管理”进行策略设置及下发，确保访问控制安全性和有效性；在采集数据入库存储时，进行数据加密处理，保障数据存储安全；通过“数据流量采集”技术产品，采集主要数据节点的流量信息，解析流量中的有效信息，分析安全威胁，恶意活动等行为，为安全运营监控中心提供数据来源在数据抽取的业务流程中5、数据安全管理子系统·共享交换流程安全设计平台端，通过“鉴权中心”，“身份认证管理”和“数据授权管理”进行策略设置及下发，控制委办局申请共享和交换数据的权限，确保访问控制安全性和有效性；委办局端，根据身份认证管理和数据授权管理制定的策略，申请数据共享交换需求；在采集数据入库存储时，进行数据加密处理，保障数据存储安全；封装数据，发布至共享交换平台时，进行数字签名/水印和脱敏，确保数据共享安全在数据共享交换的业务流程中5、数据安全管理子系统·主题库建设流程安全设计委办局端，根据身份认证管理和数据授权管理制定的策略，申请主题库建设申请；平台端，通过“鉴权中心”，“身份认证管理”和“数据授权管理”进行策略设置及下发，控制委办局申请主题库建设的权限，确保访问控制安全性和有效性；在主题库建设的业务流程中5、数据安全管理子系统·身份认证控制（事前）身份管理服务统一认证服务集中授权服务集中鉴权服务审计服务场景：注册、登录场景：安全追溯场景：业务使用身份认证鉴权中心用户管理认证管理认证方式认证策略授权管理集中授权鉴权管理审计管理用户审计认证审计鉴权审计授权审计日志审计……分级管理金库管理单点登录信任传递身份管理组织机构大数据中心管用审委办局管用审区各单位管用审共享&运营门户数据治理/共享/开发/…安全管理子系统…大数据中心、委办局、区等各单位使用大数据资源平台相关子系统时，根据总体数据权限管理方针，实现管、用、审三类角色权限分离，同时在遵循管、用、审分离原则情况下，各单位管理员可自行定义角色，并授予本单位其他用户。身份认证鉴权中心，提供用户管理、认证管理、授权管理及审计管理功能，实现统一身份管理。5、数据安全管理子系统·流量数据采集（事中）大数据安全分析系统通过采集全网流量及日志数据，结合机器学习、数据建模、行为识别、关联分析、人工智能等方法，对海量异构的安全数据进行分析，以资产、威胁、脆弱性等维度进行安全态势分析，并生成全方位的安全全景视图，实现数据的长时间窗口存储、全文检索分析、异常行为检测和安全合规要求，支撑安全决策和应急响应，帮助用户建立安全预警机制，增强整体安全防护能力。核心功能:流量探测流量分析流量解析汇总及外发数据流量过滤预测告警

5、数据安全管理子系统·数据脱敏（事中）数据脱敏系统提供静态脱敏、动态脱敏业务能力，可以对大数据平台各种存储环境中的数据进行静态脱敏，将数据脱敏到结构化、非结构化文件或数据库，对数据进行基于场景的动态脱敏，保护敏感信息确保数据在使用过程中的安全性。

5、数据安全管理子系统·数据加密/密钥管理（事中）由密钥管理系统（简称SecKMS）和国密算法SDK（简称：SecAPP）两部分组成，两部分既相互独立又相互依存，前者为后者提供密钥来源，后者为前者密码运算能力。SecAPP提供应用层加密功能，业务系统通过调用SecAPP接口对存入的敏感数据进行加密保护，确保数据的安全存储。SecAPP支持客户端的本地加密（进程中）和密钥服务器的集中加密。对本地加密，通过密钥缓存模块可提供安全的内存密钥缓存和持久密钥缓存管理。通过完善的密钥到期时间和密钥保护策略机制，确保密钥的安全性和易用性，有效保障业务系统敏感数据安全。5、数据安全管理子系统·数字水印/签名管理（事中）数字签名/水印通过在大数据平台中使用数字水印技术，在一定程度上成功的达到数据文件来源可跟踪，确认内容创建者、使用者、传送隐秘信息或者判断大数据平台门户页面是否被篡改等目的。在网页页面上，打上用户标识、访问时间、应用功能号、访问IP、访问机器的MAC地址。网页数字水印在导出的excel、txt文件上，打上用户标识、访问时间、应用功能号、访问IP、访问机器的MAC地址。文件数字水印在导出的word、pdf文件上，打上用户标识、访问时间、应用功能号、访问IP、访问机器的MAC地址。其他数字水印5、数据安全管理子系统·日志采集（事后）日志采集采集日志加载清洗过滤标准化关联补齐数据标签化日志存储统一存储

5、数据安全管理子系统·安全审计（事后）数据安全审计数据安全审计：实现对数据高危操作、敏感操作等审计。数据库审计应用授权审计数据访问权限审计综合日志审计：实现对数据来源、系统日志进行审计，并对审计结果加以分析。安全风险识别：基于日志数据+流量数据的聚合、关联分析，识别安全风险。5、数据安全管理子系统·告警管理（事后）告警管理告警触发：通过对日志的审计分析获取数据安全异常告警信息告警触达：根据告警规则配置的触发人员+告警内容下发至运营中心告警管理模块，由告警管理模块统一下发至责任人、对应工单，形成闭环处理机制5、数据安全管理子系统·安全合规性审查（整体）安全测评

合规代码审计安全基线编制和漏扫系统漏扫和渗透测试风险分析报告等级保护三级数据安全能力成熟度三级安全保障能力EAL三级合规性审查背景与需求分析总体架构设计平台功能设计平台数据综合应用2134项目实施方案5构建市级数据库建立基础库和主题库运营支撑体系主题库/专题库责任委办局负责：主题库需求、建设方案（业务方案）、开发和主题应用。大数据中心主要负责：制定标准（技术方案）、提供平台、数据和工具，并负责建成后的服务开放和运行维护。委办局市大数据中心共享数据委办局提出主题库建设申请开始编制建设方案提出需求清单明确建库需求核实建设申请确认建设方案三清单管理确认责任清单和负面清单资源目录编制分配资源并建库共享数据推送提供建模工具和建库资源建设主题库设置主题库管理规则提供数据服务开展主题应用提供主题库监测等管理服务结束市级数据湖市级数据库基础库主题库专题库指标库ODS数据仓库数据集市委办贴源数据人口库法人库经济活动公共事业社会关系人员密度数据建模数据抽取入数据库市级数据库·公共基础库市级数据库·基础库运营支撑人口概况、人口查询、人口统计、人口画像、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析……业务信息数据公安口人口出生、死亡及户籍登记基本信息地理实体数据影像数据高程数据电子地图数据地名地址数据三维数据人口库建模元数据管理法人库建模元数据管理空间地理库建模元数据管理数据抽取/数据交换基础数据库基础库管理应用人口应用法人概况、法人查询、法人统计、法人画像、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析……法人应用地图服务、影像服务、地名地址服务、三维服务与坐标转换等功能服务……空间地理应用人口数据法人数据空间地理数据民政口婚姻关系双方人口信息人社口社会五险参保等人口信息卫计口孕产妇及家属信息工商口税务口质监口民政口市级数据库·主题库运营支撑以民生幸福专题为应用场景，举例主题数据库的运营支撑：大数据资源平台数据采集接入数据抽取运维数据标准服务作业调度运维数据质量检查及异常处置经济活动主题库公共事业主题库社会关系主题库人员密度主题库算力资源人口迁徙老龄化及养老流动人口公共安全食品安全政务服务委办局数据模型专题应用更新迭代人口数据政务办事数据交通安全数据食品卫生数据社会保障数据运营支撑数据运营服务大数据综合应用·示例通话摄像头监控传感器110电话接受侧翻事件传感器采集液化气有泄露情况扫描事件管理调用事故安全事件场景消息分发处理中心派发事件至各部委平台事件处理流（可自定义顺序）服务能力事件触点事件中心卫生局平台1、通知环境检测

2、提供相应信息卫生局警务平台1、通知警队，派遣警察

2、提供地点，当时情况等信息警务处理刑警队火警平台1、通知消防队，派遣消防车

2、提供地点，当时情况等信息警务处理消防队医疗平台1、通知救护车

2、提供相应信息救护处理医疗队善后告知亲人结案1234事件数据采集（kafka，流处理）事件触点规则匹配委办平台对接油罐车发生侧翻，造成人员伤亡以及液化气泄露事件背景与需求分析总体架构设计平台功能设计平台数据综合应用2134项目实施方案5项目实施组织架构大数据资源平台项目PMO管理小组项目经理（1名）系统架构师（1名）项目经理助理（3名）需求分析师（2名）实施工程师（4名+）功能建设团队安全建设团队数据运营团队商务团队质量保证（2名）安全项目经理（1名）安全架构师（1名）配置管理（1名）技术支持（1名）……安全专员（1名）集成商项目组厂商A厂商E厂商B厂商F厂商C厂商H厂商D……厂商1厂商2厂商3……咨询团队大数据中心领导测评团队监理团队谢谢聆听数据治理大数据平台设计••••••

议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计1

数据治理背景大数据时代凸现数据重要性数据治理是大数据的基础2信息孤岛现象严重数据质量问题严重

345数据应用未得到有效管理6数据安全问题日益严峻数据治理意识到了问题的严重1数据治理现状2

“维持”代替“管理”3

历史“包袱”沉重4

相关方利益交织，协调困难5

方案规划容易，落地困难6

过度依赖技术工具7

对于数据没有明确区分••••••

议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计组织Organization流程、活动与机制Process&Activities&Mechanism计划、制度与标准规范Plan&Rule&Standards技术平台与工具Platform&Tools数据治理要素数据治理策略获得支持引入外援找到“痛点”确定“起点”责任到人持之以恒绩效评估实事求是确定方法做好绩效标准先行使用工具奖惩机制经验总结

数据

治理实施建议

*数据质量提升是目标*主数据管理是关键*元数据管理是基础••••••

议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计什么是元数据•

元数据的定义–

技术元数据–

业务元数据–

操作元数据为什么要进行元数据管理Why?123456数据的参考框架解决数据模糊性可视化数据流动影响和血缘分析推进标准化建设规范化数据审计

1.2.3.4.5.6.经验分享

标准先行

全局治理

尽快见效

高层支持

业务参与

奖惩机制数据定义标准化数量月销售量月销售量＋＋标准单词对象词素词素词素词素分析原属性名(标准化对象)

标准域数量类型：

数字型长度：

19，0

分类词＋

标准用语月度销售数量类型：

数字型长度：

19，0

修饰词标准单词

月度标准单词

销售标准单词

数量标准单词

月度

销售

数量

分类词(域)标准体系数据定义标准体系

标准单词标准域标准用语数据模型标准化结构

实体、属性、关系、主键，范式化等

命名规则、用语词典、标准域等管理

数据管理政策、方针等

配置管理、版本管理等质量

准确性

、完整性、实时性、一致性应用

查询结果的准确性、使用便利性、查询结果的迅速性模型设计

标准实施路线模型优化模型诊断设计规范设计指南按照模型设计规范和指南统一设计企业数据模型元数据管理系统可使用可管理可控制模型要素关系定义规则应用系统注册元数据库脚本同步指导数据库设计审核、评估、发布提交反馈元数据服务标准规范标准化体系（数据定义&模型设计）

制定

完善引用•••••••

元数据管理工具的选择元模型易于扩展界面友好安全和系统管理配置管理发布、查询、报表功能平台开放提前试用••••••

议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计什么是主数据•

企业主数据分散存储在企业各系统内，对企业至关重要的核心业务实体的数据，比如客户、合作伙