政务大数据中心建设方案

。OOO()(5县域大数据中心建设方案501项目总体解决方案02大数据平台建设方案03数据资源中心建设方案总体解决方案中心总体定位政务处理经济发展城市民生保智慧政务构建PB级大数据采集、存储、计算、挖掘、分析与应用能力县级政务大数据资源中心县各级政务数据监控视频数据物联设备数据企事业单位数据互联网数据…45县级政务大数据资源中心县级政务大数据资源中心总体建设逐步推进县级各部门政务数据、视频数据、物联数据以及基层业务数据的数据汇聚。整合，构建全县统一的数据资产目录管理，形成对数据全生命周期管理及各环节安全监管。·通：实现基于应用场景的数据资源授权管理机制，推动全县公共数据按需充分共享。实现数据分级分类开放管理，扩展共享交换平台功能。·用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新；推进全县跨部门的数据智能应用。·安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力。6据市场监管全民健康资金监管数据应用与推送工业农业发展需求分析o数据整合模型设计功能设计应用发布数据应用数据管理/开放门户云计算20大数据县级政务大数据资源中心土共享开放数据安全Al图谱技术7总体应用流程数据源数据存储处理与数据模型开发业务场景APP各类智能设备路母母☑批处理模型计算预测分析图可视化数据采集数据治理数据模型开发数据应用8持续高效运转的数据治理管理体系为目标建设一套大数据管理与应用平台建设县数据湖开发建设R口与FR基础库工业、全民健康、惠民资金监管、农业五大示范应用县级政务大数据资源中心建设项目实施利器数据治理工事平台建设方案数据管理开放门户开放共享理管理数据资源管理准管理发管理数据数据存储模型数据数据采集配数据交数据共享统一调度管理数据质标准层服务接口数据资产管理计算数据交换统一运维源监控警管理数据安全统一用统一日数据共享开放门户数据管理门户65应用建模开放控制&下发调度5数据资产&服务调度数据采集数据加工质量稽核数据共享资产管理数据治理管理平台数据采集任务调度4数据处理提取与存储4数据采集任务调度→→监控维护统一鞯数据安全数据共享交换平台-采集2数据源3大数据资源中心数据基础支撑平台Sqoop(数据库采集)ZookeeperSqoop(数据库采集)Zookeeper(文件日志采集)CloudClouderaManager数据处理数据存储政务数据物联网数据政务数据物联网数据数据支撑子平台可承载的县信息资源平台数据湖/库归集的数据范围、种类和存储方式如下：数数据范围存存储方式公共事业数据公共事业数据委办局提供的公安、税务等各类政务数据：道社区上报的各类政务数据。水、电力、煤气、供热等公共事业数据，此类数据是和百姓生活息息相关的重要民生资源。结构化数据结构化数据行业数据行业数据营商个人、企业的位置数据、互联网内容数据等关键数据业的优质数据资源。行区内部署的交通、公安监等各类控摄像头所集部署在闵行区内各类感知设备提供的数据。半结构化、非结构化数据半结构化、非结构化数据电子政务外网空电子政务外网空有建全县统一的数据共享交换子平台，形成公共数据采集、交换、共享的核心枢纽，并可打通全县各单位间数据资源共享通道，实现双向信息传递(源数据采集&数据应用共享)互通。公共主照库主题拓展库委办局A业务区委办局前置库数据交换际披库业穷库业穷库业穷库数据库综合业务协同库公共基库数据集成总线、数据治理数据湖委办局C私有空间委办局C私有空间数据交换总线委办局B业务区委办局前置库数共字交膜系统下单位业务峰私委办局C业务区要办局前置库数国共章交应系的业务障业究管理甲位业务座数据交换是整个平台的基础，提供系统业务接口接入、交换前置接入、数据采集、交换传输、数据集成、交换管理等功能服务；处理，并将经过数据治理后的数据中心据进行服务封装和服务发布，提供给各委办或决策分析等系统使用。数据共享交互平台总体架构主要分为基础设施层、数据资源层、支撑层，服务层以及贯穿多层的标准规范体系和安全保障体系。跨部门业务应用主题数据应用数据创新应用层层层层服务器、存储、安全、虚拟化等基础支撑设施接口√基础支撑层由平台基础支撑软件构成，是平台稳接口定运行提供服务的基础支撑，通过底层中间件为基础，构建面向上层应操作系统(window,linux等)数据库(开源、商用等)用的服务系统元数据库目录库汇集库元数据库目录库汇集库基础库共享库数据归集资产数据服务数据治理子平台·总体架构数据归集资产数据服务数据治理平台覆盖了从标准、设计、采集、开发到使用，再到交付的全数据治理流程，为组织提供了一站式数据治理运营平台，可满足数据治理平台数据治理管理规范标准(元数据、标准、质量、资产、目录)数据建模数据采集清洗加工质量稽核数据共享数据生命周期管理数据安全管控数据开发数据质量数据开发数据质量数据治理平台能够支持多种数据库环境的数据开发加工到数据探索服务的全生命周期管理。并提供数据开发全过程的治理管控制定配套的数据规范管理流程。包括数据标准的定义、数据标准执行、数据质量检核规则管理、数据质量问题治理、数据模型ETL开发管理规范等工作数据标准管理字典标准数据项标准数据探索校验规则管理元数据管理数据资产管理元数据采集资产注册资产分析元数据管理资产注册资产分析元数据管理数据血缘数据地图脚本开任务监控运维开发测任务监控运维开发测试上线部署作业开发全过程流程驱动物理表检查配置质量检查质量检查报告全过程开发质量控制数据架构管理组织层级管理数据团队管理数据异常管理异常对接管理异常问题列表人工处理管理系统处理管理系统管理用户管理权限管理数据探索数据探索模型开发程序开发程序测试审核上线select*fromdafault.DDMLIGUUEwthurep_day=22-模型定义创建模型基础信息、定义模型的元数据2-模型定义创建模型基础信息、定义模型的元数据select*fromhuuser_call_countswherecoshowtablaslike"*tempdacp350hivedataimport2solact*fromtepdhq350hive-dhataimport220181select*fromtemp_dacp350hive_data_import2_20181select*fromtemp_dacp350_hive_data_import2_20181(select*fromtenp_dhcp3hivedataimpart220181:格式化添~息4-编辑模型应用程序5-程序在线测试提供WEB界面可视化测试状态等信息，方便开发人员调试，性能分析6-调度配置查找替换数据字典执行进择执行计划manmeammmmm1-数据探索通过探索了解相关数据情况3-构建表结构添加模型字段信息提供手工/批量方式①可视化开发：固化程序命令，拖拽式使用，自由配置逻辑的脚本文文201741511201741511ttnDWE:文齐施201747311546417961had2F0-打内：pn22222222073157i1t*0.u在线程序测试?7-提交审核并上线提交审核并上线程序判表输入关镇字进行过述O处理程序O法导出⊙更多◎向题8解2.创建(情报库)人口体县2.表对象操作3.数据操作.人员为空6.数据交换7.功能操作8.循环25.鳖务综合库人远信息读取44.情报库人员信息读取数据工厂数据工厂■支持可视化的程序编排，数据处理流程开发，使程序开发更简便，降低数据开发周■平台具备执行标准的开源Hadoop接口调用能力，以及基于个性化Hadoop接■根据不同的数据生产环境，具备不同的数据处理能力，可根据自身需求，基于平台以一个流水线生产为例：传统做法是单条生产线依赖产品的生产工序进行协同生产。在统一开发调度平台可以通过控制中心进行作业命令下发，状态收集进行控制，达到多个工厂，多条生产线的协同调度，实现数据从“采集→加工→对外应用服务”的全生命周期管理。统一调度管理统一调度管理任务调度控制作业/任务调度作业/任务管理流程设计与管理调度策略管控作业/任务执行标准化控件4只四HadoopMR管理0统一调度运行统一数据监控2全过程数据质量控制ado内嵌的数据质量规则实时告警规则出错可中断数据流RDBMS库内加工HIVE处理关系数据库管理专统E只只MR回?一一数据治理子平台·数据质量管理数据质量管理主要包含对数据完整性、准确性、鲜活性、权威性的分析和管理，并对数据进行跟踪、处理和解决，实现对数据质量的全程管理，提高数据的质量。质量模型字段名deviceid(pk)device_manutfacturerjd(k)diviestatusid(k)dwice_yvpejd(idivice_orgaddressdevice_installation_addressdeviceinstallation_datedeviceremark字段备注设备id(pk)设备名生产商编号状态编号类型编号该设备的组织地点该设备的安装地点该设备的安装时间该设备的备注信息学段型Varchar完整性数据质量基础单元鲜活性权威性质量模型一套规则质检方案一质检方案二,质量规则缺失记重复数据检查检查缺失记重复数据检查检查引用完整性检查√平台能够提供质量规则配置、质量监控、问题处理等功能，及时发现并分析数据质量问题，不断改善数据的使用质量，从而提升数据的可用性，挖掘数据更大的价值自动化收集数据治理子平台·数据资产管理自动化收集库资产数据可知数据可控数据流可控数据质量可控数据可取方便各层级人员获取联数联数注册，形成可查询可阅册册禁只c"三p复员,统一数据管理与开放门户·构建统一数据管理与应用入口管用户管理权限管理授权管理用户1数据源管理归集任务管理用需求管理已获取资源用户3调度任务任务管理任务监控采集配置事件管理统一管理与开放门户数据开放管理数据应用方管理开放清单管理数据开放管理审登录行为审计访问行为审计身份注册身份验证收藏√门户提供统一的待办工单流转和个人消息提醒功能，通过门户入口实现对业务的协同管理；√门户提供统一的权限管理并适配各管理子系统，提供角色互斥配置，实现权限的管、用、审分离；统一运维平台负责对县级大数据资源平台内的所有基础资源，系统模块，系统运行行情况提供整体的监控告警，运维视图、巡检等工具承载，使得可以快速发现县级大数据资源平台上的各种异常，及时发现并告知维护人员，快速恢复，提升平台内外客户感知。服务层集中平台运维基础资源监测监控告警管理基础资源监测监控告警管理监控告警配置通用通知推送分布式服务组件分布式缓存组件应用系统监控数据质量监控应用系统监控数据质量监控平台故障管理搜索中心消息管理组件搜索引擎组件流处理组件分布式文件系统数据层数据库采集层前端采集前端采集前端采集前端采集前端采集数据流平台数据安全管理方案数据流安全服务体系平台平台安全运营安全规范审计信息源信息资源平台基础设备整体：数据安全合规审查数据数据设方案大数据资源中心建设·总体规划方案各类数据使用单位与应用数据安全保障集中监控维护基础库共享库(开放共享区)大数据示范应用区数据库(DWD层)数据湖(ODS贴源层)政务大数据资源中心各类数据源主题/专题库数据治理处理管理数据共享区基础库离线数据区应用数据库示范应用区实时数据专题库主题库基础标签库数据库结构化数据非结构化数据结构化数据数据湖-贴源数据层政务资源社会资源智能物联设备互联网数据建立县数据湖，用以存储县级各种各样原始数据，并保证湖中的数据可供存取、处理、分析及传输。通过数据采集相关技术手段，面向多类数据源，汇集县委办、监控视频、企事业单位、互联网以及其他各类数据，并统一存储到县数据湖中。县各级委办数据监控视频数据互联网数据其他数据√SRC近源数据层定位在于将原始数据源全量映射保存，是外部各类数据进入数据湖的第一步缓冲节点。该层需要汇集县各业务条线数据，数据类型需要涵盖结构化数据、非结构化数据层递进的数据流转模式，数据湖构建过程■以数据湖为基础，为后续主题、专题建设提供基础数据支撑，同时为上层应用价值发掘提供全面的数据支撑。数据前置库数据归集分发清洗分发加工分发分发数据前置库数据归集分发清洗分发加工分发分发分发分发共享库数据前置库文件下发库表下发→数据调用政务业务数据视频数据数据企业数据联网数据ODS贴源层基础库大数据示范应用主题/专题库分发大数据资源中心-数据湖&数据库→→接口调用数据使用机构外部社会机构R口R口数据数据空间地理数据数据抽取1数据交换业务信息数据公A口R社口社会五险参保等R口信息工商口质监口民政口信息卫计口孕产妇及家属信息税务口民政口影像数据高程数据电子地图数据地名地址数据三维数据基础数据库基础库管理应用R口应用R口概况、R口查询、R口统板管理、字段映射、执行策图形化分析……FR画像、周期管理、模板管管理、标签映射和关系、图R□库功能扩展民政公安社保……数据功能整合开发提供服务R□库功能扩展民政公安社保……数据功能整合开发提供服务信息查询共享服务8公民性别出生日期出生地公民姓名身份号码姓名匹配身份号码死亡标识身份核查服务R劳动力计教育结构统计通过对R口库数据源的全面梳理，利用信息资源平台已归集的R口相关数据，构建全县统一的、以公民的综合R口信息资源库。基于综合R口库，实现全县R口信息的汇聚治理、共享交换和应用服务，为开展跨部门、跨业务、跨区域的R口应RR口全息视图匹配金融机构代码上年初结存资金工资收入家庭经营收入农信社贷款金额其他贷款金额人均年收入投资收益配偶证件类型抵押物种类具体位置数量、面积权属他项权利证号评估价值评估机构评估时间抵押率保险率姓名证件类型证件号码与户主关系性别婚姻状况政治面貌健康状况户籍地址起始日期房产建筑面积现估价数量现估价大型农机具数量现估价贷款号主业发生地点贷款种类行业贷款用途授信额度最高学府通讯地址通讯地址住宅电话手机号码电子邮箱配偶姓名数字巡检”标签跨部门业务应用标签数据治理√R口库管理应用提供对汇聚形成的R口数据的概况展示、R口个案查询及多条件查询、R口统计、R口画像等应用功能，并提供针对R口数据处理规则、数据模型、字段来源、生命周期配置等管理维护功能。FR库采用统一社会编码作为主键，FR覆盖政府机关、事业单位、企业、社会团体等类别。FR库建立画像数据标签，标签设计分为FR基础主题、财务主题、生命周期主题、信用主题、关系主题、关键人主题6大主题域，数据应用于社会经济统计、FR信用领域、国家经济结构、企业经营情况等方向的分析统计。六大主题域建设FR基础主题证件行业生命周期主题信用主题投诉记录民生保障生态环境市场监管民生保障生态环境市场监管利用大数据资源中心数据湖中多汇聚的数据以及基础库中的各类基础数据关联比对人社局大数据中心关联比对人社局规土委监察局网统管网通办城市规划经济发展公共安全交通运输委√纵向联动纵向联动促进数据联动协同促进数据联动协同市级单位区级单位社会企业住建委册人社1税务局↑公安田房产局房产交易所横向协同构建数据支持体系逐步实现立体化、多层次、全方位的数据服务体系人社数据税务数据……基于信息资源平台的全局宏观数据分析，形成城市级的宏观数据主体分析应用，有效支持领导决策、算力信息资源平台数据算力社保数据交通数据金融数据金融数据社会安防公共服务环保数据宏观数据分析应用城市R口分析规划公共安全分析预测生态环境分析研判政策研究以及资源投放信息资源平台基于感知层(摄像头，传感器等)的实时事件的感知、研判及传递，形成捕获—响应—处理的联动体系，支撑城市智慧运行N市公安物业单位+门A已大数据平台事件感知&实时处理+市急救中心+运营商公共一社会数据相互促进通过平台数据开放应用，形成“公共数据服务社会应用、社会数据反哺公共数据”的良性循环促进机制公共一社会数据相互促进社会数据金融机构信息资源平台市级数据库---→R口库---→---→空间地理库建设全县统一、集中的市场监管大数据应用服务，通过提供基础监管数据库、精准市场日常监管、市场监管信息共享等关键数据指标服务，助力更新市场监管逻辑、消除信息不对称、增强监管合力、解决监管力量落差问题、降低全县市场监管成本。驾驶触企业监测人员统计检闲构检测标准企业统计产品统计质量计检验机构统计人员统计企统计3c企业名便企业1企业总量5000100001500020000以证以可3000检测机构检测机构安检机构珠宝检测标准工业检测设备■特种设备行政许可环保检测线证检构羧服告家始机构400300已认证产品200n业h数配决策大数据示范应用·工业应用建设全县统一、集中的工业大数据应用与展示服务，对全县工业企业与市场相关的研发、生产、销售等数据进行采集、管理、分析，构建产品创新、产品精准营销、产品质量监控等关键指标数据应用服务，为全县工业的发展与工业企业的转型升级提供驱动力。.