政务大数据中心建设方案-县域大数据中心建设方案

县域大数据中心建设方案OOOOOOOOOOOOOOOOOOOO"nOOOOOOOOOOA

It-OOOOOOOOOO■—7388

1oooooeooo®IIOOOOOOOOOO-ontents01项目总体解决方案02大数据平台建设方案03数据资源中心建设方案总体解决方案.中心总体定位.总体解决方案■总体实施方案中心总体定位智慧政务数据检索数据计算决策依据洞察&建议▲监控视频数据企事业单位数据县各级政务数据物联设备数据互联网数据…4经济发展公共安全政务处理城市管理民生保障……fffff数据统计、业务分析、风险预警、智能服务、辅助决策&兑现数据价值、赋能政务处理、提升治理永戒唯动社会发展智慧政务总体建设目标•通：实现基于应用场景的数据资源授权管理机制，推动全县公共数据按需充分BT共享。实现数据分级分类开放管理，扩展共享交换平台功能。f—•用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新；推进全县跨部门的数据智能应用。V•安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数旧据共享、数据开放等全生命周期中的安全防护能力。•聚：推进与县级R口、FR、空间地理库的数据集成，促进电子证照库对接利用；BT逐步推进县级各部门政务数据、视频数据、物联数据以及基层业务数据的数据汇聚。•管：构建一站式数据资产管理平台，通过数据交换共享实现全县内数据汇聚、or整合，构建全县统一的数据资产目录管理，形成对数据全生命周期管理及各环节安全监管。体设标总建目县级政务大数据资源中心5总体解决方案市场监管全民健康t资金监管工业农业发展业务目标数据源关联计算模型囱表单样式计算任务调度云计算g大数据匯县级政务大数据资源中心熊图谱技术整合各类数据资源连接各类人员6TCloudDBRDBMSFilesAPP各类智能设备总体应用流程数据存储处理与数据模型开发数据源采集整合存储计算分析开发批处理图分析数据智能流处理FilebeatWorkflow机器学习Sqoop预测分析图可视化分布式数据库,口ETL内存存储交互式分析KafkaB模型计算HDFS鼠ElasticSearch曲NoSQL6bNewSQL区运维可视化S业务场景数据采集数据治理数据模型开发数据应用7总体实施方案平台工具支撑应用需求推动县级政务大数据资源中心建设项目实施工事利器数据治理开发运营以构建一个能持续高效运转的数据治理管理体系为目标数据管理平台建设开发建设R口与FR基础库建设一套大数据管理与应用平台建设市场监管、工业、全民健康、惠民资金监管、农业五大示范应用82平台建设方案.平台总体架构■平台各子平台建设方案平台总体架构统一消息首页资源目录资源服务开放清单数据开放服务列表服务申请服务审批服务授权服务接口服务监控实时数据非结构化数据计算区存储翼刷县级政务数据监控视频数据物联设备数据事业单位数据企业数据互联网数据…应用层（FR、RD）分布式存储消息队列存储RDMS实时计算数据管理开放门户_____离线计算文本数据时实模型数据治理管理数据资源中心图片数据开放共享元数据管理实时存储标准层数据湖数据标准管理数据开发管理数据资产管理数据质量管理统—调度管理数据数据采集配,[数据交1■数据共享11数据共享iI数据交换I1数据交换交換置与校验.1飯奇亶]服务管理■■服务接口.■异鬲蓝控■■安圣宿输统一运维数据安全监控资源管理统一用户管理基础资源监控日志申计管理统—授权管理统—认证管理平台运维管理统—身份管理监控告警管理统—日志管理应用服务监控日常巡检管理10平台架构关系数据使用单位数据采集任务调度大数据资源中心11数据共享开放门户数据管理门户数据治理管理平台数据基础支撑平台集中J监控一►维护信息—安全保障数据共享输出。开放控制&下发调度e数据资产&服务调度数据处理提取与存储o1数据共享交换平台-采集一护台统维平数据支撑子平台.总体架构ClouderaManager（安装部署工具）Zookeeper（分布式协调服务）Oozie（作业调度系统）数据MRSparkFlinkImpala处理（离线计算）（内存计算）（流式计算）（SQL引擎）Sqoop（数据库采集）Flume（文件日志采集）12数据支撑子平台.数据范围与存储数据支撑子平台可承载的县信息资源平台数据湖/库归集的数据范围、种类和存储方式如下:政务数据数范■县级政务数据：县级各委办局提供的公安、税务等各类政务数据；■街道政务数据：下属街道社区上报的各类政务数据。公共事业数据■水电煤：采集区级自来水、电力、煤气、供热等公共事业数据，此类数据是和百姓生活息息相关的重要民生资源。行业数据■金融行业：整合金融行业个人、企业征信数据;■电信行业：整合电信运营商个人、企业的位置数据、互联网内容数据等关键数据■其他行业：整合其他行业的优质数据资源。物联网数据■视频监控数据：采集闵行区内部署的交通、公安监等各类控摄像头所记录的监控视频数据；■其他感知设备数据：采集部署在闵行区内各类感知设备提供的数据。存储方式结构化数据半结构化、非结构化数据■SQL数据库：结构化数据的存储和计算以支持SQL的关系型数据为主,如MySqLKunDB等.NoSQL数据库：非结构化数据的存储和计算以NoSQ数据为主，其中电子证照等小文件数据存储在Hyperbase等KeyValue结构的数据库中，视频等大文件存储在HDFS上。13委办局C业务区委办局B业务区委办局A业务区委办局前竇座数据交换桥接1数据共享交换系统111111■1数据共享交换系统匹务硏硏斥届单位业务言县政务云信息资源中心数据共享交换子平台,总体架构建全县统一的数据共享交换子平台，形成公共数据采集、交换、共享的核心枢纽，并可打通全县各单位间数据资源共享通道，实现双向信息传递（源数据采集&数据应用共享）互通。/数据交换是整个平台的基础，提供系统业务接口接入、交换前置接入、数据采集、交换传输、数据集成、交换管理等功能服务；/数据交换通过前置交换系统与各交换部门进行互联；/通过数据传输系统各委办的数据资源汇集到数据中心；/对汇集到数据中心的数据进行统一加工、处理，并将经过数据治理后的数据中心中的数据交换到各类基础信息库中；/服务管理系统将各类基础信息库中的数据进行服务封装和服务发布，提供给各委办或决策分析等系统使用o电子政务外网14数据共享交换子平台,技术方案数据共享交互平台总体架构主要分为基础设施层、数据资源层、支撑层，服务层以及贯穿多层的标准规范体系和安全保障体系。（■■中心..満・伶・.ETUESB.运歟!遗Mt作系统（window,linux，）敢提库（开源,■用，）■理規落汇集，目M网络、KSH,存ft等硬件平台/慶拟資潭池,础支揮层龍础展标准■馬■■1睥器旧EAClfl元敢陽鼻3M汇集康•础障/基础设施层主要是指平台建设运行所需的网络、服务器、存储、安全、虚拟化等基础支撑设施/息资源层就是在资源中心所汇聚、沉淀形成的各类数据资源；/基础支撑层由平台基础支撑软件构成，是平台稳定运行提供服务的基础/交换支撑层是数据资源汇集、处理与服务的核心支撑，通过底层中间件为基础，构建面向上层应用的服务系统/标准规范与运维体系贯穿平台的各个层面，用于规范各部分的建设运行和管理，保障平台的顺利建设实施和正常稳定运行。15县各龄单位!IIII乡镇、街道:IIII上级龄单位:III事业单位::县政瓠据IIII:乡镇政瓠据III:企事业数据I■III:视频数据離网数据…;I企业…物联数据民间机构数据治理子平台.总体架构数据治理平台覆盖了从标准、设计、采集、开发到使用，再到交付的全数据治理流程，为组织提供了一站式数据治理运营平台，可满足数据共享交换、数据开发、数据运营多种应用场景，并通过构建数据工厂，实现数据治理的标准化、流程化与组件化。数据生产者«;数据消费者I持续反馈政务大数据资源中心数据服务数据归集数据安全管控16数据治理子平台•功能架构数据治理平台能够支持多种数据库环境的数据开发功能，实现从数据的采集、加工到数据探索服务的全生命周期管理。并提供数据开发全过程的治理管控能力。制定配套的数据规范管理流程。包括数据标准的定义、数据标准执行、数据质量检核规则管理、数据质量问题治理、数据模型管理办法、数据交换管理、ETL开发管理规范等工作流程。数据标准管理元数据管理字典标准数据项标准元数据采集元数据管理数据地图数据资产管理资产分类数据血缘资产注册资产分析数据开发数据探索脚本开发作业开发开发测试上线部署任务监控运维全过程流程驱动数据质校验规则管理质量检查质量检查报告物理表检查配置全过程开发质量控制数据架构管理组织层级管理数据团队管理数据异常管理异常对接管理异常问题列表人工处理管理系统处理管理系统管理用户管理权限管理17数据治理子平台•数据应用开发整体流程b

数据探索痙模型开发命程序开发EW程序测试爲审核上线select♦fr(Mdefault.D_ENL_IIGU_UEwherep_day=2select♦fromhu_user_cal1_countswherecounts=16;select♦fronhu_user_cal1_countswherecounts>16;showtableslike%W_dacp350_hi”_data_iBpon2*'select♦fromteip_dacp350_hive_data_iaport2_2018]select♦froMtenp_dacp350_hive_data_i«port2_2018\select*Irantenp_dacp350_hive_data_i«t>ort2_20181(select♦fro«Ump_dacp3£|oJiivedataiBport2_20181：

格式化2-模型定义创建模型基础信息、定义模型的元数据替涣!!执行软；执行计划I!1-数据探索Ij根据业务逻辑做需求分析,:通过探索了解相关数据情I:况3-构建表结构添加模型字段信息提供手工/批量方式4-编辑模型应用程序5-程序在线测试提供WEB界面可视化测试功能;查看执行时长、执行状态等信息，方便开发人员调试，性能分析6-调度配置①可视化开发：固化程序命令，拖拽式使用，自由配置逻辑②

脚本开发:支持sql、Pythonxjava、shell等类型的脚本5)1[mar|KF0-2017^-31154641649[pool-1*md-1|INFO•潴脚i|頻kl21(21OffiSQ出2O17-OT-31154641650网J林莉INFO•HSR8:HQlD:Mnqy.........20l?-0r31154641651fpod-l4hrwd-1]INFO-曜kl23(23HSM)]201W31154641755|mar|KFO-20帅如53756她，gOJoop冊舫址膈)矚抵繼Ml需―醐旳在线程序贩201M効154641&网•lillINFOjajf瞻20174)1-31154(41794[pool-1-«vud-1|INFO-2017W31154641794|pool-1<md-2|INFO-RKWilHM24(24HSM)]2017-07-31154641795[pod-l4hfNd-2|INFO-打啪&：pM222222220的75154641796|pool-1-*vMtf-1|INFO-2017-0T-31154641798网•1i2|INFO•弛岫頫112岫HSM)]1S4641799food-14rad-2IINFO-：orrt)333133m

二

nJ07-提交审核并上线开发人员建立上线任务,提交审核并上线18数据治理子平台.可视化、流程化数据开发■■处■”MR*It史■■■创建程序IM数据工厂■支持可视化的程序编排，数据处理流程开发，使程序开发更简便，降低数据开发周期、开发成本；■平台提供数据处理各项能力的开发功能，提供包括数据采集、处理、装载、分发、校验等功能开发■平台具备执行标准的开源Hadoop接口调用能力，以及基于个性化Hadoop接口封装能力；■根据不同的数据生产环境，具备不同的数据处理能力，可根据自身需求，基于平台扩展自主的数据处理功能■可视化程序开发可结合数据标准化体系，整体数据开发流程与标准化管控切实对接O19数据治理子平台.统一任务调度传统ETLHadoopMR管理RDBMS库内加工HIVE处理SparkWS统一调度运行统一数据监控—全过程数据质量控制数据生产统一调度动态数据生产线规则出错可中断数据流内嵌的数据质量规则实时告警以一个流水线生产为例：传统做法是单条生产线依赖产品的生产工序进行协同生产。在统一开发调度平台可以通过控制中心进行作业命令下发，状态收集进行控制，达到多个工厂，多条生产线的协同调度，实现数据从“采集一加工一对外应用服务”的全生命周期管理。统一调度管理作业/任务管理采集流程设计与管理调度策略管控任务调度控制标准化锵......作业/任务调度作业/任务执行转换加载调度监控======20数据治理子平台•数据质量管理数据质量管理主要包含对数据完整性、准确性、鲜活性、权威性的分析和管理，并对数据进行跟踪、处理和解决，实现对数据质量的全程管理，提高数据的质量。质量模型实体表字能報备注字段类型devicejd(pk)设备id(pk)bigintdevice_name设备名varchardevice_manufacturer_id(fk)生产商编号bigintdivice_status_id(fk)状态新bigintdivice_type_id(fk)类型编号bigintdivice_org_address该设备的组织地点varchardevicejnstallation_addressI该贿的安装地点Ivarchardevice_installation_date该贿的安装时间varchardeviceremark该设备的备注信息varchar完整性准确性数据质量基础单元鲜活性权威性根据业务需要选择实体表和规则，方案与方案之间相互独立，互不干扰。通过执行模型下的质检方案，可以得到用户关心的数据质量分析结果，如问题数据明细信息、数据质量分析结果等。质量规则及时性检查空值检查值域检查规范检查逻辑检查引用完整性检查重复数据检查缺失记录检查/平台能够提供质量规则配置、质量监控、问题处理等功能，及时发现并分析数据质量问题，不断改善数据的使用质量，从而提升数据的可用性,挖掘数据更大的价值21资产目录管理(^)资产注册资产上下线资产变更管理资产引用管理数据血缘资产地图资产生命周期管理管理目标并形成数据资产，让对数据的使用过程更为人性、便捷、智能，从而提升管理交易等数据嫁接的实现，从而促进数据资产的价值实现。数据可取方便各层级人员获取数据可知明确数据来源、含义、用法数据可控数据流可控数据质量可控通过对数据治理，让数据更加准确、一致、完整、安全,决策水平。利用数据资产管理支持对数据的分发、开发、报表服务设计文档分析1报告IF模型r4L<处理程序一自动化收集22数据治理子平台.可视化全景数据资产视图■元数据采集，进行资产注册，形成可查询可阅读的数据资产目录1300racle2017121013:58:191300raclc2017121013:56:00♦淳加收観上海证券交易螂表'-U负责人瞄管理员1300raclc■数据治理体系形成后,展示数据业务全景■数据开发管理后，展现全链路数据血缘关系23统一数据管理与开放门户,构建统一数据管理与应用入口统一数据管理与开放门户作为信息发布和数据服务的总管理入口，为县各级单位提供信息资源展示、在线信息服务、信息检索等服务;并推动公共数据未来和社会面的数据交互和开放使用，加强政企数据互动，开放创新应用，实现数据智能的社会化应用价值。CA认证身份权限认证开放清单管理单点登录管审用用户管理撬作行为市计疇觎注册豎聂行为审计角色管理访问行为章计权限管理授权言理统一管理与开放门户平台用户数据开放管理服务接口瑚（公共数据）服务接口注册（腆対寺方）公共数据资源ACL用户1用户2用户3用户.../门户提供统一的待办工单流转和个人消息提醒功能，通过门户入口实现对业务的协同管理；/门户提供统一的权限管理并适配各管理子系统，提供角色互斥配置，实现权限的管、用、审分离;/门户实现CA认证、统一身份认证和单点登录。24统一运维子平台.功能架构统一运维平台负责对县级大数据资源平台内的所有基础资源，系统模块，系统运行行情况提供整体的监控告警，运维视图、巡检等工具承载，使得可以快速发现县级大数据资源平台上的各种异常，及时发现并告知维护人员，快速恢复，提升平台内外客户感知。25平台数据安全管理方案事前：»统一身份访问控制事中：»数据使用权限控制事后：»统一日志管理»日志审计分析il安全服务体系平台安全规范审计与息彳息i息i息i息平台安全运营整体：数据安全合规审查263I数据资源中心建设方案■资源中心规划方案.资源建设流程■基础库建设方案大数据资源中心建设,总体规划方案通过相应平台工具汇聚全县内各单位公共数据形成县级数据湖，同时经过数据清洗、转换、融合、治理后高质量的公共数据资源库，并基于相关应用需求构建各类应用基础、主题、专题库，进而形成县级大数据资源中心。各类数据使用单位与应用共享库（开放共享区）基础库■大数据示范应用区■主题/专题库数据库（DWD层）数据湖（ODS贴源层）政务大数据资源中心28各类数据源S满nlnm二m二m二扼BBB数治处管大数据资源中心建设,区域模型设计29大数据资源中心建设,数据湖建设________建立县数据湖，用以存储县级各种各样原始数据，并保证湖中的数据可供存取、处理、分析及传输。通过数据采集相关技术手段，面向多类数据源，汇集县委办、监控视频、企事业单位、互联网以及其他各类数据，并统一存储到县数据湖中。数据价值深层次发掘、应用Z数据、技术支撑Z数据湖开发者工具■

数据汇聚、采集■______________数据源_____________县各级委办数据监控视频数据互联网数据其他数据___/SRC近源数据层定位在于将原始数据源进行全量映射保存，是外部各类数据进入数据湖的第一步缓冲节点。该层需要汇集县各业务条线数据，数据类型需要涵盖结构化数据、非结构化数据/为了构建有效的数据分层治理，构建起逐层递进的数据流转模式，数据湖构建过程中，需要构建ods源数据层。■以数据开发工具为基础，构建SRC近源数据层、ODS数据资源层，形成面向全行业的数据基础层；■以数据湖为基础，为后续主题、专题建设提供基础数据支撑，同时为上层应用价值发掘提供全面的数据支撑。30接口调用大数据资源中心建设,资源治理流程:数I:据」前I:置，库文件下发库表下发数据前置库数据调用;数:据「归:集企业数据大数据资源中心-数据湖&数据库内部政务单位据用构数使机外部社会机构S瞄S业位据事单数31基础库建设.总体方案业务信息数据公A口民政口R口出生、死亡及婚姻关系双方R口户籍登记基本信息信息R社口社会五险参保等R旦信息卫计口孕产妇及家属信息工商口税务口质监口民政口地理实体数据影像数据高程数据电子地图数据地名地址数据三维数据数据抽取/数据交换FR数据R口数据空间地理数据基础数据库基础库管理应用R口应用R口概况、R口查询、R口统计、R口画像、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析……:FR应用FR概况、FR查询、FR统计、FR画像、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析……；32标签用途智慧旅游环境瞄一智慧物流智慧医疗一数字邮政数字校园数眾检智能交通行政审批政务湖数字工商智能城管应急处理平安城市智慧网％药安全姓名出生日期金融机构代码上物结存资金房产抵腳艘证最高学历资款号TSHfcA勃面积具体就证件韻最高学有现估价sa、面积与户点农信社齢金额激动车辆瞄:?金额倾权利证号...婚姻状况屋电话行业其他齢金额现估价腿蚀...砺台面貌貸款用途心年"壇农痕健康状况电子邮箱币种投资姦瞄腿时间户籍地址配偶姓名民间借入现估价抵押率遂&日期配偶证开户日期购置固定资产经营场地：保险率基础库建设.R口库建设通过对R口库数据源的全面梳理，利用信息资源平台已归集的R口相关数据，构建全县统一的、以公民身份号位为唯一标识的、可共享的综合R口信息资源库。基于综合R口库，实现全县R口信息的汇聚治理、共享交换和应用服务，为开展跨部门、跨业务、跨区域的R口应用服务和数据共享，以及R口大数据分析、辅助决策等，提供全方位的R口信息支撑。R口全息视图R口信息统计/R口库管理应用提供对汇聚形成的R口数据的概况展示、R口个案查询及多条件查询、R口统计、R口画像等应用功能，并提供针对R口数据处理规则、数据模體癖1数据治理跨群门业务应用型、字段来源、生命周期配置等管理维护功能。33基础库建设.FR库建设FR库采用统一社会编码作为主键，FR覆盖政府机关、事业单位、企业、社会团体等类别。FR库建立画像数据标签，标签设计分为FR基础主题、财务主题、生命周期主题、信用主题、关系主题、关键人主题6大主题域，数据应用于社会经济统计、FR信用领域、国家经济结构、企业经营情况等方向的分析统计。六大主题域建设i财务球生命周期主题FR基础主题关系主题关键人主题信用主题失信记录供应链上下游决策人税务注册证件经营范围财报销户分支机构关键人诉讼记录行业资产信息变更股权关系联系人投诉记录规模负债机关事业单位企业多个R类型34专主题建设规划•总体方案/民生幸福/生态环境利用大数据资源中心数据湖中多汇聚的数据以及基础库中的各类基础数据，未来可以根据政务处理、城市管理、社会治理以及经济发展等各方面的实际问题与需求，在资源中心构建各类主题库或专题库并向相关用户开放，为全县的管理与发展提供数据服务支撑。/经济发展/市场监管/公共安全/市场监管/工业发展/全民健康/惠民资金监管/农业应用/城市规划民生保障生态环境市场监管公共安全经济发展城市规划一网统管一网通办■持续开展数据治理开发运营，逐步构建各类数据主体、专题应用，用数据赋能全县发展。35专主题建设规划.推动政务业务数据协同房产局房产交易所-购房资格审核-交易手续确认-购房能力评估横向协同构建数据支持体系-逐步实现立体化、多层次、全方位的数据服务体系-有效支持电子政务公共服务能力提升信息资源平台人社数据I民政数据I税务数据I人员户口数据I金融信贷数据促进数据联动协同形成统一的跨部门、跨地域、跨层级的信息交换共享民政税务局公安-婚姻状况-房产评估-社保年限-缴纳金额-人户核实・户口迁转-税收审核-税收缴纳纵向联动36专主题建设规划.支撑精准社会服务与科学管理基于信息资源平台的全局宏观数据分析，形成城市级的宏观数据主体分析应用，有效支持领导决策、政策研究以及资源投放信息资源平台数据算法算力存储宏观数据分析应用城市R口分析规划-R口迁移分析-人群特征分析-人群发展预测公共安全分析预测-建筑安全评估-人流分析预警生态环境分析研判-大气污染分析-水质资源分析领导决策政策研究资源投放37专主题建设规划•辅助城市治理高效运行信息资源平台基于感知层（摄像头，传感器等）的实时事件的感知、研判及传递，形成捕获一响应一处理的联动体系，支撑城市智慧运行实时感知策略研判实时传递协同处置消防部门-消防接警-消防出警-事故路段增派人手市公安。@-沿途路线道路疏通/9物业单位O-疏散建筑人群-检查应急通道大数据平台事件感知&实时处理。市急救中心\-救护车资源调拨\-急救医护资源调拨。运营商-短信通知涉事区域人员-实时监控区域人流38专主题建设规划.以数据供给促产业发展:公共一社会数据相互促进]公共,据通过平台数据开放应用，形成“公共数据服务社会应用、社会数据反哺公共数据”的良性循环促进机制个人信用评级个人征信数据金融机构航空公司出行数据延误旅客数据个人征信数据小型金融机构个人信用评估延误旅客数据保险公司航班延误险定价39大数据示范应用.市场监管建设全县统一、集中的市场监管大数据应用服务，通过提供基础监管数据库、精准市场日常监管、市场监管信息共享等关键数据指标服务,助力更新市场监管逻辑、消除信息不对称、增强监管合力、解决监管力量落差问题、降低全县市场监管成本。CNGl产副踱全网监爲2017®4000人g计09:46"f4161A3000.-