政府大数据信息库平台建设方案-最新

政府大数据信息库建设方案·最新01大数据信息库建设背景02大数据信息库建设方案03大数据信息库运维保障目录MULU01大数据信息库建设背景政府大数据信息库平台已成为智慧城市建设的必要基础服务管控惠民兴业政务大数据科学管理

精准调控

高效协同……服务民生

拉动产业

孵化创新……政府大数据信息库平台建设的必要性为响应国家不断加快5G基建、大数据、人工智能等新型基础设施建设布局，切实推动“新基建”产业发展，提升某市“数字经济”的比重。结合我省数字政府建设的工作需求，搭建某市政务大数据平台成为建设智慧城市的重要一环，对于助力数字经济发展，构建智慧和谐社会具有重要意义。智慧城市+数字政府政府大数据信息库平台-建设必要性建设政府大数据信息库平台是构建智慧城市大脑的重要组成部分✓公共数据共享✓数据服务开放✓社会数据协同✓社会治理✓市场监管✓宏观经济✓提升运行效能✓推动数字经济✓促进产业发展通过大数据平台建设、推动政府数字化转型

✓精准治理✓高效服务✓应急响应政府高效运行城市精准治理数据共享协同赋能数字经济政府大数据信息库平台-建设必要性政府大数据信息库平台-应用场景政府大数据信息库平台构建PB级大数据采集、存储、计算、挖掘、分析与应用能力汇聚数据资源形成数据资产建立数据应用建立数据服务保护数据安全政务服务数字经济城市管理乡村振兴……城市治理县各级政务数据监控视频数据物联设备数据企事业单位数据互联网数据…智慧城市·数字政府数据查询数据计算决策依据洞察&建议数据支撑、业务模型、风险预警、智能服务、辅助决策&兑现数据价值、赋能政务处理、提升治理水平、推动社会发展政府大数据信息库平台-建设目标整体建设目标聚：继续推进县级各部门政府数据、视频数据、物联网数据及其底层业务数据的数据收集；促进市级各类业务集成电子许可证等基础数据，建设和促进单位和城市数据库的建设和应用。。管：建设统一数据治理与资产管理平台，通过数据交换共享机制，实现区域内容所有数据的汇聚、清洗、治理、整合，构建统一的数据资产服务目录，形成对数据全生命周期管理及各环节质量监管。通：实现基于应用场景的数据资源授权管理机制，推动全县公共数据按需充分共享。实现数据分级分类开放管理，构建共享交换能力。用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新；推进全县跨部门的数据智能应用。安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力。政府大数据信息库平台政府大数据信息平台-配套标准规范数据治理相关的管理办法与业务规范规定了数据中心与业务部门，以及各系统之间的数据编目与归集、数据模型设计、数据模型开发、数据资产体系框架构建设、部署规范、数据安全运维管理以及数据共享的相关要求，指导整个组织展开大数据的管理与应用。数据管理方法与业务规范总览公共数据总体管理办法公共数据安全管理办法政务应用系统改造规范政务数据资源归集规范政务数据资源清洗规范政务数据资源共享规范政务数据质量管理规范政务数据运营规范政务数据资源编目规范业务规范是指对核心数据进行有关存在性、完整性、质量及归档的测量标准，为评估数据质量；数据治理需要管理和制度的有力支撑，需结合组织现状，制定对应管理办法、流程、认责体系，并颁布相关规章制度。02大数据信息库建设方案政府大数据信息库平台整体规划政府大数据信息库平台AI图谱技术大数据云计算数据整合可视化数据展示功能设计应用发布需求分析数据应用模型设计产业经济渔业、旅游乡村振兴（RK/FR)基础数据数据存储数据计算数据治理开发调度数据服务计算模型数据源关联业务目标表单样式计算任务调度数据分析数据应用服务整合各类数据资源连接各组织人员数据资源门户对接交换数据安全政府大数据信息库平台整体架构政府大数据信息库平台基础实施(网络&计算&存储)技术标准体系规范数据支撑底座数据交换数据资源中心（基础及融合数据库）数据资源门户数据服务信息安全保障体系数据共享应用数据安全管理平台统一运维平台数据整理治理数据分析政府大数据信息库平台-功能架构数据源自建平台数据新建平台数据物联感知数据市级大数据平台互联网数据……数据交换数据采集数据交换配置数据交换校验数据交换异常监控支撑底座分布式存储批数据计算集群管理知识图谱分布式计算实时流计算AI预测图像搜索数据资源中心存储RDMS消息队列分布式存储……存储非结构化数据图片数据文本数据实时数据实时存储时实模型离线数据应用层(基础与融合库)计算区离线计算实时计算标准层数据湖数据治理资源编目管理数据标准管理数据架构管理数据资产管理统一调度管理数据服务数据服务管理数据服务申请数据服务接口数据服务监控数据分析数据标签管理数据血缘分析数据探索工具关联度分析数据资源门户门户首页整合资源管理统一审批管理数据资产管理资源目录管理资源目录服务统一消息管理数据共享应用RK库FR库电子证照产业经济主题库渔业、旅游数据库菜园、花鸟数据库乡村振兴……统一运维监控资源管理基础资源监控应用服务监控监控告警管理……平台运维管理数据安全统一身份管理统一认证管理数据脱敏管理数据加密日志审计管理统一日志管理元数据管理数据质量管理数据开发平台政府大数据信息库平台-架构关系数据治理/服务/分析平台数据资产管理（元数据、标准、质量、资产、目录）资源编目数据归集开放共享清洗/融合加工数据源数据基础支撑平台数据共享交换平台-采集数据资源中心质量稽核统一维护平台数据安全管理数据归集任务调度数据处理提取与存储集中监控维护信息安全保障数据资源门户（数据应用服务）数据资产&服务调度开放控制&下发调度1243540资产管理65数据共享输出数据使用单位数据管理与开发人员政府大数据信息库平台-资源中心规划通过相应平台工具汇聚全区域各单位公共数据形成数据湖，同时经过数据清洗、转换、脱敏、融合、治理后高质量的公共数据资源库，并基于相关应用需求构建各类应用基础、主题、专题、部门、基层数据库，进而形成区域数据资源中心。各类数据源各类数据使用单位与应用数据湖（ODS贴源层）数据库（DWD层）基础库主题库共享库（

开放共享区）数据安全保障集中监控维护数据治理处理管理乡镇数据库部门数据库乡村振兴库共享数据库数据共享区政府大数据信息库资源中心离线数据区实时数据基础及融合数据库结构化数据公共数据库非结构化数据基础库RK库FR库……共用信用库数据湖-贴源数据层政务资源社会资源智能物联设备互联网数据主题库产业经济权力事项……电子证照库部门数据库渔业数据库旅游数据库……公安数据库乡镇数据库花鸟数据库菜园数据库……未来社区乡村振兴库经济振兴库居民文化库……生态环境库政府大数据信息库平台-资源沉淀过程数据服务数据生产者县政务数据乡镇政务数据企事业数据视频数据物联数据互联网数据…数据消费者县各政务单位乡镇、街道事业单位民间机构企业…上级政务单位政府大数据资源中心数据治理管理规范标准（元数据、标准、质量、资产、目录）数据资源建设与应用流程资源编目数据归集开放共享清洗融合加工质量稽核资产管理数据生命周期管理持续反馈数据归集数据安全管控政府大数据信息库平台-数据治理流向内部业务数据内部各类文件内部物联数据外部数据…互联网数据数据前置库政府大数据信息库平台·数据湖&数据库ODS贴源层DWD基础库RK、FR、空间地理主题库互联网+监管、城市管理、…专题库智慧旅游、乡村振兴、…共享库数据前置库数据归集清洗加工分发分发分发分发分发分发文件下发库表下发分发组织内部单位外部合作机构数据调用接口调用数据使用机构政府大数据信息库平台-资源梳理方法数据资源目录梳理是整个政务数据资源项目建设的基础工作，通过资源目录梳理工作才能全面了解部门的数据家底，才能真正开展数据资源的汇聚、管理、处理与应用。通过以数据为核心的架构思维，完成整个政务信息资源的全面梳理、有序规范和资源编目工作。资源目录梳理业务梳理共享需求信息化情况局办的核心业务是什么？业务产生与使用的资源是什么？资源在哪里？资源谁负责？跨部门共享需求？哪些信息可向社会公开？哪些信息需要在部门间共享？哪些信息在内部使用？哪些有系统支撑？哪些数据已进库？核心业务的信息化现状？政府大数据信息库平台-资源梳理思路

为保证梳理工作的顺利开展、确保梳理信息的实际可靠，我们将政务信息资源梳理工作分为5个阶段完成：1、前期准备2、需求调研3、资源整理和入库4、资源分析5、成果产出梳理推进思路流程为了保障资源工作的顺利推进，我们将通过5个方面来开展工作：1、前期准备：了解各部门的职责范围、业务过程、资源情况2、需求调研：摸清资源分布，明确共享需求，明确资源公开方式3、资源整理：整理分析哪些委办局的业务有哪些系统支持，哪些业务产生了数据，并对这些信息资源进行规范化表示4、资源分析：信息资源分析和资源目录是对信息资源进行一个高层次的整理和归类5、成果产出：形成报告、资源目录和相关的标准规范。政府大数据信息库平台-资源梳理输出梳理成果部门调研报告全县资源报告资源目录部门政务数据资源目录部门业务目录部门资源目录部门共享资源目录部门需求资源目录部门开放资源目录政务基础信息资源目录政务主题信息资源目录标准规范政府大数据信息库平台-数据归集范围政府大数据信息库平台数据湖/库归集的数据范围、种类和存储方式如下：数据范围数据类型政务数据结构化数据公共事业数据行业数据物联网数据政务数据：各委办局提供的公安、税务等各类政务数据；街道政务数据：下属街道社区上报的各类政务数据。水电煤：采集区级自来水、电力、煤气、供热等公共事业数据，此类数据是和百姓生活息息相关的重要民生资源。金融行业：整合金融行业个人、企业征信数据；电信行业：整合电信运营商个人、企业的位置数据、互联网内容数据等关键数据其他行业：整合其他行业的优质数据资源。视频监控数据：采集X县内部署的交通、公安监等各类控摄像头所记录的监控视频数据；其他感知设备数据：采集部署在X县内各类感知设备提供的数据。SQL数据库：结构化数据的存储和计算以支持SQL的关系型数据为主，如MySql、KunDB等.NoSQL数据库：非结构化数据的存储和计算以NoSQ数据为主，其中电子证照等小文件数据存储在Hyperbase等KeyValue结构的数据库中，视频等大文件存储在HDFS上。半结构化、非结构化数据政府大数据信息库平台-数据清洗/融合规范数据清洗完成数据从ODS到DWD/DWS的数据转换。数据清洗需符合数据设计规范与开发规范，保证数据质量与数据一致性。在建设初期的物理模型与逻辑模型设计过程中，建立一系列标准规范及策略，保证数据模型设计合理。同时结合精细化管理规范流程与严格的设计规范，提升模型质量、模型应用的灵活性、降低维护成本、节省计算能力。清洗融合数据模型设计设计评审开发测试发布上线培训需求分析数据调研建模流程正向设计：从数据调研出发逆向设计：从需求分析出发DWD/DWS维度建模宽度建模物理模型设计逻辑模型设计分表规则表命名规则字段命名原则数据处理原则数据有效性策略数据关系定义维值定义规则公安数据数据清洗ODS（贴源层）社保数据教育数据其他委办数据逆向正向市监数据程序命名文件头函数库主函数变量定义时间参数临时表结果表SQL代码索引分区/分桶表空间程序开发规范政务大数据信息库平台-数据质量核查方案建立了“事前-事中-事后”的完整数据质量管控闭环体系，基于数据标准与数据质量规范，对数据编目、数据归集以及数据清洗/融合各环节数据的稽核，实现对数据质量全过程、全维度的管理，保证数据的质量。资源编目质量数据归集质量清洗融合质量空值检查值域检查规范检查逻辑检查重复数据检查及时性检查缺失记录检查引用完整性……检查事前事中事后质量规则配置质量模型设计数据质量评估报告，指导数据质量持续改善元数据&业务数据自动报告生成数据标准&数据质量规范政府大数据信息库平台-数据共享服务方案方案需求方平台组提供方开始浏览已发布资源平台预审填写需求信息发起共享申请责任方审核数据授权开始共享结束数据共享主要针对县各个委办单位进行数据的申请与审批，需求方通过门户浏览已发布资源，然后进行需求资源的申请。整个共享过程包括：需求填写；需求审核；数据共享；共享监控；使用反馈。政府大数据信息库平台-数据资产管理方案通过对数据治理，让数据更加准确、一致、完整、安全，并形成数据资产，让对数据的使用过程更为人性、便捷、智能，从而提升管理决策水平。利用数据资产管理支持对数据的分发、开发、交易等数据嫁接的实现，从而促进数据资产的价值实现。数据资产资源编目数据库分析报告设计文档处理程序报表服务记录数据模型资产目录管理资产生命周期管理资产注册资产上下线资产变更管理资产引用管理数据血缘资产地图自动化收集资产可知明确数据来源、含义、用法资产可控资产使用可控资产质量可控资产可取方便各层级人员获取管理目标政府大数据信息库平台-安全管控方案政府大数据资源中心建设项目需按照信息安全等保三级的要求，依托于县级电子政务云环境和数据安全子平台建设，开展对主机、网络设备、安全设备功能配置优化和加固工作，并建立健全安全管理制度，进一步落实安全管理相关工作。按照三级等保要求规建，确保平台达到信息安全等级保护三级要求物理安全确保数据中心机房的安全包括机房的选址，机房场地安全，防电磁辐射泄漏，防静电，防火等内容网络安全确保平台网络的设计、构建和使用的安全使用基于网络的各种相关安全技术和手段，如防火墙，IPS，安全审计等系统安全保证服务器操作系统，数据库，中间件在内的平台相关系统安全使用安全评估管理工具所进行的系统安全分析和加固数据安全确保数据存储与使用安全使用数据备份和恢复等数据安全设计使用数据加密、脱敏等技术信息安全保证平台所涉及信息安全是由完整的用户身份认证以及安全日志审计跟踪对安全日志和事件的统一分析和记录确保数据与信息安全，符合信息安全管控规范围绕数据为核心，从数据采集、存储、访问、使用、修改、共享、丢失、泄漏等多个维度展开，构建全生命周期的数据安全保障体系，形成数据与信息安全管控闭环安全服务体系平台基础设备信息源身份认证信息数据授权信息安全服务信息数据使用信息数据资源平台数据流数据流安全运营中心监控服务信息平台安全运营安全规范审计事前：统一身份访问控制事中：数据使用权限控制数据脱敏事后：统一日志管理日志审计分析整体：数据安全合规审查政府大数据信息库平台-安全管控方案03大数据信息库运维保障建设目标及原则：要建成集语音、数据、图像功能为一体，具备有线、无线和加密通信功能，具备视频指挥和调用各种图像资源的功能，形成有指挥调度和综合信息报送功能的城市运营中心，同时要满足应用系统支撑、安全防护等技术保障体系要求。指挥调度中心数据资源中心数据决策中心态势感知中心联动处置中心互联网+政务政务大数据智真视频会议……智慧旅游事件预警智慧农业……

数字大脑立足城市运行监控、管理、处置、决策四大功能，对资源环境、基础设施、交通运输、社会治理、人口民生、产业经济、社会舆情、公共安全等领域的核心指标进行态势监测与可视分析，支持集成各细分主题关注的数据指标进行综合监测，辅助管理者全面掌控城市运行态势，提升监管力度和行政效率接入政府管理、应急指挥、网格化管理等多种应用数据，集中展示“数字高平”建设成果。指挥中心调度各委办局的业务系统直观展示，通过大屏幕一点看全可视化：全面、动态的城市运行仪表盘，清晰直观了解城市运行情况协调性：调度协调不同资源，高效应对应急事件，实时监控处置进度支撑度：支撑领导对重大事项做出科学准确的决策政府大数据信息库平台-运维保障调度中心政府大数据信息库平台-运维保障可视化中心政府大数据信息库平台-运维保障常见问题取数据先行而不是编数据目录先行，导致后续对平台中数据的管理与使用失控缺乏权责明确、清晰的管理与约束手段导致业务单位提交数据不到位、不及时由供需部门直接对接，数据部门没有发挥出协同中心作用，导致业务单位要数据难，效率低、怨言大没有建立基于明确权责划定的多部门沟通与协调机制，导致反复沟通、信息不同步、整体工作效率低前置业务的数据库表自行修改，导致数据汇聚失败或者引发后续数据质量问题元数据管理后置引发不一致(元数据和实体数据资源、设计和实现、文档和实现)灾难缺乏统一数据开发技术标准与规范，导致重复开发，总体开发成本大、效率低，问题多、隐患大采用以代码为主的数据应用开发方式，导致数据应用黑盒问题严重，问题定位困难，维护成本高前置-定义数据治理与管理相关的技术、业务与管理标准及规范编制数据资产目录元数据信息配置数据质量标准定义数据开发技术标准数据上报提交规范与要求数