公共大数据资源中心与能力平台建设项目可研报告

1公共大数据资源中心与能力平台建设项目可行性研究报2第一章项目概况 9 9 9 9 9 9 10 14 15 15 27 第二章项目单位概况 312.1项目单位职能 312.2拟建项目与项目单位职责、业务的关系 2.3本项目或本领域信息化建设整体框架规划或设想 3232.4现有应用系统情况 34 2.5现有网络、设备以及其他信息资源情况 55 2.6拟建项目与已有系统的关系 57第三章项目建设的必要性 583.1是贯彻和落实大数据战略的重 583.2是响应本市公共数据管理办法的 3.3是打破信息壁垒解决数据烟囱的 3.4是提升智慧城市管理服务能级的 第四章项目需求分析 624.1项目建设背景及依据 62 644.2信息化架构需求分析 4.3信息化功能需求分析 65 704 4.4系统性能需求分析 87 88 4.5业务量需求分析 89 90 4.6硬件设备需求分析 93 934.8标准规范需求分析 934.9安全保障需求分析 94第五章总体建设框架思路 97 97 5 111 112 115 115 116 第六章大数据资源平台建设方案 6.1项目建设目标 1196.2项目建设内容 120 1206.4大数据基础支撑子平台 123 1236 124 132 134 164 6.6数据共享交换子平台 201 202 203 2086.7数据治理子平台 221 231 6.8数据管理子平台 240 7 243 244 6.9数据安全子平台 248 6.10统一数据管理门户 256 257 260 2628 第七章项目实施和组织安排 2747.1项目建设周期 274 2747.3项目组织安排 275第八章环保、消防、职业安全、职业卫生和节能 2788.1环境影响和保护措施 278 8.3职业安全和卫生措施 2788.4节能目标和措施 第九章项目风险及控制措施 2809.1技术风险及其控制 9.2安全风险及其控制 9.3实施风险及其控制 9.4业务需求变动风险及其控制 第十章项目投资估算 283 283 284 9本项目名称：公共大数据资源中心与能力平台建设项目（一期）。理等基础性、通用性地方标准和“一网通办”地方标准，促进公共数据和“一网通办”实现公共数据整合、共享、开放等环节的统一管管理；完善数据交换机制,促进公共数据共享和开放；加强主题数据库建设,促进公共数H市在积极立足本区域实际现状，紧密结合H市对各区大数据推进的规范要求及实现城市治理模式突破、城市服务模式突破以及城市产业发展突破，构建以M区城市应用、展示、评价为“六位一体”的大数据资源体系，并通过构建M区数据基础库、据共享、数据管理、数据决策的综合管理服务体系，确保大数据平台全面支撑M区公共数据协同服务、城区管理协同服务、惠民数据协同服务和兴业数据协同服务，为M区领导决策和减轻基层人员工作量提供坚实的数据支持。加快推进实现如下要求：至20xx年底，基本形成公共大数据资源平台基础功能架构，建立基础的数据资源的相关主题库，数据资源中心完成度达到总体30%l支撑基于大数据资源平台的城市运行应急指挥的应用。l完善M区数据资源中心建设：新建宏观经济库，新建管理协同、l汇聚ZF、社会、互联网、城市感知等数据，建立大数据服务平台，利用多元至20xx年底，构建形成M区公共数据汇聚、整合、共享、应用、展示、评价为应急快速化、决策科学化”（四化）的战略l逐步完善公共大数据资源平台的建设：实现以ZF惠民数据共享和实现社会数本项目公共大数据资源中心与能力平台建设项目建设，为了满足至20xx年依托基于OneData架构，构建的公共大数据资源平费用类型业务模块功能模块功能说明单位数量单价金额(元)备注大数据基础支撑子平台产品费用并行计算与分布式存储总体架构要求以开源的大数据平台hadoop为基础构建，同时在功能性，可靠性、易用性、维护性、安全性等方面进行增强，形成企业级Hadoop平台。套1250000250000费用包含产品费用、license授权费用以及实施费用数据采集完成从传统数据库到大数据平台的数据采集，企业级hadoop平台提供数据采集能力，包含批量采集（如Sqoop）、基于流处理的准实时采集（如Flume），同时能无缝集成第三方ETL工具。套1200000200000数据存储满足现有应用的大量数据库结构化数据、公文半结构化数据，以及大量图片、视频资料、物联网数据等非结构化数据的存储需求套1200000200000数据计算大数据平台提供分布式计算、内存计算多种数据计算引擎，能够针对不同的场景采用不同的计算模型，对数据进行大规模批量处理或者准实时处理套1200000200000离线处理应用支持支持对海量数据进分析和处理，形成结果数据，供下一步数据应用使用的场景。需要具备大规模集群能力、数据权限和资源隔离（多租户）、接口与开源兼容、支持多数据源与多种数据加载方式、支持作业调度管理、支持异构设备、支持冷热数据分级存储、支持与第三方软件对接套1250000250000分布式并行数据库总体架构要求运维管理模块：提供集群日常运维、配置管理的管理接口、工具。套1100000100000集群管理模块：管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行。套1100000100000全局事务管理器：负责生成和维护全局事务ID、事务快照、时间戳等需全局唯一信息套1100000100000工作负载管理器：控制系统资源的分配，防止过量业务负载对系统的冲击而导致业务拥塞和系统崩溃。套1100000100000仲裁节点：接收来自应用的访问请求，并向客户端返回执行结果。负责分解任务，并调度任务分片在各DataNode上并行执行套1100000100000数据节点：负责存储业务数据、执行数据查询任务以及向Coordinator返回执行结果套1100000100000Storage:服务器的本地存储资源，持久化存储数据（支持行存、列存、混合存储）套1100000100000MPP架构支持redhat和SUSE等主流linux平台，shared-nothing/MPP架构，具备高性能，高扩展性，高可用等特性，支持512节点扩展能力，支持PB级数据存储和分析能力。套1200000200000分布式存储数据库数据入库时通过hash算法将数据精确存储在物理节点，在查询时可以很快精确定位到数据存储位置套1150000150000分布式计算OLAP数据库在节点内采用SMP并行架构，在节点间采用MPP并行架构。套1150000150000行列混存按列存储，存储压缩比远远高于行存压缩比套1100000100000数产品数据数据采集依托应用集成中间件、应用集成中间件适配器设计，实现对各部门业务数据信息的采集，支持物理拷贝采集、数据上传采集、接口服务采集、关系型数据库采集套1250000250000费用包含据共享交换子平台费用交换平台数据采集校验数据校验从校验对象细粒度维度分析，支持文件级校验与记录级校验二大类套1150000150000产品费用、license授权费用以及实施费用采集服务配置获取信息资源中定义的信息资源更新频率，自动实现采集套1100000100000采集监控管理提供采集异常处理机制，异常现象时实现相关的补采机制。套1150000150000数据交换前置采用前置库数据交换模式，具备异构数据接入、灵活数据交换与异构平台兼容性特点套1200000200000数据可靠传输必须保证传递的数据信息的完整性、一致性、私密性。套1150000150000数据交换异常检测交换管理监控:提供有序、稳定运行，应提供易用、直观的管理监控功能支持。套1150000150000服务管理平台服务发布工具将现有业务系统功能接入统一平台作为共享服务对外提供套1100000100000服务导航管理系统实现对服务资源的统一访问、调度、管理与监控套1150000150000统一监控平台系统监控子系统对整体交换网络、交换域、交换节点、交换流程进行监控套1150000150000统计分析子系统实现全方位、多维度的对各种交换信息进行统计分析，为平台管理提供分析支持套1100000100000系统管理子系统提供统一的授权机制，提供统一的角色、用户、权限管理，巡检与报警等功能套1150000150000交换对账子系统支持交换对账功能，配置对账规则，能够实时监控已发送数据和已接收数据的数据量套1150000150000交换级联管理级联交换信息发布将资源发布信息提交到区前置节点级联共享区套1100000100000级联交换数据同步将市平台发布的资源信息从区前置节点级联共享区同步到区交换系统套1100000100000级联交换数据搬运负责省前置节点级联共享区和本区内部门机构之间的数据搬运套1100000100000级联交换文件说明资源的发布、订阅及数据搬运时，需要按照级联的接口规范组织数据描述文件说明联交换描述更新数据搬运到目的地时，将级联共享区内该数据的描述信息进行更新和标识联交换汇总上报将区级平台内部的整体运行情况汇总数据，通过级联共享区上报套1100000100000相关系统对接对接大数据基础平台实现各类数据向大数据平台的写入和读取套1100000100000对接资源目录子系统实现与目录系统的对接，完成与目录系统的全流程操作联调套1100000100000对接门户系统实现与门户系统的对接，实现统一待办、统一用户、管理监控集成等功能。接单点登录系统实现与单点登录系统的对接，实现单点登录集成据共享服务数据共享服务接口将清洗后的数据以及场景化分析后的数据注册到服务管理系统中，统一进行对外共享套1100000100000数据共享管理审计对共享行为进行统一管理和审计套1100000100000数据共享安全管控支持调用者身份认证、调用者身份防盗用策略、数据链路安全策略、数据防泄漏策略、接口调用审计策略等安全手段套1150000150000改造费用部署架构改造前置机部署架构对数据交换部署前置机，切断数据交换耦合，规避系统风险人月2020000400000基于当前架构改造数据产品费用数据标准数据元管理包括数据元新增、数据元导入、数据元发布、数据元修改、数据元删除、数据元停用、数据元检索等功能套1200000200000费用包含产品费用、标准代码配置支持代码的分类、标准代码项的新增、导入、导出功能，提供了标准代码维护的能力套1150000150000常用规则配置针对公共数据的特性内置部分常用的规则，同时提供了规则的配置修改能力套1150000150000管理license授权费用以及实施费用元数据管理元数据自动获取对元数据获取数据源以及这些数据源之间的关系进行集中登记管理，并形成自动获取数据源的全局视图套1200000200000元数据维护包括元数据的定义、变更及版本管理，对主机、数据库、数据对象、业务规则、加工逻辑等进行维护和管控套1150000150000元数据扫描支持以手动或定时的方式扫描指定的数据库资源，并提取和解析相关的信息套1150000150000元数据检索支持全文检索的方式迅速查找和关键字匹配的权限范围内的元数据信息套1100000100000元数据版本支持元数据对象版本管理与基线版本管理两种管理方式套1150000150000权限管理及查询对用户进行角色权限、对象权限、数据权限等方面的管控和查询套1100000100000元数据导入/导出在系统层面实现元数据的导入/导出功能，以便于数据模型的维护和扩展套1100000100000元数据分析支持以网状模式展示对象等血缘关系和以父子依赖关系展示对象等有向血缘关系套1150000150000数据质量管理质量模型配置可以根据业务需要选择实体表和规则，方案与方案之间相互独立，互不干扰套1200000200000质量规则管理支持空值检查、值域检查、规范检查、逻辑检查、重复数据检查、及时性检查、缺失记录检查、引用完整性检查等质量处理规则套1200000200000方案配置调度通过图形化界面配置多种质检规则组成可执行方案，依据方案执行质量检查。套1200000200000质检结果查看基于质检方案执行过程，反馈每次质检产生的异常数据检分析报告基于质检方案及质检结果，对质检情况等进行统计，形成统计图套1150000150000数据集成管理数据建模配置提供数据集成中数据单元集模型配置，数据模型即为数据集成中的数据单元集套1200000200000集成方案管理提供统一的集成方案配置，集成方案可以通过构建的数据模型实现多维度的数据汇聚、清洗等数据处理流程套1200000200000异常数据分析基于集成方案，反馈统计分析集成过程中不符合方案中各字段清洗规则的异常数据结果，同时支持多维度的问题分析以及排查；套1100000100000数据来源统计用于统计集成模型中所有数据的来源方向，以及各库表、各字段的精确来源套1100000100000产品费用数据架构管理数据中心管理对区级数据库进行物理中心或逻辑中心的管理用包含产品费用、license授权费用以及实施费用数据源管理开发维护一个数据集存储服务所需数据库的链接和定位的功能据集管理对数据交换及各部门发布数据集的下载、查阅、可视化展示及统计等据物化管理数据资源目录的数据持久化管理的功能据血缘管理数据关联管理对两个或多个数据对象进行关系的定义与维护，关联关系可到字段级套1100000100000数据版本管理对数据对象在不同时期变更的结构进行定义与维护，支持多版本比对和历史追溯套1100000100000数据分级分类管理基础标签管理以列表形式和智能推荐形式将平台中设置的基础标签进行呈现签关系展现通过标签将相关联的数据目录关联在动图中展现给用户，形成丰富数据展示效果套1100000100000数据异常管理异常对接管理对接数据交换总线、数据集成总线、数据服务总线系统中异常进行管理套1150000150000异常问题列表展示异常问题信息，同时对异常问题进行归类整理工处理管理记录针对异常信息，人工处理所登记的台账信息套12000020000系统处理管理针对异常信息集成的各子平台系统处理结果的收集套1100000100000异常处理统计分析按照异常分类、处理情况、时间、等级等维度进行分类统计套12000020000实时数据质量管理提供对实时流的数据质量规则的设置、维护、调度、优化等规则的管理功能据分析管理分析算法管理提供统计、分类、聚类、序列等分析工具集，提供调用接口的功能套1100000100000预制模型管理模型预制及自定义管理功能提供可选择的预制模型，套1100000100000数据变换管理提供将数据变换或统一成适合于数据分析挖掘的形式的功能型评估管理支持模型质量评估，支持平均误差率、判定系数R2、正确率、查全率等套1100000100000分析可视化组件对基础的各类可视化组件进行封装，支撑应用层模型展现的功能套1100000100000数据流程管理工作流分类开发系统支持自定义工作流的分类和维护的功能视化流程工具对数据管理相关业务流程进行可视化编排的功能套1100000100000流程维护可以对工作流设置进行重新定义，工作流的修改或删除不影响原来的流程程监控可以按照查询条件监控流程的流转情况，包括审批的状态和结果的功能程发布流程发布后才能使用，发布前的修改对用户不产生影响的功能数据处理实时采集对海量数据进行高性能的实时数据采集处理套1150000150000流数据引擎提供数据融合，统计，分析的高速处理能力套1150000150000流数据计算模型管理对已设计完成的数据计算模型进行申请，注册，提交，执行，监控的统一管理数据计算公共模型提供场景需求较多的公共数据模型模型，可以供其他用户调用数据计算模型查询提供流数据计算模型查询功能套12000020000知识图谱图数据库管理支持以图数据库的方式进行存储和运算，提供二级索引，全文检索、模糊检索等能力，开源标准图交互式查询语言接口，支持点对点关系信息的功能套1300000300000数据分层管理数据层级模型设计数据层次设计功能模块，提供数据层次设计管理功能套1100000100000数据层级模型算法数据层次模型算法功能模块，提供数据层次模型算法管理功能套1150000150000数据层级库表建立数据各层级数据库库表创建功能套1100000100000数据层级管理支持对接各子系统，实现数据分层管理功能级元数据管理元数据管理功能，提供元数据定义、采集、管理等功能套1100000100000数据层级分析算法数据分层分析算法管理的功能套1100000100000数据导入上报提供多种格式的数据导入上报功能，保障数据文档的在线上传据分发将大数据资源平台的数据分发到目标数据库据运维监控运维提供一站式的数据运维管控能力，可自主管理作业的部署、作业优先级维概览展示调度任务的指标数据情况控告警提供按照自定义规则来配置告警规则，保障产出数据的及时性和可用性理实时分析依托于实时分析引擎，提供方便快捷的数据查询和结果分析一流程管理面向不同用户提供不同监控视角的数据地图套1100000100000数据资产管理数据资产对数据资产类目编制的过程梳理、明确职责等内容进行有效管理套1100000100000资产总览对数据资源平台上的数据资产状况进行全景式展现产目录有序组织平台元数据，记录数据体系的保障数据类目产报告对平台上的对应数据，提供定周期了解其对应资产情况产地图汇聚用户所有数据信息，通过元数据信息收集、数据血缘探查、数据权限申请授权等手段，帮助数据资源平台完成数据信息的收集和管理套1150000150000非结构化数据编目对非结构化数据编目，按主题、层级、维度、价值等进行分类套1150000150000实时数据管理提供针对实时数据的元数据管理功能套1100000100000数据资源中心产品费用建立数据湖整体架构要求面向多类数据源，通过技术手段汇集区委办数据、市级数据、互联网数据及其他数据套1300000300000费用包含产品费用、license授权费用以及实施费用SRC近源数据层定位在于将原始数据源进行全量映射保存，是外部各类数据进入数据湖的第一步缓冲节点，SRC近源数据层需要汇集M区各业务条线数据，数据类型需要涵盖结构化数据、非结构化数据套1250000250000ODS源数据层对SRC近源数据层数据进行数据全/增量合并以及数据清晰和标准化动作之后的数据存储层，ODS源数据层有全量数据表、基础数据表两类数据表套1250000250000标签指标管理标准库管理统一创建、维护、管理所有的数据标签件标签管理统一创建、维护、管理自然人、法人、委办单位之间业务往来事件的基础标签标库管理统一创建、维护、管理所有的指标标算法管理实现各指标对应算法的设置与管理题/主题服务管理应用服务发布将开发好的主题库、专题库封装为标准数据应用服务并发布用服务管理对平台中的主题库、专题库等数据应用服务进行集中管理、维护（停用等）务调用注册为外部调用服务者提供调用注册、审批管理务调用监控对外部系统调用平台数据服务进行监控与管理制开发费用完善基础库人口库构建全市统一的、以公民身份号位为唯一标识的、可共享的综合人口信息资源库。提供人口库概况、人口库应用(查询统计)、人口库管理(生命周期管理、查询模块管理)、人口库集成、人口画像，人口大屏等应用人月20000300000按市级统一规范进开发法人库促有关法人单位业务信息的关联汇聚，丰富法人单位信息资源，支撑法人单位信息资源的分布查询和深化应用。提供：法人概况、法人库应用(统计查询)、法人库管理(查询配置、法人监控、法人行业类型管理)、法人库集成、法人画像、法人库大屏应用人月20000300000电子证照库构建本区域电子证照服务体系，支持与市证照库的证照互认、系统互联、数据互通和上下互通，提供覆盖面广、共享及时、应用有效的电子证照服务。提供电子证照综合管理(电子证照目录管理、电子证照统计分析)与电子证照服务(证照目录共享、证照服务共享、证照综合共享应用)人月20000200000空间地理信息库基于规划、国土资源等部门提供的GIS地图服务基础上，构建自然资源和空间地理基础信息，并将遥感影像、地址数据、Z务信息图层等，与人口信息、法人单位、宏观经济、社会信用进行整合，形成本市空间人月2020000400000地理基础信息资源库应急主题库建设主题库模型构建采用星型建模，形成业务主体+基础属性或扩展属性基本结构人月22000040000具体将根据M区应急办的管理需求与相关要求做定制开发模型的基础处理功能：包括数据整合、数据映射、数据属性标识、数据汇总人月520000100000模型的内容设计：按照加工方式和数据特点将属性信息一般分为四大类：实例对象信息、基础属性维度、统计维度信息、统计指标信息人月520000100000管理对象主题库人员对象主题库：实现与应急救援人员相关的基础数据的收集、汇总、存储，为在应急指挥救援过程中相关决策提供数据支撑。人月620000120000生产经营企业主题库：包括煤矿、非煤矿山（含地质勘探）、石油（炼化、成品油管道除外）、冶金等信息。人月820000160000自然灾害隐患点主题库：包括地震灾害隐患风险区、气象灾害隐患风险区、地址灾害隐患风险区和水旱灾害隐患风险区等数据内容。人月20000200000灾害事件主题库自然灾害信息：自然灾害事件库主要数据，水旱灾害、气象灾害（极端天气）、地震灾害、地质灾害、森林草原火灾等。人月20000240000安全事故信息：包括煤矿山事故、建筑工程安全事故、危险化学品事故、烟花爆炸物事故、火灾事故、道路水上铁路城市轨道交通事故、基础和公用设施事故、环境污染和生态破坏事故、踩踏事件、能源供应中断事故、有毒有害气体中毒事件等。人月20000240000应急专题库建设消防应急专题整合消防业务数据：以一体化信息平台为载体，整合消防部门的条线数据人月42000080000消防综合展示：消防综合数据展示人月22000040000案件展示：根据时间段的选择（年、月、日）将辖区的消防类事件撒点落图在地图上人月12000020000案件统计：将案件以分类和分级进行统计，统计结果以图表的形式进行输出。人月12000020000资源展示：根据用户框选范围，查询范围内的物资、专家、消防中队、消防站的分布情况，并且将范围内的资源清单龚用户选择查看人月22000040000资源统计：对资源所属部门、分类情况进行统计，结果以图表形式输出人月12000020000预案/演练展示：将与消防有关的应急预案整合至消防专题，实现应急预案的数字化人月22000040000处置流程展示：查看事件的处置流程，包括及时处置、先期处置、联动处置、善后等人月12000020000消防应急指挥：将各种分析与地理信息系统相结合，从而得到更多的空间分析结果人月22000040000案件空间定位：将案件地点快速定位在地图上人月12000020000消防应急指挥决策：在案件发生的情况下，根据案件地点的位置和周边环境情况，以最短的时间调动相应的消防力量和资源对案件进行抢险救援的决策。人月22000040000消防类风险隐患排查：对消防风险隐患点进行排查，统计隐患点，风险隐患等级人月12000020000安监管理专题危险化学品企业分析展示：按医药化工、化学品、高危工艺、重大危险源等查询统计人月22000040000职业危害因素分析展示：可设置按一般、较重和严重职业危害程度查询统计人月32000060000重点设备设施或场所：可设置按粉尘涉爆、金属冶炼、涉氨制冷等场所设施查询统计人月32000060000行政许可情况：可按危险化学品、危险化学品等建设项目安全设施设计审查人月22000040000风险辨识与分级管控：能够集中展现本区各类安全风险红、橙、黄、蓝“一张图”人月32000060000标准化建设情况：能够查询达标企业总数，其中一级、二级的数量、三级的数量人月22000040000执法检查情况：能够查询实际出动检查人数、检查企业家数、查出隐患数量等人月22000040000事故调查处理情况：能够查询发生事故的数量、事故行业类型和调查处理情况人月32000060000防汛防台专题结合物联网检测设备及预警和信息接入构建防汛防台专题，通过此专题页面可清晰地看到目前的汛情，水量分布或台风等级及方向预测等功能，分为平时与战时两种场景人月20000300000重点景区专题针对辖区重点景区设立应急专题，对景区人流密度，危险源等进行单独监控及管理人月20000300000四大领域应用专题库宏观经济专题从宏观经济预测、宏观经济景气指数预测、市场主体发展和人口就业方面切入，形成分析、预测应用，展示相关数据，支持经济领域的工作开展人月60200001200000市场运行专题从产业结构、主体经营、中小企业发展、电子商务发展和市场发展方面切入，形成分析、预测应用，展示相关数据，支持市场领域的工作开展人月60200001200000民生幸福专题从人口大数据、人口迁徙、流动人口、公共安全Z务服务方面切入，形成分析、预测应用，展示相关数据，支持民生领域的工作开展。人月60200001200000城市综合体专题通过对区域的城市居民的客流动向、通勤、工作、休闲等大数据行为挖掘，形成不同主题的统一可视化分析能力，助力城市发展规划和决策洞察。人月60200001200000咨询服务费用三清单梳理一目录三清单梳理培训制定培训计划：根据部门情况制定符合实际情况的培训计划人月12000020000三清单梳理工作与服务将覆盖M区下属的各个委办单位与业务部门梳理培训材料：准备Z务信息资源目录梳理培训材料，包括《Z务信息资源目录梳理指南》、《Z务信息资源目录梳理培训PPT》、《Z务信息资源目录梳理视频》、《Z务信息资源目录梳理表格》、《Z务信息资源目录梳理表格填报指南》、《Z务信息资源参考目录》、《Z务信息资源目录梳理FAQ》等文件人月32000060000开展培训工作：组织部门参与Z务信息资源目录梳理培训人月820000160000一目录三清单梳理指导指导部门目录梳理：现场支撑各部门开展Z务信息资源目录梳理工作，通过线上咨询问答的方式、线下上门支撑的方式进行指导梳理工作人月20000200000目录梳理质量审核：部门梳理完Z务信息资源目录后，需要对部门梳理好的Z务信息资源目录进行审核，已达到Z务信息资源目录质量要求。人月42000080000整理Z务信息资源目录：梳理Z务信息资源目录，准备目录梳理交付内容人月820000160000目录数据归集调研：梳理Z务信息资源目录阶段，开展Z务信息资源数据归集调研人月820000160000一目录三清单梳理内容交付区Z务信息资源目录:汇总各部门Z务信息资源目录梳理表，编制区Z务信息资源目录人月520000100000区Z务信息资源系统清单:部门梳理本部门涉及的业务系统，填报业务系统调研表，形成M区区级业务系统清单人月520000100000区Z务信息资源目录白皮书:修订M区Z务信息资源目录白皮书人月42000080000区三清单:通过梳理好的部门需求，梳理出共享需求清单、责任清单、负面清单人月42000080000¥11,000,000.00统一产品费用门户系统功能网站首页在首页可以看到共享目录数量、共享资源数量、推荐目录和接口、信息资源用包含产品费用、licenseZ务资源目录服务提供目录分类功能，可按照基础目录、主题目录、部门目录等维度进行分类务信息资源服务提提供共享资源分类功能，按库表、文件、接口等不同形式进行分类源申请订阅管理申请审核：Z务部门接受其他Z务部门在共享网站上的资源申请，进行审核操作。据管理门户申请查看：可以查看本部门申请其他部门资源情况，也可以撤销资源申请权费用以及实施费用订阅查看：可以查看本部门订阅其他部门资源情况，也可以取消订阅请撤销：对申请资源的撤销一旦申请撤销，该资源的订阅也被同时撤销阅撤销：订阅撤销是指对库表、文件类资源订阅的撤销息查询可对各个部门共享汇聚的数据资源进行多资源关联查询闻资讯可查看相关新闻资讯，显示新闻资讯的标题、来源和发布时间台动态可查看平台相关动态，显示平台动态的标题、来源和发布时间套12000020000政策法规可查看相关政策法规，显示法规的标题、来源和发布时间套12000020000标准规范可查看相关标准规范，显示标准规范的标题、来源和发布时间套12000020000个人中心个人中心主要为用户提供个人管理界面，包含消息提醒、待办事宜等内容台管理后台管理维护端，实现对前端信息的发布控制、栏目管理和各类审核处理等功能发者权限管理实现开发者权限管理功能，主要包括开发者登入鉴权、查看权限和权限描述等源目录管理系统信息编目提供公共资源核心元数据的手工编辑功能，实现Z务信息的分类和编目部审核实现目录内容提供单位的管理者对编目结果进行内部审核录注册Z务信息目录提供单位向Z务信息目录管理单位注册公共资源核心元数据录提交实现目录提供单位向目录管理单位正式确认和正式提交Z务信息资源元数据编制成果录审核确认所提交的Z务信息资源元数据是否符合标准要求的审核功能录入库对通过目录审核的目录元数据信息，实现元数据实行入库的操作，形成正式的目录录模板管理实现为目录提供单位提供“加载实例模板”和“下载空模板”的功能录汇总管理进行Z务部门Z务信息资源目录的汇总编制的功能录导出实现为资源提供者提供本部门Z务信息、目录信息的导出功能录发布将目录内容的核心元数据发布到指定服务器或网站上的功能录查询实现目录元数据的查询功能，并提供多种查询功能录统计分析实现目录元数据信息的统计分析功能行监控与维护实现监控目录服务相关系统的运行状态功能。务与信息资源对接实现信息资源目录与Z务信息资源建立对应关系据供需对接系统数据需求提出数据需求模型化、数据需求申请、数据需求撤销、数据需求追踪、数据需求清单功能套1150000150000数据需求分析提供资源目录快速查询、数据需求分发、数据需求退回、进度追踪、督察督办等功能套1100000100000数据需求确认提供需求确认、需求退回、督办反馈、数据共享任务生成等功能套1100000100000数据责任管理提供数据责任完成、数据责任撤销、数据责任清单等功能套1100000100000供需评估管理对供需的成效进行评估，主要统计指标包括：各部门数据提供占比、部门数据提供时效性、部门数据提供质量情况，统计结果通过图形化方式展现套1100000100000相关系统对接对接大数据平台、数据交换系统、门户系统、单点登录系统套1200000200000应用统一用户管理和认证实现统一用户和身份认证、统一用户管理、统一访问控制与统一身份认证套1200000200000单点登录服务在统一身份认证的基础上，实现用户只需一次登录就可以访问其权限范围内的各种信息资源及服务套1150000150000集成及支撑统一消息管理统一消息引擎：为用户提供多个系统消息的统一接收、提醒和展示的功能套1100000100000消息类型管理：消息类型即为消息来源，一般以消息来源系统或者功能模块来区分套12000020000消息渠道管理：消息渠道即为消息的提醒方式，就是消息发送的目标用规则管理：规则即为消息类型与消息渠道的关系定义规则管理：系统的每一个用户，都可以进行自定义的消息规则管理息过期：对于太久没有阅读的消息，系统会自动置为已读，并移入消息历史套12000020000消息发送处理：满足每天10-30万次的消息发送量一日志管理为各基础服务和应用系统提供统一的日志管理，包括应用注册、日志记录、日志分析、日志提醒等功能套1100000100000系统监控管理提供统一运行监控、总体运行监控、资源目录监控、数据中心监控、数据归集监控、数据交换监控、数据治理监控套1150000150000日志审计管理提供日志审计功能，将日志分门别类进行页面展示、审计控告警管理提供告警规则管理功能，实现告警规则的自定义管理和维护套1100000100000数据安全子平台产品费用安全基础功能管理安全管理组织提供数据安全管理层级，组织架构及相关人员，联系方式等信息汇总功能用包含产品费用、license授权费用以及实施费用参数校验设置安全数据的参数校验规则，对安全数据进行参数校验一鉴权中心实现统一鉴权管理功能，负责所有与鉴权相关的验证与管理工作套1150000150000数据安全管理数据加密提供数据加密功能，对存入的敏感数据进行加密保护，确保数据的安全存储套1200000200000密钥管理提供密钥管理系统功能，通过密钥缓存模块可提供安全的内存密钥缓存和持久密钥缓存管理套1150000150000列安全控制提供细化的列安全访问控制套1100000100000行安全控制基于用户安全级别实现对于库表行数据细化安全控制套1100000100000数据流出保护实现细化的批量数据下载安全控制功能套1100000100000数据流出互信通过数据共享获得的数据再次进行共享开放时，需获得原始数据提供方的授权套1100000100000元数据安全管理实现按照元数据分级分类中定义的数据类型、安全等级进行管理套1100000100000敏感数据管理敏感数据识别实现自动识别大数据资源平台中的敏感数据套1200000200000敏感数据分级分类实现基于标签对识别出来的敏感数据进行分级分类管理感数据生命周期管理提供统一管理并展现敏感数据采集、治理、访问、利用等全生命周期管理功能套1150000150000数据脱敏提供静态脱敏、动态脱敏能力，可以对大数据平台的数据进行静态脱敏套1200000200000数字签名与水印数据签名用于数据泄密后的责任追踪套1200000200000数据水印提数字水印技术，实现数据文件来源的可跟踪套1200000200000文件水印：在导出的文件上，打上用户标识、访问时间、应用功能号、访问IP等页水印：在网页页面上，打上用户标识、访问时间、应用功能号、访问IP等他水印：在导出的word、pdf文件上，打上用户标识、访问时间、访问IP等据数据来源审计实现对数据来源进行落库前的数据安全审计全审计数据权限审计提供对不同用户在访问数据时进行审计核对的能力据库安全访问对人工访问数据库内容的审计，识别违规操作计结果分析实现不同数据权限维度的审计分析，判断其风险状态全风险识别基于日志数据+流量数据的聚合、关联分析，识别安全风险套1150000150000风险识别预警识别出安全风险后系统自动推送其报警信息至组织管理人员全监管中心安全事件统一监控实现接入租户边界和Z务外网边界、互联网边界流量数据，进行异常流量检测并联动威胁情报信息发现僵尸、木马、蠕虫、挖矿病毒、勒索病毒以及其他恶意程序和恶意攻击行为，并提供网络取证和流量还原能力套1150000150000应用授权审计对相关管理员授权与取消行为进行审计以检查是否有短期行为等特定特殊行为据分级审计对数据分级分类情况进行审计以检查是否存在异常情况据访问权限审计对数据访问权限进行审计以检查是否存在异常情况动审计任务调度根据管理要求对审计任务进行自动排程和调度统日志审计实现综合日志和威胁情报进行大数据分析，发现安全攻击据安全可视化以可视化方式展示系统数据安全状况套1100000100000安全风险评估对安全问题发生概率和危害进行评估套1150000150000安全风险应对流程提供按照应急预案给出应对的流程套1100000100000事故树分析对安全事件及系统可靠性事件做事故树归因并推断类似情况发生概率套1100000100000安全事故告警告警触发：通过对日志的审计分析获取数据安全异常告警信息警触达：由告警管理模块统一下发至责任人、对应工单，形成闭环处理机制警管理：实现报警管理具备报警联系人分组功能，提供统一的报警管理服务全日志与流量采集各系统日志数据采集日志采集：采集数据处理子系统、数据治理子系统等各子系统的日志记录志加载：对所采集的日志进行清洗过滤、标准化、关联补齐、数据标签化处理套1100000100000数据流量采集通过采集全网流量数据，结合机器学习、数据建模、行为识别等方法，对海量异构的安全数据进行分析，发现异常行为检测，建立安全预警机制，增强整体安全防护能力套1200000200000产品费用套100费用包含产品费用、license授权费用以及实施费用套100套100套100套100套100示平台M区把各类共享数据资源的开发利用作为重点工作内容，这也是国家电子Z务工行预测。这是ZF决策模式和信息化领域的重大创新，为ZF信息共享探索出一条有效的全面发展。通过统筹规划、统一标准、统一管理、统一服务，能够完善M区信息资公共大数据平台的建设不仅为ZF信息化提供了所需的应用服务、技术服务、管理过构建M区数据基础库、专题库和主题库为核心的数据资产，充分挖掘与发挥数据应数据平台全面支撑M区公共数据协同服务、城区管理协同服务、惠民数据协同服务和数据字典管理：对系统中所有需要进行字典值操作的功能，进行统一的字典管理，方便后期的维护。资源目录管理：通过维护资源目录类别实现对信息资源的分类管理。对每一个资源目录实现目录注册和数据项的管理。提供对资源目录信息的查询服务。交换节点管理：对与数据交换共享平台进行数据交换的交换节点的信息进行维护。交换流程引擎：对每次数据交换的源及目的通过自定义流程的方式进行交换流程的审核验证，对检测异常及未在自定义流程中出发的交换流程进行控制。交换任务调度：实现数据整合作业的配置、任务调度配置。配置信息交换任务的触发方式、执行时间、异常处理、错误提示等参数。可考虑结合使用ETL工具实现。交换任务执行过程中应实现数据整合，可包括数据转换：将交换数据转换为统一中间格式，用于提供标准化数据传输交换；数据加密：通过加密技术，对交换过程中的交换数据进行加密；数据校验：为保证数据传输的正确性，对传输数据使用MD5方式进行校验。资源服务注册：管理数据交换共享平台对外提供的资源服务，实现资源服务的注册功能，成功注册的资源服务还需经过发布流程管理。资源服务发布：将资源服务对外发布，已发布的资源服务可以被外部系统申请使用。资源目录申请：实现用户对资源服务的申请流程管理，用户可申请某资源服务的使用权限，申请成功后用户可以获取资源目录数据。提供资源目录申请流程的日志管理，提供日志的查询服务。用户和权限管理：实现角色管理、用户管理、权限管理、身份认证等。用户行为监控：对系统用户的登录、查询、申请、调用资源服务等行为进行详细记录，确保所有操作都留有痕迹可查。数据交换监控：对数据交换的全过程进行监控。实现对数据流量和状态的查询、统计与审计；对数据交换共享平台自身运行状态的查询和监控；对数据交换共享平台的远程监控。数据流量和状态的监控，首先是对于所有通过数据交换共享平台进行交换的数据总量的把握，其次是对每个通过数据交换共享平台的数据包状态的微观把握。通过监控功能，可以设定在指定时间内按照进入/转出、目的地/来源地、数据量大小等项目进行查询和统计，从而实现对总量的把握；通过对数据状态（例如等待处理、正在进行、处理完毕、回执收到、处理中断等）的监控，可以追踪某一个指定数据的状态。对数据交换共享平台自身运行状态的查询和监控，是为了确认数据交换共享平台自身的运行是否正常。查询和监控的对象主要是构成数据交换共享平台的各类软件运行实体（例如进程、队列等）。以进程为例，监控的主要操作包括查询进程状态、停止进程、重新启动进程等。图–API定制和监管图–API申请提交本项目将定制一系列数据服务API调用接口，供应用系统调用，包括单表数据查询接口和多表关联查询接口。通过SQL状态监控，发现异常，找到占用资源最多的调用。通过Session监控，找到异常调用。通过防火墙的配置，找到非法调用。权限管理权限控制到表、字段一级，支持帐号与IP地址、MAC地址进行绑定。检索控制当用户检索某类无授权的基础数据时，系统提示有查询结果，但无权查看；当用户（专用数据拥有方除外）检索某类已授权的专用数据时，系统提示用户到某部门去调阅内容；当用户检索某类无授权的专用数据时，系统不进行查询。图-各应用开发公司数据资源权限管理图-数据表及字段分配权限管理图-数据源连接配置管理数据归集策略主要是预定义字段选择、字段类型映射关系、增量方式选择、条件设定、编码映射等。字段选择是在数据归集前选择哪些字段需要归集，并且允许设定条件过滤，选择符合条件的数据进行归集。字段映射是从源端数据抽取时，将源端的字段类型自动映射成目标端的字段类型。字典映射的管理在数据字典中进行维护。图-字段映射字典管理系统初次抽取数据都是全量抽取，全量抽取完成之后，系统会自动切换到增量抽取模式。系统支持的增量抽取的方式包含如下：1）增量标识，通过时间戳或自增字段进行选择增量标志，每次增量抽取完成后，系统会记录当前抽取的断点，并在下一次增量任务中从这个断点开始往后抽取增量记录。如果源端每秒产生的数据超过1万条，也就是每毫秒产生的数据超过超过2条，由于系统最小的颗粒度时间是毫秒，就容易产生遗漏数据的情况。这种情况也不用担心，因为系统会自动考虑和处理这种情况，不会遗失数据。2）差集比对，在源表既无时间戳增量标识和主键的情况下，可以采用差集比对获取增量。系统将目标端的数据和远端的数据记录进行比对，采用多线程比对方式，提高比对效率。由于比对的过程会消耗很多系统资源，所以，对于记录过亿的且无法判断增量字段的源表，建议采用全量替换方式。3）全量替换，全量替换就是每次执行的增量任务，是按照全量方式抽取的，并替换已经入库的对应的表数据。但全量替换不能造成现有访问数据的中断，所以，全量替换的过程是需要在一个事务中完成，确保不影响数据服务。而且，前期对数据湖湖中的表做过的数据治理和清洗要继续保留，而不能重复再做一次以前完成的清洗规则。在数据抽取过程中可能需要设定条件，系统提供sql入口，使用者可以输入where条件包含的内容。系统自动发现源端的主键，当然也可以自定义主键。使得入库的表可以继承或抛弃源端的主键，或者自定义主键。系统支持通过EXCEL方式导入数据。系统支持批量添加归集策略，比如制定抽取100张表的策略。批量添加归集策略会牺牲单张表的个性选择，比如单张表的字段选择，条件选择等。所以，批量添加的策略是将表的所有字段都选中，而且所有的记录抽取而不添加过滤条件。如果要针对某些表做字段选择和条件过滤，需要在策略管理，对单张表策略进行编辑，支持修改字段选择、类型选择、增量方式选择等。一旦策略确定后，就可以制定归集任务，同样归集任务支持单表归集任务制定和批量归集任务制定。关于数据补偿机制：由于源端本身也在采集数据，由于断网或系统其他故障可能导致源端的某些数据，滞后进入源端系统，这样，系统归集的数据可能漏采了某些数据。比如，一个区可能有300个宾旅馆，某个宾旅馆由于断网1天后才恢复网络连接，这样这个宾旅馆的断网前的数据要滞后一天才进入到区宾旅馆管理系统中。而我们的增量策略是按照“时间”字段来往后计算的，而且已经计算到当前的时间，如果要让系统能发现断网前的数据是漏采集了，就需要系统具备自动数据补偿机制。数据补偿机制，就是让系统将目标端的数据量与源端的数据量就某个时间点前做一次比较，当源端的数据量大于目标端的数据时，就可以驱动数据补偿机制。数据补偿的天数需要在策略中设定，缺省情况数据补偿天数是0，也就是不触发数据补偿。使用者可以在添加策略和策略管理中修改。图-条件过滤和补偿机制设定图-任务配置管理建时间、增量方式、开始/结束时间、任务运行状态（运行中/成功/失败）、输问题导致的任务暂停会在可传输时进行断点图-任务运行记录查看5)一键入湖；图-异常数据管理1）以树状结构展现数据湖资源目录；2）支持数据湖数据查询；3）支持对单表的某个字段，依照关键字模糊查询数据；图-数据发现消息通知管理是将运行过程中出现问题的记录提醒管理者。通知的类型包括：任务已经过期、数据同步失败；源字段变动异常。消息通知的方式在系统右上角的“铃铛”中可以点击阅览，也可以到消息通知管理中阅览。图-消息通知管理1）账户管理，增、删、改、查用户信息；2）角色管理，分为管理员、技术员、来宾账号；图-角色管理角色管理中涉及的模块包括：数据迁移中心、数据配置管理、数据源管理、归集策略、任务管理、任务配置管理、任务运行记录、运行统计、异常数据管理、数据查看、系统管理、账户管理、资源管理、数据字典、默认字段配置、消息通知、消息通知管理。3）数据字典，系统字典管理；4）数据库字段类型映射；5）默认字段配置：在每次添加归集策略的时候，系统会自动为目标端添加的几个字段，方便对数据湖中的数据做唯一标识和管理。包括：创建时间、操作标识、唯一主键、更新时间。6）资源管理：确定系统资源模块。一是使用H市级垂直条线的业务系统，区内各单位通过电子Z务网络直接接入和Websphere、Weblogic、Tomcat等主流web应用服务器及Oracle/SQLServer等序号所属条线系统名称主要用途出现数据重复录入、信息无法交叉验证等问部门需求数据需求数据的来源单位网格化管理中心工单位置数据、时间数据、处理内容数据城管安监局企业处罚信息市场监管局等相关执法部门统计局各部门数据发改委、经委、人口办、民政、建交委、工商、税务、教育、环保、卫生、农委、规土、水利、电力等城管执法局监控视频数据、人口信息公安局企业信息、门店信息市场监管局、应急局等相关执法部门网格化事件信息网格化管理中心渣土车辆绿化市容局教育局人口数据（可用于验证市平台获取学生数据的真实性）公安局卫健委和疾控中心的相关业务反馈数据（学校定期会向卫计委、疾控中心上报卫生数据）卫健委、疾控中心体育局赛事活动报备信息公安局信访办农民接访审批数据规划资源局人口数据公安局案件审判数据法院财政局人口数据(提高居民死亡信息数据的对接频率，在相关社会民生类财政资金的发放上提升准确率)公安局、民政局国资委工资预算决算数据人社局企业财务报表、房屋出租情况区管企业行政服务中心各市级垂直部门的审批事项数据市大数据中心法人数据市场监管局企业诚信数据发改委人口数据公安部门民政局相关数据工商、税务、社保、公安、卫计委等部门房管局审批审核数据各委办局规土计划、规划调整、用地计划、动迁计划规划资源局专项项目工程的建设进度数据、政策信息、标准信息等发改委、民政、应急等部门迁户安置情况数据街镇各类审批项目的证照资料数据、项目资金使用情况数据、项目进度情况数据市级层面审计局经济发展、民生改善、企业情况市场监管局、经委等企业处理处罚信息事中事后监管平台本区地理信息平台数据Gis系统企业工商登记信息市场监管部门人口、户籍公安部门缴税、处罚税务部门就业人社部门民政救助民政残疾补助残联招投标平台数据建管委工程建设项目审批数据建管委12345投诉数据网格化中心规土、水务、环保、绿容部门的处理处罚数据涉及自然资源资产审计的部门文化执法大人口数据公安部门队法人数据、营业执照信息市场监管局场所名单、许可信息等文旅局、体育局等相关部门视频监控资源公安部门、经营场所等司法局重点监控人员的执法数据公安局人社局-工伤认定事务中心项目参保人员实名制登记信息建管所环保局气象信息气象局水文质量、地表水数据等水务局土壤数据、化肥农药使用量等农委水务局水务相关数据气象、环保、建管委、航港科河道监控数据公安部门政法委精神病人等相关信息医疗部门检察院公益诉讼案件数据环保局、市场局、土地局等市场局居民身份证失效信息公安房产登记信息房地管理部门医疗器械、药品、化妆品相关企业的备案以及经营数据医疗机构及卫计委等相关部门专业医疗器械的计量检测数据计量所企业税收数据税务局外卖商家的证照、经营违法信息外卖平台外网ICP备案信息通信管理局残联医保数据人社局户籍数据公安局教育数据教育部门危房数据房管局税务局股权转让数据拆迁信息卫生健康委员会常住人口信息人口库标准地址信息地名气象局水文数据和气象灾害影响水务局环境监测数据环保局实时视频数据公安局农作物生产状况和气象灾害影响农委灾情数据民政局实时景区显示旅游局应急局智安小区视频数据公安发改委项目审批、备案、核准数据H市投资项目信息系统人口、土地、公共设施资源的存量数据信用数据公安、海关、税务等部门序号管理单位地址面积机柜数服务器和存储用途建管模式成为覆盖全区、实现区ZF、委办单位及乡镇街道、村居及各联网企事业单位网络接入的小型“城域网”。网络中现有多个vpn业务分配，而网络平台上提供的区Z务平台汇聚层实现所有接入单位三层网关功能。共享开放新环境”，“到20xx年，基本形成数据观念意识强、数据采集汇聚能力大、据的归集、开放和应用的管理，是响应本市公共数据管理办法的必然据共享是当下新型智慧城市建设需要解决的重中之重的难题和建集M区公共数据汇聚、整合、共享、应用、展示、评价六位于一体的大数据资源体整合创新应用和综合协同服务。断提高人员的信息化水平和能力。子Z务灾难备份中心等建设和运维管理。承担市委、市ZF和市ZF办公厅交办的其他为深入贯彻关于建设人民满意的服务型ZF的要求,坚持以人民为中心的发展思想,适应ZF管理和服务现代化发展需要,深化改革,进一步优化营商环境,提升群众和企业获为后续公共数据的进一步整合、共享、开放提供了一定的工作基图、统一的公共数据平台理等基础性、通用性地方标准和“一网通办”地方标准，促进公共数据和“一网通办”实现公共数据整合、共享、开放等环节的统一管管理；完善数据交换机制,促进公共数据共享和开放；加强主题数据库建设,促进公共数备处理PB级数据的扩展性、可靠性与易用性能力。它统一管理、集中存储了ZF的各分布式文件系统实现对汇聚的多类型海量数据的存（3）大数据分析计算：数据分析的处理速度、准确度对实际应用的及时性、高效（2）高度安全：提供了从访问验证、授权访问控制到数据安全的整体安全解决方本表管理、视图管理、简单搜索条件、表连接、子查询、分组查询、插入（5）系统支持灵活选择建立行存表、列存表；支持行存表和列存表之间的关联查（2）提供小文件存储方案，支持海量图片、视频、文档等KB级的数据高并发读务不中断，一次升级少量节点，循环滚动，直至集群所有节点升级到新版本，有700平台提供系统层级的用户权限管理、用户的密码策略管理以加组、配置组的成员以及进行角色的配置和修要来自数据池；数据服务总线主要提供区级综合数据库中数据对外的服务发布与利需确保可以在其自建的交换前置节点上部署区级公共数据共享交换平台的Agent端，交换前置节点作为区ZF及各部门公共数据资源归集的中间服务设备，由区ZF及供的数据服务按照原路径进行返回数据的反馈。常告警服务、数据桥接引擎、增量识别机制、统一安全管理等子功能（1）支持海量、增量数据、消息与文件的定时交换、准实时交换与实时交换；支GaussDB等主流数据库）、非关系型数据库和文件系统（如txt文本、excel、csv、xml等格式化文件，jpeg、png、gif、mp（4）wma转换等功能，支持点对点通讯、点对多点通讯、同步发送、异步发送、请求/响应消息不同业务数据接口上的不一致与数据来源的质量控制问控。支持定时启动、周期轮询、外部事件触发、手工启动等多种调度（4）提供资源订阅发布管理，实现为各业务部门提供请求/应答、订阅/发布等多程、共享频度等内容）等来保障数据共享的有效性与准确性。数据服务网关、数据服务开放、服务管理、统计分析、运维监控等子功能智慧应用提供有力的基础数据服务。主要包括基础库、专题库和主题库的数据库。典型的基础数据库包括人口库、法人库、空间地理信息库和电子证照建面向全区多部门提供统筹的数据共建共享共用的数据能包括基于标准的目录管理、基于标签分类的场景化管理（7）元数据关联分析：提供数据库、数据表、字段、ETL过程、数据供数据需求模板。库中的公共主题库、主体拓展库、综合业务协同库等各类主题成完善的评分反馈体系以提升数据质量。量参差不齐、业务系统数据标准不统一、数据安全需求一致性:描述同一实体的同一属性的值在不同的系稳定性:描述数据是否是稳定的，是否在其基于OneData构建的公共大数据资源平台的以保障业务可以统一地查询与调用数据。处理、知识图谱、数据分层管理、数据运维管理、数据资产管理源对象的全方位安全审计。数据安全管理主要无需再次登录即可访问门户中所集成的所有业流程闭环。通过统一集成管理实现对于各子系统对接的统一管理，各子系统能将对接的API1)流量数据采集器需要满足吞吐量1)数据融合计算（亿级数据）执行效率达到秒级2)分布式存储平台支持超过500人的数据开发人员并发访问，同时进行数据3)平台的调度执行器需具备10000个在线数据任务在分布式存储平台下的管）；）；数据收集分析镇公共数据资源、市级共享交换平台基础库落地数据及主题库、专题务量估算得出的全区数据产出估算数据量和交换估库结构化数据量为：展示、评价为“六位一体”的建设要求，推动M区大数据资源赋能智慧城市建设的整的必要条件，充分发挥标准化建设的“统一规范”作用，有效瓦解并防范“信息孤岛”到提升整体数据质量、实现信息共享、信息交换、信息关联的目安全、数据安全、网络安全、防病毒等多项安全防4、利旧原则：充分借鉴现有系统在数据、架构、应用、运维和人员等方面的储备5、渐进原则：按照“统一规划、分步实施”要求，逐步优6、可靠原则：系统采用的系统结构、技术措施、开发手段都应建立在已经相当成熟的应用基础上,在技术服务和维护响应上同用户积极配合,确保系统的可靠；对数据指实现城市治理模式突破、城市服务模式突破以及城市产业发展突破，构建以M区城市加快将M区综合智能体建设打造成为全市、应用、展示、评价为“六位一体”的大数据资源体系，并通过构建M区数据基础库、据共享、数据管理、数据决策的综合管理服务体系，确保大数据平台全面支撑M区公共数据协同服务、城区管理协同服务、惠民数据协同服务和兴业数据协同服务，为M区领导决策和减轻基层人员工作量提供坚实的数据支持。加快推进实现如下要求：制、运维支撑、组织保障体系和典型智慧应用的建第一阶段建设目标：至20xx年底，基本形成公共大数据资源平台基础功能架构，建立基础的数据资源中心，支撑主要部门急用先行的数据共享第二阶段建设目标：至20xx年底，建设形成完善的公共大数据资源平台功能，构l完善M区数据资源中心建设：新建宏观经济基础库，新建管理协同、兴业协同等相关主题库，数据资源中心完成度达到总体l汇聚ZF、社会、互联网、城市感知等数据，建立大数据服务平台，利用多元第三阶段建设目标：至20xx年底，构建形成M区公共数据汇聚、整合、共享、人性化、管理精细化、应急快速化、决策科学化”（四化）l逐步完善公共大数据资源平台的建设：实现以ZF惠民数据共享和实现社会数紧紧围绕H市“卓越的全球城市，具有世界影响力的社会主义现代化国际大都市”门和跨业务的协同服务。多规合一：多规合一、多网格合一、多卡合一