某地数智专业一体化城建设大数据平台系统项目IOT技术方案

某地数智专业一体化城建设项目大数据项目技术方案需求分析业务目标需求分析信息资源整合需求信息资源整合是一个为了某种应用目的对业务和信息资源进行梳理、分类、组织、标准化，以满足业务协同对信息资源共享需求的过程。它不只是一个技术过程，更重要的是一个建立信息资源共享和管理机制与规则的过程。同时，信息资源整合应体现信息资源与业务之间的关联性，以满足业务协同对信息资源共享的需要。应用系统整合需求经过多年的电子建设，某地各部门已经建成了大量的应用系统，由于协同工作的需要，各应用系统之间是相互关联的，它们之间存在大量的DATA互通与协同。在实际的工作中，对DATA进行跨部门互通的需求日益迫切。不少部门由于协同办公的需要，在部范围内建立了一些DATA互通的台，但是由于这些互通台与业务密切相关，不能推广到更多的电子应用中，造成了重复建设的现象。业务处理和管理需求从信息资源的特点和应用需要来看，信息资源与活动密切相关，信息资源产生于活动的各个环节和部门。在的活动中，部门在履行职能、办理业务和事项中随时都需要和产生信息资源，它的存在和分布是跨行业、跨部门、跨地域的，并且大部分信息资源随着业务的开展不断产生和变化，是一种与活动相关的动态信息资源。所以，信息资源的整合应体现信息资源与业务之间的关联性和动态性，建立以业务需求为依据整合信息资源的机制，以满足协同业务对信息资源共享的需要。系统功能性需求分析建立基础地理空间库、人口库、法人库、宏观经济库、信用信息库和城建筑信息库基础库，建立信息系统的基底DATA，实现城管理中各要素的全面管理，为应用信息系统建设提供统一的DATA服务。通过统一的DATA管理台，提供DATA标准化工具，使得DATA的收集、清理、整合等更加标准与完善，实现各个系统DATA的一致性，保证不同来源的信息能够无缝使用，实现提供DATA检查、DATA转换、DATA入库、DATA库性能调优、DATA备份与恢复管理、DATA权限控制、DATA导入导出、DATA查询统计等功能，在保证DATA高效应用基础上，保证DATA的安全性。信息量指标结构化DATA10TB，非机构化DATA（视频、图片）1PB。系统性能指标一般性DATA保存、修改、删除等操作的响应反馈速度不应超过5秒。WEB应用程序不应超过15秒。一般10万条DATA的简单查询及统计不应超过30秒，百万条DATA的查询统计不应超过60秒。复杂综合性跨模块查询及统计不应超过2分钟。

总体建设方案总体设计原则（1） 标准性、开放性系统所采用的相关标准必须与国际、国家、、级标准相符合，确保系统具有良好的开放性，能够实现与多种技术和软硬件台的有机集成。（2） 安全性系统应具有完整、全面的安全体系和良好的安全性，能够提供信息传输保密性、DATA完整性、身份识别和数字认证、防抵赖性等安全保障措施，确保信息互通的安全运行。系统设计不影响各部门相关信息系统的安全性。（3） 可扩展性系统采用可扩展的技术体系架构，以适应信息化建设和应用系统快速发展的要求。系统必须支持异构DATA库之间DATA互通和共享，支持主流关系型DATA库，支持不同操作系统之间信息互通应用的互联互通。（4） 高可靠性系统应具有良好的可靠性，建立各种故障的快速恢复机制，确保实现7×24小时地正常运转，确保信息互通工作正常运行。（5） 可管理性系统应具有良好的可管理性，允许管理人员通过管理工具实现系统全面的监控、管理和配置，并为系统故障的判断、排错和分析提供支撑，可对信息互通流程进行简易、灵活地定制和调整，同时对系统运行情况能够实时的统计分析、报表展示。（6） 实现信息全生命周期管理所谓全生命周期管理，就是指从人们对信息的需求开始，到信息报废的全部生命历程的管理。实现全生命周期，需要对城管理部件、企业和公众的信息进行全方位的收集和管理，优化、控制城部件、企业的生命历程，提升DATA融合服务台的服务能力和的执能力。（7） 学设计，分步实施某地大DATA台作为DATA融合、联网应用和服务的重要载体其建设是一个庞大而复杂的系统工程，必须采取强有力的统一规划、统一标准，总体把握、统筹推进，根据发展阶段和现实需要，有计划、有步骤地推进具体项目建设，并能有机融合，形成整体。其中系统的可靠性、高性能、安全性、绿色节能和扩展性五项将成为建设设计重点。（8） 信息为基，应用为本某地大DATA台建设的目的是打造高效的某地城管理、企业服务和公众服务业务系统。因而，某地大DATA台是业务系统建设的基础，建立完善的应用系统才是建设台最终目的。只有基于某地大DATA台建立的业务系统，才能发挥台的作用。总体目标台建设目标为：以完善的机制体制和全面的安全体系为保障，以弹性动态的基础设施台为基础，以信息资源DATA的共享、互通、融合、服务为核心，以多部门的业务流程协同为手段，打造可持续运营的、实用的、能够真正服务于社会管理、城管理和社会经济管理的信息化体系，并探信息化与体制机制深度融合和互相促进，为未来数智专业一体化城的建设打下良好的基础。目标可分解为如下的子目标：1) 实现某学习单位、所有部门及临时设立的机构的DATA互通，基础DATA集中、清洗、整理，以合理的DATA结构进行存储，打破部门信息壁垒，解决信息孤岛问题。2) 形成一整套DATA清洗整理体系，前期采集DATA通过采集-清洗-反馈-修改-再次采集DATA循环，清洗整理，后期各个部门新生产的DATA，都以几个DATA主体部门DATA为基础，产生DATA后，再采集清洗，逐步提升基础DATA质量。3) 形成整套DATA共享体系。DATA采集清洗整理后，集中到某地大DATA台，各个部门对已整理的DATA提出DATA要求，在实现DATA安全、保密等多重权限控制情况下，以多种方式提供给部门用户。实现部门之间的DATA共享、共用，统一DATA环境，减少部门之间DATA差异，提高各部门DATA质量，方便部门应用。4) 实现综合应用的建设。在完善的DATA采集、清洗、共享体系下，在完整、实时、权威及合理结构化的DATA融合服务台之上，实现区域化整体DATA应用，为组织单位、公众群体提供完整的DATA展现、全面的基础DATA服务，以及为领导决策层提供全面的、多层次的、直观的、实时有效的DATA分析，解决当前部门应用片面不完整，无法宏观把控的面。总体建设任务大DATA台通过将各XX及投资公司信息资源梳理和整合，建立基础地理空间库、人口库、法人库、宏观经济库、信用信息库和城建筑信息库基础库，建立信息系统的基底DATA，实现城管理中各要素的全面管理，为应用信息系统建设提供统一的DATA服务。通过统一的DATA管理台，提供DATA标准化工具，使得DATA的收集、清理、整合等更加标准与完善，实现各个系统DATA的一致性，保证不同来源的信息能够无缝使用，实现提供DATA检查、DATA转换、DATA入库、DATA库性能调优、DATA备份与恢复管理、DATA权限控制、DATA导入导出、DATA查询统计等功能，在保证DATA高效应用基础上，保证DATA的安全性。通过建立DATA互通台，需实现自动抓取各XX和投资公司信息系统中的增量DATA，使得各个单位收集及产生的DATA向公共基础DATA库的汇聚，保证公共基础DATA库DATA的能更新、可更新和及时更新，保障公共基础DATA库DATA的现势性。系统总体结构和逻辑结构项目设计方案根据合同建设内容，某地大DATA台包含大DATA基础台、大DATA可视化台、地理信息一张图、统一DATA首页、单点登录系统几个部分；其中信息资源服务台由：大DATA基础台（人口库、宏观经济库、法人库、信用信息库、空间地理库、城建筑物库及相关组件）、运行支持台、统一DATA首页组成；可视化台包含民生服务、公共安全、生态环保等数智专业一体化城决策主题库的建设。具体建设目标、规模与内容DATA基础台库基础库台主要用于规划设计某地大DATA台DATA，包含传统DATA库DATA、视频、图片、声音、日志文件、电子邮件、地图、Word、PDF等各种文档。这些DATA分为结构化DATA、半结构化DATA和非结构化DATA。这些类型的DATA无法用传统关系型DATA库进行DATA处理和分析，必须借助于大DATA基础台的HDFS、Hbase、MapReduce等技术手段进行处理和分析，支持顶层应用系统的DATA利用。大DATA基础台主要包括如下组件：大DATA台运维管理组件、分布式DATA库、分布式DATA仓库、分布式计算模块、流DATA处理及消息框架、DATA采集管理组件、DATA运维管理组件、基础DATA库。其中某地需要建设的库为：人口信息库、法人信息库、基础地理空间库、宏观经济库、信用信息库和城建筑信息库基础库。大DATA台运维管理组件组件部署及动态扩容，提供大DATA台部署工具，组件部署管理及动态增加机器节点管理工具；组件服务监控管理，提供组件的运行状态、组件的负载情况监控及组件的启动、停止、移除等管理；组件故障自动迁移，节点组件出现故障时，集群中的其它节点中的相应组件自动接管故障组件的工作，保证组件正常服务。大DATA台基础组件大DATA基础组件的具体功能模块包括：分布式存储模块，实现分布式文件的存储、存储副本的管理；分布式计算模块，提供分布式的DATA计算处理及DATA的分布式均衡访问；流DATA及消息框架模块，提供流DATA的处理框架，实现流DATA向大DATA台汇聚功能；提供消息处理框架，实现高速的消息通道DATA处理。DATA采集管理组件对DATA源的提供者、业务来源、连接信息、连接状态等进行管理，实现对DATA来源的跟踪；DATA库DATA采集，提供自Oracle、SQLServer、MySql等DATA库中采集DATA的功能，并进行定时的自动化采集；结构化文件DATA采集，提供自结构化DATA文件中采集DATA的功能，并对文件中的DATA行进行自动化字段拆分；非结构化文件采集，提供自FTP自动化定时采集非结构化文件，并对采集到的文件进行统一管理。DATA运维管理组件DATA运维管理组件提供对大DATA台DATA的统一监控和运维管理，具体功能包括：台DATA监控，对大DATA台中已有DATA存储量、DATA增量、表数量、在线访问人数等信息进行监控；台DATA处理任务管理，对台中的DATA采集处理任务信息进行集中查看及管理；台操作日志管理，对台中的用户登录情况、用户访问DATA表的情况进行日志记录，并提供筛选及查询功能；用户及部门管理，提供多层级的部门管理及用户管理，并提供用户排序等功能；角色及DATA权限管理，提供自定义管理员及台用户角色的功能，对不同角色可授予精细至表字段的DATA访问权限管理；审批管理，提供审批权限配置工具，并根据配置进行流转审批管理。DATA互通管理系统通过大DATA互通组件，按照统一的标准和规范，将各个XX的DATA资源汇总到大DATA服务台，实现信息资源的汇聚和传递，满足各个XX对实时信息的横向互通以及业务协同等需求，为协同、公共服务和辅助决策等提供信息互通和共享服务。DATA互通的目的是实现传输过程中的“不错、不丢、不重”。DATA互通系统核心的功能包括DATA桥接子系统、DATA传输子系统、前置互通子系统、互通管理监控子系统、监控系统和领导视图等部分组成。DATA互通组件系统在本次项目建设中负责各XX相关业务信息资源DATA的传输、互通、格式转换的工作，实现信息资源的互通。通过DATA互通组件将各个参建部门的业务信息资源DATA汇总到DATA中心。利用互通台实现异构系统的DATA采集、可靠信息传输等功能。利用台提供的适配器功能实现对DATA的抽取、加载、格式转换等功能。本项目的DATA共享与互通，将基于信息资源DATA互通组件完成。自然资源与空间地理基础信息库、人口基础库、法人基础库和宏观经济信息DATA库等都是信息资源的重要组成部份，为此对DATA互通组件提出了支撑多个互通域、形成信息资源互通体系框架的基础要求。DATA管理系统采用SOA架构，将异构DATA库的DATA自定义发布为WebService服务，供应用系统开发调用。Web服务可以使公司降低进行DATA获取成本，更快地部署解决方案以及开拓更多的新机遇。Web服务使应用程序的集成比以前更快、更容易而且更便宜。它更注重服务语义而不那么注重网络协议语义的消息，从而实现了业务功能的松散耦合。这些特性对于在XX之间和XX内部通过web连接业务功能是非常理想的。它提供了一致化（Uniform）的编程模型，从而在XX内外都可以利用通用的基础设施并以一种通用的方法进行应用程序集成。DATA共享管理系统DATA共享包括DATA资源和DATAAPI。DATA资源组件通过提供统一的资源DATA发布接口和标准元DATA规范，汇集各DATA库所存DATA的描述信息，建立信息资源资源，以此作为各类用户检索法人、自然人、空间信息、宏观经济信息、专题信息的途径，实现对信息资源的发现和定位，方便用户快速查询、浏览、申请所需DATA。DATAAPI提供一个灵活，方便，快捷的DATAAPI管理工具，让DATA的共享使用变的更加清晰、明朗。用户可以在自助申请发布定制化的DATAAPI，方便调用不同类别的DATA，同时台对于接口调用情况进行记录，可以分析出常用的DATA调用内容等辅助管理功能。DATA资源组件DATA资源组件通过提供统一的资源DATA发布接口和标准元DATA规范，汇集各DATA库所存DATA的描述信息，建立信息资源资源，以此作为各类用户检索法人、自然人、空间信息、宏观经济信息、专题信息的途径，实现对信息资源的发现和定位，方便用户快速查询、浏览、申请所需DATA。DATA资源组件收集、注册、检索、更新法人信息资源信息，这些信息资源信息包括DATA资源的位置、资源类型、接口提供形式以及检索要求等相关元DATA信息。DATA资源组件以各单位现有法人信息库为基础，通过提供统一的资源DATA发布接口和标准元DATA规范，汇集各DATA库所存DATA的描述信息，建立信息资源资源，以此作为各类用户检索法人信息的途径，实现对信息资源的发现和定位，方便用户查询、浏览所需DATA。DATA资源组件收集、注册、检索、更新法人信息资源信息，这些信息资源信息包括DATA资源的位置、资源类型、接口提供形式以及检索要求等相关元DATA信息。信息资源资源资源体系建设需要围绕资源信息采集、组织、分类、保存、发布与使用等信息生命周期各环节建立规范和标准。信息资源资源体系主要有元DATA、分类表、主题词表、唯一标识、信息组织、导航、发现、定位与服务等关键要素，资源体系的建设主要要围绕以上要素设计切实可行的技术方案。DATA加工处理组件为保证DATA的动态准确性，需要对基础空间地理信息库、人口DATA库、法人DATA库等三大基础DATA库的信息进行加工处理，最终形成各XX、相关单位所需的专题信息。DATA治理管理系统针对DATA中心的DATA结构建立规范，制定校验标准、开放标准、访问标准、技术标准等。提供基于行业、主题、服务的统一标准规范制定功能，包括资源、信息类、DATA元以及代码集；为实现互联互通、信息共享、业务协同以及安全可靠提供必要前提。DATA治理台提供全生命周期管理，支持从DATA标准建立，DATA质量治理，DATA资产管理，DATA分析整个全生命周期的DATA管理能力；提供DATA全生命过程的任务调度和监控能力；提供DATA资产的统计分析能力。DATA治理台有完善的DATA安全机制，提供全方位DATA清洗，校验和加密能力，保障DATA的一致性，完整性、唯一性和准确性；提供配置化的度量规则和校验方法生成能力，提供灵活的调度执行能力；灵活生成DATA质量评估报告。并支持DATA及资源级别访问安全控制，可灵活对脱敏DATA进行管理。随着信息化的不断推进，各信息系统建设不断完善，已深入到系统各岗位，DATA格式、样式种类繁多，DATA量与日俱增，DATA质量的监督与管理工作压力巨大。本节对DATA治理理论和方法进行研究，以DATA质量、标准为核心，对业务进行全面分析设计，从DATA标准、DATA质量监督管理体制、管理工具等，多层次围绕DATA治理工作展开具体的讨论和研究，并对DATA治理的可持续性发展提出新的思路和建议。DATA治理是指将DATA作为组织资产而展开的一系列的具体化工作，是对DATA的全生命周期管理。DATA治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的DATA模型、DATA架构、DATA质量、DATA安全、DATA生命周期等各方面进行全面的梳理、建设以及持续改进的体系。运行支持管理系统单点登录系统单点登录（SingleSignOn，简称为SSO），与CA/PKI系统相结合，实现在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统，实现“一次登录，全网畅游”的目的。单点登录系统利用统一身份认证系统对系统用户的安全性进行校验，统一的身份认证系统主要功能是将用户的登录信息和用户信息库相比较，对用户进行登录认证；认证成功后，认证系统应该生成统一的认证标志（ticket），返还给用户。另外，认证系统还应该对ticket进行效验，判断其有效性。在多台认证服务器之间要通过标准的通讯协议，互相互通认证信息，就能完成更高级别的单点登录。其具体的实现原理为：当一个web浏览器登录到应用服务器时，应用服务器会检测用户的session，如果没有session，则应用服务器会把url跳转到单点登录系统上，要求用户登录,用户登录时，先在CA认证系统验证用户证书，证书验证通过后，再到点点登录系统进行验证，同时生成令牌返回。用户登录成功后，单点登录系统会记请求的业务应用系统的url和该用户的sessionId(在应用服务器跳转url时，通过参数传给单点登录系统)。此时在单点登录系统服务器会种下TGCCookie值到web浏览器.拥有该TGCCookie的web浏览器可以无需登录进入所有建立sso服务的应用服务器上的业务应用系统。CA与单点登录系统都需要从权限系统中验证用户名密码，所有应用只存在一套用户信息，应用系统通过接口从权限系统中获取用户的所有权限信息。DATA运维系统DATA资源规划或信息资源规划工作包括分析整理大量复杂资料，在众多人员分小组进行整理的过程中，需要注意保持定义与理解的一致性。尤其资料的存储、修改和后续应用开发更需要规划信息和知识的连续性。为此，整个信息资源规划工作，需要软件工具和知识库的支持。DATA资源梳理组件软件(ArchitectureAssetsDevelopmentToolSoftware，简称：ADT)是为了满足企（事）业、部门、其他组织建立XX架构或体系而开发的产品，可以辅助这些组织的架构管理部门或信息部门，对业务、DATA、应用等可视化的架构构建工作，并支持彼此之间的关联和可持续改进，形成清晰完整的XX模型。该产品可支撑XX架构开发理论、方法的具体实施。产品的架构储藏库(ArchitectureRepository，简称AR)，存储整个架构开发过程中的各种资产和资源，管理层、决策层可从不同角度、视点去审视XX的结构和运作，帮助XX有效实现IT战略，成为资产管理的知识库。工具主要基于架构开发方法论、信息工程、总体DATA规划、DATA管理等理论，引入高阶的架构开发方法和信息化建设中的标准化核心内容，工具通过中心DATA库共享功能将各模块有机联系在一起，集中记录和管理需求，支持多团队协作和各实施阶段成果之间的一致性，同时，支持主流建模标准文档的导出。同时，工具将信息资源规划的有关标准规范和方法步骤，都编写到软件工具中，使用可视化、易操作的程序，引导规划人员执行标准规范，使信息资源规划工作的资料录入、人机交互和自动化处理的工作量比例为1：2：7，因而能高质量、高效率地支持信息资源规划工作。推广应用实践表明，该工具会帮助企事业单位和部门继承DATA资源，诊断原有DATA环境存在的问题，建立统一的信息资源管理基础标准，在此基础上优化提升已有的应用系统，高起点、高效率地建立新一代的信息资源网络。统一DATA管理系统某地大DATA台的建设中，管理权限按照分类分级的方式进行授权，根据用户类别分为XXDATA管理员、XXDATA使用者、信息办管理员、信息办使用者、运维人员、DATA分析员、总管理员等。组织机构管理：组织机构包括部门、部门关系、职务、员工关系。用于部门和人员的组成进行描述，可以描述部门、人员、职务、角色之间关系及其变化，如职务的升迁、人员的调动，通过角色确定员工的权限，为信息授权服务。机构与人员DATA可以独立于流程管理，同时又为流程管理提供基础。岗位管理：用户通过岗位管理模块进行岗位的增加、删除操作。用户信息管理对台用户进行基本信息管理用户角色管理：用户角色是指定一个群组权限的一种方法。允许对安全、使用和管理进行微调。被指定属于某种角色或某个群组的用户被认为拥有这个角色的权限。权限管理：权限管理包括权限对象的维护和权限对象的分配。权限对象是系统用来从不同的方面对系统的安全做维护的对象，它包括以下2个部分。修改密码:修改当前登录者的用户登录密码。DATA开放首页通过建立统一开放台，逐步实现公共DATA集开放，鼓励XX和公众挖掘利用，推动治理、公共服务、产业发展等领域大DATA创新应用。城统一搜索利用单一搜索框，对能够访问的DATA进行搜索；搜索结果是人、地、事、物等跨XX的全方位关联信息。首页搜索支持自然人搜索和法人搜索，是搜索的统一入口，支持组合查询、模糊查询。自然人搜索主题包括：残疾人、党员、低保、育龄妇女、适龄儿童、老年人等。法人搜索主题包括：党机关、企业、民办非企业、合作社、社会团体、事业单位等。大DATA可视化台大DATA可视化台，提供大DATA的可视化图形展示能力。对需要展示的DATA源实现对接，并可以对所访问的DATA具有要求查询和过滤能力，支持多维DATA的OLAP操纵，支持对DATA方体实现上卷、下钻、切片切块、旋转等操作，支持DATA展示的动态绘制和动态刷新。通过图形化设计和编排工具，实现基于图形环境以拖拉拽的方式自由设计DATA展示界面，支持折线图、柱状图、条形图、面积图、饼图、堆积图、雷达图、气泡图、散点图、和弦图、力导向关系图、填充气泡图、旭日图、视频组件、日历组件等丰富图形化显示组件。支持GIS组件和各业务DATA基于GIS的空间展示。提供分布地图、迁移地图、标注地图、热力图等矢量地图的应用。能够实现各图形组件的操纵事件响应能力，并支持各组件之间的事件关联。基于大DATA可视化台构建的DATA展示，可以支持大屏DATA显示和WEB首页的DATA展示。DATA源管理DATA源管理是承接外部与内部DATA互通的一个基础DATA功能，主要由实时DATA接入服务、离线批量DATA接入服务和DATA总线服务组成，是整个通用DATA摄取台，可以从各种DATA源中提取，转换和加载海量DATA。比如：DATA库、FTP、RESTAPIs、Files、Stream等等。DATA源管理能够处理日常规划任务需要所有DATA摄取，包括作业/任务规划，任务分配，错误处理，状态管理，DATA质量检测，DATA发布等等。DATA源格式包括结构化、半结构化、或非结构化。DATA的接入方式包括批量DATA处理模块到DATA源主动拉取（pull）DATA和实时DATA处理模块被动的接受DATA源推送（push）的DATA。在DATA接入的时效性上有实时DATA接入，也有离线DATA接入，收集各种DATA源DATA为大DATA台所用。DATA接入到本系统后，将放入DATA总线子系统缓冲起来。接下来，DATA将会进行同步存储到DATA台的分布式文件存储系统中，作为后续系统的DATA源；DATA也可通过实时计算，存储到DATA台的分布式实时存储系统中。DATA源管理通过同样的执行框架从不同DATA源摄取DATA，在同一个地方管理所有不同DATA源的元DATA。同时结合了其他特性，比如自动伸缩，容错，DATA质量保证，可扩展和处理DATA模型改革等等。DATA源管理非常容易使用，是个高效的DATA摄取台。大DATA接入包括结构化DATA采集工具、非结构化DATA采集工具、系统日志采集工具、台API接入、DATA互通工具等，主要用户实现外部多源异构的大DATA采集与大DATA接入。DATA连接支持连接丰富的DATA源，包括：EXCEL、CSV、MySQL、Oracle、SQLServer、DB2、MonetDB、Cheetah、HANA、GreenPlum、TranswarpInceptor、TeraData、Presto、PostgreSQL、Vertical、HadoopHive、SparkSQL、Kylin、Impala，选择你需要连接的DATA库类型后，可进行链接配置。DATA模型完成DATA连接的设置后，有数即与要处理的DATA建立了联系。接着在“DATA模型”环节，可以对原始DATA进行处理（诸如字段重命名、空值处理、建立DATA字典、添加计算字段、匹配地理位置的经度维度等操作），建立分析模型。在DATA模型页面，选择添加DATA模型抽取设置支持对DATA表进行抽取，将表DATA抽取到有数的MPPDATA库中，提升查询效率。支持全量抽取、增量抽取两种抽取方式。全量抽取：每次抽取的时候将表DATA全部抽取至有数的MPPDATA库。增量抽取：每次抽取只抽取相比于上次更新增加的DATA。可视化报告支持图形化、以选择控件拖曳的方式制作各种动态仪表板，无须任何编码；系统支持饼图、柱状图、热力图、瀑布图、突出表、折线图、散点图、交叉表等各种图形；图表可以在仪表板中自由摆放，形成图文结合的报表；用户可以够通过浏览器查阅报表，实现筛选、过滤、突显、钻取到底层DATA的功能。驾驶舱对制作好的可视化DATA报告进行查看，并可以将可视化报告发送给系统中的其他用户进行使用。城运行一张图地理信息一张图台重点关注城的综合管理和运行状况监测能力，以城总体协调发展、运行高效为目标，汇聚了重点项目管理、城环境监测、城声音监测、城基础资源管理、城安监管理、教育事业服务、公共安全管理、公共卫生管理等方面的DATA，通过对城运行状况的可视化展示、预测和分析，实现对城管理的实时化、高效化监测，为领导决策提供基础支撑，提高城运行管理效率，提升民生服务质量水，为民和提供快速、优质、高效的综合服务。标准规范建设内容信息资源分类标准实施规范规定信息资源的分类原则和方法，用于指导信息资源的分类工作，以便促进部门间资源共享和面向社会的公共服务，是建立信息资源资源的重要的分类依据。信息资源标识符编码实施规范规定信息资源标识符的编码方案，以便为每一项信息资源分配一个唯一不变的标识符。信息资源资源编制规范规定信息资源资源编制中的术语和定义、管理的架构、编制的方法和信息资源标识符编码规则。信息资源DATA质量规范明确DATA质量描述的基本原理，详细说明识别及报告DATA质量信息的基本方法，规范DATA质量控制的基本原则与方法。信息资源DATA采集规范对台的DATA采集原则、DATA采集范围、DATA采集任务、DATA采集方法、DATA采集流程、DATA采集监测、DATA同步机制、DATA采集质量要求等进行规范。信息资源共享互通技术规范规定信息资源共享互通的体系架构、功能体系及技术要求。信息资源服务接口技术规范规定信息资源共享互通台的接口规范，包括信息资源资源服务接口、信息资源互通服务接口和认证授权服务接口。信息资源开放管理规范部门在履行信息资源开放开放过程中的资源权属、登记、开放、使用、保护等环节过程中需要使用其他部门信息资源和为其他部门提供信息资源的行为制定规范。信息资源安全管理规范明确信息资源供需双方共享互通信息的安全保密协议制度，保证信息资源在采集、存储、备份、访问授权、传输、使用等过程中的安全。信息资源规划和DATA库设计信息资源梳理流程如下：XX本方案中的DATA表由业务主表和附属信息表组成，业务主表包括地理信息主表、自然人主表、单位组织主表等。业务主表建立的原则是：采集容易，各XX普遍具有共享需求；简单、不易变，并具有唯一性，因此建议采集最基本的字段；易于建立DATA之间的关联。其中，建立DATA关联对于业务管理最有价值，因而建立那些业务主表与该条原则具有极强的关联性。从DATA的关联来看，我们需要建立的关联有如下四种：人-地关联组织单位-地关联人-组织单位关联人-人关联在本项目中的招标方案中，更多的强调了前三种关联。然而，人都是社会人，对人口的管理是管理的核心内容，因而建立人与人之间的关联至关重要，而家庭户是社会关系中最为重要的，在管理中有极大的实用价值。比如医疗卫生中分析家族病史、低保申请中了解家庭收入等。因此，如果要求允许，建议建立上述主表时，同时建立户主表。自然人主表：实地调研和计生的基础信息，比较二者的准确率，确定一单位的信息为基本信息来源，以自然人ID或身份证号为主键，采集自然人姓名、身份证号、性别、地址信息等主要字段，经过一定规则的DATA清洗-异常处理后，形成自然人主表。从其他XX互通来的人口DATA与主表DATA比对，建立与自然人主表之间的关联，形成专题附属表。组织单位主表：组织单位主表的内容包括企业法人、社会团体、其他非企业单位组成，根据不同性质的单位，分别以不同来源的信息建立的主表。企业法人以法人ID或组织机构代码为主键，采集企业名称、工商注册号、组织机构代码证、组织单位名称、注册地址、办公地址等信息为主要字段，形成组织单位信息库主表；社会组织则以民登记信息建立主表。地理信息主表：地理信息主表由地址信息id为主键，以地址信息及地理坐标为主要字段，形成地理信息主表。各种要素的地址信息可与地理信息主表进行比对，形成附属表。系统软件架构DATA处理和存储系统设计应用集成及接口设计WebApi安全访问模型是基于RSA加密演算法建立的，模型中包含Invoker（WebApi调用者）、Provider（WebApi提供者）和Authorizer（授权者）三种角色。Authorizer负责生成和管理RSA密钥Invoker是WebApi的使用方Provider是WebApi的服务方在WebApi的安全访问流程中，三种角色的关系如下：Authorizer生成RSA密钥Invoker向Authorizer请求RSA公钥Invoker使用RSA公钥生成Provider的访问凭据Invoker调用Provider的WebApi的同时将访问凭据发送给ProviderProvider向Authorizer请求RSA私玥Provider使用RSA私玥验证Invoker的访问凭据，确认凭据有效Provider允许Invoker调用WebApiWebApi安全访问模型可以保护Provider的WebApi不会被未经授权的第三方调用，但是无法保证DATA在传输时不会被第三方拦截。若要确保DATA的传输安全性，请在WebApi的传输层部署HTTPS协议。网络系统设计安全系统设计硬件环境采用三级等保，软件安全设计如下：功能编号/功能名称功能描述DATA加密通过非对称加密（用户登录、公用接口部分）方式，实现DATA互通和共享传输过程中的机密性及完整性；支持用户自定义密钥管理方式身份认证支持静态口令访问控制安全管理员配置用户访问控制策略及DATA操作，不同人员分配不同的访问权限安全审查支持DATA安全日志的汇总统计，形成报表和可视化图形DATA脱敏对隐私DATA和敏感信息遮挡展示备份系统设计采用双备份，同一机架一个备份，不同机架一个备份。运行维护系统设计XX序号服务项目实施内容1DATA库更新DATA库建成后，中标方应保证每六个月对DATA库内的DATA进行一次更新，必要时可由甲方帮助协调有关部门。2定期巡检定期对系统进行有关安全性、可管理性以及系统性能进行检查分析，对网络设备环境和系统进行性能检测，系统健康检测的结果将转化为简明易懂的报告，由专业系统健康检测的服务专家跟进并指出系统潜在的问题以及推荐解决方法。3现场紧急服务系统出现故障和缺陷后，用户将出现故障的现象（症状）、部位和性质、工作日志和有关记录通知乙方维护工程师，经双方分析，如认为关联到第三方所提供的产品，则通知第三方，由三方一起派员检查并对故障进行分析，寻求解决问题的方法。每次故障处理完毕后，填写“故障诊断表”以及相关的处理记录。4系统软件维护(1)系统资源分配与效率改进建议；(2)系统扩充、版本更新升级及功能更新服务；(3)系统容量预测建议；(4)软件配置规划和性能优化；(5)系统软件应用和维护的技术咨询；(6)操作系统版本更新升级及功能更新服务；(7)使用的应用软件需要更新的操作系统支持；(8)有更新的硬件部件可以应用到系统。其它系统设计无。系统配置及软硬件选型原则软件选型原则：开放性，对称性与非对称处理，异种机互联能力，资源及安全服务的支持能力，应用软件的支持能力，网管能力，性能优化和监视能力，系统备份／恢复支持能力。硬件选型原则：系统的开放性，系统的延续性，系统可扩展性，系统的互连性能，应用软件的支持，系统的性价比，生产厂商的技术支持，可管理性（同事管理多处工作，消除问题，智能管理的方法），远程管理，状况跟踪，预故障处理，性能监控，安全管理，可用性，磁盘故障，内存问题，容错性（冗余组件、自动服务器恢复，冗余网卡，冗余ＣＰＵ电源模块，双对等ＰＣＩ总线）及台支持。系统软硬件配置清单序号设备名称主要性能操作系统1应用服务器虚拟机；CPU：8核，内存：16G，硬盘：800GCentos62应用服务器虚拟机；CPU：8核，内存：16G，硬盘：800GCentos63应用服务器虚拟机；CPU：8核，内存：16G，硬盘：800GCentos64DATA库服务器虚拟机；CPU：8核，内存：16G，硬盘：800GCentos65DATA库服务器虚拟机；CPU：8核，内存：16G，硬盘：800GCentos66DATA库服务器虚拟机；CPU：8核，内存：16G，硬盘：800GCentos6DATA库服务器物理机；CPU：64核，内存：128G，硬盘：1TCentos67DATA库服务器物理机；CPU：64核，内存：128G，硬盘：1TCentos68GIS服务器物理机；CPU：16核，内存：32G，硬盘：500G+2TWindowsServer20129互通台虚拟机；CPU：8核，内存：32G，硬盘：800GWindowsServer200810互通台虚拟机；CPU：8核，内存：32G，硬盘：800GWindowsServer200811互通台虚拟机；CPU：8核，内存：32G，硬盘：800GWindowsServer200812开发服务器虚拟机；CPU：8核，内存：32G，硬盘：300G+1TCentos613大DATA存储集群虚拟机；CPU：16核，内存：64G，硬盘：300G+1TCentos614大DATA存储集群虚拟机；CPU：16核，内存：64G，硬盘：300G+1TCentos615大DATA存储集群虚拟机；CPU：16核，内存：64G，硬盘：300G+1TCentos616大DATA存储集群虚拟机；CPU：16核，内存：64G，硬盘：300G+1TCentos617前置机虚拟机；CPU：4核，内存：16G，硬盘：500GCentos618前置机虚拟机；CPU：4核，内存：16G，硬盘：500GCentos619大DATA测试台虚拟机；CPU：4核，内存：16G，硬盘：500GCentos6系统软硬件物理部署方案XX

项目建设与运行管理领导和管理机构XX项目实施机构云计算XXX。运行维护机构云计算XXX（暂定）。项目进度、质量通过1.项目组织分工责任体系明确；2.形成“领导小组统筹落实、相关XX支持配合、专家组专业指导、承建方项目实施”的四位一体的沟通协作体系；3.项目在实施推进中由专家组指导不断完善，来保证项目进度和质量。人员培训方案现场培训由乙方在项目实施现场进行。乙方必须安排甲方认可的具有相关专业资格或者实际工作经验的教师和相应辅导人员进行培训.培训内容主要包括系统的安装、操作、配置和维护及系统组成、结构、功能、使用方法等，系统常见故障现象的诊断和处理，常见的问题及解决办法等包括：大DATA服务台介绍。包括大DATA服务台建设背景、建设内容、进度和成效、定位等方面进行介绍。、台网络情况介绍。包括基本的网络知识，目前台所处的网络情况进行介绍。、台用户体系和角色介绍。台面向的用户群体，不同角色的功能职责。、按用户操作手册详细介绍大DATA服务台操作流程。主要介绍作为XX用户如何使用系统进行DATA资源资源的编制、维护、发布；DATA的上报、查看、申请、审核、使用。具体包含如下模块的培训：1. 用户登录。2. 资源清单资源初始化、资源资源发布、资源资源维护。3. DATA上报流程。如何对接和上传DATA。4. DATA资源查看，DATA申请、DATA审核。5. DATA获取和使用。乙方必须为所有被培训人员提供培训环境、文字资料和讲义等相关用品等。项目实施进度初步设计概算初步设计投资概算书（一）基础软件及地图DATA序号软件名称描述说明1统一权限管理系统实现按照系统、按部门的分级管理，具有角色分配、权限分配、访问日志、子系统管理等功能，实现多系统权限的统一分配和管理2DATA库Oracle10g以上，标准版或企业版，支持oracleRAC；也可选择采用PostgreSQL凯源DATA库报价为开源DATA库PostgreSQL，也可自行采购Oracle商业DATA库3中间件标准J2EE中间件选择免费的Tomcat，也可以自行采购金蝶、东方通、Weblogic、Websphere等4地理信息套件(2维)XXXXXX5单点登录系统实现一次登录，访问所有具有权限的系统及功能；能够与已有的CA认证系统进行对接6大DATA台运维管理组件部署及动态扩容，提供大DATA台部署工具，组件部署管理及动态增加机器节点管理工具；组件服务监控管理，提供组件的运行状态、组件的负载情况监控及组件的启动、停止、移除等管理；组件故障自动迁移，节点组件出现故障时，集群中的其它节点中的相应组件自动接管故障组件的工作，保证组件正常服务7大DATA基础组件分布式存储模块，提供分布式文件的存储、存储副本的管理；分布式计算模块，提供分布式的DATA计算处理及DATA的分布式均衡访问；流DATA及消息框架模块，提供流DATA的处理框架，实现流DATA向大DATA台汇聚功能；提供消息处理框架，实现高速的消息通道DATA处理8DATA采集管理DATA来源管理，对DATA源的提供者、业务来源、连接信息、连接状态等进行管理，实现对DATA来源的跟踪；DATA库DATA采集，提供自Oracle、SQLServer、MySql等DATA库中采集DATA的功能，并进行定时的自动化采集；结构化文件DATA采集，提供自结构化DATA文件中采集DATA的功能，并对文件中的DATA行进行自动化字段拆分；非结构化文件采集，提供自FTP自动化定时采集非结构化文件，并对采集到的文件进行统一管理9DATA运维管理台DATA监控，对大DATA台中已有DATA存储量、DATA增量、表数量、在线访问人数等信息进行监控；台DATA处理任务管理，对台中的DATA采集处理任务信息进行集中查看及管理；台操作日志管理，对台中的用户登录情况、用户访问DATA表的情况进行日志记录，并提供筛选及查询功能；用户及部门管理，提供多层级的部门管理及用户管理，并提供用户排序等功能；角色及DATA权限管理，提供自定义管理员及台用户角色的功能，对不同角色可授予精细至表字段的DATA访问权限管理；审批管理，提供审批权限配置工具，并根据配置进行流转审批管理10DATA资源梳理组件DATA梳理工具的管理内容包括系统目标、组织结构、业务角色、用户视图等；能够对业务流程图和DATA流程图进行管理，能够识别协同关系和信息共享需求，能够明确职责、整理和挖掘DATA资源、规范DATA表示；能够对DATA库的主题库、逻辑实体、实体关系图、DATA映射图、DATA元标准、信息分类编码进行管理；通过梳理明确信息资源的出口、入口、DATA间关系；通过台可以摸清业务需求、DATA需求和集成需求；并能够支持信息资源的文档的自动化生成（DATA库设计文档、信息资源、实体关系图等）；能够支持思维导图等方式的可视化展示。11DATA互通组件包括前置互通和DATA互通总线，具有DATA安全可靠的双向互通、DATA映射、DATA互通监控管理等功能。默认支持10个系统之间的DATA互通。12DATA加工处理组件实现DATA的自动化清洗和不同来源DATA的比对功能。包括设定清洗比对规则、自动化清洗比对、异常DATA反馈功能。默认支持10个系统DATA的加工处理。13DATA资源组件以DATA资源的形式对基础DATA进行展示。包括DATA资源展示、发布、销毁、查询、DATA申请、审批等全流程功能。14DATA治理组件包括对DATA结构与D