数字化大数据平台项目技术方案

免责声明，本资源仅供人员学习和技术研究探讨使用，如果由于以上原因造成的版权纠纷，概不负责！希望人人都能拥有学习研究知识的机会。要求分析业务目标要求分析信息资源创新融合要求信息资源创新融合是一个为了某种应用目的对业务和信息资源进行梳理、分类、组织、标准化，以满足业务协同对信息资源共享要求的过程。它不只是一个技术过程，更重要的是一个建立信息资源共享和管理机制与规则的过程。同时，信息资源创新融合应体现信息资源与业务之间的关联性，以满足业务协同对信息资源共享的需要。应用系统创新融合要求经过多年的电子建设，某地各部门已经建成了大量的应用系统，由于协同工作的需要，各应用系统之间是相互关联的，它们之间存在大量的信息交换与协同。在实际的工作中，对信息进行跨部门交换的要求日益迫切。不少部门由于协同办公的需要，在部范围内建立了一些信息交换的台，但是由于这些交换台与业务密切相关，不能推广到更多的电子应用中，造成了重复建设的现象。业务处理和管理要求从信息资源的特点和应用需要来看，信息资源与活动密切相关，信息资源产生于活动的各个环节和部门。在的活动中，部门在履行职能、办理业务和事项中随时都需要和产生信息资源，它的存在和分布是跨行业、跨部门、跨地域的，并且大部分信息资源随着业务的开展不断产生和变化，是一种与活动相关的动态信息资源。所以，信息资源的创新融合应体现信息资源与业务之间的关联性和动态性，建立以业务要求为依据创新融合信息资源的机制，以满足协同业务对信息资源共享的需要。系统功能性要求分析实现提供信息检查、信息转换、信息入库、信息库性能调优、信息备份与恢复管理、信息权限控制、信息导入导出、信息查询统计等功能，在保证信息高效应用基础上，保证信息的安全性。信息量指标结构化信息2TB，非机构化信息（视频、图片）1PB。系统性能指标一般性信息保存、修改、删除等操作的响应反馈速度不应超过5秒。WEB应用程序不应超过15秒。一般2万条信息的简单查询及统计不应超过31秒，百万条信息的查询统计不应超过61秒。复杂综合性跨模块查询及统计不应超过2分钟。总体建设方案总体设计原则（1） 标准性、开放性系统所采用的相关标准必须与国际、国家、、级标准相符合，确保系统具有良好的开放性，能够实现与多种技术和软硬件台的有机集成。（2） 安全性系统应具有完整、全面的安全体系和良好的安全性，能够提供信息传输保密性、信息完整性、身份识别和数字认证、防抵赖性等安全保障措施，确保信息交换的安全运行。系统设计不影响各部门相关信息系统的安全性。（3） 可扩展性系统采用可扩展的技术体系架构，以适应信息化建设和应用系统快速发展的要求。系统必须支持异构信息库之间信息交换和共享，支持主流关系型信息库，支持不同操作系统之间信息交换应用的互联互通。（4） 高可靠性系统应具有良好的可靠性，建立各种故障的快速恢复机制，确保实现7×24小时地正常运转，确保信息交换工作正常运行。（5） 可管理性系统应具有良好的可管理性，允许管理成员通过管理工具实现系统全面的监控、管理和配置，并为系统故障的判断、排错和分析提供支撑，可对信息交换流程进行简易、灵活地定制和调整，同时对系统运行情况能够实时的统计分析、报表展示。（6） 实现信息全生命周期管理所谓全生命周期管理，就是指从人们对信息的要求开始，到信息报废的全部生命历程的管理。实现全生命周期，需要对城管理部件、企业和公众的信息进行全方位的收集和管理，优化、控制城部件、企业的生命历程，提升信息融合服务台的服务能力和的执能力。（7） 学设计，分步实施某地大信息台作为信息融合、联网应用和服务的重要载体其建设是一个庞大而复杂的系统工程，必须采取强有力的统一规划、统一标准，总体把握、统筹推进，根据发展阶段和现实需要，有计划、有步骤地推进具体产品建设，并能有机融合，形成整体。其中系统的可靠性、高性能、安全性、绿色节能和扩展性五项将成为建设设计重点。（8） 信息为基，应用为本某地大信息台建设的目的是打造高效的某地城管理、企业服务和公众服务业务系统。因而，某地大信息台是业务系统建设的基础，建立完善的应用系统才是建设台最终目的。只有基于某地大信息台建立的业务系统，才能发挥台的作用。总体目标台建设目标为：以完善的机制体制和全面的安全体系为保障，以弹性动态的基础设施台为基础，以信息资源信息的共享、交换、融合、服务为核心，以多部门的业务流程协同为手段，打造可持续运营的、实用的、能够真正服务于社会管理、城管理和社会经济管理的信息化体系，并探信息化与体制机制深度融合和互相促进，为未来信息数字化的建设打下良好的基础。目标可分解为如下的子目标：1) 实现所有部门及临时设立的机构的信息交换，基础信息集中、清洗、整理，以合理的信息结构进行存储，打破部门信息壁垒，解决信息孤岛问题。2) 形成一整套信息清洗整理体系，前期采集信息通过采集-清洗-反馈-修改-再次采集信息循环，清洗整理，后期各个部门新生产的信息，都以几个信息主体部门信息为基础，产生信息后，再采集清洗，逐步提升基础信息质量。3) 形成整套信息共享体系。信息采集清洗整理后，集中到某地大信息台，各个部门对已整理的信息提出信息要求，在实现信息安全、保密等多重权限控制情况下，以多种方式提供给部门用户。实现部门之间的信息共享、共用，统一信息环境，减少部门之间信息差异，提高各部门信息质量，方便部门应用。4) 实现综合应用的建设。在完善的信息采集、清洗、共享体系下，在完整、实时、权威及合理结构化的信息融合服务台之上，实现区域化整体信息应用，为组织单位、公众群体提供完整的信息展现、全面的基础信息服务，以及为领导决策层提供全面的、多层次的、直观的、实时有效的信息分析，解决当前部门应用片面不完整，无法宏观把控的面。总体建设任务大信息台通过将XXX投资信息资源梳理和创新融合，建立基础地理空间库、人口库、法人库、宏观经济库、信用信息库和城建筑信息库六大基础库，建立信息系统的基底信息，实现城管理中各要素的全面管理，为应用信息系统建设提供统一的信息服务。通过统一的信息管理台，提供信息标准化工具，使得信息的收集、清理、创新融合等更加标准与完善，实现各个系统信息的一致性，保证不同来源的信息能够无缝使用，实现提供信息检查、信息转换、信息入库、信息库性能调优、信息备份与恢复管理、信息权限控制、信息导入导出、信息查询统计等功能，在保证信息高效应用基础上，保证信息的安全性。通过建立信息交换台，需实现自动抓取各委办和投资信息系统中的增量信息，使得各个单位收集及产生的信息向公共基础信息库的汇聚，保证公共基础信息库信息的能更新、可更新和及时更新，保障公共基础信息库信息的现势性。产品设计方案具体建设目标、规模与内容大信息基础台大信息台运维管理组件组件部署及动态扩容，提供大信息台部署工具，组件部署管理及动态增加机器节点管理工具；组件服务监控管理，提供组件的运行状态、组件的负载情况监控及组件的启动、停止、移除等管理；组件故障自动迁移，节点组件出现故障时，集群中的其它节点中的相应组件自动接管故障组件的工作，保证组件正常服务。大信息台基础组件大信息基础组件的具体功能模块包括：分布式存储模块，实现分布式文件的存储、存储副本的管理；分布式计算模块，提供分布式的信息计算处理及信息的分布式均衡访问；流信息及消息框架模块，提供流信息的处理框架，实现流信息向大信息台汇聚功能；提供消息处理框架，实现高速的消息通道信息处理。信息采集管理组件对信息源的提供者、业务来源、连接信息、连接状态等进行管理，实现对信息来源的跟踪；信息库信息采集，提供自Oracle、SQLServer、MySql等信息库中采集信息的功能，并进行定时的自动化采集；结构化文件信息采集，提供自结构化信息文件中采集信息的功能，并对文件中的信息行进行自动化字段拆分；非结构化文件采集，提供自FTP自动化定时采集非结构化文件，并对采集到的文件进行统一管理。信息运维管理组件信息运维管理组件提供对大信息台信息的统一监控和运维管理，具体功能包括：台信息监控，对大信息台中已有信息存储量、信息增量、表数量、在线访问人数等信息进行监控；台信息处理任务管理，对台中的信息采集处理任务信息进行集中查看及管理；台操作日志管理，对台中的用户登录情况、用户访问信息表的情况进行日志记录，并提供筛选及查询功能；用户及部门管理，提供多层级的部门管理及用户管理，并提供用户排序等功能；角色及信息权限管理，提供自定义管理员及台用户角色的功能，对不同角色可授予精细至表字段的信息访问权限管理；审批管理，提供审批权限配置工具，并根据配置进行流转审批管理。大信息处理及共享台信息运维管理组件信息资源规划或信息资源规划工作包括分析整理大量复杂资料，在众多成员分小组进行整理的过程中，需要注意保持定义与理解的一致性。尤其资料的存储、修改和后续应用开发更需要规划信息和知识的连续性。为此，整个信息资源规划工作，需要软件工具和知识库的支持。信息资源梳理组件软件(ArchitectureAssetsDevelopmentToolSoftware，简称：ADT)是为了满足企（事）业、部门、其他组织建立委办架构或体系而开发的产品，可以辅助这些组织的架构管理部门或信息部门，对业务、信息、应用等可视化的架构构建工作，并支持彼此之间的关联和可持续改进，形成清晰完整的委办模型。该产品可支撑委办架构开发理论、方法的具体实施。产品的架构储藏库(ArchitectureRepository，简称AR)，存储整个架构开发过程中的各种资产和资源，管理层、决策层可从不同角度、视点去审视委办的结构和运作，帮助委办有效实现IT战略，成为资产管理的知识库。工具主要基于架构开发方法论、信息工程、总体信息规划、信息管理等理论，引入高阶的架构开发方法和信息化建设中的标准化核心内容，工具通过中心信息库共享功能将各模块有机联系在一起，集中记录和管理要求，支持多团队协作和各实施阶段成果之间的一致性，同时，支持主流建模标准文档的导出。同时，工具将信息资源规划的有关标准规范和方法步骤，都编写到软件工具中，使用可视化、易操作的程序，引导规划成员执行标准规范，使信息资源规划工作的资料录入、人机交互和自动化处理的工作量比例为1：2：7，因而能高质量、高效率地支持信息资源规划工作。推广应用实践表明，该工具会帮助企事业单位和部门继承信息资源，诊断原有信息环境存在的问题，建立统一的信息资源管理基础标准，在此基础上优化提升已有的应用系统，高起点、高效率地建立新一代的信息资源网络。信息交换组件通过大信息交换组件，按照统一的标准和规范，将各个委办的信息资源汇总到大信息服务台，实现信息资源的汇聚和传递，满足各个委办对实时信息的横向交换以及业务协同等要求，为协同、公共服务和辅助决策等提供信息交换和共享服务。信息交换的目的是实现传输过程中的“不错、不丢、不重”。信息交换系统核心的功能包括信息桥接子系统、信息传输子系统、前置交换子系统、交换管理监控子系统、监控系统和领导视图等部分组成。信息交换组件系统在本次产品建设中负责各委办相关业务信息资源信息的传输、交换、格式转换的工作，实现信息资源的交换。通过信息交换组件将各个参建部门的业务信息资源信息汇总到信息中心。利用交换台实现异构系统的信息采集、可靠信息传输等功能。利用台提供的适配器功能实现对信息的抽取、加载、格式转换等功能。本产品的信息共享与交换，将基于信息资源信息交换组件完成。自然资源与空间地理基础信息库、人口基础库、法人基础库和宏观经济XX信息库等都是信息资源的重要组成部份，为此对信息交换组件提出了支撑多个交换域、形成信息资源交换体系框架的基础要求。信息加工处理组件为保证信息的动态准确性，需要对基础空间地理信息库、人口信息库、法人信息库等三大基础信息库的信息进行加工处理，最终形成各委办、相关单位所需的专题信息。XX信息组件XX信息组件通过提供统一的XX信息发布接口和标准元信息规范，汇集各信息库所存信息的描述信息，建立信息资源信息，以此作为各类用户检索法人、自然人、空间信息、宏观经济信息、专题信息的途径，实现对信息资源的发现和定位，方便用户快速查询、浏览、申请所需信息。XX信息组件收集、注册、检索、更新法人信息资源信息，这些信息资源信息包括信息资源的位置、资源类型、接口提供形式以及检索要求等相关元XX信息。XX信息组件以各单位现有法人信息库为基础，通过提供统一的XX信息发布接口和标准元信息规范，汇集各信息库所存信息的描述信息，建立信息资源信息，以此作为各类用户检索法人信息的途径，实现对信息资源的发现和定位，方便用户查询、浏览所需信息。XX信息组件收集、注册、检索、更新法人信息资源信息，这些信息资源信息包括信息资源的位置、资源类型、接口提供形式以及检索要求等相关元XX信息。信息资源资源信息体系建设需要围绕资源信息采集、组织、分类、保存、发布与使用等信息生命周期各环节建立规范和标准。信息资源信息体系主要有元信息、分类表、主题词表、唯一标识、信息组织、导航、发现、定位与服务等关键要素，信息体系的建设主要要围绕以上要素设计切实可行的技术方案。信息治理组件针对信息中心的信息结构建立规范，制定校验标准、开放标准、访问标准、技术标准等。提供基于行业、主题、服务的统一标准规范制定功能，包括信息、信息类、信息元以及代码集；为实现互联互通、信息共享、业务协同以及安全可靠提供必要前提。信息治理台提供全生命周期管理，支持从信息标准建立，信息质量治理，信息资产管理，信息分析整个全生命周期的信息管理能力；提供信息全生命过程的任务调度和监控能力；提供信息资产的统计分析能力。信息治理台有完善的信息安全机制，提供全方位信息清洗，校验和加密能力，保障信息的一致性，完整性、唯一性和准确性；提供配置化的度量规则和校验方法生成能力，提供灵活的调度执行能力；灵活生成信息质量评估报告。并支持信息及资源级别访问安全控制，可灵活对脱敏信息进行管理。随着信息化的不断推进，各信息系统建设不断完善，已深入到系统各岗位，信息格式、样式种类繁多，信息量与日俱增，信息质量的监督与管理工作压力巨大。本节对信息治理理论和方法进行研究，以信息质量、标准为核心，对业务进行全面分析设计，从信息标准、信息质量监督管理体制、管理工具等，多层次围绕信息治理工作展开具体的讨论和研究，并对信息治理的可持续性发展提出新的思路和建议。信息治理是指将信息作为组织资产而展开的一系列的具体化工作，是对信息的全生命周期管理。信息治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的信息模型、信息架构、信息质量、信息安全、信息生命周期等各方面进行全面的梳理、建设以及持续改进的体系。信息服务组件采用SOA架构，将异构信息库的信息自定义发布为WebService服务，供应用系统开发调用。Web服务可以使降低进行信息获取成本，更快地部署解决方案以及开拓更多的新机遇。Web服务使应用程序的集成比以前更快、更容易而且更便宜。它更注重服务语义而不那么注重网络协议语义的消息，从而实现了业务功能的松散耦合。这些特性对于在委办之间和委办内部通过web连接业务功能是非常理想的。它提供了一致化（Uniform）的编程模型，从而在委办内外都可以利用通用的基础设施并以一种通用的方法进行应用程序集成。公务员信息首页针对公务员提供信息申请、审批、利用、分析的系列功能集，建立统一大信息利用台，逐步实现公共信息集开放，鼓励在管理和业务办理中的信息挖掘利用，推动治理、公共服务、产业发展等领域大信息创新应用。具体包括XX信息、一张图、API服务、信息开放、信息治理、信息可视化等栏目。城统一搜索利用单一搜索框，对能够访问的信息进行搜索。信息开放首页通过建立统一开放台，逐步实现公共信息集开放，鼓励委办和公众挖掘利用，推动治理、公共服务、产业发展等领域大信息创新应用。大信息可视化台信息源管理信息源管理是承接外部与内部信息交换的一个基础信息功能，主要由实时信息接入服务、离线批量信息接入服务和信息总线服务组成，是整个通用信息摄取台，可以从各种信息源中提取，转换和加载海量信息。比如：信息库、FTP、RESTAPIs、Files、Stream等等。信息源管理能够处理日常规划任务需要所有信息摄取，包括作业/任务规划，任务分配，错误处理，状态管理，信息质量检测，信息发布等等。信息源格式包括结构化、半结构化、或非结构化。信息的接入方式包括批量信息处理模块到信息源主动拉取（pull）信息和实时信息处理模块被动的接受信息源推送（push）的信息。在信息接入的时效性上有实时信息接入，也有离线信息接入，收集各种信息源信息为大信息台所用。信息接入到本系统后，将放入信息总线子系统缓冲起来。接下来，信息将会进行同步存储到信息台的分布式文件存储系统中，作为后续系统的信息源；信息也可通过实时计算，存储到信息台的分布式实时存储系统中。信息源管理通过同样的执行框架从不同信息源摄取信息，在同一个地方管理所有不同信息源的元信息。同时结合了其他特性，比如自动伸缩，容错，信息质量保证，可扩展和处理信息模型改革等等。信息源管理非常容易使用，是个高效的信息摄取台。大信息接入包括结构化信息采集工具、非结构化信息采集工具、系统日志采集工具、台API接入、信息交换工具等，主要用户实现外部多源异构的大信息采集与大信息接入。信息连接支持连接丰富的信息源，包括：EXCEL、CSV、MySQL、Oracle、SQLServer、DB2、MonetDB、Cheetah、HANA、GreenPlum、TranswarpInceptor、TeraData、Presto、PostgreSQL、Vertical、HadoopHive、SparkSQL、Kylin、Impala，选择你需要连接的信息库类型后，可进行链接配置。信息模型完成信息连接的设置后，有数即与要处理的信息建立了联系。接着在“信息模型”环节，可以对原始信息进行处理（诸如字段重命名、空值处理、建立信息字典、添加计算字段、匹配地理位置的经度维度等操作），建立分析模型。在信息模型页面，选择添加信息模型抽取设置支持对信息表进行抽取，将表信息抽取到有数的MPP信息库中，提升查询效率。支持全量抽取、增量抽取两种抽取方式。全量抽取：每次抽取的时候将表信息全部抽取至有数的MPP信息库。增量抽取：每次抽取只抽取相比于上次更新增加的信息。可视化报告支持图形化、以选择控件拖曳的方式制作各种动态仪表板，无须任何编码；系统支持饼图、柱状图、热力图、瀑布图、突出表、折线图、散点图、交叉表等各种图形；图表可以在仪表板中自由摆放，形成图文结合的报表；用户可以够通过浏览器查阅报表，实现筛选、过滤、突显、钻取到底层信息的功能。驾驶舱对制作好的可视化信息报告进行查看，并可以将可视化报告发送给系统中的其他用户进行使用。地理信息一张图地理信息一张图台重点关注城的综合管理和运行状况监测能力，以城总体协调发展、运行高效为目标，汇聚了重点产品管理、城环境监测、城声音监测、城基础资源管理、城安监管理、教育事业服务、公共安全管理、公共卫生管理等方面的信息，通过对城运行状况的可视化展示、预测和分析，实现对城管理的实时化、高效化监测，为领导决策提供基础支撑，提高城运行管理效率，提升民生服务质量水，为民和提供快速、优质、高效的综合服务。标准规范建设内容信息资源分类标准实施规范规定信息资源的分类原则和方法，用于指导信息资源的分类工作，以便促进部门间资源共享和面向社会的公共服务，是建立信息资源信息的重要的分类依据。信息资源标识符编码实施规范规定信息资源标识符的编码方案，以便为每一项信息资源分配一个唯一不变的标识符。信息资源信息编制规范规定信息资源信息编制中的术语和定义、管理的架构、编制的方法和信息资源标识符编码规则。信息资源信息质量规范明确信息质量描述的基本原理，详细说明识别及报告信息质量信息的基本方法，规范信息质量控制的基本原则与方法。信息资源信息采集规范对台的信息采集原则、信息采集范围、信息采集任务、信息采集方法、信息采集流程、信息采集监测、信息同步机制、信息采集质量要求等进行规范。信息资源共享交换技术规范规定信息资源共享交换的体系架构、功能体系及技术要求。信息资源服务接口技术规范规定信息资源共享交换台的接口规范，包括信息资源信息服务接口、信息资源交换服务接口和认证授权服务接口。信息资源开放管理规范部门在履行信息资源开放开放过程中的资源权属、登记、开放、使用、保护等环节过程中需要使用其他部门信息资源和为其他部门提供信息资源的行为制定规范。信息资源安全管理规范明确信息资源供需双方共享交换信息的安全保密协议制度，保证信息资源在采集、存储、备份、访问授权、传输、使用等过程中的安全。应用支撑系统设计统一权限管理系统某地大信息台的建设中，管理权限按照分类分级的方式进行授权，根据用户类别分为委办信息管理员、委办信息使用者、信息办管理员、信息办使用者、运维成员、信息分析员、总管理员等。大信息可视化台单点登录系统单点登录（SingleSignOn，简称为SSO），与CA/PKI系统相结合，实现在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统，实现“一次登录，全网畅游”的目的。单点登录系统利用统一身份认证系统对系统用户的安全性进行校验，统一的身份认证系统主要功能是将用户的登录信息和用户信息库相比较，对用户进行登录认证；认证成功后，认证系统应该生成统一的认证标志（ticket），返还给用户。另外，认证系统还应该对ticket进行效验，判断其有效性。在多台认证服务器之间要通过标准的通讯协议，互相交换认证信息，就能完成更高级别的单点登录。其具体的实现原理为：当一个web浏览器登录到应用服务器时，应用服务器会检测用户的session，如果没有session，则应用服务器会把url跳转到单点登录系统上，要求用户登录,用户登录时，先在CA认证系统验证用户证书，证书验证通过后，再到点点登录系统进行验证，同时生成令牌返回。用户登录成功后，单点登录系统会记请求的业务应用系统的url和该用户的sessionId(在应用服务器跳转url时，通过参数传给单点登录系统)。此时在单点登录系统服务器会种下TGCCookie值到web浏览器.拥有该TGCCookie的web浏览器可以无需登录进入所有建立sso服务的应用服务器上的业务应用系统。CA与单点登录系统都需要从权限系统中验证用户名密码，所有应用只存在一套用户信息，应用系统通过接口从权限系统中获取用户的所有权限信息。应用系统设计应用集成及接口设计WebApi安全访问模型是基于RSA加密演算法建立的，模型中包含Invoker（WebApi调用者）、Provider（WebApi提供者）和Authorizer（授权者）三种角色。Authorizer负责生成和管理RSA密钥Invoker是WebApi的使用方Provider是WebApi的服务方在WebApi的安全访问流程中，三种角色的关系如下：Authorizer生成RSA密钥Invoker向Authorizer请求RSA公钥Invoker使用RSA公钥生成Provider的访问凭据Invoker调用Provider的WebApi的同时将访问凭据发送给ProviderProvider向Authorizer请求RSA私玥Provider使用RSA私玥验证Invoker的访问凭据，确认凭据有效Provider允许Invoker调用WebApiWebApi安全访问模型可以保护Provider的WebApi不会被未经授权的第三方调用，但是无法保证信息在传输时不会被第三方拦截。若要确保信息的传输安全性，请在WebApi的传输层部署HTT