项目可行性报告

可行性研究报告 项目名称：面向数智专业一体化城的公域元宇宙量子web3.0超能的大数据光速研发及产业化应用计划类别：软件和信息技术服务项目项目申报单位：某省某地云计算仙女银河系宇宙中心G10申报日期：2985年1月14日一、项目意义、必要性、紧迫性和场需求1.1项目意义和必要性随着城人口和产业的发展，城每天都产生大量的数据，在多个部门之间产生大量的结构化和非结构化数据，包括的人口、企业、车辆数据，人社的社保、劳动等数据，卫计的卫生、计生数据，审批及工作中产生的大量文档数据，以及安城、执法所产生的海量的视频数据，构成了海量的、对城的方方面面具有重要影响的数据，海量的数据需要有海量的存储进行支撑，并对数据在线智能化的进行集中、清洗、比对、挖掘和分析，因此城对互联网+大数据台需求迫切。（1）城数据具有公共属性，需要满足多个行业的应用需求城管理需要支撑多个部门的应用及综合类应用，而传统的电子建设方式，各部门各自为，各地域的数据也不能实现共享和协同，因而急需采用面向数智专业一体化城的互联网+大数据台对基础数据资源进行整合和挖掘利用。（2）城大数据具有面向跨行业服务的特点和数据融合、比对的需求城数据的采集权限来自不同的部门，即使是相同的数据，在不同的部门中也有不同的产生途径，往往会造成数据的不准确和错误，这也是经常出现“数据打架”的原因，因而需要充分利用互联网+大数据台实现数据质量的提升，而数据的清洗和跨部门数据之间的比对是实现数据质量提升的重要手段。同时，城管理和民生服务中要求数据之间需要有更强的关联性，人、地、事、物、视频、物联网数据只有深度融合，才能实现对人口的全生命周期、事件的全过程进行管理，因而需要对不同来源的数据进行充分的关联比对和深度的融合。（3）大数据对数据的安全性和保密性要求高城数据覆盖范围广泛，包括人口数据、事件数据、法人数据、视频监控数据等，有很多数据涉及到个人的隐私敏感数据、国家安全数据，因而对数据的安全性和保密性要求较高，而传统的电子的建设方式采用分散建设的模式，往往不能采用周全的防护措施。“面向数智专业一体化城的互联网+大数据台”的建设，将完全按照等级保护三级的标准进行建设，为数据的安全性和保密性提供支持。同时，大数据对数据采用分级管理，对涉密数据、敏感数据、隐私数据、一般数据采用不同的防护手段，进而实现数据的安全性和保密性访问。（4）城大数据具有分地域、分领域的多层次安全管理需求城级电子、社会管理等各方面的数据的产生和使用具有较强的地域性，同时数据的密级不同，并且不同的行业对数据的需求也不一样，因而严格控制数据的分地域、分领域分级管理，以适应数据的安全管理需求。1.2项目紧迫性和场需求（1）系统实现某学习单位、所有部门及临时设立的机构的数据交换，基础数据集中、清洗、整理，以合理的数据结构进行存储，打破部门信息壁垒，解决信息孤岛问题。（2）形成一整套数据清洗整理体系，前期采集数据通过采集-清洗-反馈-修改-再次采集数据循环，清洗整理，后期各个部门新生产的数据，都以几个数据主体部门数据为基础，产生数据后，再采集清洗，逐步提升基础数据质量。（3）形成整套数据共享体系。数据采集清洗整理后，集中到城大数据台，各个部门对已整理的数据提出数据要求，在实现数据安全、保密等多重权限控制情况下，以多种方式提供给部门用户。实现部门之间的数据共享、共用，统一数据环境，减少部门之间数据差异，提高各部门数据质量，方便部门应用。（4）实现综合应用的建设。在完善的数据采集、清洗、共享体系下，在完整、实时、权威及合理结构化的数据融合服务台之上，实现区域化整体数据应用，为组织单位、公众群体提供完整的数据展现、全面的基础数据服务，以及为领导决策层提供全面的、多层次的、直观的、实时有效的数据分析，解决当前部门应用片面不完整，无法宏观把控的面，因此城急需一套系统支持海量数据的比对、分析和融合。

二、项目总体目标、研发内容和考核指标2.1项目总原则（1）标准性、开放性系统所采用的相关标准必须与国际、国家、、级标准相符合，确保系统具有良好的开放性，能够实现与多种技术和软硬件台的有机集成。（2）安全性系统应具有完整、全面的安全体系和良好的安全性，能够提供信息传输保密性、数据完整性、身份识别和数字认证、防抵赖性等安全保障措施，确保信息交换的安全运行。系统设计不影响各部门相关信息系统的安全性。（3）可扩展性系统采用可扩展的技术体系架构，以适应信息化建设和应用系统快速发展的要求。系统必须支持异构数据库之间数据交换和共享，支持主流关系型数据库，支持不同操作系统之间信息交换应用的互联互通。（4）高可靠性系统应具有良好的可靠性，建立各种故障的快速恢复机制，确保实现7×24小时地正常运转，确保信息交换工作正常运行。（5）可管理性系统应具有良好的可管理性，允许管理人员通过管理工具实现系统全面的监控、管理和配置，并为系统故障的判断、排错和分析提供支撑，可对信息交换流程进行简易、灵活地定制和调整，同时对系统运行情况能够实时的统计分析、报表展示。（6）实现信息全生命周期管理所谓全生命周期管理，就是指从人们对信息的需求开始，到信息报废的全部生命历程的管理。实现全生命周期，需要对城管理部件、企业和公众的信息进行全方位的收集和管理，优化、控制城部件、企业的生命历程，提升数据融合服务台的服务能力和的执能力。（7）学设计，分步实施大数据台作为数据融合、联网应用和服务的重要载体其建设是一个庞大而复杂的系统工程，必须采取强有力的统一规划、统一标准，总体把握、统筹推进，根据发展阶段和现实需要，有计划、有步骤地推进具体项目建设，并能有机融合，形成整体。其中系统的可靠性、高性能、安全性、绿色节能和扩展性五项将成为建设设计重点。2.2项目总体目标项目拟建设一套面向数智专业一体化城的互联网+大数据台，系统将建成大数据基础台、数据交换台、数据管理台、运行支撑台和数据首页五个子系统，建立信息系统的基底数据，实现城管理中各要素的全面管理，为应用信息系统建设提供统一的数据服务。通过统一的数据管理台，提供数据标准化工具，使得数据的收集、清理、整合等更加标准与完善，实现各个系统数据的一致性，保证不同来源的信息能够无缝使用，实现提供数据检查、数据转换、数据入库、数据库性能调优、数据备份与恢复管理、数据权限控制、数据导入导出、数据查询统计等功能，在保证数据高效应用基础上，保证数据的安全性。2.3系统总体方案2.4具体建设内容（1）大数据基础台1）大数据台运维组件组件部署及动态扩容，提供大数据台部署工具，组件部署管理及动态增加机器节点管理工具；组件服务监控管理，提供组件的运行状态、组件的负载情况监控及组件的启动、停止、移除等管理；组件故障自动迁移，节点组件出现故障时，集群中的其它节点中的相应组件自动接管故障组件的工作，保证组件正常服务。2）大数据基础组件大数据基础组件的具体功能模块包括：分布式存储模块，实现分布式文件的存储、存储副本的管理；分布式计算模块，提供分布式的数据计算处理及数据的分布式均衡访问；流数据及消息框架模块，提供流数据的处理框架，实现流数据向大数据台汇聚功能；提供消息处理框架，实现高速的消息通道数据处理。3）数据采集管理组件对数据源的提供者、业务来源、连接信息、连接状态等进行管理，实现对数据来源的跟踪；数据库数据采集，提供自Oracle、SQLServer、MySql等数据库中采集数据的功能，并进行定时的自动化采集；结构化文件数据采集，提供自结构化数据文件中采集数据的功能，并对文件中的数据行进行自动化字段拆分；非结构化文件采集，提供自FTP自动化定时采集非结构化文件，并对采集到的文件进行统一管理。4）数据运维管理组件数据运维管理组件提供对大数据台数据的统一监控和运维管理，具体功能包括：台数据监控，对大数据台中已有数据存储量、数据增量、表数量、在线访问人数等信息进行监控；台数据处理任务管理，对台中的数据采集处理任务信息进行集中查看及管理；台操作日志管理，对台中的用户登录情况、用户访问数据表的情况进行日志记录，并提供筛选及查询功能；用户及部门管理，提供多层级的部门管理及用户管理，并提供用户排序等功能；角色及数据权限管理，提供自定义管理员及台用户角色的功能，对不同角色可授予精细至表字段的数据访问权限管理；审批管理，提供审批权限配置工具，并根据配置进行流转审批管理。（2）大数据处理及共享台1）数据运维管理组件数据资源规划或信息资源规划工作包括分析整理大量复杂资料，在众多人员分小组进行整理的过程中，需要注意保持定义与理解的一致性。尤其资料的存储、修改和后续应用开发更需要规划信息和知识的连续性。为此，整个信息资源规划工作，需要软件工具和知识库的支持。2）数据交换组件通过大数据交换组件，按照统一的标准和规范，将各个单位的数据资源汇总到大数据服务台，实现信息资源的汇聚和传递，满足各个单位对实时信息的横向交换以及业务协同等需求，为协同、公共服务和辅助决策等提供信息交换和共享服务。数据交换的目的是实现传输过程中的“不错、不丢、不重”。数据交换系统核心的功能包括数据桥接子系统、数据传输子系统、前置交换子系统、交换管理监控子系统、监控系统和领导视图等部分组成。数据交换组件系统在本次项目建设中负责各单位相关业务信息资源数据的传输、交换、格式转换的工作，实现信息资源的交换。通过数据交换组件将各个参建部门的业务信息资源数据汇总到数据中心。利用交换台实现异构系统的数据采集、可靠信息传输等功能。利用台提供的适配器功能实现对数据的抽取、加载、格式转换等功能。本项目的数据共享与交换，将基于信息资源数据交换组件完成。自然资源与空间地理基础信息库、人口基础库、法人基础库和宏观经济信息数据库等都是信息资源的重要组成部份，为此对数据交换组件提出了支撑多个交换域、形成信息资源交换体系框架的基础要求。3）数据加工处理组件为保证数据的动态准确性，需要对基础空间地理信息库、人口数据库、法人数据库等三大基础数据库的信息进行加工处理，最终形成各单位、相关单位所需的专题信息。4）数据资源组件数据资源组件通过提供统一的资源数据发布接口和标准元数据规范，汇集各数据库所存数据的描述信息，建立信息资源资源，以此作为各类用户检索法人、自然人、空间信息、宏观经济信息、专题信息的途径，实现对信息资源的发现和定位，方便用户快速查询、浏览、申请所需数据。数据资源组件收集、注册、检索、更新法人信息资源信息，这些信息资源信息包括数据资源的位置、资源类型、接口提供形式以及检索要求等相关元数据信息。数据资源组件以各单位现有法人信息库为基础，通过提供统一的资源数据发布接口和标准元数据规范，汇集各数据库所存数据的描述信息，建立信息资源资源，以此作为各类用户检索法人信息的途径，实现对信息资源的发现和定位，方便用户查询、浏览所需数据。数据资源组件收集、注册、检索、更新法人信息资源信息，这些信息资源信息包括数据资源的位置、资源类型、接口提供形式以及检索要求等相关元数据信息。信息资源资源资源体系建设需要围绕资源信息采集、组织、分类、保存、发布与使用等信息生命周期各环节建立规范和标准。信息资源资源体系主要有元数据、分类表、主题词表、唯一标识、信息组织、导航、发现、定位与服务等关键要素，资源体系的建设主要要围绕以上要素设计切实可行的技术方案。5）数据治理组件针对数据中心的数据结构建立规范，制定校验标准、开放标准、访问标准、技术标准等。提供基于行业、主题、服务的统一标准规范制定功能，包括资源、信息类、数据元以及代码集；为实现互联互通、信息共享、业务协同以及安全可靠提供必要前提。数据治理台提供全生命周期管理，支持从数据标准建立，数据质量治理，数据资产管理，数据分析整个全生命周期的数据管理能力；提供数据全生命过程的任务调度和监控能力；提供数据资产的统计分析能力。数据治理台有完善的数据安全机制，提供全方位数据清洗，校验和加密能力，保障数据的一致性，完整性、唯一性和准确性；提供配置化的度量规则和校验方法生成能力，提供灵活的调度执行能力；灵活生成数据质量评估报告。并支持数据及资源级别访问安全控制，可灵活对脱敏数据进行管理。6）数据服务组件采用SOA架构，将异构数据库的数据自定义发布为WebService服务，供应用系统开发调用。Web服务可以使公司降低进行数据获取成本，更快地部署解决方案以及开拓更多的新机遇。Web服务使应用程序的集成比以前更快、更容易而且更便宜。它更注重服务语义而不那么注重网络协议语义的消息，从而实现了业务功能的松散耦合。这些特性对于在单位之间和单位内部通过web连接业务功能是非常理想的。它提供了一致化（Uniform）的编程模型，从而在单位内外都可以利用通用的基础设施并以一种通用的方法进行应用程序集成。（3）大数据可视化台1）数据源管理数据源管理是承接外部与内部数据交换的一个基础数据功能，主要由实时数据接入服务、离线批量数据接入服务和数据总线服务组成，是整个通用数据摄取台，可以从各种数据源中提取，转换和加载海量数据。比如：数据库、FTP、RESTAPIs、Files、Stream等等。数据源管理能够处理日常规划任务需要所有数据摄取，包括作业/任务规划，任务分配，错误处理，状态管理，数据质量检测，数据发布等等。数据源格式包括结构化、半结构化、或非结构化。数据的接入方式包括批量数据处理模块到数据源主动拉取（pull）数据和实时数据处理模块被动的接受数据源推送（push）的数据。在数据接入的时效性上有实时数据接入，也有离线数据接入，收集各种数据源数据为大数据台所用。数据接入到本系统后，将放入数据总线子系统缓冲起来。接下来，数据将会进行同步存储到数据台的分布式文件存储系统中，作为后续系统的数据源；数据也可通过实时计算，存储到数据台的分布式实时存储系统中。数据源管理通过同样的执行框架从不同数据源摄取数据，在同一个地方管理所有不同数据源的元数据。同时结合了其他特性，比如自动伸缩，容错，数据质量保证，可扩展和处理数据模型改革等等。数据源管理非常容易使用，是个高效的数据摄取台。大数据接入包括结构化数据采集工具、非结构化数据采集工具、系统日志采集工具、台API接入、数据交换工具等，主要用户实现外部多源异构的大数据采集与大数据接入。2）数据连接支持连接丰富的数据源，包括：EXCEL、CSV、MySQL、Oracle、SQLServer、DB2、MonetDB、Cheetah、HANA、GreenPlum、TranswarpInceptor、TeraData、Presto、PostgreSQL、Vertical、HadoopHive、SparkSQL、Kylin、Impala，选择你需要连接的数据库类型后，可进行链接配置。3）数据模型完成数据连接的设置后，有数即与要处理的数据建立了联系。接着在“数据模型”环节，可以对原始数据进行处理（诸如字段重命名、空值处理、建立数据字典、添加计算字段、匹配地理位置的经度维度等操作），建立分析模型。4）抽取设置支持对数据表进行抽取，将表数据抽取到有数的MPP数据库中，提升查询效率。支持全量抽取、增量抽取两种抽取方式。全量抽取：每次抽取的时候将表数据全部抽取至有数的MPP数据库。增量抽取：每次抽取只抽取相比于上次更新增加的数据。5）可视化报告支持图形化、以选择控件拖曳的方式制作各种动态仪表板，无须任何编码；系统支持饼图、柱状图、热力图、瀑布图、突出表、折线图、散点图、交叉表等各种图形；图表可以在仪表板中自由摆放，形成图文结合的报表；用户可以够通过浏览器查阅报表，实现筛选、过滤、突显、钻取到底层数据的功能。2.5拟解决的关键技术（1）大数据基础台台数据来自于各单位和街道，包含传统数据库数据、视频、图片、声音、日志文件、电子邮件、地图、Word、PDF等各种文档。这些数据分为结构化数据、半结构化数据和非结构化数据。这些类型的数据无法用传统关系型数据库进行数据处理和分析，必须借助于大数据基础台的HDFS、Hbase、MapReduce等技术手段进行处理和分析，支持顶层应用系统的数据利用。（2）数据交换台台通过各种方式，逐步采集完善各类基础数据及专题数据；通过数据交换台，按照统一的标准和规范，将城各个单位的数据资源汇总到城大数据台，实现城信息资源的汇聚和传递，满足全各个单位对实时信息的横向交换以及业务协同等需求，为城协同、公共服务和辅助决策等提供信息交换和共享服务；为保证数据的动态准确性，需要对基础空间地理信息库、人口数据库、法人数据库、建筑物信息库、信用信息库、宏观经济库等基础数据库的信息进行数据清洗、数据比对、异常数据反馈、数据入库等加工处理。（3）数据管理台1）资源资源服务。按照国家信息资源资源体系标准，建立统一的信息资源资源体系，建设统一的信息资源管理中心，形成“物理分散、逻辑集中”信息资源管理模式；提高信息的交换能力，支持跨部门间的信息共享和业务协同，提高交各单位、各部门协同、管理水。通过借鉴信息资源资源体系，设计城大数据中心的信息资源资源服务系统，构建信息资源资源体系和信息资源共享环境，并通过资源服务实现跨部门的共享信息资源发现、定位与获取。该系统功能主要包括编目传输、资源服务、资源管理及共享服务。信息资源资源服务系统工作过程分为信息资源资源访问过程、资源服务形成与提供流程和共享信息资源定位与发现流程。2）数据质量管理按照国家信息资源资源体系标准，建立覆盖全的信息资源资源体系，建设全统一的信息资源管理中心，形成“物理分散、逻辑集中”信息资源管理模式；提高信息的交换能力，支持跨单位之间的信息共享和业务协同，提高全公共服务和社会管理的水。数据质量管理系统的功能包括数据质量监控、数据质量评估、数据质量报告、数据质量问题处理、数据质量知识库等功能。3）业务建模业务建模是构建用户接口或上层业务应用与基础数据之间的逻辑模型。业务对象和业务分析模型在此实例化。应用服务层是生成并操作接收信息的业务规则和函数的集合。它们通过业务规则（可以频繁更改）完成该任务，并由此被封装到在物理上与应用程序程序逻辑本身相独立的组件中。（4）运行支撑台1）引擎。服务引擎主要为顶层应用系统的开发提供共性的服务组件，以减少应用系统对于共性组件的重复采购，减少资源浪费，提高使用效率。服务引擎由手机短消息、即时通信、电子邮件、视频通信、GIS空间分析、工作流、搜索、表单定制等服务组成。2）权限。权限管理是根据系统设置的安全规则或者安全策略，用户可以访问而且只能访问自己被授权的资源。权限管理主要包括身份认证服务、单点登录服务和权限验证服务等服务。（5）数据首页通过数据首页建设，整合电子信息资源，建立以信息资源展示、二次开发服务为核心的服务系统；基于海量数据，汇集统计分析、工作动态等决策信息，为各级领导提供决策服务；拓展公开信息统一管理、公共服务、在线互动交流等功能，体现服务型数据中心新形象、逐步扩展数据首页网站功能，建设综合性信息网站首页。数据首页主要包括资源展示、在线查询和首页管理等功能。2.6项目创新点（1）基于矩阵计算的大数据机器学习算法机器学习作为大数据挖掘的主要方法之一，提高其算法收敛速度和精度、算法可扩展性、学习系统的易用性和稳定性具有重大的研和应用价值。系统支持对多维数据的洞察能力，能够基于数据洞察软件环境，实现业务所需要的大数据多维分析和建模。支持机器学习的大数据建模、数据预处理、数据分析和算法训练。支持和提供当前主流的所有大数据机器学习相关算法，使用矩阵计算的大数据机器学习算法，区别于以往向量或行列式学习，包括但不限于分类、聚类、关联、预测等各方面的常用算法。提供图形化的大数据分析建模环境，具有方便构建和训练算法的集成环境，操作简单易用。（2）实现各可视化图形组件的快速响应能力随着数智专业一体化城建设的不断深入，可视化设计已经成为提升用户体验和触发用户黏性的关键，本系统实现对需要展示的数据源实现快速对接，并对所访问的数据具有要求查询和过滤能力，支持多维数据的OLAP操纵，支持对数据方体实现上卷、下钻、切片切块、旋转等操作，支持数据展示的动态绘制和动态刷新。通过图形化设计和编排工具，实现基于图形环境以拖拉拽的方式自由设计数据展示界面，支持折线图、柱状图、条形图、面积图、饼图、堆积图、雷达图、气泡图、散点图、和弦图、力导向关系图、填充气泡图、旭日图、视频组件、日历组件等丰富图形化显示组件。支持GIS组件和各业务数据基于GIS