智慧工地项目解决方案说明书

智慧工地解决方案说明书XX科技股份有限公司编制目录一、项目存在问题及需解决问题 31.存在问题 32.需解决问题 3二、解决方案 61.解决方案架构 62.关键技术 7（1）Hadoop 7（2）SpringMVC 8（3）MyBatis 8（4）Echarts 8（5）MySQL 8（6）Hive 9（7）HBASE 9（8）Zookeeper 9（9）Flume 10三、开发范围 101.数据生产 102.数据采集/消费 103.数据分析 114.数据展示 12项目存在问题及需解决问题存在问题智慧工地集成平台建设中集成的子系统在内容和数量上存在差异，没有统一的建设标准，并且平台接口需要能够兼容不同物联网系统、信息化系统，集成的数据源多样化，包含物联网数据、BIM数据、信息化数据、GIS数据等，各数据之间融合协同的标准不统一，并且数据的呈现方式及价值的挖掘不够充分，对数据的集成应用深度有待提高。工程建设过程中需要监管层、集团层、公司层、项目层等多个层面的协同工作，各层面对建设过程中的关注点及需求不同，智慧工地集成平台面向满足各层面的使用需求，面向不同用户的使用目的。工地建设环境复杂，网络环境恶劣，物联网设备对数据的传输具有一定的局限性，从客观条件角度说极大地影响了平台使用的稳定性。平台集成商的水平良莠不齐，智慧工地市场主要在建筑领域要有针对性地开发，满足工程各种要求，如何发挥智慧工地的最大价值，要有设计、规划、施工、监理、验收一整套的流程。需解决问题1、现阶段智慧工地建设还缺少统一明确的建设标准。目前在宏观方面主要是国家主管部门、行业协会等行业部门牵头做的总体规划和建设标准，对于企业搭建智慧工地所需求的具体实施方案和统一标准并没有明确说明，更多的建设方案则体现在各大软件公司所搭建的各自平台。对于企业而言，面临的一方面是对软件公司的选择存在盲目和随波逐流的现象；另一方面是所选择的软件公司的系统是否满足今后主管部门对智慧工地的具体要求。现价段智慧工地平台建设主要是各软件公司依照自己对行业的了解去开发，所以存在着各家各样的现象，缺少行业的统一标准。由于没有形成统一的信息化标准规范体系，各方建设各自的系统，系统之间不能互联互通，数据不能共享，数据多方录入，来源不一，各系统间的数据往往不一致，这就造成了对数据不能进行有效的统计分析，对公司决策不能提供有效的数据支撑。建议软件公司做好相关工作的调研工作，将各类平台模式化，集成化，平台化，促进生产方式、管理方式、产业形态的创新。2、目前建立智慧工地存在“重碎片、轻平台”的现象。施工企业现场项目管理普遍存在“缺什么、上什么”的现象，各系统之间存在不兼容和无法关联的情况，导致在企业端、项目端、平台端和软件之间无法互相共享信息，建议建立实现企业内部组织、企业内部岗位、企业与项目以及上下游产业链的互联互通，这个连接基础就是基于云技术的集成平台，平台的建立为企业管理提供了统一的协同中心、数据中心和业务中心，通过平台的搭建连接公司和项目部各个层级、各个岗位，实现不同专业应用数据、管理数据的收集、分析处理与及时分发。平台化有助于业务工作突破地域、时间界限，降低沟通成本，提升协同效率，实现企业资源优化和配置。3、智慧工地建设的针对性和应用性，与当前施工现场实际还存在一定差距。现阶段施工现场安全管理、劳务管理、物资管理等系统还存在着管理盲点，与我们所要求的目标还存在一定差距；其次，人才缺乏也是当前智慧工地建设的主要问题所在，其中包括缺乏专业的技术人，没有系统的技术培训，员工知识与能力结构欠缺，员工不愿意接受新技术等问题影响了系统使用的应用性。建议通过打通建筑业上下游产业链，重建产业的新生态，实现产业融合，推动建筑业的转型升级，通过信息化技术手段在建筑工业化中的应用，提高建筑工业化的生产和管理效率。4、智慧工地现场的硬件建设相对滞后。建筑工地所处环境复杂、地域偏僻。建筑企业日常办公所需的网络环境较难达到有效覆盖，大大降低了系统的使用效果和数据的传输效率，建议网络运营商为施工企业提供信息化基础网络保障，提高施工现场的用网环境，完善4G、5G网络在施工现场的搭建，提升智慧工地系统使用的稳定性和耐用度，做好系统的维护和更换工作。5、信息化数据分析水平，人工智能有待进一步提高和完善。建筑业是最大的数据行业之一，又是数据化程度较低的行业之一，现状往往是“真正想要的数据没有收集上来，已经收集上来的数据没有价值”，施工企业对数据价值的挖掘还不够，相关数据分析软件还不够多，现有的分析软件对待海量数据挖掘、分析、处理所达到的效果还不高，所以需要软件开发公司和建筑企业要进一步协作，不断完善相关软件的智能化水平，开创“用数据说话、用数据决策、用数据管理、用数据创新”的新态势。6、施工企业与相互协作方对智慧工地的重视和实践需要加强。大多数建筑施工现场还处于粗放型管理，施工现场管理难度不断加大，这就需要我们与第三方不断达成共识、协作，共同提高智慧工地的推广和应有，不断提升我们施工一线的管理水平，主管部门、行业协会、施工企业和现场第三方要不断地做好宣贯工作，统一认识，制定相应的规划措施，循序渐进的实施，强化各系统的应用，使智慧工地的开展落到实处。解决方案解决方案架构图1解决方案架构图系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供成百上千TB的数据节点上运行的应用程序。Hadoop能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业，将帮助用户持续提高用户体验。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。关键技术HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。SpringMVCSpringMVC：属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。MyBatisMYBatis：是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOldJavaObjects，普通的Java对象）映射成数据库中的记录。EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。MySQLMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。Hivehive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。HBASEHBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。开发范围数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架flume和kafka的定位是什么。我们在此需要将实时数据通过flume采集到kafka然后供给给hbase消费。flume：cloudera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持replication）；因此我们常用的一种模型是：线上数据-->flume-->kafka-->flume(根据情景增删该流程)-->HDFS线上数