港口物流大数据项目解决方案说明书

港口物流项目解决方案说明书XX科技股份有限公司编制

目录一、项目存在问题及需解决问题 31.存在问题 32.需解决问题 4二、解决方案 61.解决方案架构 62.关键技术 7（1）Hadoop 7（2）SpringMVC 7（3）MyBatis 7（4）Echarts 8（5）MySQL 8（6）Hive 8（7）HBASE 9（8）Zookeeper 9（9）Flume 9三、开发范围 101.数据生产 102.数据采集/消费 103.数据分析 114.数据展示 12项目存在问题及需解决问题存在问题1.供应链绩效水平低、物流成本高海路运输是产品物流的主要方式之一，生产工艺环节中，原料、燃料的到达、成品输出等大部分都需要由海路运输承担，海运的顺畅直接关系到生产工艺流程、生产计划执行、生产经营的顺畅及对客户所购产品到货及时性、成本经济性、信息完整性的保障。由于海运业务涉及面广，本项目上线前，相关物流作业依旧是原始的手工作业，手工绘制各类作业图表;所有作业信息的传递均通过电话和简单的电子表格传递的方式进行，这使得作业图表绘制量大、信息量不够充分、解读图表困难、信息传递的速度太慢、出错率高、劳动强度大，使得调度人员难以把精力集中到研究如何优化海运物流方案、提高海运效率上来。落后的运输管理系统不但跟不上生产发展，而且阻碍了其高效运行，更不能很好地满足客户需求，难以提高企业产品的竞争力。由于不能实现信息跟踪、透明化管理，购买产品的客户经常因为信息不完整而增加库存和资金占用。供应链上的物流合作单位因信息缺失，不能实现优化物流决策，造成物流成本较高。2.物流运输作业全程信息流程设计不合理本项目上线前，海运相关单位陆续有几个局部项目上线，因其是不同时期、不同软件开发单位在不同阶段实施的，所以没有进行全盘规划和系统整合，一系列瓶颈问题不断暴露出来，突出表现为:部分局部系统以信息孤岛形式存在;大部分系统没有信息化基础设施;没有一个成熟的方案使得运输信息可与ERP储运管理子系统和生产管理子系统对接;没有一个原有系统能实现物流作业的全过程管理和目标监控。3.钢铁产品海运运作复杂多货主、多产品类别、产品的质量对仓储、运输、包装、装卸等各物流环节要求高，基于优质服务的物流成本要求严格，供应链各运作方需协同配合，这些因素使得钢铁产品海运运作方案具有挑战性。人工调度管理系统已不能适应现代物流的集约化发展模式与外延式管理要求。需解决问题1.谋求与供应链各方共御风险、合作共赢的战略伙伴关系一方面，海路运输是钢铁产品物流的主要方式，海运物流方案的优化，已成为钢铁企业做大、做强的重要途径;另一方面，企业的竞争日益演变为供应链之间的竞争，钢铁产能过剩、企业物流成本居高不下等因素迫切需要通过采取某种方式使供应链各方形成长期、稳定的战略合作伙伴关系，形成利益共同体，共同抵御市场风险。近海优势有利于充分利用已有的资源、装备、技术和人才优势，更好地利用国内外两个市场、两种资源，破解当前逐步显现的资源约束问题。所以股份公司从社会化协同分工的经营理念出发，尝试通过物流信息系统的创新，建立钢铁产品港口物流信息系统，实现物流全程跟踪、供应链各环节信息共享，形成一种供应链各方共御风险、合作共赢的经营管理机制，实现对整条供应链的协调运作与快速反应，进而谋求整体资源最优化与整体价值最大化。2.寻求资源、环境约束下的钢铁企业经济效益增长新模式目前，全球越来越严重的环境问题、资源短缺问题，都直接威胁着企业的生存与发展。传统钢铁行业存在着高消耗、高排放的弊端，既不符合当前国家建立资源节约型、环境友好型社会的基本国策，也不利于钢铁企业可持续发展。开发并应用智能化、系统化、柔性化的物流信息系统，实现绿色物流、高效物流，就是要遵循经济增长、社会进步、环境保护三者协调与和谐发展的循环经济理念，创新应用绿色低碳先进装备工艺，改变高污染、高能耗的传统生产过程，通过源头控制、过程监控、三废循环利用，建设循环链，建成集钢铁产品制造功能、能源转换功能、社会大宗废弃物处理与消纳功能于一体的世界一流清洁钢铁产品物流。故公司在物流信息化建设方面通过先进的物流技术和面向环境管理的“生态物流”理念，进行物流信息系统的规划、开发与应用、管理和实施过程，这是减少资源占用、最大限度地降低物流过程对环境影响的一种经济运行模式，能帮助企业实现获得经济效益的同时获得良好社会效益的目标。3.适应现代物流的集约化发展模式与外延式管理要求目前钢铁企业的仓储、运输、包装、物流加工、信息服务等不同环节、不同功能、不同的物流活动是由多个物流主体承担的，经常出现系统的某一个环节产出能力不强，整个系统及系统内各个主体的产出都受到限制的现象。这种情况下，开发并应用智能物流信息系统，实现物流信息全流程跟踪、透明化管理、流程标准化、信息共享至供应链合作伙伴是钢铁企业现代物流的一条有效发展途径。另外，企业的发展还受外部条件的制约，企业利用外部资源的能力极大地影响着企业的发展速度。对于有着明显网络特征和外部管理特性的物流管理信息系统，创新能更好地实施物流信息化、标准化、系统化等手段，提高企业将外部资源转化为内部资源的能力。解决方案解决方案架构图1方案架构图系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供成百上千TB的数据节点上运行的应用程序。Hadoop能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业，将帮助用户持续提高用户体验。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。关键技术HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。SpringMVCSpringMVC：属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。MyBatisMYBatis：是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOldJavaObjects，普通的Java对象）映射成数据库中的记录。EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。MySQLMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。Hivehive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。HBASEHBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。开发范围数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架flume和kafka的定位是什么。我们在此需要将实时数据通过flume采集到kafka然后供给给hbase消费。flume：cloudera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持replication）；因此我们常用的一种模型是：线上数据-->flume-->kafka-->flume(根据情景增删该流程)-->HDFS线上数据