生产企业大数据平台建设项目建议书v2

1、v1.0 可编辑可修改大数据平台建设项目建议书v1.0 可编辑可修改目录第一章、项目背景 3第二章、项目思路 5第三章、建设内容与方案 5第四章、时间进度 14第五章、项目预算 15第六章、企业效益及社会效益 15第七章、结论 15v1.0 可编辑可修改第一章、 项目背景企业对信息化工作历来较为重视，也是省内较早开始实施信息化的大型企 业。目前已经建成财务系统、生产调度系统、农务系统、供应链系统等 :调度系统， 2015年公司共投资了 175 万元，按集团分步建设、逐步投入的 规划，完成了系统基本硬件与亚控平台软件的结合， 构建了一个以明阳糖厂生产 调度指挥中心为核心，生产信息能够上至集团，下

2、至车间的生产调度网络系统。农务系统， 2005年开始实施，经过多次升级，现涵盖了计划、报蔗、派车、 质检、过磅、结算、短信管理、移动应用等一系列模块，覆盖公司 4 家直属糖厂 和大桥制糖公司，实现了农务统一的信息化管理。供应链系统，利用用友 NC供应链系统，以公司存货管理为核心的采、供、 销、存供应链管理平台，实现物资、仓储、供应、销售、物流一体化业务协同处 理平台，建立了公司对各直属厂工作的监督平台， 总部可以实时对下属各公司的 工作进行监督， 实时对各公司的具体业务执行情况进行查看， 及时的对下属公司 进行指导和监督。尽管在两化融合及企业信息化方面已取得了相当的成效， 但在实际应用过程 中

3、仍然存在一些较为显著的问题。(一) 总部与下属糖厂未实现完全的集约管理a) 企业在原先六家糖厂的基础上，又收购了三博公司五家糖厂。三博五厂 由上海迁回南宁，在宜州设立管理下属五厂的二级管理总部。b) 从系统部署上分析，企业总部与原先六厂为一套架构，而三博总部与下 属五厂为一套架构，各自独立，暂未整合为一体。c) 为了保证各糖厂生产的稳定，企业总部与下属六厂之间仅在 NC供应链、OA、财务、人力等系统方面实现了集约管理，农务管理系统、生产调度系统以及化验系统均由各厂自建，因此出现各厂建设系统的厂家不同，v1.0 可编辑可修改使用的系统版本不同等现象。三博总部与下属五厂的关系亦如此。二) 总部及各

4、厂之间的数据共享有限a) 由于大多数生产相关的系统均为各厂自建，因此不管是企业总部，或者 是三博总部在获取各糖厂生产相关数据上均较为困难。b) 企业总部通过制定报表模板、开发报表同步功能的方式，定期的获取下 属六家糖厂的生产相关报表，但这些报表的数据容量有限、数据呈现较 为固定，无法为总部经营决策提供实时、灵活的数据依据。c) 三博总部获取下属糖厂的数据方式更为有限，仅依靠各厂按照总部的业 务需求进行手工填写，通过邮件、微信等方式提交数据报表，汇总到三 博总部。三) 各业务部门对未来的数据应用有着强烈的需求a) 当前业务条线对于未来大数据平台建设的需求仍处于较为初步的设想阶 段，但已具雏形：b

5、) 进一步完善供产销流程中系统数据采集能力，尤其是对于甘蔗种植面积 的测绘、甘蔗产量的估算等信息，因此对于 GIS 地理信息系统的上线有 需求；c) 提高总部对于各厂生产数据的获取及共享能力，解决目前总部各部门、 总部与各厂、各厂与各厂之间数据不流通、共享困难的现状；d) 提高内部各平台数据对于生产经营的指导作用，充分利用各环节系统流 程数据汇总，产出经营决策建议、对比分析、趋势统计、效益分析等数 据应用；e) 实时、动态、快速的掌握外部环境的动向，包括行业发展、原材料、供 应商、产品销售、竞争对手等信息，以形成内外部数据的融合，为生产 经营决策提供数据支撑。v1.0 可编辑可修改第二章、 项

6、目思路为了解决内部各厂、 各系统之间的数据共享问题， 此次项目将依托现有的农 务管理平台、 NC供应链平台、生产调度平台、电子商务平台、协同工作平台 OA、 质量管理平台等一系列业务相关系统， 通过制定一定的标准， 整合下属各厂各系 统数据，打造统一的大数据平台及智能决策分析平台。 利用大数据分析技术， 为 公司管理层、 业务部门及各生产单位提供具有指导意义的数据分析结果， 实现生 产精准化、管理可视化。根据对内部信息化及系统部署情况的分析， 此次项目将按照由近及远、 由浅 入深的方式划分为几个阶段：（一） 对总部及下属六厂各系统的数据进行整合、共享及分析，以企业六厂为 基础，搭建大数据平台框

7、架， 在不对基础系统进行迁移整合的前提下， 对数 据进行整合并建立数据之间的关系。 并制定一定的数据采集规则， 获取三博 五厂的数据。（二）基于大数据平台全面的数据共享能力，强化数据的表达深度，能够对原 有汇总的报表数据进行更细粒度的表达和展示； 这里可能需要创建新的应用 服务系统或者是扩充原有的服务系统来完成。（三）完全整合三博所属五厂系统及数据，消除企业内部的数据孤岛。（四）面向外部进行数据扩充，例如利用网络进行相关行业的数据抓取，并将 数据整合到大数据平台，结合既有的内部数据建立运营决策系统。第三章、 建设内容与方案基于对整合三博五厂系统及数据难度的考虑， 本次项目以第一、 第二阶段作

8、为项目的主要内容。v1.0 可编辑可修改、建立大数据平台基础架构，整合现有生产及管理系统由合作方负责建设大数据平台基础架构，整合现有的各个生产及管理系统， 将各系统的生产及管理数据进行集中统一管理、 分析，对大数据平台建设提供相 应的支撑。大数据平台的总体架构及模块部署情况如下：、总体架构、模块划分及部署根据大数据平台建设的要求， 大数据智能决策平台 （大数据存储、 计算及分 析平台）主要由三大模块组成：数据采集模块、存储计算模块及访问支撑模块。数据采集模块：数据采集模块提供支持多数据源提取、多通道传输、多v1.0 可编辑可修改种方式聚合的数据采集工具及接口，包括 flume 代理集群日志采集

9、、 Chukwa 实时数据采集、Python 网络数据爬取、Sqoop 关系数据库数据批量提取、 HDFS 文件上传下载 FTP客户端及多通道数据源整合实时分布式消息系统 Kafka 。存储计算模块：存储计算模块实现了海量数据存储、批处理计算、实时 计算、机器学习、图计算、实时查询及集群运行监控等功能，包括YARN分布式资源管理系统、 分布式文件系统 HDFS、Spark/MR 批处理、Spark 实时计 算、GraphX图计算、 MLLib机器学习、 Hbase实时查询、 Hive 等 Sql 计算引 擎、 MySql关系型数据库及等可视化集群监控工具。访问支撑模块：访问支撑模块提供了上层软

10、件易于使用和编程的大数据 平台层接口及内存数据库，包括封装了 SparkSql 、Hive 、Phoenix 的 sql 查 询接口，封装了 MR、Spark 开发函数库的 API 编程接口、工具及 redis 内存 数据库。系统部署：基础 Hadoop大数据平台服务器集群由一台主机 （Master ）、三台 从机（ Slaver152/153/154 ）、组成。平台采用分布式集群方式工作，提供 N+1 冗余模式。、通过建设，提供存储及数据服务能力1）存储能力：初期建设完毕按照其物理硬件配置，平台实现如下存储能力 指标：业务数据存储： 1TB业务数据实时数据存储： 8GB实时数据查询： 2 秒

11、业务数据查询： 10 秒 存储动态扩容能力：根据后期系统以及数据迁移的需要平台具备动态扩 容能力，在先期物理设备所提供的容量不能满足业务发展需要的请下进行动 态扩容。v1.0 可编辑可修改2）业务数据支持： 根据企业既有业务系统以及对应的实际行业和运营特征，基于大数据平台被划分为三级数据存储，各级存储的建设目标描述如下：平台存储运营管理数据生产支撑数据三级存储Redis财务 &供销数据供销 &农务数据农务 &生产数据生产 &办公数据二级存储HBase财务数据供销数据农务数据生产数据办公数据一级存储HDFSA. 一级存储：平台的原始业务数据存储层，面向企业内部的原

12、有各大业务 系统，支持其将原有数据存储完全迁移到大数据平台， 即提供数据融合能力外还 把原有系统的基础存储支持作为平台基础能力； 也支持通过文件或者消息方式将 其部分的融合数据以非实时或准实时的周期上传到大数据平台， 主要用于业务数 据融合。B. 二级存储：细化的融合层，主要面向现有业务之间的数据融合沟通，解 决现有业务系统之间数据互通问题； 同时在该层对于基础业务数据进行整合以及 基础计算，产生新的业务数据并存储，为更高层级的业务运维提供大数据支撑。 本层数据是对基础数据的第一级融合计算，主要面向业务。C. 三级存储：基于二级存储数据进行高层的决策分析计算，产生最终的运 营支撑和决策分析结果

13、数据， 该层次计算过程中将应用各种统计、 分析、学习算 法；同时也给予业务访问特征， 将二级存储的热点数据组织为热表进行存储， 对 外提供高速数据访问接口。v1.0 可编辑可修改、对目前生产及管理中涉及的数据进行采集并予以整合、内部数据整合完善现有农务管理平台、 NC供应链平台、生产调度平台、电子商务平台等 与企业供产销业务流程相关的系统采集数据功能， 统一集中管控的形式， 将公司 管理范围内的农户、车辆及地块信息、糖厂生产信息集中输入到公司总部平台中， 完成集中化采集及管理。1、优先针对农务系统以及生产系统进行数据整合共享， 再次是 NC系统；考 虑整合的主要目标是可分析业务数据， 图片图表

14、等文件类型数据不考虑在大数据 平台上存储；可以存储在其它位置仅在大数据平台上存储其位置信息；2、在各分厂数据库服务器上部署数据采集代理，按照业务数据规则要求最 高以准实时的要求同步数据到大数据平台； 或者首先以生产报表为周期在同步报 表数据的同时同步相关详细数据记录。将以上各平台采集到的结构化及非结构化的数据以统一的数据规则进行处 理，通过图形可视化的方式，对采集到的数据进行抽取、转换、加工、整合，最 大程度的简化数据并 采用过程流式的组织方式进行数据集成应用开发。v1.0 可编辑可修改、外部数据采集利用爬虫技术，帮助企业把外部互联网的各类相关数据资源转变成企业的数 据资产，并且与内部数据结合

15、， 结合的数据挖掘平台和文本处理技术， 能够从海 量的文本数据中智能地获取深度的价值信息， 最终形成行业的发展趋势、 竞争对 手情报、竞品对比分析、以及各类数据提供服务，如财报数据、宏观经济数据、 价格指数等。10v1.0 可编辑可修改、利用采集的数据进行挖掘分析，输出有价值的成果、经营分析主要分析价值链，包括种植、加工、销售三个阶段，依据企业价值链模型展 开分析，如种植 - 加工生产（采购、生产、质量） - 销售物流（仓库管理、销售管 理），纵向分析各职能对主价值链的支撑与协同。、生产分析利用大数据处理和分析方法， 挖掘工艺参数（如处理甘蔗、 初压汁、末压汁、 打包蔗渣等流程）、优化协同时间

16、（实际榨蔗时间、生产安全率、设备故障损失 时间、部门/公司协作流程时间优化等） 、成品糖（优级白砂糖、一级白砂糖、一 级赤砂糖）产量之间的流程工艺优化、生产能耗分析（混合蔗渣、滤泥、废蜜、 辅助材料、燃料及汽电消耗等） 、产能分析（多维度分析，如糖产率） ，优化生产 流程、降本增效、提高收益、实现利润最大化是生产主题的核心内容。11v1.0 可编辑可修改、销售分析分别从天气、气候、成熟过程、运输等对甘蔗成品的影响，以及成品糖的整个生产过程（如收割、榨汁等）分析，实现降本增效，确保甘蔗的高峰生长期间12v1.0 可编辑可修改提升甘蔗的单位产量和品质，甜味比率。产糖率保持在稳定向上水平， 保持稳定

17、不变的甘蔗、行业分析1、行业发展动态跟踪2、行业发展分析1）糖业发展景气指数：宏观环境数据（ GDP增长率、工业增加值、人均收 入、人口信息、 农业人口、 糖业产值等）、市场数据（总体规模、 市场份额、 竞争信息等）、生产数据 （甘蔗种植面积、 产量、产糖量、劣质比例、 销量、 价格、设备运行数据等） 、供应链数据（竞价信息、物资仓储信息、供应销 售信息、物流信息等） ，建立算法模型，输出糖业发展景气指数，动态显示 糖业目前发展情况。2）糖业发展分析：市场经济环境分析、竞争环境分析、糖业环境发展、企 业内部发展分析等。13v1.0 可编辑可修改第四章、 时间进度1、建设期限如下：（1）系统硬件

18、需求建议及配备：项目启动后 30 天内。（2）2017 年 12 月底完成股份大数据项目系统基础平台搭建。（3）2018年 6 月底，完成内外部数据的采集及整合。（4）2018 年 12 月底，完成数据整合、决策分析模型、预测分析模型与算 法。（5）项目整体完工： 2019年 6 月底。2、工作计划如下：阶段任务计划时间交付地点需求调研项目启动2017/6 至 2017/7广西区内指定地点范围定义广西区内指定地点项目规划制定项目计划及实施解决方案2017/7 至 2017/8广西区内指定地点实施交付系统基础平台搭建2017/8 至 2017/12广西区内指定地点数据仓库2018/1 至 2018/122019/1-2019/6广西区内指定地点主题分析广西区内指定地点数据测试广西区内指定地点应用测试广西区内指定地点数据修改以及应用调整广西区内指定地点将开发系统组件部署到生产系统广西区内指定地点项目培训广西区内指定地点14v1.0 可编辑可修改系统上线广西区内指定地点广西区内指定地点系统优化、项目回顾及验收第五章、 项目预算本次项目