农业大数据管理平台项目建设方案

农业大数据管理平台项目建设方案农业信息化解决方案2021年5月目录TOC\o"1-3"\h\u27854一、项目背景 410598二、项目现状 6840三、项目主要目标 729009四、项目建设内容 829722（一）农业大数据基础平台增强扩建 813511、大数据存储平台扩容 8175562、增加对流数据的支持 8122573、增强对内存计算的支持 9116034、大数据基础平台的部署实施 91565（二）农业大数据元数据管理系统建设 968591、完善大数据业务术语的业务定义词库 921302、加强元数据的采集、存储和集中管理 10253383、新增开发数据集成交换子系统 1014200（三）农业大数据专项数据库建设 1125098（四）农业专项大数据分析及应用 13107221、增强大数据分析功能 13319112、大数据应用集成。 14170563、大数据移动应用终端开发。 14159514、大数据分析模型完善。 152339（五）大数据分析模型研究及应用 15150871、农业自然灾害大数据分析模型(包括灾害预测模型、灾害评估模型) 15191682、农业生产领域大数据分析模型（包括：种植品种、结构模型、产量和面积预测模型） 16221443、大数据环境下的数据安全研究 16161164、农业产业扶贫大数据分析模型（产业结构与脱贫模式关联分析模型、产业扶贫市场风险和自然风险评估模型，产业扶贫与生态环境更新分析模型） 1727274五、项目总体架构 1825636六、项目技术架构 1916560七、系统非功能设计 1921424八、项目建设和管理 21

项目背景“十三五”以来，我国农业信息化建设取得长足发展，先后完成“金农工程”一期网络平台建设和多个农业应用系统的建设，有力地推动农业产业现代化的发展。但是随着业务系统不断增加，应用范围不断扩大，应用环境变得日益复杂，信息共享矛盾日益加重。特别是现有应用系统(包括规划中的系统)之间，与国家农业遥感数据、农业气象数据、植保与测土施肥数据、农业经济地理数据、国际开放的农业数据库、农业本体库、农业知识库共享以及大量智能服务系统之间实现共享、利用和互操作的要求越来越迫切。但是现有信息资源由于缺少统一资源表达与操作标准，信息异质、异构、分散、重复，传统单一接口模式很难实现数据信息的共享，因此也很难发挥农业信息资源的集成效用,“信息孤岛”情况日趋严重。这种农业信息化资源建设“碎片化”问题严重制约了我国农业信息化建设向纵深发展。按照《全国农业农村信息化发展“十三五”规划》、《全国农业农村信息化发展规划（2019—2025年）》、《农业部关于加快推进农业信息化的意见》、《XXX政府系统电子政务“十三五”规划》的要求的精神，以云计算、大数据、物联网、现代通讯技术为依托，建立XXX农业云数据管理平台，实现全区农业资源数据的集中采集、转换、传输、交换、存储。并在此基础上建立统一应用服务接口标准，为全区农业生产经营管理应用系统、农业服务应用系统、农业电子政务应用系统提供统一应用支撑，同时为政府其它部门应用系统、农业行业应用系统、个人应用系统提供数据接口服务。基于云计算、大数据和物联网技术的农业数据管理平台的建设从根本上解决农业信息建设中的“信息孤岛”以及农业信息“碎片化”问题，使农业生产经营管理和服务模式发生质的转变，为促进现代农业产业化、智慧化发展奠定基础。从应用条件上来看，XXX农业信息化建设已具备建设数据统一存储、管理、交换的农业数据管理平台技术的条件。具体包括：一是经多年建设，目前农业数据中心的硬件网络环境和应用系统已具备一定的运维能力。二是组织编制了《XXX农业信息化工程基础数据集标准》。三是建立了完整的农情信息采集体系和农业信息采集监测系统并已投入使用。四是农业协同办公系统已投入使用，并在农业厅本级机关、直属机构以及区、市、县三级农业管理部门中全面铺开。五是自治区农业示范基地的物联网应用取得成功，正在组全区推广使用。六是完成了地籍信息空间地理信息系统开发，正组织进行数据采集工作。七是已完成多功能应用会议大厅和视频会议系统的升级扩建工程。八是XXX农业云和大数据管理项目已立项，预计2022年完成一期工程的建设。

项目现状1、2014以来，初步完成XXX农业云数据中心建设，率先建立全国第一个省级农业混合云平台，百分之九十应用迁移到云平台上运行；开发覆盖全区的农业协同办公平台、农情监测及灾害预警云平台、大宗农产品地籍地理信息系统、业物联网监测管理示范基地、农产品价格监测预警平台、农业产业扶贫管理系统等一批农业信息化应用及示范项目并先后投入使用；率先完成农业信息化工程标准体系建设和相关标准的编制。2、XXX农业信息化工程数据集标准已被XXX质量技术监督局批准为XXX地方标准，预计2017年8月正式发布。3、2015年建设全国第一个省级农业大数据平台，存储和计算节点10个。平台采用Hadoop生态系统相关技术，包括：Hdfs、Hbase、Hive、Sqoop、Kafka、Flume、impala。初步建立了集数据采集、传输、存储、计算、分析、预警、预测、共享机制,建立了10个专项数据库，收录了超过300个数据集5000项指标，范围涉及农业政务、农业资源、农业生产、涉农资金项目、农业气象、农业环保、农产品市场流通和贸易、农业生产资料、农业科技服务、农业产业扶贫、农业产业规划等领域，数据采集集量已超过20亿条，清下加工正式入库超过3亿条，格式包括结构化、半结构化（如：地理空间数据、传感器数据）和非结构化数据（电子文档、图片、音视频）在内的数据存储量已达到200+TB；在查询分析应用方面，初步建立了数据查询可视化应用，开发并完成了农情监测、农产品价格监测预警模型及农业生产、农产品市场流通贸易相关的几十个专题分析、预测应用模型,特别是甘蔗、热带水果等专项大数据分析应用已初见成效。目前大数据平台已初步应用到农情、农业生产、农业气象、灾害预测和评估、智慧农业、农产品质量安全、农产品电子商务、农业生自然资源和态环境监测、农业科技服务、农业产业扶贫、政府决策支持等领域。项目主要目标进一步明确农业数据共享的边界和使用方式，完善现有元数据标准，完成覆盖XXX农业全领域数据采集、共享元数据管理系统建设，为农业大数据采集、共享提供基础支撑。 纵向上建立覆盖全区各级农业主管部门、农业企业的数据采集和交换平台，实现数据采集和发布的上下贯通；横向上接入自治区电子政务数据交换平台，实现跨部门的数据交换和共享。进一步完善和增强专业数据库建设，在现有专业数据库基础之上，完善和完成农业植保、农业土肥、农业环保、农业生产资料、农业自然灾害、农业气象、大宗农产品地籍信息、农业农村经济、农产品质量安全、农业产业扶贫、涉农资金项目、农业科技服务和教育培训等专项数据库建设并收录相关历史数据，实现数据化管理和查询。 增强大数据分析建设，拓展大数据应用领域，积极开展大数据应用创新，为农业生产经营管理、监管、农业政策制定、农业产业规划提供数据支撑。通过和大学、科研院所、企业合作，建立“产、学、研”一体化的科研和转换体系，积极开展农业大数据基础理论和应用创新研究，开展政府和社会资本合作（PPP模式）的制度初步设计探索和研究，形成一批高水平的科研成果，为XXX农业产业现代化建设提供决策支持。项目建设内容农业大数据基础平台增强扩建大数据存储平台扩容在现有10个节点基础之上新增10个节点，新增节点包括：1个数据采集节点、3个存储计算节点（Hadoop、Spark），5个实时分析节点(Druid),1个应用服务器节点(与原来1个节点组织成集群）。增加对流数据的支持通过引入新的流式大数据处理框架SparkStreaming,使原有的大数据平台能够实时处理大数据流，对动态产生的数据进行实时计算并及时反馈结果，并可实时分享和提供各类数据，不仅使得处理的数据量大为增加,也使得数据更多地以半结构化和非结构化的形态呈现。流式大数据处理框架可用于处理以下各类数据：网络监控数据、农业传感器数据、气象监控数据等。对流数据的处理主要包括三个阶段：数据采集阶段、数据计算阶段、数据展示阶段。在数据采集阶段，需保证可以完整的收集到所有流形数据，为实时应用提供实时数据，响应时间上要保证实时性、低延迟在1秒左右；在数据计算阶段，需在流数据不断变化的运动过程中实时地进行分析，捕捉到可能对用户有用的信息；在数据展示阶段，使用HBase等以分布式文件系统（HDFS）为基础的NoSQL数据库提供数据实时查询服务，由这些系统进行持久化操作。增强对内存计算的支持增强内存分布数据集支持，提供交互式查询，优化迭代工作负载,提高数据的计算效率从而提升业务处理效率,以满足开发大型的、低延迟的数据分析应用的需要。通过快速的分析使大规模数据产生价值，同时内存计算也为机器学习提供了必要的运算基础。引入通用并行计算框架Spark，增强内存计算，实现对大数据集的秒级延迟，并与原有hadoop实现无缝结合。要求不仅在性能方面进行提升，还为批处理（SparkCore），交互式（SparkSQL），流式（SparkStreaming），机器学习（MLlib），图计算（GraphX）等提供一个统一的数据处理平台。此外，将上游的HiveETL流程迁移至Spark，充分运用Spark的功效完成对数据的ETL生产，用于上层应用的快速访问。大数据基础平台的部署实施包括平台升级、扩容、部署和维云工作。维运工作按照服务承诺年限执行。农业大数据元数据管理系统建设 完善大数据业务术语的业务定义词库创建一个体现关键大数据业务术语的业务定义词库（本体），该业务定义词库不仅仅包含结构化数据，还可以将半结构化和非结构化数据纳入其中。加强元数据的采集、存储和集中管理根据XXX农业信息化及大数据平台前期基础数据建设具体情况，继续梳理农业各部门及相关部门的管理和业务数据，形成统一的农业数据采集元数据标准，创建一个体现关键大数据业务术语的元数据库，该元数据库不仅包含结构化数据，还可以将半结构化和非结构化数据纳入其中。元数据在局部产生和获取，最终采集的元数据将通过手工集中录入到大数据管理平台进行统一存储，使得元数据在整个农业行业层面可被感知和搜索，极大地方便了获取和查找元数据。局部元数据的修改完成后将被广播给其他人。此外，对元数据进行分类（基于主题领域的层次结构），方便用户对元数据的检索和共享。新增开发数据集成交换子系统纵向上建立覆盖全区各级农业主管部门、农业企业的数据采集和交换平台，实现数据采集和发布的上下贯通；横向上接入自治区电子政务数据交换平台，实现跨部门的数据交换和共享。主要功能包括：1)数据交换和共享目录发布管理：与元数据管理结合实现数据交换和共享发布和目录服务管理。2)数据交换和共享服务注册管理：实现数据交换和共享服务的注册功能，使数据交换和共享服务透明化，减小数据交换和共享的复杂度，提高数据交换和共享服务效率。3)数据交换和共享元数据上传管理：与元数据管理结合实现元数据上传功能，并自动产生元数据更新请求，经过审核后更新相应元数据。4)支持异构数据交换和共享：支持各种结构化数据、半结构化数据和非结构化数据(如：文档、图片、音视频)、空间地理数据、流数据（如：网络监控数据、物联网数据、卫星遥感监控数据）的交换和共享。支持各种关系数据库、文档数据库、文件系统、NoSQL数据源，并根据要求自动转换。5)与自治区电子政务数据交换平台对接：实现与自治区电子政务数据交换平台的对接，实现农业数据与自治区政府及其它职能部门的数据交换和共享。农业大数据专项数据库建设建立统一的农业数据资源子系统，将前期的专项数据库子系统善并纳入其中，这些转项数据包括：农业植保数据库、农业土肥数据库、农业环保数据库、农业生产资料数据库、农业自然灾害数据库(增强）、农业气象数据库、大宗农产品地籍信息(增强）、农产品市场及贸易数据库(增强）、农业农村经济数据库、农产品质量安全数据库、农业产业扶贫数据库、涉农资金项目数据库、农业科技服务和教育培训数据库(增强）。主要功能包括：(1）数据集管理：实现数据集元数据管理、包括名称、分类、时间范围、来源、作者、索引关键字、结构、版本、访问权限等基本信息管理。(2）数据存储管理：包括表结构、存储格式、存储位置、容量、权限控制等信息的管理。(3）数据采集管理：包括数据的ETL采集、交换系统采集、人工填报、数据上传等管理等功能。支持各种数据源及各种格式的数据，如：结构化数据、地理空间数据、各种半结构化数据、非结构化数据（文档、电子表格、多媒体数据等）。支持大数据MapReduce批量运算和实时运行结果转储功能。(4）数据质量管理：支持数据质量自动逻辑审核和人工审核，支持问题的数据的自动定位、通知和报告生成功能。(5）数据发布和数据共享管理：实现数据的发布功能。提供数据发布接口，可以将数据发布到门户网站，其它业务系统也可以通过接口查询和检索到需要的数据，支持数据的订阅和推送功能。支持数据的下载功能，下载格式包括：csv格式化文本、电子表格、pdf等。(6）数据全文检索：支持数据全文检索功能。(7）数据可视化功能：支持利用GIS地图、表格、图表实现数据集的可视化展示，支持各种图表格式的切换展示功能。(8）农产品单品种大数据建设：依托XXX优势特色产业，开展单品种全产业链大数据建设，建立完善的数据采集、数据分析和数据服务机制，增强生产经营的科学决策能力。在原有大数据采集平台已完成主粮食、经济作物农产品生产数据、市场流通数据采集基础之上，挑选蔗糖、香蕉、芒果农产品单品种进行试点，完成单品种全产业链大数据的采集、传输、清洗、存储、共享、分析应用的建设。农业专项大数据分析及应用增强大数据分析功能1)引入Elasticsearch全文搜索引擎，加强数据检索功能：基于原有Hadoop架构，提供分布式多用户能力的大数据全文搜索引擎，可在短时间内实现对结构化、半结构化和非结构化海量数据的存储、索引建立、检索、统计、过滤等功能，达到实时、稳定、可靠、快速，支持通过HTTP使用JSON进行数据索引。2)引入并开发OLAP引擎，支持对大数据的OLAP分析：为了解决大数据系统中TB级别数据的数据分析需求,引入用于支持大数据生态圈数据分析业务的OLAP引擎，与原有Hadoop无缝结合。利用MOLAPcube（立方体）技术，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，实现在亚秒内查询巨大的Hive表。3)引入Druid分布式系统，实现大数据实时统计分析查询：农业行中存成大量的实时数据，如农业传感器数据、气象数据、遥感数据，随着大数据平台建设的不断推进，Hadoop平台中实时数据以几何级数的速度增长，如果实时地利用这些数据指导农业生产、防灾减灾是一个巨大的挑战。引入Druid就是为了解决在使用Hadoop进行查询时所遇见的高时延问题来满足交互性服务的需求的。尤其是当你对data进行汇总之后并在你汇总之后的数据上面进行查询时效果更好。将你汇总之后的数据注入Druid，随着你的数据量在不断增长，你仍然可以对Druid的查询能力非常有信心。当前的Druid安装实例已经可以很好的处理以2TB每小时实时递增的数据量。可以在拥有hadoop的同时创建一个Druid系统。Druid提供了以一种互动切片、切块方式来访问数据的能力，它在查询的灵活性和存储格式直接寻找平衡从而来提供更好的查询速度。4)增强自助分析报告系统：在原有报告分析子系统基础之上，开发实分析报告在线编写、发布和分享功能。支持Scala(使用ApacheSpark)、Python(ApacheSpark)、SparkSQL、Hive、Markdown、Shell等各种语言，实现图文混排，在文字报告中实时嵌入各种动态分析图表。5)实现“一张屏”数据分析和动态监控功能：基于地理信息技术(GIS)，通过“一张屏”监控系统随时调阅所需数据，并将各系统的数据、图表以及音视频等进行叠加和展示，实现对农情、灾情、农产品价格、精准扶贫等内容的实时监控。大数据应用集成。实现单品种大数据与协同办公系统、公文交换系统、农情管理系统、灾情填报系统、有害生物防控管理系统、价格采集管理系统、农产品质量安全系统、大宗农作物地籍管理信息系统、手机种田系统的对接。大数据移动应用终端开发。为了更好地满足社会公众随时随地对农业数据查询的需求，结合全文搜索引擎，可通过平板电脑、手机等移动终端实现远程移动智能查询，并及时向公众推送农业相关数据信息、农业专题分析报告，推进农业资源信息的共享。大数据分析模型完善。实现趋势分析、地区分析、种类结构分析等，并可进行地区对比、年度对比、种类对比，支持折线图、柱状图、饼图、地图、气泡图等图形化展现。此外，对数据进行聚类分析、关联分析、预测分析，挖掘数据价值，实现农业的预警预测，并生成分析报告。主要模型包括：香蕉、柑橘、荔枝、龙眼、芒果等XXX主要农产品单品种分析、农产品价格走势分析及短期预测等。大数据分析模型研究及应用1、农业自然灾害大数据分析模型(包括灾害预测模型、灾害评估模型)农业气象灾害的预测预报有助于农业生产部门及时采取减灾避灾措施，减轻灾害对农业生产造成的损失。通过对数理统计预测预报方法和作物灾害机理性预测预报方法的研究进行灾害的预测预报。1）在制定各级各类灾害指标的基础上，应用数理统计、大数据分析、数据挖掘、机器学习相关领域的模型和方法，通过建立相应的气象灾害预报模型来预测预报农业气象灾害；2）根据农作物灾害形成条件，结合农业气象监测信息和天气预报信息和作物不同生育期的生长特点和灾害发生规律，进行作物自然灾害预测预报。3)建立灾害与农作物之间的关联模型，完成灾害的评估，初步判断当期的农作物产量走势。2、农业生产领域大数据分析模型（包括：种植品种、结构模型、产量和面积预测模型）农业是国民经济的基础，种植业是农业的重要组成部分。长期以来，我区农业生产在结构上存在不合理的状况。种植业内部粮食比重过高，经济作物没有得到应有的发展。利用系统科学的方法，研究我区农业的最优种植结构问题，为农业生产规划提供依据。鉴于最优种植结构问题的复杂性，很难由单一模型来解决。需建立一个最优种植结构模型组，主要包含以下模型：1）第一是全区最优种植结构模型，根据全国、区内计划期对各类农产品的需要量及进口的可能性，各类土地资源对营养成份的需要量，以及主要农作物的预测单产，确定农作物的产量和播种面积；2）第二个是最优布局模型，在第一个模型基础上，根据各地的自然条件和社会条件，如亩产水平、适宜种植作物的耕地面积、对农产品的需求量等，确定主要粮食作物和经济作物的最优布局。做到合理布局，生产费用和运输费用达到最小，产量达到最大；3）第三个是各个地区的最优种植结构模型。根据全区的最优布局要求，具体考虑各地的自然条件和社会条件，确定每个地区的最优种植结构。3、大数据环境下的数据安全研究大数据管理平台在实现各系统的数据共享和交换、促进政府内部的信息交流和工作协同的同时，可以将政府各信息子系统的数据进行整合，进而可以作为将来大数据应用的数据中心。但是数据共享平台在带来大量裨益的同时，会带来一系列的安全问题：数据的安全存储面临新的挑战；如何制定行之有效且专业的安全管理方案，实现对共享数据的合理的访问授权；如何控制数据的安全共享范围，防止数据被非法再授权；数据共享后系统更易遭到高级可持续性攻击等。1）通过数据共享安全模型的建立，实现“一级所有、二级管理”的二级管理模式。所谓“一级所有、二级管理”模式是指共享数据的所2）有权归属于大数据管理平台管理者，但是在管理上采取基于大数据管理平台管理者授权的由了解共享数据的语义、安全范围、保密范围的专业管理者来进行实际管理的二级管理结构。3）此外，建立防止二次非法授权安全模型，共享数据被授权访问之后，需要对数据的安全做进一步保证，防止二次授权给数据安全带来的危害。4、农业产业扶贫大数据分析模型（产业结构与脱贫模式关联分析模型、产业扶贫市场风险和自然风险评估模型，产业扶贫与生态环境更新分析模型）产业扶贫，不仅能帮助贫困地区实现稳定脱贫，更能使其搭上致富快车奔小康。做好产业扶贫，必须紧扣“精准”二字，找准路子，因地制宜。将贫困人口大数据与农产品大数据进行产业对接，建立产业结构与贫困信息关联分析模型，设计出向贫困人口倾斜的农产品生产供应链，实现精准扶贫。1）建立产业扶贫市场风险和自然风险评估模型，开展产供销一体化和市场供求分析，防灾减灾预警’,体现‘精准扶贫’的‘精准’二字，有效地降低生产风险和生产成本。2）建立产业扶贫与生态环境更新分析模型，研究扶贫产业发展与当地资源环境承载力相匹配程度，落实贫困县主体功能定位，统筹安排扶贫产业布局、能源资源结构和生态环境建设。项目总体架构1)本项目总体架构必须保持与现有大数据平台一致，在原有架构上进行升级扩展。2)本项目总体架构的升级扩展不能影响原有系统的正常使用和用户使用习惯。图1XXX农业大数据管理平台总体架构图项目技术架构1）采用分布式架构，以Hadoop生态系统相关组件作