农业大数据解决方案

农业大数据解决方案篇一：无封皮大数据关键技术及其在农业中的应用大数据关键技术及其在农业中的应用摘要：结合大数据系统的一般结构，介绍和对比了当前大数据领域在文件存储、数据处理和数据库领域的关键技术。分析了大数据的产生背景，简述了大数据的基木概念、典型的4“V”特征以及重点应用领域.通过各种技术的对比，得到了一些分析结果。农业数据具有容量大、关联性强、复杂多变等特点。大数据技术能从庞大的数据集合中寻找有价值的数据和知识。推动大数据技术在农业领域的实践和应用，对把握农业信息内在联系和规律意义重大。关键词：大数据；数据分析；关键技术；农业；应用随着移动互联网、物联网和云计算技术的迅速发展，开启了移动云时代的序幕，大数据(BigData)也越来越吸引人们的视线。人们通过网络无障碍交流、交换信息和协同工作，互联网的出现缩短了人与人、人与世界之间的距离，整个世界连成一个“地球村”。与此同时，借助互联网的高速发展、高内存高性能的存储设备和存储介质的出现、数据库技术的成熟和普及，人类在日常学习、生活、工作中产生的数据量正以指数形式增长，呈现“爆炸”状态［1］。“大数据问题”(BigDataProblem)就是在这样的背景下产生的，成为科研学术界和相关产业界的热门话题，吸引着越来越多的科学家研究大数据带来的相关问题。大数据的“大”不仅仅体现在数据的海量性，还在于其数据类型的复杂性。随着报表、账单、影像、办公文档等在商业公司中得到普遍使用，互联网上视频、音乐、网络游戏不断发展，越来越多的非结构化数据进一步推动数字宇宙爆炸。数据海量而复杂，这是对大数据的诠释。与传统的数据相比，大数据具有规模性（Volume）、多样性（Variety）、高速性（Velocity）和低价值密度（Value）的4V特点［2］。规模性和高速性是数据处理一直以来研究和探讨的问题，多样性和价值密度低是当前数据处理发展中不断显现出来的问题，而且在可以预见的未来，随着智慧城市、智慧地球等各种新设想的不断成为现实，上面的4种问题将会变得更加凸显，而且是不得不面对的问题。处于发展中国家前列的中国，大数据的应用处于起步阶段。在工信部发布的物联网“十二五”规划中，把信息处理技术作为四项关键技术创新工程之一提出。其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。还有另外3项：信息感知技术、信息传输技术、信息安全技术，也与大数据密切相关。1大数据关键技术从大数据的纵向应用过程（获取、存储、挖掘、分析）来看，文件系统提供了对最底层存储能力的支持。文件系统之上的数据库系统可通过构建索引等功能，对外提供高效的数据查询等常用功能。最后，数据分析技术从数据库中的大数据中提取出有益的知识，提供面向对象的服务。从横向来看，大数据的每层应用既需要进行软件算法等的开发，也需要硬件设备支持［3］。云计算与物联网技术毫无疑义地成为影响大数据发展的首要因素。大数据系统架构大数据处理系统不管结构如何复杂，采用的技术千差万别，但是总体上总可以分为以下的几个重要部分。大数据系统结构如图1所示。分布式存储横向扩展结构分布式软件架构并行计算结构从数据处理的一般流程可以看到，在大数据环境下需要的关键技术主要针对海量数据的存储和海量数据的运算。传统的关系数据库经过.近40年的发展已经成为了一门成熟同时仍在不断演进的数据管理和分析技术，结构化查询语言（SQL）作为存取关系数据库的语言得到了标准化，其功能和表达能力也得到的不断增强。但是，关系数据管理系统的扩展性在互联网环境下遇到了前所未有的障碍，不能胜任大数据分析的要求。关系数据管理模型追求的是高度的一致性正确性。纵向扩展系统，通过增加或者更换CPU、内存、硬盘以扩展单个节点的能力，终会遇到“瓶颈”。分布式文件系统对数据存储，文件系统需要考虑3个问题：高性能共享性、文件的管理和保护、重复数据的处理。尤其是在面对海量文件时，上述问题更加凸显。文件系统是支持大数据应用的基础。Google是有史以来唯一需要处理如此海量数据的大公司。对于Google而言，现有的方案已经难以满足其如此大的数据量的存储，为此Google提出了一种分布式的文件管理系统——GFS(Googlefilesystem)。GFS是构建在大量廉价服务器之上的可扩展的分布式文件系统，主要针对文件较大、且读远大于写的应用场景，采用主从(Master-Slave)结构，通过数据分块、追加更新(append-only)等方式实现了海量数据的高效存储。同时，谷歌公司选择电价较低的地点建立存储库，从而降低了运行成本。GFS与传统的分布式文件系统有很多相同的目标，比如，性能、可伸缩性、可靠性以及可用性。但是，GFS的成功之处在于其与传统文件系统的不同。GFS的设计思路主要基于以下的假设：对于系统而言，组件失败是一种常态而不是异常。GFS是构建于大量廉价的服务器之上的可扩展的分布式文件系统，采用主从结构。通过数据分块、追加更新等方式实现了海量数据的高效存储。分布式数据处理系统传统的针对结构化数据进行挖掘的理论已日臻成熟，但是针对大数据时代的数据类型，则需要开发新的数据处理与挖掘技术。大数据的处理模式分为流处理和批处理两种。流处理是直接处理，批处理采用先存储再处理。流处理将数据视为流，源源不断的数据形成数据流。当新的数据到来即立即处理并返回所需的结果。大数据的实时处理是一个极具挑战性的工作，数据具有大规模、持续到达的特点。因此，如果要求实时的处理大数据，必然要求采用分布式的方式，在这种情况下，除了应该考虑分布式系统的一致性问题，还将涉及到分布式系统网络时延的影响，这都增加了大数据流处理的复杂性。目前比较有代表性的开源流处理系统主要有：Twitter的Storm、Yahoo的S4以及Linkedin的Kafka等。目前，大数据的分析与处理尚没有绝对合适的工具。Hadoop是当前最为流行的大数据处理平台。Hadoop最先是模仿GFS和Mapreduce实现的云计算开源平台。对Hadoop改进并将其应用于各种场景的大数据处理已经成为业界新的研究热点，主要的研究成果集中在Hadoop平台性能改进、高效查询处理、索引构建和使用、基于Hadoop的数据仓库构建、Hadoop与数据库系统的连接、数据挖掘、推荐系统等方面。分布式数据库系统大数据的特点决定了数据库系统需解决的问题［4］：第一，数据量规模巨大。大数据时代的数据量远远超过单机所能容纳的数据量，因此，必须采用分布式存储方式。这就需要系统具有很好的扩展性，即适应大数据的数据库系统应当具有良好的横向扩展(scale-out)能力。第二，数据异构性。结构化数据、半结构化数据、非结构化数据均是大数据的重要组成部分。高效地处理多种数据类型是大数据时代数据库技术面临的重要挑战之一。第三，设计理念要不断创新。面对多种类型的数据，不可能存在统一的数据处理方式，这就要求新型的数据库系统以不断变化的角度对待数据。面对这些挑战，Google公司提出了Bigtable的解决方案。Bigtable的设计目的是可靠的处理拍字节级别的数据，并且能够部署到千台机器上。Bigtable已经实现了以下几个目标：适用性广泛、可扩展、高性能和高可靠性。Bigtable已经在超过60个Google的产品和项目上得到了应用。这些产品在性能要求和集群的配置上都提出了迥异的需求，Bigtable都能够很好地满足。2大数据技术在农业中的应用农业大数据类别复杂。从领域来看，以农业领域为核心（涵盖种植业、林业、畜牧水产养殖业、产品加工业等子行业），逐步拓展到相关上下游产业（饲料、化肥、农药、农机，仓贮、屠宰业，肉类加工业等），并需整合宏观经济背景数据，包括统计数据、进出口数据、价格数据、生产数据、气象、灾害数据等；从地域来看，以国内区域数据为核心，借鉴国际农业数据作为有效参考；不仅包括全国层面数据，还应涵盖省市数据，甚至地市级数据，为区域农业发展研究提供基础；从广度来看，不仅包括统计数据，还包括涉农经济主体基本信息、投资信息、股东信息、专利信息、进出口信息、招聘信息、媒体信息、地理空间坐标信息等；从专业性来看，应分步构建农业领域的专业数据资源，进而应逐步有序规划专业的子领域数据资源［5］。应用指的是农业大数据各应用系统、应用平台的开发，为上层管理和服务提供应用支撑。根据目前农业大数据的主要，可以将其应用领域归纳为以下几个方面：（1）农业生产过程管理方面应用运用大数据的先进技术对农业各主要生产领域在生产过程中采集的大量数据进行分析处理，进而提供“精准化”的农资配方、“智慧化”的管理决策和设施控制［6］，达到农业增产、农民增收的目的。（2）农业资源管理方面应用农业资源除了土地、水等自然资源之外，还包括各种农业生物资源和农业生产资料等。我国虽然地大物博，但可以进行农业生产的资源已越来越少。从目前农业基础实际状况来看，有必要运用物联网、大数据等先进技术对农业资源进一步优化配置、合理开发，从而实现农业的高产优质和节能高效。（3）农业生态环境管理方面应用农业生态环境具体包括土壤、大气、水质、气象、污染、灾害等，需要对这些农业环境影响因子实现全而监测、精准化管理。（4）农产品和食品安全管理方面应用农产品安全管理涉及产地环境、产前产中产后、产业链管理、储藏加工、市场流通、物流、供应链与溯源系统等食品链的各个环节，通过对农产品质量安全监管信息的分析处理，实现食品安全风险的预测预警及质量安全突发事件的应急管理。（5）农业装备与设施监控方面应用可以提供农业装备和设施在工作运作情况下状态的监控、远程诊断以及服务调度等方而的智能化管理和应用。（6）提供各种农业科研活动产生的大数据应用篇二：农业大数据下的智慧农业发展农业大数据下的智慧农业发展、农业大数据对智慧农业的重要性随着云时代的来临，大数据也吸引了越来越多的关注。物联网的存在使这种基于大数据的采集以及分析变成了一种可能，20XX年以来，在国家政策积极鼓励和财政资金大力支持下物联网发展掀起高潮，此后，物联网在工业、农业、交通、物流、城市管理、环境保护、公共安全、医疗、家居等各个领域都开展了应用示范，目前提倡的现代农业精细化生产与物联网技术结合有着巨大的市场需求空间，以感知为前提，人与人、人与物、物与物全面互联的网络平台构筑成功，现代农业悄然步入物联网时代，智慧农业大局初现。试想，如果农民能随时掌握天气变化数据、市场供需数据、农作物生长数据等等，农民朋友和农技专家足不出户就可观测到大田里的实景和相关数据，准确判断农作物是否该施肥、浇水或打药，不仅能避免因自然因素造成的产量下降，而且可以避免因市场供需失衡给农民带来经济损失。各国政府、社会组织、企业都意识到大数据这场旋风所带来的机遇，开始发力推动大数据在农业领域的跨界应用。大数据时代，不仅可以通过建立综合的数据平台，调控农业生产，还可以记录分析农业种植养殖过程、农产品流通过程中的动态变化，通过分析数据，同时结合经验，制定一系列调控和管理措施，使农业高效有序发展。二、农业大数据平台建设在经历了多年的发展，研发了涵盖多层面、多领域的农业信息化系统，构建了很多不同级别、面向不同领域的数据资源，形成了庞大的信息资源财富。但是由于利益等原因，这些数据相互之前缺乏统一的标准和规范，信息缺乏共享，信息资源与业务脱节，这必然导致数据利用率低下、信息冗余散乱。构造虚拟化技术平台，规范数据标准，将在大规模数据中心管理和解决方案交付方面发挥巨大的作用。推进农业经济的优化，实现可持续的产业发展和区域产业结构优化调整，进一步推动智慧农业发展进程，需要全面及时掌握农业的发展动态，这需要依托农业大数据及相关大数据分析处理技术，建设一个农业大数据分析应用平台。?在技术上，托普云农物联网智慧农业平台应基于先进的大数据系统框架，充分融合物联网在数据获取以及云计算在数据处理方面的技术优势，建设具有高效性，先进性和开放性的业务化应用平台。?结构上，托普云农物联网智慧农业平台具有良好的可配置性，满足资源扩展、业务流程的变化。平台应具有稳健的设计构架、良好的人机交互功能，便于一般技术人员开发使用。随着应用领域的拓宽、业务的发展、业务量的增加，系统也应该具有良好的扩展性和应用性。三、农业大数据的应用领域及解决猜想（一）农业大数据目前主要应用领域农业大数据类别复杂。?从领域来看，托普云农物联网智慧农业平台以农业领域为核心（涵盖种植业、林业、畜牧水产养殖业、产品加工业等子行业），逐步拓展到相关上下游产业（饲料、化肥、农药、农机，仓贮、屠宰业，肉类加工业等）并需整合宏观经济背景数据，包括统计数据、进出口数据、价格数据、生产数据、气象、灾害数据等；?从地域来看，托普云农物联网智慧农业平台以国内区域数据为核心，借鉴国际农业数据作为有效参考；不仅包括全国层面数据，还应涵盖省市数据，甚至地市级数据，为区域农业发展研究提供基础；?从广度来看，托普云农物联网智慧农业平台不仅包括统计数据，还包括涉农经济主体基本信息、投资信息、股东信息、专利信息、进出口信息、招聘信息、媒体信息、地理空间坐标信息等；?从专业性来看，托普云农物联网智慧农业平台应分步构建农业领域的专业数据资源，进而应逐步有序规划专业的子领域数据资源。（二）农业大数据解决猜想农业资源管理：基于3S技术，建立管理区域电子地图，对管理区域内农业种植用地进行科学决策、精细化管理。?基于3S技术，托普云农物联网智慧农业平台建立管理区域电子地图以全球定位系统（GPS）提供的地理基本信息基于地理信息系统（GIS）建立农业用地的电子地图。运用遥感（RS）技术感知电子地图中的实地信息（土质、），全面掌握农业种植用地的范围，实时了解区域内土壤条件、大气环境等综合信息并通过对信息的差异性分析将种植区域划分为不同的管理区域，有针对性地进行规划。?附加种植业专题数据，托普云农物联网智慧农业平台充分整合区域信息将包含实地遥感数据的电子地图与种植业相关实验数据相结合，实现种植业农业资源的实时查询、分析、决策功能。农作物生产管理：整合传统统计数据及农业资源管理信息，对不同管理区域内农作物进行有针对性的种植管理。对种植影响因素差异性较大的不同区域定量获取影响作物生长的环境因素（如土壤肥力、含水量、苗情、病虫害等）信息，分析影响区块产量差异的原因，采取技术上可行、经济上有效的耕作措施，区别对待，按需实施的“处方农业”。?处方农业托普云农物联网智慧农业平台针对水稻的品种、叶绿素含量、氮含量等信息的遥感信息抽取示意图?农作物监测、估产托普云农物联网智慧农业平台利用遥感（RS）技术监控农作物长势，根据需要及时采取有效措施，并根据各种数据的综合分析较准确地预估农作物产量。遥感估产系统示意图（颜色越深产量越高）?病虫害分析托普云农物联网智慧农业平台利用GIS、遥感、高光谱分析等技术，对植物病虫害进行分析、预测、防治。农产品质量安全管理：整合产地环境、生产档案、检测数据形成农产品质量安全溯源数据。？产地环境数据托普云农物联网智慧农业平台运用遥感（RS）、传感器等技术手段全面掌握农产品产地环境数据，并形成历史记录。?生产档案数据托普云农物联网智慧农业平台农产品生产记录，记录农产品在生长过程中的各种农事操作信息。?农产品检测数据托普云农物联网智慧农业平台记录企业资质，检测报告，产品品质的认证证明等信息。农村政务服务管理：托普云农物联网智慧农业平台政务服务管理涵盖人口管理、计生管理、党群管理、公共咨询、社保管理、经营管理、资源管理，将这些数据整合，形成县、乡、村三级政府部门的信息管理系统。?政务管理托普云农物联网智慧农业平台政务管理内网承担各级政府部门的办公业务实现村、乡、县各级部门间的信息交流，政务管理外网处理各部门面向企业的业务及政府部门之间的业务。?公共服务管理托普云农物联网智慧农业平台人口、计生、社保等公共服务的信息化管理，实现公共服务的简便快捷?农业资源管理托普云农物联网智慧农业平台涵盖部分农业资源管理数据，为管理者提供辖区内的农业资源数据（土地使用情况、作物种植情况、产量预估等），为农业资源的科学决策提供可靠依据。四、农业大数据引领智慧农业总的来讲，大数据作为新一代信息技术，在农业领域的应用任重道远。大数据不仅充满了挑战和未知，人们也充满了更多期待和憧憬。大数据涉及的内容十分浩瀚，可分成大数据科学、大数据工程、大数据技术、大数据应用等领域。目前在大数据技术和大数据应用方面关注的较多，而相比之下大数据科学和大数据工程问题尚缺乏足够的重视。农业大数据属于技术和应用层面，但同时也需要不断吸收大数据的科学思想、引进大数据的最新研究成果，才能保持农业大数据的生命力。农业作为中国的基础产业，面临着农产品需求不断增加、资源紧缺、气候变化导致灾害频发、生态安全脆弱、生物多样性持续下降等严峻挑战，夯实以农业物联网、云计算技术为核心的农业信息化基础，提升以大数据为支撑的农业信息化服务，开拓智慧农业新局面，实现农业现代化和信息化的跨越式发展。公司简介：浙江托普云农科技股份有限公司农业物联网、农业信息化综合解决方案服务商托普云农潜心十二年致力于中国农业信息化发展，同时提供面向土壤、农业气象、种子、植物生理、植物保护、粮油食品等监测检测精准农业仪器装备。迄今为止已获国家发明专利5项、实用新型专利42项，软件著作权70余项，软件登记证书18项，被评为国家高新技术企业、杭州市院士工作站，研发实力强！受到多位行业专家及行业领导认可，智能硬件及农业信息化应用遍及全国！上市公司（股票代码：833692）、大品牌，质量信得过、售后有保障！篇三：互联网+农业,看美国如何实现农业大数据的建设互联网+农业，看美国如何实现农业大数据的建设罗德尼？席林是美国伊利诺伊州的一个农场主，他和父亲二人经营着1300英亩田地。他的父亲已经83岁了，地里的活儿全靠席林自己上阵，即便在农忙时节，他也不用雇工，最好的帮手是农场里的那几台农业机械。跟国内常见的农业机械比，这些机器高大得多，一台喷药机完全张开“臂膀”，翼展达36米。更重要的是，这些“大家伙”还很有“头脑”一一驾驶室里配备的全球卫星导航系统和自动驾驶系统。即使在下田作业时，席林也远没有传统农民那么辛苦，只要他愿意，完全可以坐在驾驶座上，一边喝着咖啡，一边用平板电脑浏览新闻，机器会按照设定的路线工作，施肥、打药完全自动化，哪些地方打过，哪些地方没打，绝对不会搞混，GPS上都显示得清清楚楚。大多数时候，席林会把平板电脑带在身边，内置的APP软件会提醒他何时适宜下地查看，该打药或是该施肥了，以及提供实时的和未来几天的天气数据。在美国，像席林这样“劳作”的农场主越来越多。农业生产模式正在从机械化向信息化转变，以精准为特征的农业，正在让种植变得更加容易。美国的农业美国农业约占其GDP的％。美国不仅是世界上最大的工业化国家，而且也是世界上最大的农业发达国家。美国土地肥沃，气候温和，现有可耕地约亿公顷，牧场亿公顷。美国约有220万个农场，每个农场平均面积约170公顷°20XX年农业就业人数213万人，占整个就业人口的％。美国是农业大国，但农业产值仅占美国经济％。美国有3亿多人口，其中住在农村地区的人仅占约2%，从事农业生产的人不到1%，其中又只有半数将农业作为主业，根据美国农业部的数据，美国农场数量1935年达到峰值680万个，农业人口超过亿，现如今农场数量只有220万个，农民数量也降至300万左右。农业生产的盈利性从根本上保证了农业的吸引力。爱荷华州全职农民年收入基本都在5万至7万美元以上，有些农民可能会达到10万至25万美元，一般而言要比城市居民平均收入水平高。美国是对农业数据收集比较齐全的国家，也是较早进行农业数据开放的国家，目前，有关农业数据的采集、共享和利用正帮助美国农业政策制定者对农业部门的发展制定各种政策。不仅如此，美国各大农场主协会以及涉农企业也不惜投入大量的时间、金钱以及花费巨大的精力去搜集被人们称为“大数据”的涉农数据。大数据对于农业的作用随着全球人口的增加，天气的波动更加不稳定，以及依赖石油的农业对于石化燃料的价格越来越敏感，必然激励更多地运用新技术来提高作物产量，并管理风险。围绕着基因组学、生物信息学以及计算生物学的研究活动都已经取得了重大的进展，使得科学家和组织能够更好地养活全世界，并提高食品和农作物的质量。这些技术都涉及到庞大的数据集和计算分析，那么在此过程中，大数据的作用是什么首先，也是最重要的，农民需要需要测量和了解数据巨大和种类繁多的数据能够带来怎样的影响，因为这些数据驱动着他们的耕作质量与产量。这些数据包括天气数据、GPS数据、土壤细节、种子、化肥和作物药剂等，充分利用这些数据对于土地进行长期管理和短期模拟，以实现产量和利润的最大化。其次，种子和肥料以及药剂的供应商需要接收所有的这些数据，将其放入统一的模型中，并使用专用算法，以便向农民提供尽可能最优化的解决方案和服务。再次，农业机械制造商是整个价值链的另一个重要组成部分。他们不仅需要确保其资产能够在最低成本保持最长的正常运行时间，还要支持移动数据采集，并让这些琐碎的信息在价值链能被实时获取，以进行进一步的处理。除了农民、农企、种子化肥供应商和农业机械制造商以外，气象站和实验室、贸易商和行业合作伙伴、技术和解决方案提供商也是这个日益复杂的生态系统的一部分。他们对于来自无数信息源的大数据也有着巨大的需要。大数据进田大数据在农业中应用最普遍的领域之一就是精准农业。通过对气候、土壤和空气质量、作物成熟度，甚至是设备和劳动力的成本及可用性方面的实时数据收集，预测分析可以用来做出更明智的决策，而这就是所谓的精准农业。在精准农业中，控制中心实时收集并处理数