农业大数据 (2)课件

1、农业大数据集成应用平台2016年6月1日 建设思路一、农业大数据时代二、总体思路三、建设规划四、建设任务五、建设前景 大数据，是近几年用来定义大信息量时代对于传统行业汇聚的数据多样性的一种描述，并不是简单的数据汇总，而是通过现有计算机技术对海量数据进行分析与挖掘，从而提供更强的决策数据依据、洞察行业本身存在的业务和流程优化能力，来适应快速、高增长率和多样化的行业资产。一、农业大数据时代 根据不完全统计，现代中国农业每年产生8000pb的数据存储。 其中：农业资源数据3500pb 农业生产数据2500pb 农业市场数据1000pb 农业管理数据1000bp一、农业大数据时代生物数据环境数据农业数

2、据气象数据一、农业大数据时代 大数据时代，到底能给农业带来了什么？ 大数据时代，还需要大量人工统计？ 大数据农业对传统农业的数据数据采集与分析体系产生了巨大的挑战。 从数据采集，标准制定，数据清洗，数据分析，数据挖掘，数据展示等多方面要做人工处理到智能化处理的过度。 有了优质的数据依据，就可以从行业流程，行业知识，辅助决策中发现行业的更大潜力与价值。一、农业大数据时代一、农业大数据时代大量的数据如何使用？数据库基础数据库业务数据库查询数据库 .数据库 .数据库 .数据库二、总体思路各种资源依靠人力管理，导致信息难以集中与统筹安排使用各类统计分析服务、应用信息化程度不足，无法提供有利行业支撑统计

3、分析信息化程度不高，无法为领导提供其它决策支撑缺乏多方面信息与资料的安全备份管理，易损坏，易丢失，易窃取有关管理部门业务人力成本居高不下问题5问题4问题3问题1问题2存在问题二、总体思路百分比分析空白值分析离散性分析曲线分析多表比对更新多表比对元数据比对更新元数据比对质量分析比对更新更新日志更新通知过程库过程视图库过程数据坐标分析同比分析重复数据删除重复数据比对 数据核心二、总体思路分布式存储系统虚拟化数据中心信息资源库数据并行处理（Hadoop)算法组件调度数据汇集计算任务调度并行算法设计智能决策数据挖掘云服务数据挖掘云平台云管理系统监控资源调度资源管理资源安全输入输出数据管理系统网络行业生

4、产分析预判 大数据核心三、总体规划应用系统综合分析系统综合管理系统 目标用户：普通工作人员数据采集行业预警信息交互流程化办公目标用户：综合分析人员信息统计业务统计多维度分析决策支持 目标用户：各级管理人员资源统一管理应用统一管理安全统一管理流程统一管理三、总体规划信息资源库企业应用系统综合管理系统综合分析系统行业登记行业基础数据管理行业在线业务行业预警原材料数据企业信息库政策信息库综合分析库管理信息库安全数据库基础数据库数据资源管理数据整合处理数据导出管理历史数据管理数据备份恢复企业资料管理行业信息管理行业预警设定线上业务设定行业数据监管公共数据接口管理系统用户管理企业用户管理企业应用授权日志

5、管理行业现状分析行业历史分析行业统计分析行业历史评价销售数据分析仓储数据分析生产数据评估原材料使用评估三、总体规划企业历史信息资源的整合与利用行业历史信息资源的整合与利用系统将为销售、生产、仓储等提供数据支撑为领导决策提供数据依据 综合业务数据处理 企业历史数据管理 行业历史数据管理数据分析与决策 生产数据管理 销售 仓储 生产17四、建设任务管控体系业务框架：内外部环境、职能部门业务目标、管理对象、工作任务、组织结构、管理体系、与外部门接口工作应用框架：目标应用系统划分、应用功能模块、内外部接口信息框架：数据模型体系和数据质量管理体系，包括企业生产数据、行业历史信息数据、其它有效的数据技术框

6、架：网络/主机/存储/系统软件/中间件/应用软件技术架构与公共要求/COTS软件评估规划、建设、应用、维护、评估管理框架建设任务基于现状，优先满足紧迫需求，建立目标框架的3-5年规划1.业务框架2.应用框架4.技术框架3.数据框架建设框架18四、建设任务信息化统一服务平台生产数据销售数据仓储数据原材料数据生产工艺数据数据共享、清洗、整理a挖掘平台内部数据私有面向公众开放数据适配器适配器适配器适配器xml企业级应用xmlxmlxml数据服务现有数据企业历史数据行业历史数据业务入口统 一 标 准 规 范 流 程 体 系统 一 的 安 全 保 障 体 系历史数据标 准 规 范 与 安 全 保 障 体

7、 系运 维 管 理 体 系流程管理数据20四、建设任务 通过IT信息化技术实现三层应用架构，实现安全性、可伸缩的解决方案通过服务器级应用扩展为不同的应用提供了良好的性能及扩展性 第一层：Web服务器，通过负载均衡等技术实现系统的性能和扩展性 第二层：应用服务器，通过分区技术和自定义组件来实现系统的高可用性和扩展性 第三层：数据服务器，通过分区技术实现系统的高性能和扩展性Web 服务器应用服务器数据库服务器 终端客户端主机虚拟化产品平台支持操作系统应用级虚拟化Windows Server VirtualizationX86WindowsThinstall Virtual OSX86Linux/W

8、indows系统级虚拟化ESXX86Linux/Windows/Solaris x86XenX86Linux/Windows/Solaris x86XVMX86Linux/Windows/Solaris x86Windows Server VirtualizationX86Windows, Linux, etcKVM(Linux)X86Linux硬件虚拟化NPARHP RISC/ItaniumHPUX/Linux/Windows前端层 Web访问层 中间层 应用服务后端 数据库灵活安全可伸缩终端层 使用层简单21四、建设任务 采用SOA体系架构，通过构建通用集成平台，抽象封装业务服务及数据应用

9、，实现数据、应用、业务过程以及客户端访问的连接和调用元数据数据服务仓储信息服务ODM元数据主数据应用层私有数据元数据校验元数据管理元数据检索信息服务ODM销售元数据主数据应用层私有数据信息服务ODM生产元数据主数据应用层私有数据信息服务ODM元数据主数据应用层私有数据其它数据共享服务数据管控平台五、建设前景 架构：从分散到统一 各系统的技术架构从以往的各专业分散搭建向统一构架转变。从整个系统角度统一考虑硬件（存储、备份），数据采集（平台、接口、总线），以及上层应用呈现，才能满足应用本身的变动而不用耗费大量人力物力。系统：从专业到综合 系统建设从传统的各专业建设向综合的应用服务系统建设转变。将企业与行业的各项数据进行整合；将信息管理、业务管理、统计分析、数据挖掘等管理职能整合；才能保障