规划方案-平凉林智慧果业大数据平台建设项目

平凉市智慧果业大数据管理平台建设项目技术支持：西北农林科技大学、西安烽云物联网技术有限公司物联网1/8865/88平凉市智慧果业大数据管理平台规划方案中国联通平凉市分公司2020年1月目录第一章 项目建设概述 31、项目概况： 32、建设内容和规模： 33、项目预期目标： 44、项目建设背景： 5(1)、相关政策背景: 8(2)、消费环境: 9(3)、企业诉求: 95、项目建设目标： 106、建设原则和依据： 11(1)、建设原则 11(2)、政策依据 12(3)、技术依据 13第二章 项目建设具体内容 15一、系统总架构 151、综合信息服务门户网站子系统 492、产品溯源管理系统 52(1)、农产品全生命周期溯源: 53(2)、溯源流程示意图: 53(3)、溯源扫描体现形式: 54(4)、一物一码，大数据比对: 54(5)、产品流向大数据追踪: 553、专家在线： 554、产业布局： 575、行情数据分析： 606、产品电商管理系统： 62(1)、农村电商交易走势分析 64(2)、农村电商综合数据分析 64(3)、农村电商用户群体数据分析 65(4)、农村电商大数据信息服务应用 65(5)电子商务案例: 667、物联网环境监测： 67（2）、农情环境监测子系统: 67（2）、视频监控管理子系统: 69（3）、通信网络系统: 718、水肥药一体化灌溉系统： 74第三章 项目建设价值 761、平凉市智慧果业信息化管理平台的优势 762、平凉市智慧果业信息化管理平台项目价值 78（1）带来的经济效益。 78（2）政府对果业企业扶持的需求 79（3）特色林果产业信息化发展的要求 85第四章 公司情况和案例介绍 87项目建设概述1、项目概况：项目名称：平凉市智慧果业大数据管理平台建设单位：平凉市林业和草原局建设地点：平凉林草局和相关生产企业建设周期：计划2个月（智慧果业信息管理平台和试点项目）预计费用：本期建设预计48万元（平凉市智慧果业信息管理平台）2、建设内容和规模：平凉市智慧果业大数据管理平台规划三期进行建设实施，划分为三个功能各异的三个平台系统，分别是平凉市智慧果业信息化管理平台、平凉市智慧果业销售大数据平台、平凉市智慧果业生产大数据平台。（1）、平凉市智慧果业信息化管理平台主要功能板块如下：果业信息发布系统、产业布局统计系统、专家技术服务系统、气象墒情数据分析系统、果品电商展示系统、水肥一体化管控系统、行情农资服务系统、生产数据上报系统等。（2）、平凉市智慧果业销售大数据平台主要功能板块如下：统计本地区果品产量、电商销量、价格走势、国内果品产量、市场需求、销售统计、价格对比。国际果品产量、各国消费需求、销售区域分布、价格走势等。（3）、平凉市智慧果业生产大数据平台通过生产基地部署的环境监测设备（传感器、监测系统、传输系统）、视频监控系统、病虫害防御系统、水肥药一体化灌溉管理系统等，对生产基地多项重要的生产环境要素进行监测。建立果品生产气象大数据、果业土壤墒情大数据、苗木品种品质大数据、病虫害疫情大数据、卫星遥感和无人机环测大数据、农资供给投入大数据、标准化作业和防御知识大数据等。并通过云计算对大数据进行实用性的分析、对比，获取更多、更全、更实用的帮助政府和企业进一步优化产业和产品布局的可靠数据支撑。3、项目预期目标：随着云计算、大数据、物联网和人工智能和图像识别等技术的快速发展，平凉市林草局计划为基地引入更多的物联网智能设备，监测基地农作物温度、湿度、光照度（光感和光敏）、二氧化碳、氧气浓度等信息，积极构建专家决策辅助支持系统服务各个基地和科研活动，同时需要集成目前现有的视频监控和远程培训平台对其功能进行升级改造，达到数据集中展示、功能集成的基本目标。通过平凉市智慧果业信息化管理平台项目的建设，为平凉市科研成果和农特产品的市场推广提供信息化宣传，促进全区果业企业和果业产业的发展，让平凉市成为全国果业科技前沿，为实现全国乡村振兴目标提供数据保障，推动平凉市农民脱贫致富奔小康。4、项目建设背景：平凉市自然情况：平凉市位于甘肃省东部，陕、甘、宁三省（区）交汇处，地处北纬34°54'至35°43'，东经108°30'至107°45'之间，海拔在890--2857米之间。平凉属于泾渭河冷温带亚湿润区。在果业气候区划中，属于陇东温和半湿润果业气候区。平凉市气候总的特点是南湿、北干、东暖、西凉。由于地形和海拔高度的影响，气候的垂直差异明显。一般规律是：海拔每升高100米，生长季缩短5天，大于10℃的积温减少107℃，无霜期减少3.1天。平凉是甘肃省主要农林产品生产基地和畜牧业、经济作物主产区，盛产苹果、小麦、玉米、谷类、荞麦、油菜、胡麻、林果、烤烟等，具有开发“两高一优”果业的广阔前景，曾与庆阳地区以“陇东粮仓”闻名遐迩。市上和七县（区）先后获果业部、国务院“粮食生产先进地区（县）”荣誉奖。旱作山区盛产胡麻、葵花、土豆、莜麦和豆类等，阴湿山区林草茂盛，是西北各类中药材的重要产地，中药材主要有党参、黄芪、甘草、大黄、贝母、冬花等150多种。山药、百合、蕨菜、甲鱼等极具地方特色，皮毛肉类远近闻名；川区以果、菜为主，特别是发展迅速，已成为农村支柱产业之一。平凉金果”是指产于平凉市的苹果。“平凉金果”红富士系列苹果个大、色艳、硬度大、糖分高、无污染、耐贮存、货架期长。平凉市林草局以科学发展观为指导，认真贯彻落实各级农村和果业工作会议精神，围绕果业增效，农民增收，转变果业发展方式，深化果业结构调整，加大果业科技推广大力度，加快现代果业建设，积极实施现代果业园区建设，求真务实，狠抓落实，果业各项工作有序有效开展，农民收入稳步增长。目前仍然以传统果业模式为主，果业基础设施比较脆弱，抵抗自然灾害的能力较弱，生产手段和技术相对落后，劳动力和自然资源浪费较多，靠人工经验管理，缺少客观数据，手工记录，数据积累缺失，看天吃饭，严重制约了果业发展的速度，也对环境保护和水土保持构成严重威胁，对果业可持续发展带来严峻的挑战。因此，推动信息化技术在果业上的应用，已经是一种必然的选择。平台为平凉林果信息化、数字化改革上制定实时、动态的物联网检测手段、信息技术、云计算、大数据和区块链决策模型，实现快速、多维、多尺度的果业信息实时监测，并在信息技术和种养植专家知识系统的基础上实现果业生产过程中的环境监测、生产管理、远程控制、决策预警等板块，根据各种果业种养殖类型，精确监测空气温湿度、土壤温湿度、光照度、二氧化碳浓度、风速风向、降雨量、PM2.5、PM10等环境信息，稳定、快速控制风机、卷帘、遮阳、天窗、补光灯、水肥一体化灌溉、水泵等生产管理设备，广泛应用于设施果业、蔬果种植、花卉培育、水产养殖、禽畜养殖、景区监测等各类领域的精准种植、智能控制、智慧管理以及质量安全溯源系统和电子商务营销，为新果业主体提供产销一体的信息化综合管理平台。(1)、相关政策背景:《关于深入推进果业供给侧结构性改革，加快培育果业农村发展新动能的若干意见》（2018年中央一号文件）指出：强化果业科技推广，实施智慧农牧工程,推进果业物联网试验示范和果业装备智能化。十二届全国人大常委会第十四次会议表决通过了新修订的《食品安全法》，明确规定建立食品安全全程追溯制度，以及网络食品交易明确食品安全管理责任。国家建立食品安全全程追溯制度。食品生产经营者应当依照本法的规定，建立食品安全追溯体系，保证食品可追溯。国家鼓励食品生产经营者采用信息化手段采集、留存生产经营信息，建立食品安全追溯体系。从2018年起，果业部印发的《“十三五”全国果业农村信息化发展规划》的通知中就有提到过：到2020年，“互联网”+现代果业建设要取得明显的提高。信息化技术与果业生产、经营、管理、服务全面深度的融合，信息化成为创新驱动果业现代化发展的先导力量。2019年中央一号文件中关于果业发展目标就有：优化产品产业结构，着力推进果业的提质增效；推行绿色生产方式，增强果业可持续性发展能力；壮大新产业新业态，扩展果业产业链价值链；强化科技创新驱动，引领现代果业的加快发展；补齐果业农村短板，夯实农村共享发展基础；加大农村改革力度，激活农村果业内生发展动力。关于果业发展也有更明确的目标发展原则：区域联动，协调发展原则；突出优势，强化特色原则；立足现实，着眼未来原则；城乡统筹，分步实施原则。(2)、消费环境:随着我国经济的不断发展，人们生活水平不断提高，消费行为发生着深刻的变化。尤其80后、90后人群，对商品品质的要求逐步提高，对价格的敏感度在降低，越来越多的年轻人愿意为商品品质、为食品安全买单。供给侧改革正是适应这样的社会变化而提出的，需要我们的商品供应企业为消费者提供优质、放心的商品，加大创新力度，以优质促优价，以品质赠效益。从科技进步的角度看，果业发展主要表现出八个趋势:果业生产日益科技化，高新技术成为果业发展的强大动力。各国政府都把发展果业科技作为振兴果业的一项重要事业来抓。运用科学技术对传统果业实行技术改造，推动现代果业的发展。果业正面临着新技术革命的挑战。果业日益走向商品化、国际化。特色林果产品朝多品种、高品质、无公害方向发展。从专业化生产向农工商一体化发展。世界果业的潮流——建立实现“高效、低耗、持续”的低碳环保果业发展模式。(3)、企业诉求:企业在当前社会与经济环境下不进则退，需要紧跟社会潮流，大胆创新，开创属于自身的一片天地。通过追溯系统的实施，增进与消费者之间的信任，助力企业的品牌打造；追溯系统的实施，打造品牌差异化，凸显商品品质，增加企业效益，增强用户粘性。通过总结，企业实施追溯体系的诉求包括以下四点：创品牌、增效益、促管理、合监管。5、项目建设目标：建设平凉市智慧果业信息化管理平台，实现果业生产企业平台和政府平台互联对接，实现全区生产监管大数据展示平台。通过政府搭建平台服务涉农企业实现低成本管理，响应中央的精准扶贫政策要求，帮助平凉市果业和农民增产增收和拓宽销售渠道，早日脱贫致富奔小康。通过平凉市智慧果业信息化管理平台的建设，为本区农特产品的市场推广提供互联网信息化宣传，打造本地绿色特色林果产品、无公害特色林果产品、有机特色林果产品和地理标示产品。通过建设平凉市智慧果业信息化管理平台，让政府部门协助上下游企业关联产业发展，通过物联网检测设备、市场动态、疫情检测、行业资讯等手动汇集行业大数据，通过大数据分析科学决策，全面发展平凉市的经济、政治、文化、社会效益。建立平凉市智慧果业信息化管理平台对企业产品的品质化、标准化、规模化科学指导，可使平凉市的农特产生产经营企业的生产管理水平上升到一个新台阶。通过对各大互联网电商平台互联互通对接，快速和国内、国际市场接轨。通过平凉市智慧果业信息化管理平台建设，实现特色林果产品供应链各环节关键溯源信息的录入、监测和溯源，实现特色林果产品在生产基地全面实施环境保护、果业投入品、种植、产品包装、储运保鲜等技术标准，让平凉市农特产品在生产、加工、流通、储存和批发销售等环节做到来源可追溯、去向可查证、流向可追踪、信息可查询、责任可追究。消费者可以通过智能手机等扫描工具对产品的二维码进行扫描，可以查询到追溯产品的企业信息、产品信息、生产过程信息、生产环境信息、加工信息、批次信息和检测报告信息等全部内容。6、建设原则和依据：(1)、建设原则统一设计原则统筹规划和统一设计系统结构。尤其是应用系统建设结构、数据模型结构、数据存储结构以及系统扩展规划等内容，均需从全局出发、从长远的角度考虑。先进性原则系统构成必须采用成熟、具有国内先进水平，并符合国际发展趋势的技术、软件产品和设备。在设计过程中充分依照国际上的规范、标准，借鉴国内外目前成熟的主流网络和综合信息系统的体系结构，以保证系统具有较长的生命力和扩展能力。保证先进性的同时还要保证技术的稳定、安全性。高可靠/高安全性原则系统设计和数据架构设计中充分考虑系统的安全和可靠。标准化原则系统各项技术遵循国际标准、国家标准、行业和相关规范。成熟性原则系统采用国际主流、成熟的体系架构来构建，实现跨平台的应用。适用性原则保护已有资源，急用先行，在满足项目应用需求的前提下，尽量降低建设成本，避免不必要的资源浪费。(2)、政策依据本方案依据“制定‘互联网+’行动计划，推动移动互联网、云计算、大数据、物联网等与现代果业结合，通过政府搭建的电子商务平台，企业不仅可以减少渠道环节、降低销售费用，更可以和顾客建立直接联系，了解顾客具体特征，进而为细分客户群体精准开发差异化、个性化产品。互联网+果业“互联网+果业”即传统制造业企业采用移动互联网、云计算、大数据、物联网等信息通信技术，改造原有产品及研发生产方式，移动手机+果业。借助移动手机APP技术，果业生产企业可在生鲜素菜、特产瓜果、养殖肉禽等果业产品上增加网络软硬件模块，实现用户远程操控、数据自动采集分析等功能，极大地改善了果业产品的使用体验。“云计算+果业”。基于云计算技术，一些互联网企业打造了统一的果业产品服务平台，为不同生产企业的特色林果产品提供统一的生产服务和品质保障，优化用户的使用体验，并实现各产品的互联互通，产生协同价值。“物联网+果业”。运用物联网技术，果业企业可以将产品等生产设施接入互联网，构建网络化物理设备系统（CPS），进而使各生产设备能够自动交换信息、触发动作和实施控制。物联网技术有助于加快生产制造实时数据信息的感知、传送和分析，加快生产资源的优化配置。“龙头企业+合作社+农户”。在互联网的帮助下，企业通过电子商务信息化平台，可以让企业信息化手段管理企业、合作社、农户，如生产基地管理、人员管理、生产管理、投入品管理、销售管理等。“产品溯源+果业”。互联网给传统产业带来的变革，不仅在新技术应用，而且已经引发特色林果产品标签标示的大变革。随着果业产品接入互联网，生产企业可以依托产品溯源提高产品价值和销售，通过消费者的扫描扩大知名度和客户粘度。(3)、技术依据GB/T

11457-2006：信息技术、软件工程术语GB8566-88

计算机软件开发规范GB1526-1989：信息处理各种图的文件编辑符号和约定GB/T

14085-1993：信息处理系统计算机系统配置图符号及约定GB/T20271-2006《信息安全技术-信息系统通用安全技术要求》GB/T

8566-2007

信息技术

软件生存周期过程SJ/T

10367-1993(2009)计算机过程控制软件开发规程GB/T

17544-1998信息技术

软件包

质量要求和测试GB/T

15532-2008

计算机软件测试规范GB/T

8567-2006

计算机软件文档编制规范GB/T

8567

-1988

计算机软件产品开发文档编制指南GB/T

9385-2008

计算机软件需求规格说明规范GB/T

12505

-1990

计算机软件配置管理计划规范GB/T

12504

-1990

计算机软件质量保证计划规范GB/T

14394-2008

计算机软件可靠性和可维护性管理GB/T

20918-2007

信息技术

软件生存周期过程

风险管理项目建设具体内容一、系统总架构平凉市智慧果业信息化管理平台是利用大数据、云计算、物联网技术，对平凉市特色林果产品电子商务销售提供大数据信息化服务，可以帮助示范区果业生产企业掌握行业行情发展动态。记录果业企业发展、生产条件、市场与售价、特色林果产品成本与收益等情况，多方位收集地区特色林果产品电商交易数据，全流程数据分析可视化展示，方便果业经营企业灵活调整营销策略。1.1重要领域数据资源库建设数据资源类型主要有：行政区划、交通路网、水域河流等基础地理与遥感影像类数据；果业企业、龙头企业、标准化基地、企业合作社、农民合作社等果业生产经营主体资源类数据；果业土地利用规划、土地利用现状调查、土地利用变更调查、耕地现状、补充耕地、基本果业划定等耕地基本信息类数据；林果产业园区（标准化基地）、果业机井、果业用水、沟、渠道等水域资源类数据；种子、种苗、肥料、农药、兽药、饲料及饲料添加剂等果业生产投入品资源类数据；田头市场、批发市场、超市等市场以及林果产品电子商务等农产品市场交易类数据；果业园区、设施、育苗、生产等物联网示范基地果业物联网实时监测类数据；覆盖果产品种植、生产、加工、流通、销售的林果产品供应链数据。1.1数据汇聚层中心1、数据资源集成数据来源主要有：数据来源众多，需系统地梳理重要果业产业数据资源，确定数据资源目录、数据资源数据量、采集来源、更新频次等信息，建立平凉市主要农产品产业数据汇聚层。数据资源的获取方式包括：数据共享交换、网络采集、人工整理导入、数据接口采集、付费购买等。获取策略方面：第一，基于平凉果业局实现主要果业产业数据的共享交换（进行数据脱敏处理），与平凉的主要果业产业种植养殖加工企业达成数据合作，利益共享；第二，立足平凉，以运营中心为抓手，与甘肃省其他地区的政府、主要果业产业企业建立合作和服务机制，并与果业建立数据共享交换。第三，数据源合作及服务拓展至华南、华北、华东、华中、东北、西北地区的政府、主要果业产业企业。（1）数据采集建立实时可持续的主要果业产业数据资源采集体系，实现在线数据和离线数据的采集，以及采集要素（指标、范围、频次、周期等）的动态管理和配置。此外，还提供数据清洗、融合、管理功能。初期以国家农产品市场的交易数据和平凉农产品数据为切入点，逐步将数据采集范围拓展全国的化肥加工、农药生产、选种、主要果业产业种植养殖、交易、屠采摘、流通、加工、消费、进出口贸易等全产业链环节，建立生产、消费、库存、贸易、价格、成本收益、质量安全7大核心数据库，充分拓展物联网和互联网数据采集渠道，加强和利用遥感、传感器、智能终端、分布式网络爬虫等技术或装备，实时采集农产品种植环境、种植防疫过程、加工流通等数据，实现主要果业产业数据采集的实时性、准确性、可靠性。a数据库直连采集接口关系型数据的整合技术相对较为成熟，目前平台支持主流关系型数据库DB2、Oracle、MicrosoftSQLServer、Sybase、MySQL、Informix、PostgreSQL、access、sqlite等，以及大数据环境的数据采集。支持大数据存储载体Hadoop/HDFS和Avro，支持访问HDFS内的文件内容。支持主流NoSQL数据库，包括：HBase，MongoDB等。实际应用中，数据源较多采用的是关系数据库。从数据库中抽取数据一般有以下几种方式：全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自己的ETL工具可以识别的格式。全量抽取比较简单。增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有：触发器，在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器，对业务系统有一定的影响。时间戳，它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新，这就要求业务系统在更新业务数据时，手工更新时间戳字段。同触发器方式一样，时间戳方式的性能也比较好，数据抽取相对清楚简单，但对业务系统也有很大的倾入性（加入额外的时间戳字段），特别是对不支持时间戳的自动更新的数据库，还要求业务系统进行额外的更新时间戳操作。另外，无法捕获对时间戳以前数据的delete和update操作，在数据准确性上受到了一定的限制。全表比对，典型的全表比对的方式是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表，该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时，对源表和MD5临时表进行MD5校验码的比对，从而决定源表中的数据是新增、修改还是删除，同时更新MD5校验码。MD5方式的优点是对源系统的倾入性较小（仅需要建立一个MD5临时表），但缺点也是显而易见的，与触发器和时间戳方式中的主动通知不同，MD5方式是被动的进行全表数据的比对，性能较差。当表中没有主键或唯一列且含有重复记录时，MD5方式的准确性较差。日志对比，通过分析数据库自身的日志来判断变化的数据。Oracle的改变数据捕获（CDC，ChangedDataCapture）技术是这方面的代表。CDC特性是在Oracle9i数据库中引入的。CDC能够帮助你识别从上次抽取之后发生变化的数据。利用CDC，在对源表进行insert、update或delete等操作的同时就可以提取数据，并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据，然后利用数据库视图以一种可控的方式提供给目标系统。CDC体系结构基于发布者/订阅者模型。发布者捕捉变化数据并提供给订阅者。订阅者使用从发布者那里获得的变化数据。通常，CDC系统拥有一个发布者和多个订阅者。发布者首先需要识别捕获变化数据所需的源表。然后，它捕捉变化的数据并将其保存在特别创建的变化表中。它还使订阅者能够控制对变化数据的访问。订阅者需要清楚自己感兴趣的是哪些变化数据。一个订阅者可能不会对发布者发布的所有数据都感兴趣。订阅者需要创建一个订阅者视图来访问经发布者授权可以访问的变化数据。CDC分为同步模式和异步模式，同步模式实时的捕获变化数据并存储到变化表中，发布者与订阅都位于同一数据库中。异步模式则是基于Oracle的流复制技术。ETL处理的数据源除了关系数据库外，还可能是文件，例如txt文件、excel文件、xml文件等。对文件数据的抽取一般是进行全量抽取，一次抽取前可保存文件的时间戳或计算文件的MD5校验码，下次抽取时进行比对，如果相同则可忽略本次抽取。在大型数据中心等应用场景中，关系型数据具有来源复杂、信息量大、数据质量不可控等特点，因此对于数据处理的性能、容错性、可扩充性、可维护性、可监控性等方面仍然提出很大的挑战。为应对这些挑战，需要通过一系列的关键技术实现关系型数据的整合。b接口数据采集根据项目实际情况，平台直接通过接口实现外网实时消息主动推送到政务专网消息服务器上。对具备数据交互接口的IT系统/前置机，能适应其数据传输的接口规范，包括常见REST、HTTP、Webservice接口API。为解决各委办局、政府部门及相关社会机构等部门的接口数据采集问题，实现社会数据资源的整合，需要采用成熟的跨网络数据交换技术。在跨网络的数据交换过程中，涉及到硬件及软件两个层面的各种技术，还需要解决数据的安全性问题，其流程较复杂，对稳定性要求高，也涉及大量核心技术。c定制化数据采集支持WEB页面的定制化数据采集：系统提供自定义表单的功能，以满足各数据源单位数据填报的需要。dFTP文件接口采集TP文件接口采集：能配置FTP连接参数，支持的文件格式包括预定义格式文本文件、CSV文件、Excel文件、固定宽度格式文件。文件传输主要用于工作文件、音视频文件、图片等多种文件，并提供传输管理功能。支持各种文件（包括工作文件、视音频、图片等）的传输，提供WEB管理界面，支持查看统计和配置管理。借助文件传输平台，用户无需进行任何编码，只需在本系统中配置源路径和目标路径，就可以轻松实现不同节点间的文件的安全、可靠、高效传输。前置机名称：通过下拉框的方式进行选择，此处由实施工程师优先在前置代理机中发送；文件目录：要传输的文件所在的目录；接收组织：文件传输接受的组织机构，可以选择多个，通过组织机构树选择；密钥：文件传输时对文件加密的密钥，通过下拉框的方式进行选择，此处由实施工程师优先在密钥管理中添加密钥。e互联网数据网络爬虫采集针对于农产品价格、电商数据、统计局等互联网公开涉农数据，需要通过网络爬取的方式进行采集。网络爬虫采集是通过爬虫技术利用关键字指定的url把所有相关的html页面全抓下来，然后解析html文本，提取文本信息，然后把文本信息存储起来。支持多线程爬取功能和多种数据爬取的访问方式，包括地址标签以及WEB接口（支持动态参数），包括防反爬功能、分词、正则、模板化爬取规则设置，最终识别爬取内容的关键信息，完成数据持久化操作。通过设置爬取规则，比如爬取网址、字段、频次、时间段、关键字、爬取策略等内容，系统将根据爬取规则自动抓取所需数据，并对抓取异常的数据进行提示。通过配置爬取的线程数量，实现多线程爬取。同时，通过监控数据来源、数据任务名称、当前数据规模、每日数据增量、运行状态、采集频度等对数据采集任务状态、当日采集数据量以及存量数据总规模等方面提供实时监控功能。f物联网数据接入大数据中心支持通过分布式消息队列获取物联网数据，并根据映射关系加载到数据库中进行存储，也支持通过分布式消息队列获取物联网数据后，用于SparkStreaming实时流框架处理。果业物联网数据主要包括生产环境数据（空气温湿度、二氧化碳、氨气、硫化氢等）、耳标RFID数据等。果业物联网数据是实时产生的数据，无法使用延迟较大的离线数据处理方式进行数据的介入和处理，因此我们采用消息队列来获取物联网数据。通过消息来连接数据源和目标数据库，并根据映射关系将原始数据加载到目标数据库中进行存储。在通过获取物联网数据后，利用SparkStreaming中的Receiver或者Direct方式从消息队列中获取物联网数据，为后续的数据处理提供数据基础。（2）数据清洗转换数据清洗转换指对前端采集过来的数据进行清洗与转换处理。数据清洗转换功能包括数据过滤、数据去重、数据去脏、数据转换（类型转换、维度转换等，转换规则的配置）、编码映射、文件拆分与合并、批量分布式清洗和实时不落地清洗，数据处理过程日志、数据清洗转换监控等。数据处理规则配置：提供图形化界面灵活配置规则，主要包括：对数据进行计算、合并、拆分的规则配置、对空值替换规则的配置、对数据格式化规则的配置等。数据转换组件：包括但不限于时间类型的转换、字符编码转换、数据类型转换、数据单位转换；数据转换支持统一编码映射，如公民唯一标识，各种纬度参数等；支持多字段的混合运算，运算规则可灵活配置，如sum、max、min、avg等；支持各种字符操作：包括字符替换、字符截取、字符连接等；支持数据粒度的转换，保证转换后的误差在规定的范围内；支持数据格式化：包括时间、数值、字符、计量单位等数据；支持复杂条件过滤，过滤条件可灵活配置；支持数据去重处理，可按照用户定义的规则自动判断重复数据，并按照用户定义的规则处理重复的数据；支持记录间合并、支持将一条记录按照可配置的规则拆分为多条记录；支持行、列变换；处理过程支持各种字符集的转换。数据处理日志：日志信息主要包括源数据记录、转换后数据记录、运用的转换规则、转换的时间等内容。数据清洗转换监控：系统提供统一的清洗转换调度与处理机制，如执行任务的调度、设备资源的调度、执行情况监控、异常处理恢复机制等，对清洗的进度进行实时监控，以保障数据清洗转换任务的顺利执行。数据清洗是数据处理当中的核心工作之一，其主要工作为：第一步：预处理预处理主要做两件事情：一是将数据导入处理工具。二是看数据。这里包含两个部分：一是看元数据，包括字段解释、数据来源、代码表等等一切描述数据的信息；二是抽取一部分数据，使用人工查看方式，对数据本身有一个直观的了解，并且初步发现一些问题，为之后的处理做准备。第二步：缺失值清洗缺失值是最常见的数据问题，处理缺失值也有很多方法，按照以下四个步骤进行：①确定缺失值范围：对每个字段都计算其缺失值比例，然后按照缺失比例和字段重要性，分别制定策略。②去除不需要的字段：直接删掉，但清洗每做一步都备份。③填充缺失内容：某些缺失值可以进行填充，方法有以下三种：以业务知识或经验推测填充缺失值；以同一指标的计算结果（均值、中位数、众数等）填充缺失值；以不同指标的计算结果填充缺失值。④重新取数：如果某些指标非常重要又缺失率高，那就需要和取数人员或业务人员了解，是否有其他渠道可以取到相关数据。第三步：格式内容清洗如果数据是由系统日志而来，那么通常在格式和内容方面，会与元数据的描述一致。而如果数据是由人工收集或用户填写而来，则有很大可能性在格式和内容上存在一些问题，简单来说，格式内容问题有以下几类：时间、日期、数值、全半角等显示格式不一致；内容中有不该存在的字符；内容与该字段应有内容不一致。第四步：逻辑错误清洗。去重；去除不合理值；修正矛盾内容。第五步：非需求数据清洗。将不要的字段删掉。第六步：关联性验证。如果数据有多个来源，那么有必要进行关联性验证。（3）数据加载大数据加载模块通过大规模、可扩展算法实现数据的加载功能；保障采集的数据正确、完整、规范地加载到目的地；实现数据加载过程中的传输异常、数据加载异常、数据结构与质量异常等问题。数据加载功能包括但不限于：全量数据加载、增量数据加载、流式数据加载、数据加载过程控制、数据稽核、异常处理等。数据加载模块通过可视化的数据处理工具实现，定义从源到目标的映射关系及流程。支持自动创建新目标库或者根据已经设置好的加载规则自动装载到已存在的目标库。元数据管理：在设置加载规则时，能更新数据采集接口和转换流程等相关业务定义、并能同步更新到数据目录管理功能中的元数据资料库中。批量加载：加载经转换和汇总的数据到目标数据仓库中，可实现编写SQL自定义数据集或编写脚本批量加载。异常处理：平凉数字果业平台管理员可以基于事件和时间进行调度、运行、监测ETL的加载作业、管理错误信息、从失败中恢复和调节从源系统的输出。数据稽核：监控总稽核规则量、稽核正常数量、异常数量、稽核结果情况统计等可追溯定位信息。在数据ETL过程中，从抽取、处理以及最终加载到目标数据源的全流程中，实现元数据的跟随传递及变化，其中重点是在每一个处理器上实现元数据信息的随参数传递及变化，最终实现数据ETL过程中元数据的字段级追踪与传递，从而准确的描述数据的处理流程，实现字段级别数据处理流程跟踪，并自动建立数据间的抽取整合关系。而在数据整合过程中的元数据信息通过定制专门的接口，实现向平台的发布流程，并共享给其它应用系统使用。通过定义基于消息推送模式的数据源类型，实现关系型数据的实时推送机制，并可按照预设的处理流程进行处理，最终加载到目标数据源，从而满足实时关系型数据交换的需要。2、数据资源存储设计和实现平凉市主要果业产业链数据资源服务层存储架构，数据资源中心存储结构主要包括基于Hadoop分布式文件系统、关系型数据库、分布式缓存存储和基于Hbase的分布式列存储，通过中心存储对产业链数据资源进行适用于不同类型的分类海量存储和高效利用。（1）分布式消息队列设计和实现基于消息机制的产业链数据资源分布式消息传输队列，用于数据资源的流转、存储和发现。产业链物联网设备数据、生产种植数据、文本日志数据等平凉农产品产业链数据接入传输存储采用分布式异步消息队列MQ，通过实现消息发布端和消息消费端进行平凉农产品产业链中的环境数据、生产数据、流通数据等数据资源的传输和接入，采用消息队列有效保证数据的高并发和安全性，其中不同厂商的物联网设备和产业链数字化生产系统作为消息的发布端；产业链数据资源中心存储作为消息的消费端存储数据资源。（2）分布式关系型数据库针对平凉市主要果业产业链数据资源数据存储现状，对数据类型进行分类，规划属于关系型数据的数据分类。在分类的基础上，构建中心分布式关系型数据库，设计分布式数据库结构、备份策略、数据库表设计、存储过程、读写分离等适用于平凉市主要果业产业链各环节中的物联网环境数据数据、生产数据、数据、流通经营数据等关系数据的分布式关系数据库。（3）内存缓存数据库为解决平凉市重要果业数据资源库的高效利用和高效访问等大数据带来的技术问题，设计和构建数据资源中心内存数据库，用于存储访问频率高、响应要求快的平凉市主要果业产业链各环节中的实时数据。内存数据库采用基于redis的key-value型分布式缓存数据库，实现大数据的读写分离，提高数据应用的效果。（4）分布式列存储数据库基于Hbase和mysql数据库构建数据资源中心分布式列存储，用于存储平凉农产品产业链各环节的历史物联网数据、经营价格数据、流通空间数据、病虫害数据、实验室化验数据等非关系型数据，设计分布式存储集群架构、列存储数据库表结构、备份策略和存储模式。（5）分布式文件系统构建基于HDFS的分布式文件系统，应对海量文件数据存储（如图像数据、日志数据、视频数据、文件数据等），设计HDFS文件存储模式、文件资源目录设计、备份策略；设计和实现基于分布式文件系统的文件获取、文件查询、文件存储接口服务。3、数据资源库建设（1）平凉市主要果业产业链数据资源分类对平凉市主要果业产业链数据资源进行分类编码和目录建设，主要实现了产业链数据资源的编码方法确定、码位结构设计、编码规则等，形成产业链数据资源分类编码表和分类目录，产业链据资源分类编码主要包括了产业链各环节的物联网数据、生产数据、病虫害等数据、实验室化验数据、产业链流通数据和经营数据。（2）平凉市主要果业产业链数据资源专题库建设基于数据资源中心存储构建平凉市主要果业产业链数据资源专题库，专题库包括如下：表1-1数据资源专题库编号专题库名称数据资源分类内容1果业生产经营主体基础信息数据资源包括生产经营主体身份、生产经营、补贴发放、投入品使用、培训营销等果业生产经营主体基础信息数据资源的采集、交换、处理、应用等技术流程。2果业耕地基本信息数据资源包括基本地块权属、面积、空间分布、质量、种植类型及耕种管理等耕地基本信息数据资源的采集、交换、处理、应用等技术流程。3果业水域本底数据资源域空间分布、权属、林果产品及产量、育苗区域和果业生产区分布等数据4果业投入品数据资源包括种子、农药、肥料等为一体的果业投入品数据资源的采集、交换、处理、应用等技术流程。5农产品市场交易数据资源包括交易主体、交易品种、交易量、交易价格于一体的农产品市场交易数据资源的采集、交换、处理、应用等技术流程。6园区数据资源“两区”（果业生产功能区、重要林果产品生产保护区）和“三园”（现代果业产业园、科技园、示范园）空间分布、园区生产与经营等数据。（3）平凉市主要果业产业产地遥感影像建设建设平凉市主要果业产业电子地图，结合遥感影像实现辖区内所有果业地块、果业基建、水路信息、生产资产、物联网基础设施等地理要素的属性数据与空间信息关联，利用空间数据库引擎建立各地图要素与种植基地、种植主体等组织机构、管理单元之间的关联关系，满足基于电子地图的平凉市主要果业产业生产精准管理需要。具体包括种植养殖公共数据加工与录入、电子地图建设、电子地图的更新与维护三个建设内容：公共数据加工与录入：主要是在高清遥感影像上通过空间数据矢量化，加工处理种植基地所在田块、基础设施、生产单位、物联网设施等全要素空间信息。农田电子地图建设：主要是在高清遥感影像上通过空间数据矢量化，加工处理平凉农产品果业信息、生产基础设施信息以及基地信息等全要素空间信息与业务信息。电子地图的更新与维护：电子地图的管理是按照电子地图版本进行统一管理的，更新与维护分为电子地图属性的修改和电子地图的空间的修改。1.1.2数据计算层构建面向平凉市果业重要领域数据资源库的数据计算层，数据资源计算层包括算法库、数据计算引擎、机器学习和数据模型建设。产业链数据资源计算层的建立是面向主要果业产业的以数据为导向的、以数据研究、数据计算为技术的数据资源分析、资源计算、资源挖掘、数据学习的集中计算层。通过计算层的分析决策服务，结合平凉市果业重要领域数据资源库，为产业链数据资源服务层提供分析决策服务。计算层主要功能包括：集成基于hadoop分布式文件系统的计算引擎，构建面向平凉市主要果业产业的分布式基础算法库和领域算法库。同时建立主要果业产业生产、水肥管控、病虫害防治等数据模型层，模型层实现了平凉市果业重要领域数据资源库的表型特征、训练样本数据、文本数据提取、数据模板、典型数据模型和深度学习模型。最后在基于Spark流式计算引擎和TensorFlow深度学习引擎的基础上，提供主要果业产业生产数据模型的流式计算、GPU图像计算、深度机器学习等数据分析服务及接口，为上层使用。具体架构如下图所示：图1-1数据资源计算层架构图1、分布式算法库建设重要领域数据资源库建设中的计算层提供面向产业链数据资源计算和分析的分布式算法库。采用基于Spark框架和Mahout的分布式统计算法架构，支持分布式机器学习算法，包含聚类、分类、推荐、回归、神经网络等算法支持，在基础分布式算法库的基础上构建面向重要领域数据资源库分类的分析决策算法库，并对其进行管理和部署。2、数据分析挖掘引擎建设设计和构建数据资源计算层数据分析引擎服务，主要包括数据基础统计和大数据挖掘引擎。数据统计提供对基础数据的求和、平均、排序等基础的数据统计服务；基于Spark设计大数据数据挖掘引擎服务，包括数据模型构建、算法库、数据计算。针对平凉农产品产业链的数据资源挖掘需求，提供逻辑回归、分类、聚类、决策树等分析挖掘任务。3、人工智能框架建设基于TensorFlow构建数据资源计算层深度学习的人工智能框架，满足基于GPU的图像处理分析引擎，同时支持大数据机器学习工作流的计算引擎。深度学习包括主流的卷积神经网络、循环神经网络、长短期记忆神经网络等深度学习算法和模型，对主要果业种植养殖地数据资源图像、物流空间数据、种植养殖作业数据、产业链物联网环境时间序列数据等进行机器学习。4、平凉市主要果业产业链分析决策模型基于主要果业产业链数据资源研究和建立相应的主要果业产业分析挖掘模型，充分利用大数据手段将低价值密度的数据转变为高价值密度的数据，发现数据隐含规律，将数据价值挖掘出来以通俗易懂的方式进行表达，为主要果业产业链上的生产经营主体精准服务，平凉市主要果业产业链分析决策模型包括：（1）种植面积监测面向种植园区提供种植面积检测，并向用户发送提示信息，为种植园区调整生产结构、提高产量、化肥采购提供指导。（2）化肥监测针对平凉市主要果业产业主要化肥产量、价格进行监测预警，为种植场化肥采购、成本控制提供判断依据。产量监测：对平凉市主要果业产业主要化肥的产量进行监测。价格监测：对平凉市主要果业产业主要化肥的价格进行监测。备货提醒：当化肥价格较低时，为生产经营主体提供化肥备货提醒。（3）病虫害监测对病虫害症状、发生规律、传播性等进行分析，并进行精准农药推荐、防治措施建议。病虫害风险指数：通过采集国内外最新病虫害信息、病虫害历史数据、害虫种类、病虫害爆发时的内外部环境因素等数据，进行大数据建模分析，理清病虫害爆发规律、传播半径和传导机制，编制病虫害风险指数，为疫病的预测及防控提供支撑。病虫害监测预警：监测存栏农产品的健康基础、病虫害原因、害虫类型、病虫害时长、农药喷洒情况等多方面数据，预测病虫害发生范围、持续时间，为提前做好疫病防控提供建议。农药推荐：针对不同类别病虫害为用户推送相应的农药及采购量、用量建议。质量安全追溯：为平凉市主要果业产业链上的所有生产经营主体提供质量安全追溯服务，增加产品附加值，提升产品品牌形象。批次管理：农产品的批次管理是指农产品从种植到销售，实行严格按批次进行的科学管理，它贯穿于农产品生产全过程，确保农产品从种植到交付给客户的每个环节做到批次清、数量清、质量清、责任清、种植动态清，并且分批种植、分批检验、分批采摘、分批评级、分批交付、分批溯源。明确农产品批次与质量的关系，使批次管理成为为追溯提供信息服务的必须要素。生产履历信息：为全产业链涉及的主体提供生产履历快速记录功能，为农产品溯源提供数据基础。溯源码赋码：根据国家及行业相关溯源码标准规范，制定农产品溯源码规则，通过本平台进行溯源码生成并关联相应的溯源信息，连接二维码打印机即可打印贴标，实现农产品产品一物一码、全程可追溯。溯源码扫码分析：分析平凉市主要果业产业产品溯源码扫描情况，包括区域分布、扫码次数等，通过大数据分析，为挖掘消费者特征、目标客户区域等提供判断依据。舆情监测：通过对互联网上平凉市主要果业产业链质量安全舆论信息抓取分析，判断社会舆论声量、关注量、情感，为农产品供给侧结构调整提供决策辅助。（4）价格监测预警针对平凉市主要果业产业链的价格数据以及影响价格的主要因素进行大数据分析挖掘，对纵向历史价格数据和横向产业链数据进行全方位分析，实现平凉市主要果业产品价格的预测预警以及波动规律发现，主要包括价格行情监测、价格预测预警、价格波动规律，为产业链上的生产经营主体提供透明化市场信息，生产经营主体根据市场信息作出生产经营策略调整，降低市场价格波动可能带来的风险。价格行情：采集平凉市主要果业产业链价格数据，为产业链上的生产经营主体提供透明化的市场行情信息。价格预测预警：通过对平凉市主要果业产业链上的历史价格数据以及实时采集数据的清洗整理，基于GARCH模型拟合历史价格的变化，用通过检验的GARCH模型对未来一周的周均价格进行预测。GARCH模型是一个针对金融数据的回归模型，和普通的回归模型相比，对误差的方差进行了进一步的建模，特别适用于波动性的分析和预测。价格波动规律：通过对农产品周均价格的时间序列进行分解，将时间序列波动的因素分解成季节性规律、长期趋势和中短期波动，便于对不同因素作针对性分析，探究农产品价格波动规律，进行预警服务。（5）流向监测为种植场、种植大户、冷链运输企业、加工厂、电商企业、超市等平凉市主要果业产业链上的经营主体提供平凉市主要果业产业产品流向监测服务，对历史流向数据和实时产生的流向数据进行空间分析，做到产品销售区域清楚可查，产品消费主体清楚可查，产品物流时间清楚可查，产品经手人员清楚可查等，为生产经营主体理清内部销售情况，摸清经营链条提供数据支撑。空间流向：为生产经营主体提供平凉市主要果业产业产品空间流向地图，直观反映产品供求地域信息。流向分析：对生产经营主体的产品流向数据进行综合分析，按照需求量、物流时间、销售区域等不同的维度进行分析。（6）交易监测为种植场、种植大户、冷链运输企业、加工厂、电商企业、超市等平凉市主要果业产业链上的经营主体提供平凉市主要果业产业产品交易监测服务，包括对消费市场的交易量、交易额、消费者特征等信息进行监测分析，描绘产品的消费画像，例如消费者对购买渠道的偏好、对某品牌的偏好、对某产品类别的偏好等，为企业精准营销提供依据。交易地图：基于空间地图展示交易活跃量高的交易市场、批发市场、电商、超市等经营主体分布。消费者偏好：通过对消费者行为特征信息进行拆分解读，分析消费者对产品类别、产品包装、溯源产品、消费渠道、消费品牌等的偏好，为企业进行精准营销打下基础。消费热词：采集监测平凉市主要果业产业消费市场关键词，突出反映消费市场对平凉市主要果业品的核心关注点和诉求点，可用于指导企业调整营销策略、改进生产方式。（7）供需预测通过对国内外市场供需情况和企业数据的采集监测，深入分析市场供需情况，判断供需形势，为企业生产主体调整优化生产结构提供建议。供需预测：对全国供需预测形势进行分析预测，对供不应求、供大于求进行预警提示。库存提示：对经营主体的产品库存进行监测，包括采摘量、出厂量、冷冻储存量等，当库存量不足时进行预警提示。加工监测：对企业加工产能进行监测分析，并预测未来一段时间产量，根据供需预测结果，优化调整生产线。（8）竞品分析为种植场、种植大户、冷链运输企业、加工厂、电商企业、超市等平凉市主要果业产业链上的经营主体提供竞争对手及竞争产品的情报分析服务，为生产经营主体提升自身市场竞争优势、提高市场占有率助力。竞争对手分析：为生产经营主体提供竞争对手情报分析服务，搜集竞争对手经营、销售、消费口碑、行业影响力等相关信息，对比自身优势和劣势，为企业提升自身竞争力，超越竞争对手助力。竞争产品分析：为生产经营主体搜集分析市场上同类竞争产品相关信息，对比自身优势和劣势，发扬优势，改进不足，助推提升产品销量以及市场占有率。（9）企业信用主要面向银行、保险公司或其他金融机构，为以上金融机构提供产业信用监测数据分析服务，为金融机构针对性设计贷款、保险产品以及甄别企业信誉、防控金融风险提供依据。企业信用评价体系：通过汇聚企业工商、财务、无形资产、法院、环保、税务、金融监管、食药监、舆情等信息，对企业管理因素、经营因素、财务因素、信用因素、经济因素进行大数据建模分析，建立起一套科学的企业信用评价体系，并对各项指标权重进行管理。企业信用排行：根据企业信用评价体系，计算企业信用评价结果，展示排名情况。企业信用360°画像：通过企业信用评价体系的建立，可对目标企业的信用记录给出评分，并通过企业360°画像的形式展现。主要功能包括：为企业授信业务提供决策支持；为金融机构放贷提供授信额度决策支撑；为金融机构在贷款过程中企业风险的变更进行实时动态监测，从而在提升企业放贷率的同时，降低次级、可疑和损失等不良贷款的发生。企业信用360°画像的主要目的是解决政府部门与金融机构无法明确企业信用信息或农产品企业信用信息量化程度较低导致的企业贷款难等问题。（10）金融服务金融服务主要面向平凉市主要果业产业生产链上的经营主体，为他们提供保险、贷款、融资等金融服务，通过对企业金融需求、经营状况、财务信息等进行监测分析，推荐适合的产品和金融机构，此外，还可为用户提供理赔测算、还款提醒、风险提示等服务。融资贷款建议：通过对平凉市主要果业产业链上的各企业的生产经营和发展的客观状况、财务数据、品牌信誉等进行综合评估推荐适合的融资贷款建议及渠道，并进行风险提示、还款提醒等。保险推荐：在对产业链上各企业的生产经营状况、财务状况等进行综合评估的基础上，为产业经营主体推荐适合的保险产品，一方面可以进行灾害疫病风险防范，为经营主体降低种植风险，另一方面可以为遭受灾害疫病的种植企业挽回一部分损失。1.1.3数据服务层1、数据服务层设计和构建平凉重要数据资源库服务层，基于数据资源存储、数据资源专题库、数据资源分析决策模型，构建数据资源服务的注册、管理、数据协议和服务发布，实现数据资源的统一调用。数据服务层主要包括基础服务、数据共享服务及数据分析决策服务。2、基础服务基础服务是以已存在于平凉市主要果业产业数据资源相关数据为对象，在数据抽取、封装、监控、服务方面进行能力集成，为上层数据共享、应用开发环境、数据可视化提供数据处理能力。（1）分布式ETL服务调用对ETL模块中可重用的功能进行封装，针对已入库的涉农数据提供分布式抽取、脱敏、加密、自定义加载等功能，并能根据用户规模的扩大实现多节点任务的协调工作。基于Json和HTTP协议提供服务控制接口，对ETL模块中可重用的功能进行封装，针对已入库的涉农数据提供分布式抽取、脱敏、加密、自定义加载等功能。在服务端通过TCP协议实现数据流的高效传输，并能够将整个ETL流程直接发布为ETL服务，通过客户端启动并控制流程的执行和暂停。当流程启动后，可以将数据直接推送给ETL流程进行执行，而使ETL功能服务化。提供ETL流程定期触发、条件触发、自定义触发功能：对定制好的ETL流程，可按天、按周、按月、或者特定时间定期触发执行，也可依据外部条件进行触发，或者通过插件的方式以自定义的条件触发。并提供执行日志的查看功能。通过在数据的执行触发、数据的批量处理、数据的日志触发等阶段定义相应的插件接口，从而多层次、丰富的插件扩展能力，使ETL软件能够满足各种需求场景。（2）服务封装根据数据管理层中的目录管理和安全管理，进行数据服务能力封装，向上层模块提供目录检索接口及数据调用接口。提供集成的服务开发工具，支持服务的快速开发、封装和集成。服务集成开发工具提供了从设计、开发、配置到打包部署的全过程支持。它提供完善的分布式开发环境，集成了资源权限管理功能，基于项目、组件、服务等资源的权限管理，支持团队协作开发，方便团队进行分工合作，提高开发效率。基于大数据中心，对外提供开发接口服务，支持开发者或应用开发商调用平台提供的服务和自己的业务应用进行集成，或是开发基于公共信息融合服务平台的应用系统。对外提供二次开发包、Web服务开发接口，以满足不同应用的开发用户需要。（3）服务监控服务监控功能主要对数据服务的调用及检索接口进行监控。服务监控功能可以对数据服务流水、日志、异常信息进行监控；同时还能够对中间件（MQ，MB）以及服务器资源（CPU，Memory，磁盘使用信息）等进行监控，方便用户实时准确地掌握了解系统运行情况；通过与数据中心体系集成，实现平台基础环境、软件平台、服务应用、数据资源等的全面监控，发现性能、容量、故障、安全问题。监控系统还提供历史数据的查询及报表统计等功能。监控管理包括：服务调用监控、处理过程监控、环境监控、日志监控等功能，并提供事件检测、触发和分布的详细描述。服务监控系统在获取具体数据服务的基础信息和数据信息的基础上，通过控制流程驱动和预警管理机制实现数据服务跟踪实时动态图和数据统计；在发生异常时，通过与外部系统的接口实现邮件或短信提醒，进而通过人工干预，恢复数据服务的正常运转。服务监控提供WEB界面对服务内容进行灵活配置和管理监控，实现服务内容全生命周期的管理；系统以形象的图示方式，提供服务调度、服务运行监控功能，为服务的管理操作提供依据。服务监控能够显示系统中管理的服务的当前运行状态及其调用情况，并且能够进一步追踪到该服务当前的负载情况。系统提供服务监控信息统计分析功能，可多维度统计展示服务调用情况；系统提供接口，可以实现数据采集交换的WEB监控管理界面需与服务总线的WEB监控管理界面的有效整合，通过一套界面整体管理数据交换和服务总线。（4）服务权限根据安全管理的多租户管理模块设置数据服务调用权限，能识别数据调用来源用户，管理其调用的服务接口明细。服务权限管理主要任务是保证网络资源不被非法使用和非常访问。它也是维护网络系统安全、保护网络资源的重要手段。用户访问控制主要包括入网访问控制与数据访问控制。入网访问控制主要包括用户名的识别与验证、用户口令的识别与验证、用户帐号的缺省限制检查，只有通过各道关卡，该用户才能顺利入网。目录访问控制对每个用户、角色或者组分配特定的目录访问权限，对目录的访问权限主要有管理员权限（Supervisor）、读权限（Read）、写权限（Write）、创建权限（Create）、删除权限（Erase）、修改权限（MOdify）、查找权限（FileScan）等；建立严格的数据服务管理，数据的使用必须遵循申请–》审核–》使用的管理流程；提供数据服务本身的注册、上架、撤销等服务维护功能，支持服务的动态配置；数据服务须提供动态扩展能力，能支持大用户量并发访问。3、数据共享服务数据共享依据为元数据的四个业务维度，提供灵活丰富的数据共享接口，为展现层提供查询检索、数据订阅与发布的接口处理能力。该功能与基础服务中的服务封装功能高度耦合，满足不同业务方调取数据和呈现数据分析结果的需求。数据共享服务可以分为两个不同的模块：数据服务运行。服务运行子系统提供了对服务的初始化、Session管理以及缓存管理的功能，并缺省提供了资源目录管理系统规范的目录访问接口服务。服务管理。服务管理子系统提供了对服务的管理功能，包括服务的注册、上架、撤销，以及服务的负载均衡管理功能。通过web界面即可完成数据服务接口的服务发布、审核、共享，无需编程人员开发代码。（1）服务运行服务运行子系统提供了大数据中心数据资源访问的接口服务，并提供访问服务的session维护和缓存管理。开发者或应用商可以利用平台提供的数据共享服务开发基于大数据中心的应用系统。认证授权：公钥获取接口服务。数据检索:服务端根据客户端指定的检索条件，在服务器端从元数据库中检索并标识出匹配的元数据记录，并将元数据记录保存在结果集中的过程；结果集的保存时间与会话标识一致，当会话结束后，响应的结果集将被同步删除。服务支持分类检索：部门分类检索、服务分类检索、行业分类检索、主题分类检索、资源综合查询（包括对行年、季、月度等时间段统计分析报告）、资源消息订阅。对于结构化数据能根据数据项自动生成检索条件，对于非结构化的文本文档资源能支持全文检索服务。数据检索结果提取：数据检索结果由服务器端从结果集中提取并返回若干数据记录给客户端。根据基础服务的服务权限功能，约束数据共享的范围。数据元数据管理：提供元数据的新增、删除和更新操作；当操作类型为更新时其操作对象为通过“目录检索结果提取”接口返回的元数据；操作类型为删除时，其操作对象为通过“目录检索结果提取”接口返回的元数据中的特定一条记录；当操作类型为创建时，请求方必须按约定的编目要求提供完整的元数据信息。数据服务终止：数据服务终止将结束服务端与客户端的会话，与会话相关的资源将被释放。session维护（超期）：session的同步，检查。数据服务初始化:资源目录和元数据服务初始化用于建立客户端与服务端的会话，所有其他服务都必须依赖会话；默认持续时间为30分钟；客户端认证同时获取会话标识符，后续发起交易时需要传递该会话标识符。缓存管理：预检索缓存机制。（2）服务管理服务管理功能对于系统接入的服务提供严格的服务授权和安全监控技术体系，利用令牌实现各业务系统对于服务接口的安全调用，对于调用服务接口的每个业务系统，提供定制化的数据权限和功能控制，使之只能访问限定的接口功能。服务注册。服务注册提供了服务的发布功能。提供可插拔的服务注册方式，即插即用的服务调用环境。一个服务被注册后，就可以根据其配置的规则和其它应用接口进行交互。服务管理。服务管理是提供分布式的聚合和编排，提供动态负载均衡的服务，实现大规模信息资源应用服务系统的集群，并能够进行集群系统的集中管理，支持多种异构服务的接入和管理，通过服务总线实现对各个服务的调度和分配。应用服务审核。服务提供商发布应用，给平台审核；平台对服务提供商的应用进行审核，审核通过的应用才能够被用户订购使用。应用服务审核包括对应用的服务、价格进行审核。应用服务管理。应用服务管理即对应用的信息，包括对对应服务、资费等进行维护。对应用服务进行分类、定义和资费的设置。应用服务托管管理。应用托管管理主要提供应用服务角色验证服务的维护和管理，主要包括应用托管角色的定义以及应用托管授权等级定义。通过应用托管角色和授权的管理，完成用户统一管理和验证的功能。服务安全管理。服务安全管理主要实现平台各类服务服务访问权限分配，提供基于应用系统Key和IP的多种服务权限控制机制，始终确保服务在安全，可控的状态下运行。数据共享功能与基础服务中的服务封装功能高度耦合，满足不同业务方调取数据和呈现数据分析结果的需求。支持共享权限管理：根据基础服务的服务权限功能，约束数据共享的范围；支持通过web界面即可完成数据服务接口的服务发布、审核、共享，无需编程人员开发代码。4、数据分析决策服务注册和发布平凉市主要果业产业链中生产、流通、经营和管理数据资源分析、计算和挖掘服务。全国果业物联网数据公共服务平台、各平凉市主要果业产业链领域数字化应用系统通过调用分析决策服务，共享使用产业链数据资源分析挖掘服务，共享和提供数据分析能力。分析决策服务具有支持模型生命周期每个阶段的必要功能，提供管理和部署分析模型的功能，使用项目对构建模型过程进行组织管理，不同的项目可对应于不同的业务用途或应用，用户可以通过有意义的业务过程数据，结合自己的业务目标进行人工智能模型调研、模型应用以及模型自学习的过程，自动化、智能化的帮助用户完成数据价值提升。1.1.4数据资源管理平台数据资源管理平台通过构建和实现平凉重要领域链数据资源库管理系统实现，管理系统是整个平凉市主要果业产业链数据资源建设的数据资源综合管理系统，主要是实现平凉市主要果业产业链中的电子地图数据、遥感影像、生产数据、水肥数据、流通数据、经营数据、物联网数据以及病虫害数据的接入、集成、存储、管理和发布等功能，为平凉市主要果业产业链数字化应用系统提供数据集成汇聚、数据管理支撑；实现物联网设备、网络摄像头、硬盘录像机、视频服务器等设备管理和物联网数据的综合监控；实现平凉市主要果业产业链数据资源服务注册、服务发布、服务标准等数据服务功能，提供产业链数据资源服务及数据共享服务。表1-2数据资源管理系统功能序号功能模块具体需求1综合监控管理果业种植环境、视频等物联网综合监控2电子地图数据管理实现数据资源电子地图空间信息、属性信息等管理3物联网数据管理物联网感知数据、视频和图像的接入、存储、分析、监控、管理、数据流转和数据服务发布。4资源数据管理实现平台平凉市主要果业产业链的生产、流通、经营和管理数据的管理，同时包括数据接口管理和数据库同步任务管理。5质量数据管理实现生产病虫害数据、水肥管控数据、实验室化验数据的接入、维护和管理。6接口综合管理实现数据服务接口、数据交换、数据集成的管理和配置。7资源服务管理实现对平凉市主要果业产业链数据资源服务、数据计算分析服务等数据服务的注册、发布和管理。8系统基础管理系统基础的用户、日志、接入系统、权限和数据字典等管理。二、智慧果业信息化一期系统设计架构针对一期建设的平凉市智慧果业信息化管理平台，通过依照平凉市果业现状研发的智慧化、信息化、服务化的综合系统平台，建设“一网一平台八系统”三位一体的互联网+现代运营服务体系，为农户、企业、政府提供多维度的精准服务及信息咨询、以产品消费客户、生产基地企业、产品销售商家、农村电商服务站以及电商服务控制中心等服务。其主要的功能模块如下：1、综合信息服务门户网站2、产品溯源管理3、专家技术服务4、产业布局5、行情疫情大数据分析6、电子商务7、生态环境监测8、水肥一体智能灌溉通过平凉市智慧果业信息化管理平台搭建，形成特色林果产品电子商务销售为主体的大数据收集与分析系统、特色林果产品生长环境物联网监测、生产过程远程视频可视化展示、特色林果产品质量追溯系统、特色林果产品电商交易平台、远程专家指导系统、特色林果产品销售价格体系分析、果业行情疫情信息发布等为一体的综合管理平台。平台贯穿从种植和养殖、深加工生产、储存、运输、流通到批发市场、商超和门店全过程追溯，实现消费者扫码查询企业信息、产品信息、检测信息、批次信息等动态追溯信息，以此塑造品控、品溯、品宣三位一体的追溯品牌。平台的网络架构由互联网连接，采用云计算方式进行运算和存储环境搭建。相比传统IDC机房，基础设施投入成本节约80%，并且能够提供稳定、灵活的数据存储需求，安全可靠。为保障系统的先进性、稳定性和适应未来果业现代化的发展需求，云平台采用了高性能的云计算架构部署，在购入相应设备和服务后，无需单独架设服务器和网络系统，极大地节省了资金投入和项目的建设周期。1、综合信息服务门户网站子系统综合信息服务门户网站连接智慧果业信息化管理平台，展示综合行业信息，包括政策介绍、价格行情、农技知识等，还可以为其他的果业信息化系统提供一个入口，便于农民和管理者方便进入对应的系统进行办事和查找资料等等，总之是各类信息汇聚和展示的门户，目的是提供政策导向及分析决策，引导产业发展方向。掌握市场动向，向访问者和农民及时介绍农产品价格波动及市场的供求关系，及时掌握农产品销售数据、物流数据等等，依据获取的数据给广大农民朋友提供有用信息，从而指导农产品销售去向、销售策略，防止农产品滞销现象。平凉市智慧农牧信息管理平台加快了农村流通系统站点网络和双向流通渠道，打通农村市场的"进路"与"出路",实现多上多下双向流通（农资,日用品,农村服务等下乡,特色林果产品,再生资源等进城），依托供销,邮政等企业和社会第三方物流网络,通过政策引导和市场开发,在全县建立方便用户的新型农村商贸物流配送系统,打通物流最后一公里。平凉市智慧果业信息化管理平台建立县级信息服务中心，集服务中心、质量管理中心、大数据中心、资源整合中心为一体的综合体。实现特色林果产品从生产到信息发布,物流配送,售后服务的在线化,基本实现农村电商行业管理的可视化、标准化、精细化、科学化、规范化。整合农村电子商务信息资源,实现政策法规,果业科教,特色林果产品市场行情等信息服务资源共享。加强果业农村经济大数据建设，完善县、乡、村电商服务站相关数据采集汇总,让全县电商共享信息资源。着力推进数据汇集与挖掘，建立数据采集、处理、应用的服务体系。乡镇村服务站是双上双下信息入口和产品入口，加快农资,日用品下乡,特色林果产品，再生资源进城，将村级的体验店、服务站、作为农村电商站点网络和双向流通渠道构建的基础，加快农村电商信息服务平台的决策作用。（1）、数据收集：区域电商物流快递数据收集、区域农村电商服务站数据收集、农村电子商务销售数据分类、收集农村电子商务销售数据可视化。（2）、数据计算：对数据源进行隔离、保护支持异构数据源、集成强大的分布式并行、计算能力百万级数据秒级响应。（3）、数据分析：有效灵活的可视化数据模型、多维可视化数据探索分析、数据质量和数据管理、自助式预测性分析报表。（4）、信息决策：信息直达、提升业务效率、有效解决物流配送损耗问题、了解客户需求灵活调整电商策略。2、产品溯源管理系统针对平凉市智慧果业信息化管理平台系统，包括产品全生命周期溯源、一物一码大数据比对、产品流向大数据追踪模块。销售环节的产品包装溯源体系也是必不可少的，可以给消费者进行可视化的展示特色林果产品生长全过程，增加品牌知名度还能提高产品的附加值。用于实现特色林果产品供应链各环节关键溯源信息的录入、监测和溯源，实现特色林果产品在生产基地全面实施环境保护、果业投入品、种植、产品包装、储运保鲜等技术标准，所有纳入追溯体系管理的产品必须在产前、产中和产后各环节全面遵循相对应的地方标准和行业标准，从而界定特色林果产品生产、加工、储运和经销环节的主体企业的责任，保障消费者知情权，实现特色林果产品来源可追溯、去向可查证、流向可追踪、信息可查询、责任可追究。(1)、农产品全生命周期溯源:(2)、溯源流程示意图:(3)、溯源扫描体现形式:(4)、一物一码，大数据比对:GISGIS地图定位：获取时间、定位地点。物联网标识：一品一码，复制必假。大数据比对：审核数据，假链无效。二维码加密：信息加密，售出方现。品牌保护、防伪打假串货管理、规范渠道用户反馈、及时售后用户互动、二次销售品牌保护、防伪打假串货管理、规范渠道用户反馈、及时售后用户互动、二次销售市场调研、精准营销电商对接、信息展现(5)、产品流向大数据追踪:3、专家在线：平凉市智慧果业信息化管理平台的专家指导系统，是由系统大数据中心、远程专家协助两个部分组成，以自助服务和专家在线两种方式提供服务，为果业生产种植提供辅助性决策帮助。果业大数据中心为自主服务。数据由各级果业直管部门、各大科研院校提供，涵盖种植生产中由种子到产品的全过程的各项标准化指导，内容包括生长模型、生产手册、标准规范、生产规程、病虫害管理、投入品管理、果业资讯、市场动态。大数据中心由物联网系统运作，无需人工参与，24小时运作，定时向种植人员、管理人员推送各类种植资讯、种植技术、病虫害防治提醒。远程专家协助为专家在线服务，分为发帖咨询、实时对话两种形式。用户在平台交流区域发布信息，上传相关的问题、图片、视频等资料，由专家进行应答和讲解。平台还定期不定期地组织专家在线交流，实时解答各类疑问，通过远程视频会议模式让各级农村电子商务服务站联动起来。通过平凉市智慧果业信息化管理平台可以开展农村电商和果业生产相关知识讲座，可以播放专业教学片或宣传片，让果业企业、合作社、农民个体等果业生产者，通过电视、电脑、手机端进行远程观看学习。同时县级农村电子商务服务中心和各级农村电商服务站可以互动，可以进行远程视频会议、文件的下达和上传、会议精神和业务知识的在线学习等会，增强了业务训练和政治教育的技术手段。除了进行语音、视频的沟通之外，还可以利用系统所提供的数据功能进行讲稿共享、文件共享和传输、文字交流等功能。这样在远程便可进行图文并茂、绘声绘色的培训讲解，提高沟通效率。当基层农民有问题需要咨询是可以通过本套系统与各位技术专家进行远程沟通，各