大数据在生态学中应用

1、精品文档*大数据在生态学中应用摘要：随着科技的不断发展，大数据时代已经来临，国 内外各行业对大数据的应用已进行了实践与探索，大数据成 为人们分析事物、观察生活的显微镜。在生态学中，数据挖 掘技术对生态系统的保护具有自动化、实时化和智能化的优 点，并且提高工作效率、节约资金，因此，及时、高效、准 确的生态数据获取是分析生态保护机制，获取最佳生态经济 效益，使生态环境良性发展的前提。我国大数据产业的发展 尚处于初级阶段，在应用时既要吸收和消化西方先进的技术 和经验，又要鼓励自主创新，迎头赶上，让科学指引决策。关键词：大数据;生态学;数据挖掘随着科学技术的不断发展，数据在社交网络、云计算、 移动互联

2、网等的推动下，呈爆炸式增长1。2012年3月， “大数据的研究和发展计划”由美国奥巴马政府推出2。 该计划投资两亿多美元，大力发展大数据的收集和分析技 术，改善其分析工具，从而推进从海量数据中获取各种资源 的能力。2012年7月，“首届中国大数据应用论坛”在我国 北京大学举行3。论坛议题涉及大数据的发展趋势、大数 据在不同领域中的应用、云计算和大数据、大数据和商业智 能等方面，旨在探讨大数据在当代社会的应用价值。同时， 生态保护问题愈来愈严峻，环境污染所带来的问题成为全国 各大城市的热点问题，而通过对大数据的分析和应用可以解决这些问题。为此，准确、高效、及时的获取生态数据是分 析生态管理机制、

3、构建和谐社会的前提4。一、大数据概述1.1大数据的概念“大数据是通过对各种数据的整合、共享和交叉分析, 在云计算的数据处理模式和应用方法的基础上，由结构复 杂、类型众多、数量巨大的数据所构成的集合5。大数据 的特点可以总结为4个V，即Volume（体量浩大）、Variety（模 态繁多）、Velocity（生成快速）和Value（价值巨大但密度很 低）6。而大数据在人们的认识中，最直观的印象就是大量 复杂数据被处理，最终形成对人们有价值的信息，这些信息 中，包含各行各业大量具有潜在价值的规律，因此，大数据 成为信息时代人们新的关注焦点。现在，各个国家众多的科 研机构、政府部门和企事业单位高度关

4、注大数据，对大数据 进行跟踪，形成了一轮对大数据的研究热潮7,8。从生态 学角度来看，大数据这个“环境切入点”与以往环境问题的 处理不同之处在于，它不是一个未被挖掘的环境管理视点， 而是一个方法、规律等确定，静待被应用的切入点，科技界、 学术界、政府把它看成一座可能挖掘出巨大财富的“金矿”、 “富矿”，各行各业均在探寻大数据层面上的有效技术分析 手段9,10，同样，对于生态学上，大数据也将引发新的热 潮。1.2国内外发展现状美国是全球大数据产业的发祥地，也是全球大数据产业 的中心11。目前，金融界特别关注阿里巴巴的微贷，这是 银行界未来最可怕的潜在对手。阿里金融在拿到执照后的短 短几年内，到2

5、012年6月份其微贷企业已经达到12.9万家， 年底微小企业已超过20万家，贷款总额度达260亿万元。 阿里金融背后的实质是什么？有两个方面，一个是对大数据 的正确经营与管理，另一个是善于业务创新，它们的结合， 颠覆了金融行业12。在iphone推出之前，移动运营商从 用户手中收集了大量具有潜在价值的数据，但并没有对其价 值进行深入挖掘。相反，苹果公司在跟运营商签订合同时规 定，运营商要将大部分有用数据提供给公司。由此，任何运 营商得到的用户体验数据都无法与苹果公司相比。制造业方 面，华尔街依据购物网站上面的顾客评论，分析各企业的产 品销售状况。这些企业，将顾客消费进行数据分析，实现适 当采购

6、、合理库存和科学管理。制造商们则分析顾客的网上 购物数据，了解客户的各项需求、掌握市场新动向13。德 国在体育上更是将大数据的强大之处展示得淋漓尽致。2014 年的世界杯德国以7: 1的比分战胜了五届世界冠军巴西， 除了技术水平的因素外，德国对于科隆大学建立的数据库也 起到了巨大的作用。研究人员将巴西队所有的数据和信息都 收集起来，进而进行分析，从中获取有价值的信息，在这些基础上制定比赛策略14。与国外相比，国内起步稍晚，还 比较零散和缺乏系统性。但随着大数据对人们生活影响的不 断加深，人们对大数据关注的热情也是不断高涨。近两年, 大数据在国内得到迅速发展，但目前的研究还主要是集中在 大数据挖

7、掘方法和算法15。在高校中，数据挖掘及应用得 到体现，高校思想政治教育工作已经具备了大数据的特征16。例如，通过对近几年高校学生活动方向的数据进行汇总整理，可以分析出学生的兴趣和关注点的变化，从而对学 生活动进行及时的调整，不断促进学生成长成才，扩大学生 活动的参与度并提高影响力。数据挖掘技术在中医药分析上 同样适用。姚美村17等应用数据挖掘中的关联分析技术, 以文献中收录的106首治疗消渴病的中药复方为研究对象， 对治疗消渴病的中药复方中的配伍科学内涵进行分析和研 究，运用ACCESS技术，借助关联规则分析的方法，建立了 中药复方特征数据库。在全球各行业中，大数据产业生态系 统已形成了完整的

8、产业链，企业数量惊人，涉及司法、公共 服务、零售、金融等众多行业。大数据是个跨学科的领域， 我国发展大数据产业，既要吸收和消化西方先进的技术和经 验，又要鼓励自主创新，迎头赶上18。二、大数据在生态学中的应用2.1牧草研究中的应用我国牧草种质资源研究工作比较分散，虽然积累了一些关于资源收集、筛选、鉴定、保存和利用方面的资料、经验, 但观测项目、测试方法和评价标准没有一致性19。对牧草 种质资源的可靠性和系统性产生了影响，与国际接轨有一定 的困难。近年来，国家科技部要求制定苜蓿种质资源各描述 符的字段名称、类型、长度、小数位、代码等，以建立统一、 规范的苜蓿种质资源数据库，以便于苜蓿种质资源的信

9、息与 实物的充分共享以及高效利用，也为资源利用者提供准确、 可靠的科学信息。在我国各种牧草当中，紫花苜蓿被称为“牧 草之王”，适用于干旱、盐碱地区，是开发旱区和盐碱地的 重要选择，利用现代技术对根瘤菌进行接种温室培养，测定 其逆境存活率、各项生理指标、离子进出根细胞情况以及差 异基因的相关数据，同时进行数据分析，科研工作者就可以 对数据中所表现出的信息进行分析研究，探索苜蓿根瘤菌共 生对干旱及盐胁迫的响应机制。2.2农田生态系统碳循环中的应用温室效应是近几十年来全球性热点问题，为降低大气中 的温室气体浓度，科研工作者不断对生态系统碳源进行探 究。农田生态系统是陆地生态系统的一大组成部分，是温室

10、 气体重要的源和汇，工作者可以首先运用前人的统计资料， 对农田生态系统的碳源、净碳汇做出初步估算，再运用现有 科学技术手段收集整理农田生态系统各项数据，通过数据中 所隐含的信息，分析农田生态系统碳循环的时空差异。例如:王绍强20运用基于多年平均气候数据建立的陆地碳平衡 模型，对我国东北地区碳通量进行模拟，研究了其分布格局。 李可让21等运用CEVSA模型，以月为时间步长，以0.5经 纬度网格为空间单元，结合遥感数据和气象资料等对中国土 壤和植被碳储量进行估算。2.3草地资源管理中的应用合理的放牧强度、适宜的牲畜种类、最佳的放牧季节和 合理的畜群分布，都是以正确认识草地资源、精确资源数据 为基础

11、，以此做出正确的判断并采取适当的措施，以期取得 最佳生态经济效益。采用一般传统的方法和技术是不可能实 现这一宏伟目标的，因此，为解决草地资源的动态监测与估 产、草地管理利用及自然灾害预报中存在的各种问题，科研 工作者需要寻求适应发展的新技术，以迅速了解畜群动态、 分布和草原植被的生长、消耗等数据信息，提高精确化优势。 从草原植被的样方测查到GIS技术的应用及草业地理信息学 的产生，恰恰反映了草地资源管理从一般性描述到由大数据 引发的精确化发展的过程2225。三、大数据在生态系统应用中的优势3.1提高生态管理效率生态系统的改善和保护所涉及工程量较大，而大数据的 大体积特性有助于解决这种困境，在大

12、数据中，随着数据库 数据的增多，所消耗的计算工作量则递减，换言之，在对生 态系统进行管理过程中，管理成本会随着大数据的聚合而减 小，这种高效工作能有效减少人力和物力，进而提高生态研 究工作者的工作效率。例如，监测较大地理区域范围内或较 长时间内发生的生态事件和变化过程时，用遥感数据提取某 一区域的植被指数变化信息，然后把植被指数作为某一生态 过程模型的输入参数进行计算，就可以节省大量的人力物 力，提高工作效率。3.2节约资金近几十年生态环境遭到严重破坏，我国在生态方面投入 大量资金，在智能生态管理下，尽管引入处理大数据的设备 以及每年对其的维护需要一定的耗费，但是从长远来看，其 经济效益更大，

13、如在引入大数据处理草地资源管理的各项问 题之前，主要依赖于人工调查，但这些信息分布在时空的各 个角落，耗费大量人力物力财力，大数据管理系统引入之后, 其覆盖面更广，信息准确性更高，而且给人们减少的时间成 本是无法计量的。3.3适于海量数据处理大数据的智能管理系统特别适于处理大型数据，该系统 的设计是基于云计算、云管理和云操作系统的，因此不仅能 满足海量数据处理及实时分析的要求，更能覆盖所有网络。 由全球定位系统(GPS)、数字摄影测量系统(DPS)、遥感技术 (RS)、地理信息系统(GIS)和专家系统(ES)等五S技术整体结合所构成的GIS系统，不仅能够自动、实时地采集、处理 和更新海量数据，

14、而且能够智能地分析和运用数据，具有高 度自动化、实时化和智能化等优点，为生态领域提供了科学 的决策咨询。四、大数据在生态应用中的挑战目前，大数据技术的运用仍存在一些困难与挑战，体现 在大数据挖掘的四个环节中。首先在数据收集方面，要对来 自物联网及各种机构信息系统的数据去伪存真，找出时空差 异，收集异源、异构的数据，必要时还要与历史数据作对比, 多角度验证数据的可信性和价值性。其次是数据存储，在存 储时通常要用到冗余配置、分布化和云计算技术，按照一定 规律对数据进行归类处理，通过过滤和去重，减少存储处理, 并附上日后检索的标签，以达到低成本、低能耗、高可靠性 的目标。第三是数据处理，生态学的数据

15、复杂性不仅体现在 数据样本本身，更体现在多源异构、多实体和多空间的交叉 互动上，工作者很难用传统方法对其进行描述与度量，因此， 笔者需要将高维图像等多媒体数据降维后再进行度量与处 理，通过上下文关联分析，从大量模棱两可的数据中综合各 种信息，从而导出可理解的内容。第四是结果的可视化呈现, 目前，尽管计算机智能化有了很大进步，但还只能针对小规 模、有结构的数据进行分析，谈不上深层次的数据挖掘，现 有的数据挖掘算法在生态管理行业中难以通用。总的来说,利用数据挖掘技术对生态系统进行保护的研究尚处于起步 阶段，其前景广阔，同时充满挑战。五、结论大数据对人类产生的影响，就像显微镜一样26。4个 世纪之前

16、，对大自然的观察以及对物体的测量，人们只保留 在肉眼阶段，显微镜将它推进到了细胞水平，这使人类社会 发展产生了历史性的进步。现在，大数据成为人们分析事物、 观察自然的显微镜。因此，根据生态经济发展的战略方向， 利用大数据探索生态系统中物流、能流和价值流的定量特 征，建立和发展生态经济的理论基础和方法，实现生态的可 持续发展与生态资源的可持续利用27，为政府宏观决策、 企业战略选择和农户增收提供科学依据，将成为大势所趋。参考文献1何文娜.大数据时代基于物联网和云计算的地质信 息化研究D.长春:吉林大学,2013.2赛迪智库软件与信息服务研究所美国将发展大数 据提升到战略层面J.中国电子报,201

17、2-7-17,003.3吴彬.生态科学数据元数据及其标准研究J.中南 林业科技大学学报,2010,30(12):75-79.4梦小峰，慈祥.大数据管理：概念，技术与挑战J计 算机研究与发展,2013,50(1):147-169.5曹蕾.世界大数据发展态势研究J.竞争情报,2012,(02):33-42.李国杰，程学旗.大数据研究：未来科技及经济社会 发展的重大战略领域一大数据的研究现状与科学思考J. 中国科学院院刊,2013,27(6):647-657.王珊,王会举,覃雄派，等.架构大数据:挑战、现状与 展望J.计算机学报,2011,34(10):1741-1752.陈纪英.大数据革命：信息时

18、代寻宝指南J.中国新 闻周刊，2013,(03):49-54.覃雄派，王会举,杜小勇，等.大数据分析一RDBMS与 MapReduce 的竞争与共生J.软件学报,2012,23(1):32-45.黄哲学,曹付元，李俊杰,等.面向大数据的海云数 据系统关键技术研究J.网络新媒体技 术，2012,1(6):20-26.贾俊芳，张日权.基于分布式的大数据集聚类分析 J.计算机工程与应用，2008,(13):31-35.罗涛.大数据产业的美国经验与中国对策J.高科 技与产业化，2013,(5):54-55.邬贺铨.大数据时代的机遇与挑战J求 是,2013,(4):47-49.石方川.得大数据分析者得天下J.调研世 界,2015,(2):62-63.王秀英,张玲,张聪聪.探讨地震前兆观测中的大数据挖掘与应用J.震灾防御技术,2015,10(1):39-45.梁家峰，亓振华.适应与