GIS在大数据时代下的发展

1、GIS 在大数据时代下的发展赵懂，何贞铭，沈体壮，孙钰(长江大学 地球科学学院，湖北 武汉 430100)摘要：大数据技术的发展和大数据时代的来临将对极大地推动 GIS 的发展。该文主要介绍了 GIS 当前的发展现状及瓶颈，探讨了 GIS 在大数据时代下的数据采集、数据存储与管理及数据分析和挖掘所面临的问题和初步的解决办法，展望 GIS 在 大数据时代下的发展前景。关键词：GIS；大数据；空间数据中图分类号：TP393文献标识码：A文章编号：1009-3044(2014)32-7585-03GIS Development in the Era Big DataZHAO Dong,HE Zhen

2、-ming,SHEN Ti-zhuang,SUN Yu(School of Earth Science, Yangtze University, Wuhan 430100,China)Abstract: As the development of the Big Data technology and the coming of the era of Big Data which will greatly promote the development of GIS. This paper introduces the current situation and the check point

3、 of GIS development, discusses the problem and some preliminary solution of data collection,storage and data mining of GIS.Key words: GIS;big data;spatial data自 20 世纪 60 年代的诞生以来，GIS（地理信息系统）行业飞速发展，广泛应用于资源调查、环境评估、灾害预测、国土管理、城市规划、邮电通讯、交通运输、军事公安、水利电力、公共设施管理、农林牧业、统计、商业金融等几乎所有领域,为人们的生活提供了极 大的便利。随着 GIS 发展的实

4、践，人们发现，GIS 拥有海量的非结构化的空间数据，这些数据采集困难，存储不便，处理起来也十分 繁琐。如何更加高效地读写和分析 GIS 的海量数据，这个问题困扰了一代又一代的 GIS 从业者。大数据概念的诞生及大数据时代 的到来，提供了从本质上解决这个问题的希望。旨在处理越来越多的数据特别是非结构化数据的大数据技术，恰好契合了 GIS 发 展了近半个世纪以来所面临的最大的难题。在大数据时代，GIS 庞大的数据量不再显得臃肿，反而是一份巨大的资产，能够带来可 观的价值，这使得 GIS 与大数据的结合是 GIS 发展的必然趋势。1 什么是大数据大数据其实并不是什么新鲜的事物，人们在大数据的概念被提

5、出之前就已经开始在用大数据解决实际的问题了。沃尔玛通 过分析大量的数据从而得出将啤酒和尿布放在一起能提高啤酒的销量的结论，这个人们耳熟能详的案例在本质上就是一种典型 的大数据的分析思路虽然那时候人们并不称之为大数据。近年来大数据的概念空前火爆，各个研究机构、百科网站、大型公司都对大数据有不同的认识从而引出了不同的定义。而现在普遍认为大数据具有 5V 的特征属性，即 Volume（数据体量大）、Velocity（数据的更新速度、处理速度快）、Variety（具有多样性）、Veracity（真实性）、Value（具有价值）。1随着社交网络的诞生，LBS（基于位置的服务）的出现，世界上的数据达到了前

6、所未有的规模并且还在高速递增，这就是大数据 的 Volume；而现在的数据不再仅仅是传统的结构化数据，更多的是空间数据、视频数据、网站点击流数据等等这样的不能存储在传 统数据库中的非结构化数据，这就是大数据的 Variety；随着物联网的发展，如何优秀地处理实时更新地传感器数据是人们面临的 新的挑战，同时传统的处理数据的方式必然会随着数据量的增加从而导致数据的写入和查询速度越来越慢，如何提高数据读写的 速度，也是人们必将面临的问题，这就是大数据的 Velocity；IBM 认为，由于数据的噪音、缺失、不一致性、歧义等问题会导致数据的 不确定性，因此大数据必然要具有真实性，这就是大数据的 Ver

7、acity2；与此同时，人们必须要认识到，现今的数据不再仅仅是获取 信息的媒介，而是一种资源，是能够获取经济利益和挖掘相关知识的一种有价值的资产，这就是大数据的 Value3。大数据技术的进步必将对世界产生巨大的推动作用，同时人们的观念也要发生改变。维克托迈尔-舍恩伯格认为，在大数据 时代人们将发生三个巨大的思维变革：人们对数据的操作不再是针对随机的样本，而是面对全体的数据；人们不再过多地要求数据的精准性，而是需要数据纷繁复杂，种类多样；人们不再追求事物的因果关系，转而关注数据之间的相关关系4。这种观 念上的改变会随着大数据的发展而逐渐作用于各个行业中，对整个人类社会的发展产生巨大的推动作用。

8、收稿日期：2014-08-28本栏目责任编辑：代 影数据库与信息管理7585Computer Knowledge and Technology 电脑知识与技术第 10 卷第 32 期 (2014 年 11 月)2 大数据时代下 GIS 的发展作为一门从计算机科学衍生出来的综合性学科，地理信息系统（GIS）从诞生起就跟计算机科学的发展密切相关。在 pc 机时 代，桌面 GIS 是主流；在互联网时代，WEBGIS 大行其道；在云的概念诞生后，国内外的 GIS 公司也陆续推出了云 GIS。而大数据时代 的到来也将极大地促进 GIS 的发展：物联网的发展和传感器的普遍使用为 GIS 提供了丰富的数据来

9、源；云计算降低了 GIS 的海量数 据存储和处理的成本；而大数据的相关技术会使 GIS 数据的存储更加便捷和高效，同时使人们可以从海量的 GIS 数据中挖掘出相 关的知识，并运用这些知识为国家治理、企业决策及个人生活服务。传统的 GIS 处理的数据分为属性数据和空间数据。属性数据会随着时间的推移而导致其数据量越来越大从而具备结构化大数据的属性,而在大数据概念未被提出来之前，庞大的非结构化的空间数据在本质上就是某种意义上的大数据。 虽然大数据时代下 GIS 数据依旧是属性数据和空间数据，但是 GIS 数据的许多问题都需要用新的思路考虑和解决。笔者试着从 GIS 大数据的采集、GIS 大数据的存储

10、与管理和 GIS 大数据的分析与挖掘三个方面思考大数据时代下 GIS 数据需要解决的问题。 GIS 大数据的采集结合传统的 GIS 数据源，大数据时代下 GIS 的数据来源有地图数字化数据、摄影测量数据、遥感影像数据、卫星航图数据、传感 器实时数据、RFID（射频识别技术）数据、计算所得数据和历史数据等。而通常我们认为，高质量的数据通常具有精确性、一致性、 完整性、同一性、实效性和真实性这 6 大特性。精确性是指数据符合规定的精度，不超出规定的误差范围；一致性是指数据之间不 存在相互矛盾；完整性指数据格式和数据内容的完整；同一性指数据具有统一的标识；时效性是指数据的值在不同的时间拥有不 同的效

11、果；真实性是指数据必须是真实可靠的，不能是伪造的5。因此数据的获取者需要从高质量的数据源中提取数据，建立完善的数据精度评价模型，逐步提高数据的精度，以获取更精准 的数据。而 GIS 数据源的种类各异，获取数据的方法也各不相同，从而需要建立多源数据的实体关联模型和识别模型、多源多模态数据的实体自动识别方法、实体识别效果的评估模型等，形成高质量的数据整合方法，将不同来源的 GIS 数据结合起来用于从多角 度、全面地描述事物对象，保证数据的一致性。同时还需要建立完善的正确性条件和约束性规则以确保数据的完整性和同一性。 GIS 数据源中虽然有着传感器数据这样的实时性数据，也有地图数字化数据这种低实时性

12、的数据。我们需要运用所有能用到的数 据来对事物进行分析，故而需要建立数据时效性分析模型，形成完善的时效性评价机制。与此同时，对于数据真实性的监督必不 可少，不仅仅要对数据进行溯源管理，还需要成立专门的数据监管部门，确保数据的真实性。 GIS 大数据的存储与管理存储是分析的基础，管理是挖掘的保障，随着数据量的增加，数据的存储和管理也需要发生从量变到质变的改进。海量的数 据虽然可以为分析和挖掘提供丰富的数据来源使分析和挖掘更加准确和全能，但是也对数据的存储和管理提出了新的要求。分 布式的存储和管理是处理大数据的一个基本的思路。大数据时代下 GIS 数据的存储与管理有如下几个问题：随着数据的规模越来

13、越大，数据库如何存储大规模的结构化数据和非结构化数据：分布式文件系统将数据分散存储在各个节点上，存储资源通过网络连接：分布式数据库可以用并行处理的方式解决传统数据库中数据增加的问题，像 NoSQL 这样的数据 库通过放松对事务 ACID 语义的方法来增加系统的性能以及可扩展性。同时构建在 Hadoop 之上的类数据库系统可以提供各自存 储模型所对应的查询语言和访问接口，既借用了 SQL 的优点，又能够适应大数据时代下新的挑战。数据存储的格式：传统的 GIS 以矢量数据和栅格数据的格式对非结构化的空间数据进行了很好的存储，但是矢量数据和栅 格数据由于数据结构的差异在表达不同的地理信息方面 各有所

14、长，将矢量数据和栅格数据的优势结合起来，将数据用矢栅一体化的技术存储起来，将这种矢栅一体化的技术转化为存储格式的标准，则可以对矢量数据和栅格数据各取所长，以便数据能够更方 便高效地进行表达。6在数据库与应用层之间建立良好的接口：大数据环境下的存储与管理软件栈，需要从上层应用中读取 PB 甚至 EB 量级的数据， 同时还需使上层应用能够快速、准确、高效地访问数据库的各个节点以读取数据，建立良好的访问接口是必不可少的。而数据在数据 层和应用层之间的流动过程中必须保证其正确性和准确性，则需要建立数据评价模型和数据保障模型以确保数据的可用性。 GIS 大数据的分析与挖掘传统的空间数据虽然具备大数据的属

15、性，但是由于缺乏足够的大数据的理论支撑，空间数据并不像如今的大数据时代所提到 的大数据那样的全能。其主要功能是用于展示和描述性分析，在预测分析和决策支持的相关方面比较弱势。而在大数据时代，建 立在相关关系分析法基础上的预测是大数据的核心，同时人们需要从传统的决策模式过渡到数据指导决策的新的模式中，在大数 据持续发展的过程中，会渐渐地进化为数据即决策的行为模式5。同时随着智慧城市、智慧地球等概念的兴起和推广，遥感数据、 卫星航图影像数据随着技术的更新而日益增加，传感器数据随着时间的推移不断的累积，GIS 的数据越来越多，然而与之相对应的 是现在 GIS 行业面临着一个问题：“数据庞杂，知识匮乏”

16、。即人们拥有很多的数据，但是缺乏从数据中提取出来用于预测和决策支 持的相关知识。在数据库知识发现兴起之后，随着数据挖掘技术的不断发展，人们将陆续从 GIS 庞大的数据库中挖掘出相关的知 识用于指导实践。大数据时代 GIS 的分析与挖掘面临着如下的转变和挑战：庞杂的数据使分析和挖掘变得更加复杂：大数据时代的到来使 GIS 本身就庞大的数据量急剧膨胀，同时由于大数据时代下 的空间分析的分析对象从“样本”转换成了全体数据，这导致参与分析的数据量跟之前的样本数据不能同日而语，人们需要对更加 复杂、更大规模的数据进行分析和挖掘。大数据时代下空间分析的对象通常是 TB 级别的大数据，如何对其进行分析是一个

17、巨大的本栏目责任编辑：代 影数据库与信息管理7586第 10 卷第 32 期 (2014 年 11 月)Computer Knowledge and Technology 电脑知识与技术挑战。7数据深度分析需求的增长：要从浩如烟海的数据中挖掘出相关的知识用于指导实践，必须对大数据进行深入的分析而不仅 仅是生成报表。复杂的空间分析依赖复杂的模型，很难用 SQL 来表达，称之为深度分析。人们不仅仅需要知道发生了什么，还需 要对将要发生的事情进行预测，为将要发生的事情做好准备。自动化分析出现：对大量的数据进行有效的分析，分析过程需要按照标准化的自动分析流程进行，这就要求计算机能够分辨数据在数据结构上

18、的差异，明白语义并自动地进行分析。3 结论大数据技术的发展和大数据时代的到来会对世界产生深刻的影响，也会极大地促进 GIS 的发展,这毫无疑问将是一个巨大的 机遇。在大数据时代，GIS 数据采集的手段、存储和管理的形式、分析和挖掘的方法必将发生巨大的变革。作为一门以空间分析为 核心、以指导决策为目的的综合性学科，数据对 GIS 的重要性不言自明。要想在大数据时代发挥 GIS 的最大功效，必须采集高质量 的数据，将数据进行安全、高效和方便的存取和管理，同时与时俱进地转变分析的观念和方法，才能在提高分析效率的同时保证分 析的准确性。同时我们能看到，只有将 GIS 与大数据技术相结合，才能从根本上解决 GIS 庞大的数据量所面临的各种问题，同时将 GIS 的海量的数据变成具有价值的资产，进而从这些数据中挖掘出知识。参考文献：1 李清泉,李德仁 . 大数据 GISJ. 武汉大学学报(信息科学版),2014,6(39):641-644. 2 IBM. What is big data?EB/OL.2012 HYPERLINK :/www-01.ibm /software/data/bigdata/ -013 Barwick H