ArcGIS10.2大数据解决方案

ArcGIS10.2大数据解决方案介绍产品研究与技术推广部伏伟伟什么是大数据ArcGIS10.2大数据解决方案空间大数据存储空间大数据挖掘分析应用场景探讨目录什么是大数据2011.5：EMCWorld2011大会抛出“大数据”概念。2011.6：IDC发布《从混沌中提取价值》，文中提到三点重要论断：根据IDC过去五年的研究发现，全球数据量大约每两年翻一番；2010年，全球数据量跨入ZB时代，预计2011年全球数据量将达到1.8ZB；未来全球数据增速将会维持，预计到2020年全球数据量将达到令人恐怖的35ZB。2011.6：IBM、麦肯锡等机构跟进发布“大数据”相关研究报告。2011.10：Gartner2012年十大战略技术纳入“大数据”。2011.11：IDC将“大数据”放入2012年信息通信产业十大预测之一。2011.11：CSDN的中国大数据技术大会。大数据走红史什么是大数据大数据是指无法在一定时间内用传统数据库软件工具对齐内容进行抓取、管理和处理的数据集合。1．信息基础设施持续完善2．互联网3．云计算4．物联网与移动终端大数据产生背景大数据价值发现规律，预测未来马云的判断来自于数据分析“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。”大数据的生态系统海量数据分布式并行处理框架！Hadoop⒈高可靠性⒉高扩展性⒊高效性4经济IT巨头和HadoppIBM：一体机Oracle：一体机微软：数据仓库+云平台

Netezza

数据仓库一体机。Netezza将存储、处理、数据库和分析融入到一个高性能数据仓库设备中，该设备专为使大数据高级分析更简单、更迅捷和更易用而设计。

Teradata

数据仓库，其配备性能最高、最可靠的大规模并行处理(MPP)平台，能够高速处理海量数据。WindowsAzureSQLDatabase

微软建构在WindowsAzure云操作系统之上，运行云计算的关系数据库服务，是一种云存储的实现，提供网络型的应用程序数据存储的服务。

数据仓库

空间信息？“今天，地理空间信息被越来越多的企业认为是企业的战略资产。地理空间信息的处理、存储和分析已成为商务智慧的重要组成部分。”

---JackDangermondEsri大数据解决方案IBMNetezza7.0NetezzaSpatialEsriPackageTeradataWindowsAzureSQLDatabaseEsri大数据解决方案空间信息大数据存储空间大数据挖掘分析GIStoolsforHadoopEsri空间大数据存储自带空间数据类型-Geometry：类型表示平面坐标系中的数据。-Geography：

类型表示圆形地球坐标系中的数据。空间数据展示（ManageMENTStudio）空间数据分析提供BingMapsSDKSQLAzure云存储服务

Netezza：一体机自带空间数据类型-legacyNetezzaSpatialPackage(变长字段,最长64,000)空间数据展示？空间数据分析自带数据类型-ST_Geometry，TeradataSpatial兼容SQL/MM标准。主流地理空间数据格式导入导出

MapInfoEsriShapeFileWKB/WKT第三方空间数据展示工具空间数据分析Teradata数据仓库问题可视化

-制图效果

-多源空间数据聚合

-多端展示（web或借助第三方）空间分析

-简单空间分析

-操作技术门槛高：通过SQL语句进行分析操作空间数据迁移复杂-通过sql或者第三方工具完成IBMNetezza6.0/7.0NetezzaSpatialEsriPackageTeradata14.0WindowsAzureSQLDatabaseEsri空间大数据存储带来的能力可视化

-直接读取原生数据库空间数据（只读）

-强大的制图效果

-多源空间数据聚合

-Web端、移动端、桌面端多端展示（可以发布服务吗？）空间分析

-强大的空间分析能力

-即拿即用的GP工具，操作技术门槛低空间数据迁移-通过sql或者第三方工具完成带来的能力：可视化可视化

-直接读取原生数据库空间数据（只读）

-强大的制图效果

-多源空间数据聚合

-Web端、移动端、桌面端多端展示带来的能力：空间分析空间分析

-强大的空间分析能力

-即拿即用的GP工具，操作技术门槛低带来的能力：空间数据迁移空间数据迁移-通过sql或者第三方工具完成Esri空间大数据挖掘分析GIStoolsforHadoop开源工具包https:///Esri/gis-tools-for-hadoop

GIStoolsforHadoop

为Hadoop提供空间数据展示、查询及分析能力EsriGeometryAPIforJava

扩展Hadoop，提供空间类型及空间操作

创建空间数据MapReduce应用SpatialFrameworkforHadoop

扩展Hive，可通过HQL语句，使用空间分析和空间类型

ArcGIS中提供JSON实用工具GeoprocessingToolsforHadoop

即拿即用的GP工具

移动空间数据、在Hadoop中执行定义的工作流

GIStoolsforHadoop

equalsdisjointtouchescrosseswithincontainsoverlapsbuffercutclipconvexHullintersectuniondifference创建简单几何对象或从其他支持格式（JSON、WKT、shp）中导入空间操作拓扑关系GeometryAPIforJava定制空间大数据分析应用JSONUtilities与ArcGIS导出的JSON数据进行交互HiveSpatial在Hive中的UDFs和SerDes，用于空间分析SpatialFrameworkforHadoop使用Hadoop数据处理系统进行空间数据分析HadoopToolsFeaturesToJSON/JSONToFeaturesArcGISfeaturesJSONCopyToHDFS/CopyFromHDFSLocalFileSystemHDFSExecuteworkflowWorkflowOozieHadoop(Map/Reduce,HDFS)GeoprocessingtoolsforHadoop在空间数据库和Hadoop之间交换要素的工具，可创建工作流带来的能力海量空间数据存储

-hadoop不支持空间数据

-提供featuretojson工具数据可视化

-即拿即用的工具

-分析结果可视化

-强大制图能力

-丰富底图资源空间大数据并行运算（空间查询、空间分析）

-基于空间条件进行大数据过滤或聚合操作

-统计落在区域中的点数应用场景公安犯罪分析卫生疾病传播分析环境污染分析气象趋势分析