ArcGIS平台与大数据技术公开课-陈於立

ArcGIS平台与大数据陈於立ArcGIS平台概览地理大数据ArcGIS地理大数据解决方案行业地理大数据案例提纲我们处在一个眼花缭乱的时代大数据物联网移动互联云计算

……

GIS自身也在变TurningPoint转折点小众到大众，专业到普适，桌面到移动，服务器到云端……

Web

GIS技术架构变迁以文件为中心以数据库为中心以服务器为中心桌面网页移动设备WebGIS私有云公有云单机时代PC互联网时代局域网时代云计算/大数据/移动互联网时代应用技术变化趋势基础数据模型

网络地图信息模型静态数据

实时接入数据海量数据

大数据网页简单配图

智能制图与可视化二维、三维独立

二三维融合单机影像管理分析

影像采编发用一体化单机空间分析

云端空间分析单机/网页应用

移动化、多终端化定制开发应用

模板配置与向导快速创建各应用、设备相对独立

应用互联，协同共享应用层授权认证

地理平台层角色认证平台

ArcGIS平台是完整的WebGIS平台各种应用或系统整合到一起任何人在任何时间，任何地点，以各种方式获取空间信息使地理的价值得到彰显WebMapsLayersAppsDesktopServer

WebScenes分布式服务WebGISArcGIS平台的构成Apps平台访问的入口Portal平台访问控制中枢Server内容的重要支撑WebGIS桌面Web移动设备Server在线内容与服务Portal10.4GeoinfoModel身份安全NamedUser，ArcGIS平台的密钥ArcGIS平台改变GIS的应用模式桌面服务器

SystemofRecord记录系统WebGISApps

IdentityReal-TimeSystemofEngagement应用系统Connected服务ArcGIS平台改变组织机构的沟通协作方式管理规划操作分层/等级网状分享地理知识快捷、平等地获取和分享地理信息更加广泛和通畅的信息共享和业务协同ArcGIS平台使我们更智慧提高我们管理和决策能力和效率商业公共事业国家城市提高效率自动建模实时操作量化可视化优化性能有效沟通关联分析扩大视野深度挖掘监控自动化政府机构全局思维在时空维度上进行量化、可视化，并进行关联分析和深度挖掘，提升洞察力大数据？大数据！对大数据的定义Gartner维基百科EsriFacebookGoogle亚马逊我们对大数据的理解首先是数据足够大，比海还大2015年全球的数据是8.5ZBGB、TB、PB、EB、ZB、YB、DB、NB80%-85%的数据都是非结构化的传统的方法不能管理的数据现在泛指用于处理这种数据的技术或平台诺克耐维斯号56万吨1NB=2的60次方TB1152921504606846976个1TB硬盘1TB硬盘=670g77245740809万吨（772亿万吨）14亿次Volume体量大Velocity速度快Variety多样性最初是3V，后来被多VVolume体量大Velocity速度快Variety多样性Value价值大Veracity真实性Validity有效性Volatility易变性Variability

变异性Visualization可视化Vision想象力Verbalisers描述性……5V更靠谱体量大Volume速度快Velocity多样性Variety真实性Veracity价值大Value大数据5V地理大数据是不是大数据？海量数据创建、复制和消耗的数字数据总和

到2020年将达到40ZB

全球数据量80%的信息和位置相关2020

40

ZB2015

8.520122.72ZB20101.23ZB5,247GB全球人均数据量ZBZB（数据来源希捷）用数字证明ZY-3号，每天接受10TB数据卫星:中国137，美国300+，未来几年会发射几千颗小卫星Landsat系列卫星从1972年开始，44年影像,形成PB级的历史存档数据NASA的气候仿真中心，气候资料和仿真数据32PBNASA地球观测系统管理的遥感数据7.5PB中国移动6亿用户的信令数据，每天上千亿条，4T数据AIS,船舶监控系统，全国3万条船，每秒的位置和状态信息一个高清摄像头一个月产生1.8T数据,北京市每天视频监控数据量3PB。国家电网年均产生数据510TB（不含视频），目前已有数据5PB。地理大数据……基础测绘数据与专题测绘数据DLG、DRG、DOM、DEM，地理国情数据、行业地理数据……影像数据卫星、航飞、无人机、监控视频……位置数据GPS、北斗车辆跟踪、智能手机采集、外业定位……互联网数据网页点击数据、社交网络数据、用户行为日志……物联网-传感器数据气象监测仪、水文监测仪、重力感应仪、智能管线监测……地理大数据有何用？啤酒与纸尿布预测机票价格预测流感爆发。。。公交车上谁是小偷如何在魔都捉住一只高富帅单身狗更喜欢养猫公交数据分析出租车数据分析。。。单身狗更喜欢养猫webservices业务系统影像视频传感器分析模型空间数据表格数据社交数据大数据集地理大数据正在成为业务系统中流淌的血液地理大数据现在正成为政府、企业等业务应用系统中的重要支撑支撑分析决策地理大数据促进思维模式转变由抽样到全部，由精确到效率，由因果到相关1）正在由小数据时代的抽样调查研究，逐渐发展到大数据时代的全部数据研究。2）由过去花长时间去追求精确的结果到目前通过对大数据的分析快速找到解决方案，更讲究效率3）过去分析一定要找到事件的因果关系，现在在通过大数据分析，更关注发现数据的相关性。地理大数据使我们更有洞察力时空相关性分析，让我们更具洞察力

采集预处理存储分析可视化地理大数据的处理流程地理大数据的预处理ETL数据整合模型之宗地/林权/房屋数据对应关系清洗、转换、加载地理大数据分析挖掘原始数据提供专业的空间分析工具聚合分析热点分析纽约出租车数据适宜性分析，400亿像素，16分钟，20倍速密度分析矢量数据分析栅格数据分析地理大数据可视化高效的数据存储和管理快速的空间分析与可视化精准的空间统计与挖掘地理大数据面临的技术挑战三.ArcGIS地理大数据解决方案ArcGIS大数据解决方案矢量大数据解决方案基于空间数据仓库的ArcGIS大数据方案基于分布式列数据库的ArcGIS大数据方案基于非结构化散列文件的ArcGIS大数据方案基于ArcSDE并行抽取与分析的ArcGIS大数据方案基于GeoAnalytics的地理大数据一体化方案影像大数据解决方案基于ArcGIS镶嵌数据集的影像大数据解决方案实时大数据解决方案基于GeoEvent的实时大数据快速处理与分析方案GIStoolsforhadoopjsonHadoopTools.pytGISToolsforHadoopSpatialFrameworkforHadoopGeoprocessingToolsforHadoopGeometryAPIJavahivespatial-sdk-hive.jarspatial-sdk-json.jaresri-geometry-api.jarsamplestools整个包中包括了所有的工具和示例，都是开源的。空间框架中包含了hive的UDF和JSON相关的SDK。Hadoop的一些GP工具，包括了数据上传下载，工作流的调用等。Javageometrylibrary，用于JAVA开发空间分析功能。SpatialframeworkforHadoopHiveUDFGeoprocessingtoolsforHadoopHadoopToolsCopytoHDFSCopyfromHDFSExecuteWorkflowFeaturestoJSONJSONtoFeaturesGeometryAPIforjavaequalsdisjointtouchescrosseswithincontainsoverlapsbuffercutclipconvexHullintersectuniondifferenceHadoop生态系统示意图(2.0)+SparkHDFS(HadoopDistributedFileSystem)YARNResourceSchedulingandNegotiationHbaseNonrelationalDatabaseMapReduceDestributedProcessingOtherYARNframeworkHcatalogMetadataServicesPIGScriptOtherProjectsAmbari,Avro,Oozie,Zookeeper,etcHiveQuerySparkHadoop是一个能够对大数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理，适合处理非结构化数据，包括Yarn和HDFS以及MapReduce分布式存储分布式计算超大数据集SparkSpark是一个基于内存计算的开源的并行集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑，由加州伯克利的AMP实验室的Matei为主的小团队所开发。使用的语言是Scala方案一：基于空间数据仓库的ArcGIS大数据方案业务场景数据存储方式为ArcSDE空间数据库数据量激增，需要做快速的空间分析和数据挖掘技术选型描述

Hive

Sqoop

ArcSDE空间SQL

SparkSQL

SpatialframeworkforHadoop方案一：技术架构方案HDFSYARNHive+UDFEsrispatialFrameworkSparkSqoop+空间SQLArcSDE空间数据库SparkSQL方案一：优劣势分析劣势数据需要从现有的空间数据库中进行抽取并单独存储优势基于Spark高性能计算框架，高性能与可扩展性基于Hive+UDF，复杂空间分析与数据挖掘的高度定制性方案二：基于分布式列数据库的ArcGIS大数据方案业务场景数据存储方式为ArcSDE空间数据库数据量激增，需要做快速的空间分析和数据挖掘技术选型描述HbaseSqoop

ArcSDE空间SQL

Spark

EsriGeometryAPIforJava方案二：技术架构方案HDFSHbaseSpark+EsriGeometryAPISqoop+空间SQLArcSDE空间数据库YARN方案二：优劣势分析劣势数据需要从现有的空间数据库中进行抽取并单独存储空间分析和空间运算需要通过GeometryAPI自己完成Hbase中数据的组织和空间索引构建工作需要自己完成优势分布式文件系统HDFS、高性能NoSQL列式、高性能计算框架Spark基于GeometryAPI，复杂空间分析与数据挖掘的高度定制性方案三：基于非结构化散列文件的ArcGIS大数据方案业务场景数据以格式化文本文件存在且数据量巨大数据以SHP、FileGDB等形式存在且数据量巨大技术选型描述GeoprocessingToolsforHadoopEsriGeometryAPIforJavaSpark方案三：技术架构方案HDFSGeoprocessingToolsforHadoopFileGDBSHPSpark+EsriGeometryAPIjsonjsonjsonYARN格式化文本csvcsvcsv方案三：优劣势分析劣势FeatureClass转化成JSON的时间成本高空间分析和空间运算需要自己通过GeometryAPI完成优势分布式文件系统HDFS、高性能计算框架Spark基于GeometryAPI，复杂空间分析与数据挖掘的高度定制性方案四：基于ArcSDE并行抽取与分析的ArcGIS大数据方案业务场景数据存储在ArcSDE中，并且不定期更新需要基于最新数据做空间分析和挖掘技术选型描述SparkSQLArcSDE空间SQLEsriGeometryAPIforJava方案四：技术架构方案HDFSYARNSparkArcSDE空间数据库SparkSQL+EsriGeometryAPI方案四：优劣势分析劣势

对数据库性能要求高空间分析和空间运算需要自己通过GeometryAPI完成优势准实时分析基于GeometryAPI，复杂空间分析与数据挖掘的高度定制性方案五：基于GeoAnalytics的地理大数据一体化方案PortalWebGISLayersNewWebGISLayers通过多个渠道访问大数据Pro,Portal,Insights,PythonNotebooks,RESTAPIServerClusterFilesFilesDelimitedFilesEnterpriseShapefilesBigDataStoresRelationalDataStoreSpatiotemporalDataStoreArcGISManagedUserManaged并行处理架构开箱即用支持多种数据源多终端访问简单易用Portal,pro,insight直接访问大数据分析功能（聚合、汇总、点密度等）支持python（pro，pythonnotebook）和RESTAPI开发晚8点后的曼哈顿出租车白天的纽约出租车性能测试Polygons(纽约街区数据)4万个面Points(纽约出租车数据)

1.7亿个点以秒、分钟计算的性能1node(traditional)1node(BigData)4nodes(BigData)16nodes(BigData)1node(traditional)1node(BigData)4nodes(BigData)16nodes(BigData)1node(traditional)1node(BigData)4nodes(BigData)16nodes(BigData)16个计算节点每节点4核每节点16GB内存总共进行7次测试方案六：基于GeoEvent的实时大数据方案多类传感器流数据集成大数据内置处理地理围栏可扩展性强JMSGeoEvent

ProcessorArcGIS

Platform各种数据流消息规则动态目标跟踪：车辆、人员、设备实时态势感知：污染、交通拥堵、降水决策分析支持：货物运输、设备监控网络舆情分析：疾病传播、灾害救援应用场景性能提升明显高速海量实时数据接入.将数据存储到BigDataStore.可视化海量实时信息聚合方式,散点方式,实时和历史数据展示.支持横向扩展.10softhousandsofe/sArcGISSpatiotemporalBigDataStoreAppsDesktopWebDeviceArcGISServer4,000e/sIngestionGeoEvent4,000e/sVisualizationLiveandHistoricAggregates&FeaturesSpatiotemporalBigDataStoreEnhancedMapandFeatureServiceStreamServiceStreamLayer3,000e/sLiveFeatures方案七：基于ArcGIS镶嵌数据集的影像大数据解决方案支持多种数据访问-元数据读取扩展-GDAL栅格格式扩展-50多种卫星及格式影像数据访问支持实时得到所需结果

-影像分析窗口

-实时栅格函数

-几何配准、分类工具条

-

空间分析工具箱影像处理和分析快速高效管理数据-栅格数据集-栅格目录-镶嵌数据集大规模影像管理完善的影像服务发布机制-ArcGISforServer-ArcGISImageExtensionforServer影像服务发布灵活多端的应用模式

-移动端-web端-桌面端在线应用国产卫星支持实时处理动态镶嵌影像服务PortalWebGISLayersGISData&Imageryimportandoptimize(optional)NewWebGISLayersdistributedrasteranalyticsclusterArcGISPro(Users,Analysts,Researchers)Design&RunModelModelExecutionDistributionDevelopers&SystemIntegrationRunPortalAnalyticsdistributedrasterdatastoreGdbFilesWCSServicesArcGISServicesanalysisresultsasanewWebGISLayersDesign&RunModel(REST)PortalUX新一代影像大数据方案四、行业地理大数据案例

国土行业大数据测绘行业大数据交通行业大数据环保行业大数据电信行业大数据1.国土行业大数据应用一张图+三大业务系统（综合监管平台+电子政务平台+公共服务平台）例：第二次全国土地调查2007年开始，12个一级类、56个二级类，包括：耕地、园地、林地、草地等数据总量在200TB以上，每年新增20TB。技术方案