当GIS遇上大数据

1、当GIS遇上大数据最近被云计算搞得云里雾里别啊，大数据又来了！大数据汹涌而至Volume体量大Variety种类多Velocity变化快Value价值密度低大数据特征对挖掘性能要求高贫矿挖掘难度大对挖掘工具要求高(真的很多V，这四个最重要)大数据挖掘涉及大量高新技术大规模并行处理数据库（ MPP ）分布式文件系统分布式数据库云计算平台可扩展存储系统挖掘大数据不是件容易的事！跟GIS有什么关系？80%的大数据与空间位置相关空间大数据 or 时空大数据?无论是否关注时间属性，只要带位置，就是我们处理对象!地理信息领域早就在处理大数据航天航空遥感数据街景数据倾斜摄影原始数据我们是否可以说GIS已经在

2、管理大数据了呢？不能！以上大数据的共同点测量过程中产生，有专业软件针对性处理遥感软件航测软件倾斜摄影三维建模软件GIS软件使用的是处理结果，已不符合大数据定义数据量缩小价值密度提高换句话说对这些大数据的处理，没GIS软件什么事！上述案例GIS做了什么?用专业软件处理，用GIS可视化！GIS该做的不仅限于这些！非测绘活动产生更多空间大数据带位置的大数据互联网移动互联网物联网例：Uber用空间大数据分析“一夜情”1)晚上10点至凌晨4点打车，2)46小时后160米内再次打车，都极有可能经历“光荣之旅”旧金山“光荣之旅”分布图越来越多空间大数据手机信令数据导航终端轨迹移动社交网络数据可穿戴终端数据城

3、市摄像头数据GIS平台不具有大数据管理分析能力仅作为大数据分析结果的展示工具要命的是Hadoop、Spark等大数据平台也不直接具备空间统计与分析能力出个图，有啥了不起？挖掘空间大数据不是件容易的事空间大数据是金矿，但却是贫矿，挖掘技术复杂是少数机构的盛宴!若GIS平台能解决这些问题，将让更多单位能挖掘空间大数据空间大数据价值挖掘数据大数据GIS平台模型价值空间大数据，对GIS提出了新的需求空间大数据分布式存储/检索/管理空间大数据的高性能分析计算空间大数据的高性能可视化1)大数据GIS平台总体架构超图大数据产品架构SuperMap iObjects JavaGIScript for Pyth

4、onRSuperMap SDX for Big DataSuperMap iServer(GIS应用服务器)iObjects for Spark (空间大数据组件)Streaming ServiceProcessing ServiceDataflow ServiceDataMappingAnalystStreamingSuperMap iDesktop CrossPlugin-SparkPlugin-WorkflowPlugin-AnalystPlugin-DataManagerMongoDBPostgreSQL 集群星环数据库HDFS数据存储数据引擎GIS组件GIS桌面与应用服务器为什么选S

5、park 而非 Hadoop？Hadoop大数据1.0Spark 大数据2.0Spark相对于 Hadoop的优势更快新并行架构代替Hadoop中的MapReduce大幅提升性能通过RDD提升分布式迭代计算性能2个数量级更强增加流处理、图计算和机器学习等子系统RDDStreamingDataAnalystMappingRDD派生类及接口实现SuperMap iObjects for SparkSuperMap iObjects 直接嵌入Spark框架运行服务接口与界面REST API & JSONTaskflowDsignerJupyterNotebook通用大数据计算框架Taskmanage

6、r, SchedulerSQL ConsoleSpark SQLSpark DataFrameScala ShellPythonShellRShell大数据存储系统FilesHDFSMongoDB空间大数据引擎2)空间大数据存储SuperMap空间数据引擎传统数据引擎UDB引擎Oracle引擎MySQL引擎SQL Server引擎Web引擎百度地图天地图大数据引擎PostgreSQL集群引擎MongoDB引擎星环分布式引擎HDFS分布式文件引擎基于HDFS的空间数据管理(存储)基于HDFS的空间数据管理(索引)（HDFS文件列表）3)空间大数据分析计算高级计算基础计算流式计算叠加分析缓冲区分析

7、SuperMap iObjects for Spark 大数据计算异构计算临近分析空间查询插值分析密度分析热点分析空间连接聚合分析地图匹配路况计算地理围栏RPythonSuperMap iObjects for Spark 实时路况计算Apache Spark StreamingSuperMap iObjects for SparkSuperMap iObjects Java实时浮动车数据接入时间窗口&数据分组加载路网环境匹配轨迹点数据预处理归并匹配结果计算拥堵等级计算速度SuperMap iObjects for Spark：计算实时路况SuperMap iObjects for Spark

8、：计算实时路况4）空间大数据可视化SuperMap iDesktop Cross：任务提交、结果展现5）大数据基础设施：云大数据需要云计算数据量大需要极强的处理能力需求随时变化处理能力需动态伸缩PC端移动端SuperMap云GIS平台四驾马车移动GIS开发平台 iMobile for iOS iMobile for Android轻量移动端SDK iClient for iOS iClient for Android iClient for Win8组件式GIS开发平台 iObjects Java iObjects .NET iObjects C+桌面GIS平台 iDesktop iDeskt

9、op Cross浏览器端SDK iClient for JavaScript iClient for Flash iClient for Silverlight iClient3D for Plugin iClient3D for WebGL云GIS平台软件 iPortal iServer iExpress iCloudManagerDocker，容器技术介绍一种云计算新技术Docker与传统虚拟化的对比传统虚拟化Docker服务器(硬件)宿主操作系统(Windows/Linux)虚拟化程序(VMWare/KVM)虚拟机寄生系统(Windows/Linux)运行库(bins/lib)GIS应用

10、服务器(硬件)宿主操作系统(Windows/Linux)Docker引擎运行库(bins/lib)GIS应用Docker层级更少，性能更高Docker 性能优势快9倍Docker 性能优势51vmware虚机Docker动态出图332170静态出图355数据查询1862995735表：响应时间对比（单位：毫秒）快32.5倍Docker 资源利用率优势52同一台PC服务器，发布同样的GIS服务2.3倍的资源利用率53Docker 价格优势开源免费商业收费GIS支持Docker的必要条件GIS平台原生态运行于LinuxSuperMap跨平台技术全面满足SuperMap 服务器“四驾马车”全面适配D

11、ocker基于Docker的大数据基础设施集群资源自动调度平台(Mesos)持久化应用运行框架(Marathon)企业级容器服务平台(Rancher)容器服务层(Docker Services)GIS数据服务容器1Jupyter NotebookGIS数据服务容器2GIS数据服务容器GIS分析服务容器1GIS分析服务容器2GIS分析服务容器MesosMarathonRancher Dashboard6）基于持续交付的时空分析构建数据分析程序自动执行分析任务分析结果自动发布构建数据分析程序自动调度并执行分析任务分析结果自动发布到iServer分析结果监控查看曼哈顿地区局部放大分析结果监控查看分析结果监控查看6768分析结果监控查看69分析结果监控查看7)空间大数据应用案例国家统计局数据图库：大数据展现与交互140年航运数据分析西班牙140年航运数据分析荷兰140年航运数据分析英国基于AIS(船舶自动识别系统)的船舶实时位置展现基于AIS(船舶自动识别系统)的船舶实时位置展现基于AIS(船舶自动识别系统)的船舶实时位置展现基于AIS的月度交通航运大数据分析全国列车实时调度分