大规模时空数据分析与可视化应用实践

大规模时空数据分析与可视化—R应用与实践(w

)中国

地理科学与资源资源与环境信息系统国家May.

29,

2016

@

RUC.edu第九届中国R语言会议主要内容引言R中时空数据分析简介大规模时空数据获取与处理大规模时空数据分析与可视化1

引言时空数据概念SpatialVectorial:

Point,

Polyline,Polygon,

VolumeRasterSpatial

Reference

TemporalDate

+TimeAttributeData

FrameVectorRasterReal

data时空数据获取与分析方式Geographical

Information

System

(GIS)Remote

Sensing

(RS)5Global

positioning

System

(GPS)问卷、统计(时空)大数据时代Big

data

&

Open

dataFourth

paradigm

of

ScientificVGI：Citizens

as

sensors:theworld

of

volunteered

geography.——

Michael

F.

Goodchild，2007Physical

=>

Social新的时空大数据来源(1)

Social

Media

Datahttps:

/notes/-engineering/visualizing-friendships/469716398919时空大数据来源(2)

User

Generated

Contents

(UGC)20

million

POIs

in

China时空大数据来源(3)

GPS-enabled

smart

phones

generateddataWhere

People

RunTaxi

Tracking(by

Yu

Zheng)时空大数据来源(4)

Remote

Sensing,

Wireless

Sensors

Network,VGI,

SmartCard…时空大数据特点、GPS实时定位、动态、多粒度时空数据是长期观测积累的矢量/栅格数据，如遥感、

等。、浮动车GPS监测、刷卡、铁路和飞机进出港数多源、海量如交通大数据中：据。

可达PB级。泛在、异构时空大数据存在形式多样，如测绘中的DOM，DEM，DLR和DRG，也包括更大体量的数据，包括文字、、等，既有实体空间中的数据也有虚拟空间的数据2

R中时空数据分析简介R中的时空数据分析Classified

by

task

viewTimeSeriesSpatialSpatiotemporalinstall.packages("ctv")library("ctv")install.views(”

Spatial

")update.views("

Spatial")TimeSeriesMaintainer:

Rob

J.

HyndmanPackage

stat.：179Core

package：stat,

forecast,

tseries,

xts,

zooApplication:

Econometrics

and

FinanceSpatial

—

Spatial

dataysisMaintainer:

Roger

BivandPackage

stat.：134Core

packages：sp,

geoR,

gstat,

maptools,

raster,RandomFields,

rgdal,

spacetime,

spdep,

splancsMailing

list：R-SIG-Geo；OSGeoSpatiotemporal

–

data

process

andysisMaintainer:

Edzer

PebesmaPackage

stat.：46Core

package：sp,

xts,

spacetime,stpp,surveillance,

gstat,

RandomFields,

rasterMailing

list：R-SIG-Geo；OSGeo3

时空数据获取与处理R中大规模数据获取方法正则表达式提取信息方式XPath（XML

Path）查询提取方式API进行

方式数据获取—正则表达式方式识别符合某个正则特征的信息文档、网页RCurl,download.file(),正则表达式导入文档readLine(),编码指定正则表达式优化匹配提取信息stringr调试代码数据获取—XPATH方式识别嵌套在XML/HTML文档中信息文档、网页RCurl,download.file(),正则表达式解析文档xmlParse(),htmlParse()指定XPath查询Web开发者工具提取信息Xpath配套XML组件、正则表达式调试代码数据获取—API方式找到API并熟悉其使用条款和限制方法浏览器、文档为使用API应用，获取并保存密钥浏览器验证通过OAuth进行httr调用APIAPI测试工具、编写自定义函数处理得到的信息XML/jsonlite调试代码R中时空数据

与数据库技术InternetClientServerDatabaseMap

RenderApplication

ServerWeb

ServerSpatial

ProcessingWeb

Server多服务器Application

Server2.数据库集群时空数据量大多源（来源多样）、异构（格式多样）各类空间操作方法不

，语言不空间数据库技术—PostgreSQL23PostgreSQL(Postgres)世界上最先进的开源数据库LimitValueum

Database

SizeUnlimitedum

Table

Size32

TBum

Row

Size1.6

TBum

Field

Size1GBum

Rows

per

TableUnlimitedum

Columns

per

Table250

-

1600

depending

on

column

typesum

Indexes

per

TableUnlimited空间扩展：PostGIS

Page空间数据库技术—PostGISPostGIS

（

）是对象关系型数据库系统PostgreSQL对空间数据的一个拓展。PostGIS提供如下空间信息服务功能:空间对象、空间索引、空间操作函数和空间操作符。桌面端网络端R与(时空)数据库接口RMySQLRODM、ROracleRpgSQL、RPostgreSQL、TSPostgreSQLR、filehashRmongo、rmongodb高性能读写—Feather高性能计算—Cluster,

Hadoop,Spark高性能计算加快R运行的简单方法提升硬件、向量化、使用内置函数预分配内存、简单的数据结构使用哈希表进行大型数据上的频繁查找去CRAN寻找更快的包RCpp、Basic

Linear

Algebra

Subprograms、Linear

Algebra

PACKageGPU运算Gputools优化内存使用重用对象、删除中间数据、缓存大型数据集的处理数据库、数据结构、系数矩阵、内存、bigmemory并行计算MPI、snorallel、multcore、doMC、foreach数据处理:data.table

vs.

dplyrdplyr和data.table是R的两个高效数据处理包。dplyr包的语法更加优雅，提供了更易于人类所能理解的自然语言。data.table包的语法简洁，并且只需一行代码就可以完成很多事情。

data.table在某些情况下执行效率更高。在性能和内存受约束的情况，data.table包或许是首选的R包。GIS

接口Mapsrgdal、rgeosplotKML、ggmap、ROpenStreetMap、leafletRspgrass6、rgrass7RPyGeo、RArcInfoRSAGA4

大规模时空数据分析与可视化时空数据建模描述性统计分离性模型空间数据分析时间序列分析时空数据模型统计模型、机器学习物理模型统计

+ 物理混合模型时空数据可视化R中时空数据统计分析方法Geostatisticsspacetime,

SpatioTemporal,

RandomFields,spBayes,

Stem,

spcopula,

et

al.Spatio-temporal

point

patternsplancs,

stpp,

stppResid,

stam,

ptprocLattice

data

ysissurveillance,

plm,

splm,

sphet,

nlmeTrajectory

data

ysisadehabitatLT,

trip,

tripEstimation,

diveMove,move,

et

al.大规模时空数据可视化策略海量点、线数据可视化透明化栅格化带有地理

的Mapworld

billions

of

geotagged

photos

from

FlickrWang

2015datamaps/eric/datamapsNew

York

TaxiMapWeibo：Where

are

the

ChineseWe

collected

220

million

geo-tagged

Weibo

over

2014

tostudy

the

footprint

and

the

behavior

of

Chinese.Liu

X,

Wang

J

H*,

The

geography

of

Weibo.

Environment

and

Planning

A,

2015的社交网络数据推算人口Chinese

American(Pew

Research,

based

on

2010

Census)Chinese

American(Estimated

based

ongeotagged

Weibo)流数据可视化策略空间交互/网络可视化策略空间交互/网络可视化策略Urban

interact