智慧城市中的大数据应用技术概述

智慧城市中的大数据主要内容•

1

智慧城市及其应用•

2

智慧城市中的大数据•

3

云计算与数据挖掘•

4

结论与展望一、智慧城市及其应用智慧城市=数字城市+物联网+云计算*

智慧城市的概念–智慧城市是在数字城市建立的基础框架上，通

过物联网将现实世界与数字世界进行有效融

合，自动和实时地感知现实世界中人和物的各

种状态和变化，由云计算中心处理其中海量和

复杂的计算与控制，为经济发展、城市管理和

公众提供各种智能化的服务–智慧城市是智慧地球的重要组成部分智慧城市=数字城市+物联网+云计算Cyber

physic

spaceCyber

spaceSee

everything

onwebDo

everything

onwebDoevery智慧城市的发展历程1993199820062009“信息高速公路”的提出标志着城市信息化建设开始起步数字城市信息化城市智慧城市“数字化舒适社区建设”标志着城市信息化开始步入“数字城市”建设新阶段IBM提出了“智慧城市”新理念，标志着城市信息化开始迈向“智慧城市”建设新阶段物联网、云计算等新一代信息技术对城市信息系统的综合集成与整合应用“智慧城市”的发展和早期的信息基础设施及“数字城市”的建设一脉相承，但更注重信息资源整合集成，更强调智能管理和自动反馈，是信息化城市和数字城市建设的更高级阶段,是工业化和信息化的高度集成.城镇化

工业化

信息化低炭

绿色

可持续利用后发优势，实现中国梦！中国智慧城市的动力与目标智慧城市数字城市技术基础地理

正射影像数据数据全景影像

三维模型数据数据街景影像数据专题数据数据层注册中心注册中心公共平台公共平台元数据目录管理元数据目录管理数据成果发布地理信息公共平台数据中心数据中心服务共享二次开发接口旅游、文物管理示范应用旅游、文物管理示范应用国土、规划、城管及公众示范应用国土、规划、城管及公众示范应用示范应用物联网能够实现人与人、人与机器、机

器与机器的互联互通物联网技术Appliance Entertainment MobileAudioVideoCommuni-cationMulti-purposeOfficeEducationRetailHospitalityHealthcareGroceryAirportsStadiumsDataCentersCommercial/InstitutionalIndustrialProcessSemiFabsChemicalPharmaRefiningPulp/PaperDiscreteBatchLegislaturePublicInfra-structurePublicSafetyDocs•RecordsVotingPollingOtherEquip.

&

personnelWater-WastewaterOtherEquip.

&personnelPolice,Fire-RegulatoryDevices:

Voting

booths

information

cards,

Scanners,

Publicinfrastructure,

etc.LabWatertreatmentBuildingenviron.Generalenviron.ResidentialVehiclesMaterial PersonnelLandAirSeaPeopleMachinesWeaponsSuppliesOtherDevices:

Weapons,

Vehicles,

Soldiers,Unmanneddrones,

etc.Security

/SurveillanceRadar/SatelliteEnvironmentSupply Demand•CommercialSinglefamilyMulti-familyAudioVideoGamingDevices:

TVs,VCRs,DVRs,Dishwashers,Washer/Dryers,Refrigerators,

Lights,Computers,etc.Devices:

HVAC,

Vertical

Transport,Fire

&Safety,

Lighting,

Security

&

Access,

etc.LaundryKitchen•EnvironmentalInformationLightingSecurityClimateBuildingsConsumerIndustrialHealthPowerRetailTransportationGovernment

/

Security•ComplexmachinesSimple

/standardmachinesPOSInfrastructureIn-storeRemoteDisplayequipmentDist.

centersShoppingcentersDevices:

POSterminals,Tags,

Cashregisters,

Payment

terminals,

Signs,

etc.Signage

/DisplayLabMisc.InfrastructureProcess

equip.ProductdiagnosisFacilitymgmt.InfrastructureCars/trucksAircraftWatercraftConstructionVehiclesInfrastructureFueling

stationsNav.

systemsTraffic

control

&

Hwaysys.Devices:

Vehicles,

Roads,

Gas

stations,Signage,

etc.MachineControlElectronics/SemiconIndustrialProcessControlComplexmachinesSimple

/standardmachinesSemiconSemi

toolsWaferhandTest

systemsElectronicsT&MCompPlacement

&

boardassblySCADAInstrument/sensorCDSDevices:

Pumps,

Valves,

Vats,

Conveyors,

Pipelines,Motors,

Drives,

Switches,

Machines,

etc.Implants

•

POCLabdiagnosticsPoint-of-CareERMobile

POCPOCPOCLabfacilitiesDevices:

MRIs,

PDAs,

Implants,

Surgical

equip.,

Pumps,Monitors,

Telemedicine,

etc.LabHospitalDoc.Office/CarefacilityHome/InVivo无所不在的物联网7trillionwirelessdevicesserving

7billionpeopleby2017（国际权威机构预测）Generation•TransmissionDistribution(Utility)ResidentialIndustrialDevices:

Centralplants,

Distributedresources无所不在的网络基础设施核心：有线光纤传输：城域网接入：局域网用户：固定、游牧、移动式应用城市职能

生存繁衍智慧城市职能

智慧安防\环保\能源\城管\养老智慧国土规划\社区\家居…智慧制造\工业互联网\物流…..智慧交通\购物\社会综合管理

….智慧户外流媒体\教育\旅游….经济发展社会交往文化享受智慧城市的应用•2

智慧城市中的大数据在智慧城市的建设和应用中，将产生从TB到PB级、EB级…越来越多的数据，世界将进入真正的大数据时代！智慧城市建设正迈向入大数据时代--

大数据时代已经到来2011年2月,

Science专刊指出大数据时代已到来奥巴马宣布美国政府正式启动“大数据研究和发展计划”，认为大数据是未来世界的石油，该计划的意义堪比上个世纪的“信息高速公路计划”美国工程院院士Eric指出：我们正处在一个激动人心的时代，利用大规模有效数据分析预测建模、可视化和发现新规律的时代就要到来地球空间信息资源网络服务模型空天地一体化信息网络空间数据资源处理资源组合服务数据注册数据获取服务空天地传感器资源分布式注册服务中心知识发现服务地学知识资源处理服务传感器规划服务传感器注册处理注册计算资源网络资源存储资源知识注册可视化服务服务质量评价空间信息资源空间信息注册ZY-3Products

-PalmIsland,Dubai典型的高分辨率遥感影像：北京西站，美国GeoEye，分辨率0.4米4+1倾斜相机城市3维建模海量空间大数据（TB到PB）海量空间大数据（TB到PB）天地图（MapWorld）我秀中国：150个城市的实景地图（300TB）》全景影像与激光雷达的融合地上地下三维一体化（武汉市）街道、区、市、省、国家

五级监控网我国已建成世界最大的视频监控网投资超过3200亿元国家多级联网监控工程今年将基本建成2005年国务院启动平安城市已在660个城市建设镜头数目超过2000万全世界首个大规模城市联网监控工程建设大数据的挑战——存不起仅存储就需投入583.2亿元按3个月

视频存储容量计算目前4T容量存储服务器5万/台目前4T容量存储服务器5万/台报价来自IT168.com《2011—2015年天津市技术防范网络体系建设规划实施方案》全球电子行业领先的权威研究机构IMSResearch在2011年的报告中预测：“

2012年全球仅新增的监控设备所需的存储规模就将达3300PB。”以天津市为例分析未来存储成本的影响：天津市十二五末视频监控数据存储容量需要4665.6PB高清摄像头每小时产生3.6GB数据十二五末，天津将安装60万摄像头天津市相当于西藏去年全年GDP总值快速增长的存储规模和投入成为制约城市监控系统发展的重要因素大数据时代面临的形势更为严峻数据快速增长导致虚警输出规模超出人工处理的极限数据规模的急剧扩大进一步凸显传统预警分析技术的困境美国连环杀人案罪犯伊里斯·阿

布拉赞在3个州先后持刀刺伤民

众20多人，其中5人因此身亡。传统规模数据库查询图片检索结果查询图片超大规模数据库检索结果智慧城市应用中的大数据智慧交通（上亿人加千万级车）智慧交通（上亿人加千万级车）监控交通量接收车内广告交通路口信息交管监控中心提供停车信息交管中心提供车辆到达信息住宅小区防盗CPE交通道路校园安防城市工地轻轨CPE手机用户监控中心CPECPE智慧安防（365天x24小时）智慧城市的应用智慧安防（365天x24小时）CPE智慧城市的应用智慧养老（中国2-2.5亿人）智慧养老（中国2-2.5亿人）制造业的大数据•

空客飞机装有大量传感器，每个引擎每飞行小时产生20TB，从伦敦到纽约每一飞行产生640TB级数据。这些引擎状态数据在飞行过程中通过卫星传到发动机公司。•

根据赛门铁克的2012年调研报告，全球企业数据存储总量2.2

ZB，年增67％，10KB相当于一张填满了文本的A4纸，2.2ZB的纸张堆栈相当于1287幢帝国大厦一样高(1,454英尺)1287幢1454英尺服务业的数据国家电网年均产生数据510TB(不含视频），累计产生数据5PB联通用户上网记录每秒83万条，对应年数据量3.6PB农夫山泉每天从销售其矿泉水的超市回传10张照片，每月3TB北京公交公交一卡通每天4千万人次，地铁一千万人次。北京市交通调度中心每天数据增量30GB，存储量20TB每日约处理600G数据，存量数据超过70TB交通银行企业级数据仓库存储量已超过350TB，积累的数据4.5PB工商银行每年产生结构化和非结构化数据分别突破100TB和1PB，已归档PB级数据农业银行发卡量40亿张，每天近600亿次交易，每秒50万次记录，存储量350TB银联医疗的数据现在一个病人的CT影像往往多达两千幅，数据量已经到了几十个GB。如今中国大城市的医院每天门诊上万人，全国每年门诊人数更是以数十亿计，住院人次已经达到两亿人次。按照医疗行业的相关规定，一个患者的数据通常需要保留50年以上。中山大学第一附属医院数据存储量（TB)Volume

sizes

by

resolution-

Brian=1500cm³Voxel

Size

B&W(1B/p)High

res(2B/p)3kB3MB3PBColor(3B/p)4.5kB4.5MB4.5PBcmmmµm1.5kB1.5MB1.5PB网站的数据•

淘宝--每天交易超过数千万笔，其单日数据产生量超过50TB，峰值时处理交易达到9万笔/分钟，1GB/s。在阿里数据平台事业部的服务器上有超过100PB已处理过的数据。•

百度--每天要处理60亿次搜索请求（谷歌为30亿次），新增10TB,处理100PB数据，每天产生一个TB的日志。目前存储网页数近1万亿，数据总量接近1000PB。•

腾讯—腾讯QQ月活跃用户超8亿，微信用户5亿，在线人际关系链超1000亿，每天1千亿次服务调用，日新增200~300TB数据量，每月增加10%。经压缩后的数据总

存储量100PB。•

新浪微博--每天有数十亿外部网页和API接口访问需求。在晚上高峰期，微博每秒要接受100万以上的响应请求。互联网流量的变化半天一天一周一月一年参考：

TheZettabyteEra，CiscoVNI,

May30,2012全球新产生的数据年增40%，全球信息总量每两年就可以翻番!1EB可刻满1.68亿张DVD2013年全球互联网流量每天为2.7EB，全年达到1ZB./news/technology-23253949含标点共87

万字，每个汉字占2B，一本《红楼梦》为1.74MB，1EB为6626

亿部，即全球人均100部《红楼梦》。人均流量（MB/月）全球IT流量达到EB级的时间（天）大数据的特征• Volume（体量大）:

大量TB、PB、EB级以上的数据等待处理；• Velocity（速度快）：需要响应以秒甚至毫秒计的流数据的不断产生；• Variety（模态多样）:

数据来源和类型繁多，文本、图片、视频等结构化和非结构化数据并存；• Veracity（真伪难辨）:

由于数据的噪音、缺失、不一致性、歧义等引起的数据不确定性；• Value（价值）:

大数据使得人们以前所未有的维度量化和理解世界，蕴含了巨大的价值，大数据的终极目标在于从数据中挖掘价值。此“5V”又译为：体量、速度、多样性、真实性和价值。3

云计算与数据挖掘•

3.1

云计算•

3.2

数据挖掘Jim

Gray:

the

4th Paradigm第34页3.1

云计算技术社会化、集约化和专业化社会化、集约化和专业化•

云计算是一种基于互联网的大众参与的计算模式，其计算资源（包括计算能力、存储能力、交互能力等）是动态、可伸缩、被虚拟化的，而且以服务的方式提供。

云计算支撑信息服务专业服务导致服务器多样化更多任务由服务器承担服务器登场浏览器/服务器客户机/服务器服务器井喷互联网资源配置的变迁服务器集群和虚拟化虚拟服务服务器托管形成市场数据服务器

安全服务器…视频服务器服务器托管搜索服务器邮件服务器出现了基于云计算的信息服务互联网上大量计算资源和服务器井喷如Google,

Amazon,

Hotmail…各自独立提供网络服务搜

论

聊基础设施服务商如

Amazon

Web

services索

坛

天邮

购件

物…软件服务商如Google

map和Apple服务平台服务商如和Google

APP

Engine软件服务商如salesforce软件集成服务商如programmable

web知名软件服务商同时也可以成为其它SaaS供应商的基础平台云计算中心内部的生态链云计算中心内部的生态链遥感云遥感云平台——OpenRS-Cloud遥感云将海量遥感数据，复杂的遥感处理与分析

方法放在远程的云计算平台中，利用云计

算平台弹性的计算能力，用户无需搭建专

用环境，只需要选择数据和算法后即可获

取最终结果遥感云平台——OpenRS-Cloud一个洪水淹没的计算实例遥感云服务实例服务链建立服务链建立服务链建立服务链运行服务链运行服务链运行服务查询服务查询服务查询服务注册服务注册服务1注册运行结果服务链运行运行结果将抽象服务链映射成BPEL执行服务链将一个已经设计好的处理服务模块1在网络上注册服务服务21注册注册服务2注册服务查询将一个已经设计好的处理服务模块2在网络上注册在注册服务中心查询得到处理服务的软件模块根据项目要求和已有处理模块建立抽象服务链服务链建立位置云将手机接收到的导航卫星信号与其他定位

相关的传感器信息传输到云计算中心，通

过实时解算，实现室内外高精度的手机连

续位置定位和实时导航地理国情监测员,灾情报告员,森林调查员,地质勘测队员,土地调查员,城管员,公安交警人员等国家公务员和车联网用户位置云地理国情监测员,灾情报告员,森林调查员,地质勘测队员,土地调查员,城管员,公安交警人员等国家公务员和车联网用户智能手机WLAN无线信号蜂窝网络&无线数字电视信号蓝牙RFID/NFC加速度计陀螺仪手机摄像头电子罗盘传感器卫星定位系统•基于卫星定位•基于无线信号定位•基于传感器定位•混合定位•基于卫星定位•基于无线信号定位•基于传感器定位•混合定位位置云位置云•

北斗位置云公共服务平台位置云位置云中国北斗全面运营服务★ 2012年12月27日，北斗系统对中国及周边地区正式提供全面

运营服务。★ 国务院新闻办公室举行了北斗系统新闻发

布

会

，正式公布了

“

北斗

”

系统空间信号接口控制

（ICD）文件。方代表

授时精度:50纳秒（单程

）中巴双

中巴双

方代表

中巴双

方代表

中巴双

方代表

中巴双

方代巴

双方代

表定位精度:

水平方向10米;

垂直方向10

m测速精度:

大于

0.2

m/s短报文通信广域差分&

地基增强覆盖的亚太范围地区武汉大学成功建设首个海外北斗地面增强站，定位精度全面优于美国GPS系统，得到北斗专项管理办公室的高度肯定。2013年11月，在泰国春武里府建成首

个北斗卫星海外CORS示范站泰国北斗CORS站精度分析GPSBDSGPS+BDS可见卫星数（颗）6-813-1419-22使用卫星数（颗）6-813-1419-22平均PDOP(图形精度因子）2.771.581.27HRMS（米）3.551.651.60RMS（米）7.843.443.03北斗地基增强系统湖北示范验证口

总体目标：· 通过地面基准站系统的增强服务，实现北斗系统在湖北省的高精度导航定位服务能力。口

具体目标：· 建立湖北省均匀分布的6个框架网基准站（平均边长220km），实现全省范围单频米级导航定位服务· 建

立

示

范

区

24

个

区

域

基

准

站

（

平

均

边

长60km），实现区域三频厘米级精密定位服务· 建立湖北省北斗精密定位服务系统，开展在测绘、气象和交通等领域的北斗高精度定位导航应用示范实时精密定位性能分析定位模式模糊度固定成功率初始化时间（秒）内符合精度/m（平均）外符合精度/m（平均）平面高程平面高程GPS双频+BDS三频100%5.760.0040.0180.0100.036GPS双频+BDS双频80%27.460.0030.0150.0110.042BDS三频83%16.400.0070.0200.0130.052BDS双频40%50.780.0030.0150.0140.045GPS双频44%40.280.0060.0210.0120.048高精度导航性能分析可用于智慧交通中车辆控制和智能驾驶立得云存储技术与应用口 超强扩展性云可部署为单点数据服务、集群服务、大型云服务。一个大型云服务由众多集群组合而成，每个集群由众多节点组合而成，每个节点即为一台计算机。可不停机进行节点的增减和维护，弹性调整云中资源。关键指标口 可支持数据类型》 可量测实景影像》 4D数据》 全景》 视频》 激光点云数据》 虚拟三维数据》 导航等专题数据关键指标口

数据存储量级》支持EB级数据存储》根据基础设施条件可任意扩展云服务数量• 外式参大• 生• 差• 能数的方进行，极艺IS业采集入云的数据，即进入生产云的管理；云数据可以以服务由不同组调用：作业组实现原始图片和属性数据调用、发布组数配置后进入无人值守的发布、发布的数据可应用于各项目等缩短数据转化到应用的周期产的对象化数据按需组装产生发布的数据，实现生产即发布工异化更新的支持比较版本差异，实现差异关系和差异数据的更新，改变传统的G据更新模式，例如导航数据中心的工艺流程生产即发布产品定位立得提供海量、多源、异构时空信息云存储与管理整体解决方案，含需求调研、规划设计、平台部署、典型应用、批量入云等服务内容。在立得云存储与管理平台上，可建设统一的时空信息云服务平台，集中承载业务应用系统，同时面向企业及大众用户服务；实现统一管理、统一运维、统一标准，创新业务应用模式和管理机制应用模式根据云影像城市的设计思路，提供私有云和公有云两种应用模式。私有云公有云我秀中国—目前国内最大的时空信息服务平台典型案例150万公里，大于300TB，上百万人同时访问数据挖掘的定义• 从海量、多源大数据中自动发现和提取隐含的、非显见的模式、规则和知识的过程。• 数据挖掘比数据处理和信息提取有更大的难度，需要基于大数据和知识库的智能推理。• 基于智慧城市的大数据和云计算，数据挖掘的目的是从中窥探和挖掘自然和社会的变化规律，人们的生活、行为及喜好，社会的潮流、思维和舆论趋向，推断市场对产品、服务甚至政策等各方面的反应。数据挖掘过程数据获取数据存储数据计算数据传送与分配数据挖掘数据呈现数据安全数据采集、编

需要低成本存

大量的仿真和计

需要将高维图像等多媒体数索与整合

储与分布式处

算任务须协调数

据降维后度量与处理理 百个参数需要可视化计算结果分享与访问控制，安全与隐私保护数据仓库选择数据选择变换挖掘融合变换的数据抽取信息融合信息数据融合、取

去噪、特征样、多分辨率

抽取、标称分析

化降维处理分类/群集可视化/认证数据挖掘算法准备阶段合并压缩清洗过滤格式转换统计分析知识发现寻找规按律包建立模型发现阶段线性分析、非线性分析、线形回归、因子分析、单变量曲线、双变量统计时间序列分析人工神经网络、决策树方法、遗传算法、规律推理可视化多变量的图形分析并给出变量的关系解释阶段关联规则分类聚类序列揭示数据间的内在联系，例如发现政府、部门网站上各种文件之间访问的相互关系，获得不同网页间关联度，便于组织站点的内容照分类的公共属性描述来分配类别，利用历史数据推导和预测包括客户群聚类、

web

网页聚类，以便网站为用户提供特定的服务挖掘出数据的前后时间顺序关系，找到那些“一些项跟随另一项”的内部事务模式发现

web站点中常被访问的页面，了解用户的网络行为，以便改进页面及网站结构的设计