活在大数据时代55

1、世界哪个城市的女人最漂亮?世界十大大美女城城市排行行榜：1、阿姆姆斯特丹丹(荷兰兰)2、特拉拉维夫(以色列列)3、蒙特特利尔(加拿大大)4、加拉拉加斯(委内瑞瑞拉)5、莫斯斯科(俄俄罗斯)为什么该地的美女会会如此吸吸引男性性?*.这里里的美女女行走在在街道上上90宁愿骑自自行车而而不愿坐坐汽车，构成一一道道亮亮丽的风风景线*.荷兰兰美女运运动能力力较强，活力十十足，衣衣着时尚尚，相当当开放、大胆，平均每位位女性熟熟练两种种体育运运动有了更多多数据你你可以知知道些事事情,而这些事情情在你只只有少量量数据时时你是无无法知道道的。大数据时代为何选取取这个话话题？1、VeryHOT,CantOut!2

2、、VeryUseful!什么是大大数据大数据新在何处处为什么今今天有这这么多数数据大数据的阴暗面面大数据在城城市规划划中的应应用什么是大大数据HadoopIBM英特尔HP巨量资料料商业智能能数据库服务器SAPHANA预测数据流运算节点点机器学习习并行计算算磁盘阵列列甲骨文AMD内存计算算GoogleMapreduce可视化GbPb大数据(big data)，或称巨巨量资料料，指的的是所涉涉及的资资料量规规模巨大大到无法法透过目目前主流流软件工工具，在在合理时时间内达达到撷取取、管理理、处理理、并整整理成为为帮助企企业经营营决策更更积极目目的的资资讯。大数据的的特点4V海量高速多样精确1 KB

3、=1024字节存储单位位1 MB =1024KB1 GB =1024MB1 TB =1024GB1 PB =1024TB =1,048,576 GB1 EB =1024PB =1,073,741,824GB1 ZB =1024EB =1,099,511,627,776GB小知识Volume海量2009年5000条微博更更新/天2010年30万条微博博更新/天2011年250万条微博博更新/天2012年3500万条微博博更新/天2013年2亿条微博博更新/天2014年4亿条微博博更新/天2014年 上传传时长12年的视频频/天2014年用用户分享享25亿条信息息/天我国一个个一线城城市的健健康档

4、案案数据5PB/年我国一个个智慧城城市的数数据800PB/年一个单数数据表几几亿-几百亿条条记录下线商品品14亿件，在在线商品品8亿件淘宝数据据库存了了20PB数据平均每月月增加1.5PB智能移动动终端设设备的巨巨量增长长Volume海量Velocity高速6000万用户登登录/天20亿次页页面访问问/天每天1.2亿次网站站访问响响应时时间小于于100毫秒由于输入入速度加加快，所所以要求求输出速速度也要要加快大数据的的惊人不不止是在在数量上上，同时时数据还还是巨量量具有动动态分析析价值的的数据。访问响应应时间的的加快，数据库库读写速速度的加加快，对对电商企企业来说说就等于于多成交交。对于很多多

5、情况下下，动态态的数据据价值远远大于静静态数据据，比如如气象预预测，灾灾难预测测，快消消行业等等。Variety多样结构化数据半结构化数据非结构化数据指关系型型数据表表指关系结结构与内内容混合合在一起起的数据据类型文档、视视频、音音频、图图片20%结构化80非结构化化企业数据据2012年互联网网产生的的数据25%结构化75非结构化化Veracity准确大数据的的核心思思想之一一准确源自自于对全全部数据据的处理理分析基础数据据的真实实准确性性，才能能保证结结果的有有效性。大数据新在何处处，重在在何处呢呢？古代盘VS现代盘克里特岛岛发现的的粘土盘盘有4000年的历历史*非常笨重重*不能记录录太多的

6、的信息*所记录的的信息是是不能更更改的与此相反反 爱德华斯诺登登从美国国国家安安全局所所获得的的文件可可以放在在一个仅仅有指甲甲大小的的存储盘盘里并并且可可以以光光速进行行数据共共享更多多数据更更多。为什么今今天有这这么多数据？*一个原因因是我们们一直在在收集信信息，就像我们们一直在在做的一一样*另一个原原因是我我们记录录了许多多蕴含丰丰富信息息的事物物，但是从没没把信息息转换成成数据形形式定位问题题*.在16世纪纪我们想想知道马马丁路路德在哪哪里，该该怎么做做？*.那现现今又是是什么样样的情形形呢？*.再举举个例子子，坐姿姿*.那我我们能用用它来干干什么呢呢?位置信息息被数据据化了*.那我我

7、们能用用它来干干什么呢呢?东京的研研究者把把它运用用在一个个汽车防防盗设施施的雏形形上，它的设想想是盗贼贼坐在驾驾驶座上上企图把把车开走走，但是汽车车识别出出驾驶座座上的是是个未授授权驾驶驶人，那汽车可可能就会会熄火除除非你在在仪表盘盘上输入入密码来来表明“我已获获得授权权”。这就是生生活的更更多方面面数据化化后我们们能做的的事情中的一件件。大数据的的核心工工作思路路大数据系系统颠覆覆了传统统数据中中心的工工作逻辑辑传统数据据系统工工作逻辑辑：运算系统统调动数数据库的的数据，数据的的移动。大数据系系统工作作逻辑：运算系统统直接部部署至数数据处，数据仅仅架构内内移动。*.那么大数数据的价价值在哪

8、哪里?在运用这这个概念念的领域域里，让人印象象最为深深刻的是是机器学学习*.机器器学习的的理念现现在已经经随处可可见（无无人驾驶驶）*.机器器学习是是许多网网上在线线应用的的基础（搜索引引擎算法法、语音音智能翻翻译）大数据的的阴暗面面大数据会会偷走我我们的工工作*.在21世世纪，大数据和和算法会会威胁到到白领和和需要专专业知识识的工作作，就像在20世纪纪工厂自自动化和和装配生生产线的的应用威威胁到了了蓝领们们的工作作岗位*.同时时，老实说,我们并并不能很很好地处处理所有有的我们现在在能够收收集到的的数据，这不仅仅仅是国家家安全局局的问题题，许多企业业也搜集集并不恰恰当地使使用数据据大数据会会偷

9、走我我们的工工作*.在21世世纪，大数据和和算法会会威胁到到白领和和需要专专业知识识的工作作，就像在20世纪纪工厂自自动化和和装配生生产线的的应用威威胁到了了蓝领们们的工作作岗位*.同时时，老实说,我们并并不能很很好地处处理所有有的我们现在在能够收收集到的的数据，这不仅仅仅是国家家安全局局的问题题，许多企业业也搜集集并不恰恰当地使使用数据据大数据只只是一种种资源与与工具，它告知知信息但但不解释释，它指指导人们们去理解解，也会会引起误误解。它只不过过是过去去的现实实投影洞穴穴里的古古老壁画画，而且且还只是是对过去去残缺不不全的信信息统计计，用这这些信息息推出的的预测跟跟猜在概概率上区区别不大大。

10、大数据绝绝对不是是答案，只是参参考，在在国内估估计更多多的用来来事前忽忽悠、事事后吹嘘嘘、搞砸砸后推卸卸责任。数据不会会说谎，但人性性复杂。大数据在在城市规规划中的的应用城市规划划中的大数据而今，社社会经济济的快速速发展促促使机动动车辆的的数量大大幅增加加城镇镇化的加加速打破破了城市市道路系系统的均均衡状态态，传统统的交通通管理信信息系统统难以满满足当前前复杂的的交通需需求，对对当前的的城乡交交通基础础设施提提出了新新的要求求，大数数据对城城乡区域域交通基基础设施施有积极极的推动动作用。我们可可以应用用大数据据来减小小交通堵堵塞，处处理恶劣劣天气的的道路状状况，以以评估对对关键路路线的道道路进

11、行行清理所所要耗费费的时间间，从而而提高处处理道路路状况的的效率，这样就就能减少少了冬季季连环撞撞车事故故发生概概率，通通过提高高公共安安全来确确保商业业正常运运行和日日常生活活有序。我们还还能应用用大数据据评估路路况，以以评估出出公路改改善的实实施战略略和须改改善的路路段位置置。与过过去一味味的扩大大基础设设施建设设来改善善交通，应用大大数据解解决现有有的交通通问题不不仅可以以降低管管理成本本、提高高功效，而且还还有益于于城市交交通管理理的规范范化。传统空间间数据的的再组织织对于本来来具有空空间属性性的地形形图等数数据，已已经有成成熟的方方法将其其配准和和建库，除了直直接浏览览之外，也有大大

12、量的方方法基于于遥感影影像进行行城市规规划的分分析，除除了常规规的建设设用地边边界识别别和扩张张分析、植被、生态要要素识别别以外，近年来来通过灯灯光遥感感判别城城镇化程程度和经经济发展展水平的的实践也也较多。统计年鉴鉴数据库库对于统计计年鉴大数据，可可以使用用 webGIS技技术将各各级行政政边界与与其统计计数据进进行连接接，形成成可以查查询和可可视化的的年鉴空空间数据据库，在在此基础础上加入入基于web 的区区域分析析模型，则可以以将原来来复杂的的 GIS空空间分析析和专题题图制作作变成简简单的web 操作作。现场调研研工具现场调研研是城市市规划师师主动采采集数据据的最重重要环节节，而其其成

13、果往往往是绘绘制在纸纸质地形形图上的的各种图图文信息息，还有有相机拍拍摄的照照片，从从现场返返回后，这些数数据往往往要耗费费大量的的人力重重新数字字化整理理，并与与地形图图等空间间信息对对应。为为此，开发商基于智能能手机和和平板电电脑等移移动终端端开发了了规划现现场调研研 APP，可可以现场场通过GPS 定位位，调取取所在位位置的相相关图纸纸，并记记录所在在位置的的照片、录音录录像和文文字标记记，甚至至绘制和和编辑矢矢量信息息，基本本实现了了传统调调研所有有纸面工工作的电电子化。调研结结束后，项目组组成员可可以通过过网络将将信息上上传至共共同的服服务器，汇总成成地理信信息系统统的基础础数据集集

14、，为后后续的各各种数据据工作打打下良好好的基础础。智慧城市市的感知知数据随着大数据城城市建设设的开展展，物联网网技术使使我们可可以通过过无处不不在的传传感器和和传感网网了解城城市各个个系统的的实时运运行状态态，包括括电网的的运行，每条道道路的车车速和流流量，甚甚至每个个个人的的位置和和行为，通过这这些数据据的叠加加和计算算，我们们可以对对城市空空间资源源分配状状态进行行评估和和干预。以往，知道一一个城市市的实际际人口几几乎是件件不可能能的事情情，更不不必说一一个街区区或者地地块里到到底生活活着多少少人，而而在大数数据时代代，我们们有越来来越多的的方法可可以了解解这些。开源地图图的使用互联网上上

15、大量开开源地图图信息为为我们大大大扩展展了矢量量空间信信息的来来源。开开源地图图信息主主要包括括各级道道路网、三维数数字高程程模型DEM、具有有平面和和高度信信息的2.5D建建筑物、兴趣点点 POI，这这些地图图包含的的空间信信息某种种程度上上超过了了传统的的地形图图，因此此在城市市研究中中不但可可以一定定程度上上代替地地形图，还可以以实现大大量全新新的分析析方法。 通过过适当的的算法，结合一一些车辆辆和人的的轨迹、行为数数据，用用这些POI 信息息可以大大致计算算所在地地块的用用地性质质，以及及功能混混合的程程度。如如图所示，用用信息熵熵模型对对北京市市域20多多万个POI 进行行计算，计算

16、出出的用地地混合程程度，可可以一定定程度上上表征城城市的活活力和中中心体系系，也能能大致描描述建成成区的最最新范围围。如如果地图图数据中中还包括括了建筑筑的平面面和层数数，则可可以估算算城市各各种功能能建筑的的总量、建筑密密度、容容积率等等数据。这些数数据也是是空间句句法等传传统的分分析模型型很好的的辅助。交通传感感数据智能交通通是大数据在在城市建设设中最为为广泛开开展的实实践，也也是物联联网建设设最为成成熟的领领域，因因此，城城市政府府和交通通运营部部门往往往掌握着着大量相相关的交交通传感感数据，如果得得到适当当的挖掘掘和分析析，可以以很大程程度代替替城市规规划传统统的交通通调查方方式，并并

17、有更多多的作用用，可以以支持从从宏观到到微观不不同尺度度的城市市和规划划研究。 航班班和铁路路班次数数据经过过整理和和挖掘，可以在在城镇体体系规划划中描述述城市间间的关联联程度，也可以以描述城城镇群的的形态和和发育程程度。如如图所示示，我们们利用全全国航班班时刻信信息制作作的城市市间联系系示意，京沪穗穗渝四极极清晰可可见，而而在内蒙蒙城镇体体系规划划中的应应用，也也能清晰晰描述包包头和呼呼市各自自的区域域地位和和联系方方向。公交刷卡卡数据是是大多数数较大城城市都可可以获得得的，其其数据量量极大，包含的的信息丰丰富，但但挖掘难难度较大大。其主主要用途途是提取取通勤人人口的OD信信息，判断城城市各

18、功功能区和和组团之之间的联联系，尤尤其适合合考察新新城和中中心城之之间的通通勤特征征，由此此判断其其间的值值住关联联。长时时间的数数据积累累，还可可以通过过同一用用户的OD变变化特特征，收收集人口口居住和和工作地地迁移的的情况等等等。出租车的的 GPS轨轨迹也是是比较常常见的数数据，由由于其数数量较大大，分布布均匀，足以作作为所有有车辆的的样本考考察。出出租车轨轨迹除了了 OD 信息息外，还还可以描描述城市市道路的的实时车车速，更更复杂地地，通过过数据挖挖掘算法法，还可可以识别别用地的的性质和和出行人人口的行行为特征征。 智能基础础设施网网络数据据智能电网网、燃气气网和水水网也是是早已成成熟的

19、技技术，通通过其传传感网采采集的精精确到每每家每户户的使用用数据，不仅能能简化家家庭缴费费的程序序，更能能用来评评估城市市规划的的效果和和城市运运行的状状态。以以智能电电网为例例，我们们可以通通过数据据实时了了解每个个地块（变压器器）的用用地负荷荷曲线，根据曲曲线形态态，可以以推断其其用地性性质；根根据负荷荷峰值和和经验数数值，可可以估算算其人口口、产业业容量；如果对对曲线形形态进行行精细地地分类，可以对对居住人人群和产产业类别别进行更更精细的的分类。移动通讯讯定位数数据移动通讯讯技术的的发展，使移动动运营商商可以通通过基站站与用户户间不间间断的信信令信息息获得每每个用户户比较准准确（通通常精

20、确确到百米米以内）的实时时位置，由于用用户数量量巨大，几乎覆覆盖城市市所有活活跃人口口（除了了老人、儿童及及少量特特殊人群群外，基基本全部部覆盖），可以以说是描描述城市市人口数数量和空空间分布布的“终终极”数数据。移移动位置置数据可可以代替替上述多多种数据据，通过过人的位位置，描描述区域域、城市市、道路路、用地地的运行行情况。 在宏宏观上，通过长长途电话话话单描描述城镇镇间联系系强度是是很传统统的方法法，现在在我们可可以直接接通过人人的迁移移数据描描述城镇镇间的关关联；中中观上，大量详详细的移移动轨迹迹可以代代替传统统的OD调调查，而而且通过过目的地地、运动动的速度度和轨迹迹可以挖挖掘其交交通

21、方式式和出行行类别，甚至进进行特征征人群的的识别和和行为分分析（如如学生、通勤人人员）；微观上上，精确确到用地地的人口口分布对对公共设设施和商商业设施施评价和和选址的的价值不不可替代代，通过过交通方方式的识识别也可可以对车车速和道道路使用用状态进进行评价价和优化化。如图图所示，无锡基基于手机机信令数数据的居居民出行行调查项项目来自公众众参与平平台与社社交网络络的数据据“签到”是移动动应用中中越来越越普遍的的功能，通过抓抓取带有有签到位位置信息息的微博博或者照照片、评评论，并并通过特特定的自自然语言言分析等等技术，可以获获取人们们对空间间质量的的评价，可以采采集位置置变化代代表的用用户移动动的轨迹迹，进行行某些特特定的OD分分析（如百度度迁徙展展示的春春节期间间的人口口在城市市间流动动），也也可以通通过数据据的密度度和行为为模式区区别识别别空间热热点甚至至用地性性质。百度地图图新推出出的“热热图”功功能是很很好的基基于移动动终端位位置信息息的城市市研究工工具，通通过可视视化所有有调用百百度定位位接口APP 用户户的位置置，展现现城市人人群的实实时分布布状态。通过工工具逐时时抓取和和动态展展示分析析，可以以描述各各种城