大数据与云计算和物联网的关系

大数据与云计算和物联网的关系大数据时期的到来，是全世界知名咨询公司麦肯锡最先提出的，麦肯锡称：“数据，已经渗透到现今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增加和消费者盈余浪潮的到来。”《互联网进化论》一书中提出“互联网的未来功能和结构将于人类大脑高度相似，也将具有互联网虚拟感觉，虚拟运动，虚拟中枢，虚拟记忆神经系统”，并绘制了一幅互联网虚拟大脑结构图。物联网Z\斤频来宦器耗敬迅黄罄$芦讯采東阱I；传统互联网互郎音1物联网Z\斤频来宦器耗敬迅黄罄$芦讯采東阱I；传统互联网互郎音1眉（範据海洋｝虚报翟宽亂纸听联阚核作戦层虚拟感啦另締丿&J按照这一观点，咱们尝试分析目前互联网最流行的四个概念————-大数据，云计算，物联网和移动互联网与传统互联网之间的关系。从这幅图中咱们能够看出：物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层（数据海洋），是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和同意数据。大数据时期的到来，是全世界知名咨询公司麦肯锡最先提出的，麦肯锡称：“数据，已经渗透到现今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增加和消费者盈余的到来。”近几年大数据一词的持续升温也带来了大数据泡沫的疑虑，大数据的前景与目前、、移动等是分不开的，下面就来了解一下大数据与这些热点的关系。大数据市场格局从严格意义上来讲，早在20世纪90年代“数据仓库之父”的BillInmon便提出了“大数据”的概念。大数据之所以在最近走红，主要归结于互联网、移动设备、物联网和云计算等快速崛起，全世界数据量大大提升。能够说，移动互联网、物联网和云计算等热点崛起在专门大程度上是大数据产生的原因。咱们能够通过如此一张图片，形象的明白大数据与移动互联网、物联网和传统互联网的关系。物联网，移动互联网再加上传统互联网，天天都在产生海量数据，而大数据又通过云计算的形式，将这些数据挑选处置分析，提前出有效的信息，这就是大数据分析。大数据与移动互联网、物联网和传统互联网作为巨头，EMC的大数据理念是，第一从“大”入手，“大”肯定是指大型数据集，一般在10TB规模左右。很多用户把多个数据集放在一路，形成PB级的数据量。同时从数据源来谈，大数据是指这些数据来自多种数据源，以实时、迭代的方式来实现。大数据来源咱们看到，各类行业都出现了大数据趋势，有些可能是零售业商户，要对零售业数据进行分析，或是一些有关全世界天气预报模型的数据，还有油气行业一些地理信息数据，比如基因学分析，医学中也有成像类的大数据，乃至电影、娱乐行业还有效于渲染的大型数据存在。大数据与现实生活大数据能带来什么转变呢？里克•斯莫兰的“大数据人类面孔”项目讲述了许多故事：海象通过头顶的触角探索海洋;借助卫星击准蚊子;加纳用短信系统避免假药销售;智能电话能够预测谁正在变抑郁;信用卡在利用者离婚前两年就可以预测离婚;药片直接将信息从人的身体传给医生。通过对卫星和全世界数亿传感器、RFID标签、带GPS的相机和智能电话实时搜集的数据做可视化处置，人类就可以够感知、测量、理解和影响人类的生存方式，实现先辈们遥不可及的梦想。2012年3月，里克•斯莫兰和JenniferErwitt发动全世界各地100多位摄影师、编辑和作家来探索大数据的世界，以验证它是不是象许多业界人士所说：代表了一种从未出现过的工具，能够帮忙人类面对最大的挑战。大数据人类面孔-通过计步器记录数据分析身体状况2012年9月25日到10月2日，邀请全世界各地参与者通过“大数据人类面孔”这一应用（五种语言的iOS和安卓版本免费下载）来“测量咱们的世界”。这一应用能够让人们用电话作为传感器参与一系列活动，他们同时能够比较全世界参与者对一些值得沉思的问题给出了什么答案。参与者能够绘制出自己天天的路径，分享那些带给他们好运的物品和仪式，了解其他人想要在一生中经历的特别体验，发觉自己身旁以前没成心识到的秘密。参与者还能够得出自己的“数字身影”。2012年10月2日，邀请媒体出席在纽约、伦敦和新加坡举行的“指挥控制中心”大型活动，所有参与者的数据将在活动中加以分析、视觉化处置和诠释。大数据领域的专家们和创新者们将通过互动的“大数据实验室”分享他们的工作功效。全世界各地的观众能够实时在线观看活动直播。麦肯锡全世界研究机构在发布的《大数据：创新、竞争和生产力的下一个前沿领域》中表示，充分利用大数据可帮忙全世界个人定位服务提供商增加1000亿美元收入、帮忙欧洲公共部门的管理每一年提升2500亿美元产值、帮忙美国医疗保健行业每一年提升3000亿美元产值，并可帮忙美国零售业取得60%以上的净利润增加......若是感觉此数据太过空泛，那么咱们能够通过安防监控在大数据方面的应用来进行详细的了解。很多读者应该都看过电影《全民公敌》，威尔史密斯扮演的律师出此刻各地任意位置的摄像头都会在第一时刻被发觉，这即是大数据的作用。从技术角度来看，从传统的海量存储监控，到实现联网智能化监控即是大数据专门好的应用。在国际多数市中，每一年行驶的车辆数据可能会达到百亿级，从这些海量信息提取车牌、车身颜色，就可以够专门快查出轨迹、违章等，而接下来的关联分析就是基于大数据的基础展开。再比如大家常常利用的淘宝为例。天猫副总裁王文彬曾表示“咱们能够取得买家的访问量、固定频率、偏好商品等浅层分析。未来将有更多，不仅能看到商家销量的高低，乃至还能够看出其原因。”商家还能够通过对点击量、跨店铺点击，定单流转量乃至旺旺聊天信息等消费者购买行为的分析，进而有针对性的进行提高，达到提高销量的目的。从人类文明出现到2003年，人类总共才产生了5EB(ExaBytes)的数据，可是当前的人类两天内就创造出了相同的数据量，全世界90%的数据都是在过去两年中生成的，到2020年全世界数据利用量将可能需要376亿个1TB的硬盘进行存储。大数据固然，大数据并非等同于目前的海量数据。目前全世界均比较认可IDC对“大数据”的概念：为了更经济地从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。此概念也能够归纳为四个特点，即高容量(volume)、多样性(variety),速度(velocity),和价值(value)四个V,包括基础架构、数据管理、分析挖掘和决策支持四个层面。固然,也有其他不同的观点,对于大数据的概念即是规模性(Volume)、多样性(Variety)、高速性(Velocity)和真实性(Veracity)的“4V理论”,NetApp大中华区总领导陈文所理解的大数据包括A、B、C三个要素：大分析(Analytic)，高带宽(Bandwidth)和大内容(Content)。大数据与云计算物联网、移动互联网等是大数据的来源,而大数据分析则是为物联网和移动互联网提供有效的分析,获取价值。云计算又与大数据有什么关系呢?那个问题其实早在2011年,就有人分析,例如EMCWorld2011的大会主题就是“当云计算遇见大数据”。云计算与大数据二者之间有很多的交集,业界主要做云的公司有谷歌、亚马逊等都拥有大量大数据。EMC总裁基辛格强调大数据应用必需在云设施上跑,这就是二者的关系——大数据离不开云。同时,支撑大数据和云计算的底层原则是一样的,即规模化、自动化、资源配置、自愈性,这些都是底层的技术原则。因此基辛格以为大数据和云之间存在很多合力的地方。另一方面,随着互联网信息量的激增,用户单个数据集达到数以TB计，有的客户乃至已达到Pera级(1000Tera)了，用现有的存储系统结构处置数据量级较小,而且只能处置单一数据源数据,面对大数据的压力。在处置大量级和多数据源的数据能力超级弱。这也就是为何EMC收购Greenplum,支持开源的Hadoop计划的目的所在。基辛格很明白，大数据的挑战不单单在于存储和保护，数据分析能力的强弱，将成为那个时期的关键点：咱们已经解决了数据存储和保护的问