大数据、云计算、物联网关键技术与未来

大数据与云计算的技术与未来CloudComputing第一部分大数据时代的思维变革BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK大数据定义大数据(BigData)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为有价值的信息。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。4一.认识大数据时代最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”大数据时代的生活令人神往，你对客观世界的认识更进了一步，所做的决策也不再仅仅依赖主观判断。甚至于你的一个习惯动作、你的一次消费行为、你的一份就诊记录，都正在被巨大的数字网络串联起来。移动互联网风潮汹涌。大数据正悄悄包围着我们。甚至连世界经济格局也在酝酿着巨大变革！5《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。亚马逊前任首席科学家AndreasWeigend说：“数据是新的石油。”哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”62012年3月份美国奥巴马政府发布了“大数据研究和发展倡议”，投资2亿以上美元，正式启动“大数据发展计划”。计划在科学研究、环境、生物医学等领域利用大数据技术进行突破。奥巴马政府的这一计划被视为美国政府继信息高速公路(InformationHighway)计划之后在信息科学领域的又一重大举措。2012年5月，联合国发表名为《大数据促发展：挑战与机遇》的政务白皮书中，指出大数据对于联合国和各国政府来说是一个历史性的机遇，还探讨了如何利用包括社交网络在内大数据资源造福人类。联合国的大数据白皮书还建议联合国成员国建设“脉搏实验室”“PulseLabs”网络开发大数据的潜在价值7随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的力量。因此2013年被许多国外媒体和专家称为“大数据元年”。当今“大社会”，三分技术，七分数据，得数据者得天下。8拒绝大数据时代，可能会失去生命！《大数据时代：生活、工作与思维的大变革》一书的作者维克托·迈尔·舍恩伯格，如是说，“如果你是一个个人，如果你拒绝的话，可能会失去生命，如果是一个国家的话，拒绝大数据时代的话，可能失去这个国家的未来，失去一代人的未来。”

这一句话恐怕不能算作耸人听闻，因为每当人们站在现在这个节点的时候，总会去眺望未来，但是未来往往在你不经意当中已经悄悄地来到你的身边。9硬件成本的降低网络带宽的提升云计算的兴起网络技术的发展智能终端的普及电子商务、社交网络、电子地图等的全面应用物联网大数据时代到来的必然性：10什么是“大数据”？大数据很抽象，表示数据规模的庞大。大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产、无线网络革命称为引领未来繁荣发展的重大技术变革。目前对大数据尚未有一个公认的定义，不同的定义基本上是从特征出发，试图给出大数据的定义。11维基百科给出的定义：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。“3V”定义规模性（Volume）多样性（Variety）高速性（Velocity）“4V”定义价值性（Value）（IDC）12全球流量累计达到1EB（即10亿GB）的时间一年（2001）一个月（2004）一周（2007）一天（2013）一天产生的信息量可刻满1.88亿张DVD光盘全球网民平均每月使用流量：1M（1998）10M（2000）100M（2003）1G（2008）10G（2014）大数据有多“大”？13我国网民数量居世界之首，每天产生的数据量也位于世界前列。淘宝网站单日数据产生量超过5万GB存储量4000万GB百度公司目前数据总量10亿GB存储网页1万亿页每天大约要处理60亿次搜索请求一个8Mbps的摄像头一小时能产生3.6GB的数据一个城市每月产生的数据达上千万GB医院一个病人的CT影像数据量达几十GB全国每年需保存的数据达上百亿GB14大数据就如同蜜蜂，其主要价值是传播花粉，自己生产的蜂蜜价值并不大。2013年世界范围内狭义的大数据产业产值只有186亿美元，但广义的大数据应用几乎覆盖所有产业。据麦肯锡公司预测，开放数据仅在教育、保健等7个行业便可释放3.2万亿～5.4万亿美元的经济价值。BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK不是随机样本，而是全体数据当数据处理技术已经发生了翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本=总体”。执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。16二.大数据的应用领域天文学生物医学电子政务气候学企业管理教育学金融学市场营销公共服务商业智能传媒业生活娱乐天文学生物医学电子政务气候学企业管理教育学金融学市场营销公共服务商业智能传媒业生活娱乐总统选举总统选举情报学情报学图书馆学图书馆学奥巴马的数据团队对数以千万计的选民邮件进行了大数据挖掘，精确预测出了更可能拥护奥巴马的选民类型，并进行了有针对性的宣传，从而帮助奥巴马成为了美国历史上唯一一位在竞选经费处于劣势下实现连任的总统。不要总喊“狼来了”，“狼”已经来了！大数据帮助奥巴马成功实现连任奥巴马的例子告诉我们，只要数据量够大，够及时，挖掘够深刻，我们完全可以洞悉每个选民的投票几率。迅速普及的互联网与移动互联网，悄然为记录人的行为数据提供了最为便利、持久的载体。最重要的是，在这些强大的数据收集终端面前，人们没有掩饰的意图，从而创造着过去无法收集与分析的海量数据，这让所有社会科学领域能够从宏观群体走向微观个体，让跟踪每一个人的数据成为了可能，从而让研究人性成为了可能。BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK变革公共卫生

2009年H1N1流行病毒背景下谷歌通过检测检索词条，处理了4.5亿个不同的数据模型，通过预测并与2007年、2008年美国疾控中心记录的实际流感病例进行对比后，确定了45条检索词条组合，并将其用于一个特定的数学模型后，预测的结果与官方数据的相关系数高达97%。按照传统的信息返回流程，通告新流感病毒病例将有一到两周的延迟。对于飞速传播的疾病，信息滞后两周是致命的。而谷歌运用大数据技术，以前所未有的方式，通过海量数据分析得出流感所传播的范围，为世界预测流感提供了一种更快捷的预测工具。20金融领域华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。你开心他就买，你焦虑他就抛！21

40天，36亿人次。这是2014年春运的总时间和总出行人数。在这场堪称人类历史上最大规模的短期迁徙中，人群从哪儿去了哪儿？哪些线路最热门？在以往，这些问题可能难以精确回答。但随着技术进步，通过应用“大数据”这一技术利器，人们已经接近“在迷宫中感受全局”地看见春运的全景。大数据首次播报春运迁徙实况22三.大数据时代的机遇和挑战机遇大数据技术促进国家和社会发展大数据蓝海成为企业竞争的新焦点大数据时代呼唤创新型人才挑战大数据技术的运用仍有困难大数据给信息安全带来新挑战23当前,大数据的应用只是冰山一角,绝大部分隐藏在表面之下。未来，大数据所带来的精彩值得期待！

第二部分势不可挡的云计算浪潮云计算体验——方便您的生活多终端同步-透明PC/笔记本客户端浏览器PDA/手机/相机电子相册电视数据中心运算中心拍出的相片立即编辑修改在线编写文档、报告随时随地写日志随时随地的身体健康状况监控云引言《纽约时报》租用亚马逊的云计算服务，使用基于云计算的开源软件Hadoop，将其自1851年以来的1100万份报道转变成可搜索的数字化文档，耗时仅一天。如果用传统方法，这项工作可能要数月才能完成。最近兴起的云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。云计算发展背景个人电脑：80年中期互联网：90年代初云计算：从现在开始移动互联网物联网智慧地球笔记本电脑上网本、智能手机RFID、传感器10亿20亿40亿万亿级需求推动、技术进步、商业模式变革照片视频文本音乐Facebook保存有800亿张照片，每秒有60万人次访问Youtube超过10亿个视频短片，每秒有1万人次观看（每天超过10亿人次）约需要20P（2千万G）以上空间超过4万台服务器桌面电脑云计算浪潮势不可挡！！必须顺应时代的潮流~~一组数据——2012年，全球财富1000强企业中将有80%的使用云计算服务；到2015年，使用云计算的企业的比率有望提高到95%。——2013年，全球云计算市场规模将超1000亿美元。2020年，规模将达到1500亿元。——2011年，中国云计算服务市场规模315.54亿元，增长88.6%。——2012年，中国云计算服务市场规模将超过600亿元。2013年，将增长到1174.12亿元。2023/2/5Inspurgroup国外云计算发展现状国内云计算发展现状政府主导，规模宏大的云计算计划相继出台地方政府加快战略布局各区域云计算基础设施产业投资情况并行计算、分布式计算和网格计算网络计算发展趋势1995集群计算1998网格计算1999对等计算2007云计算2012云格(Gloud=Grid+Cloud)并行计算ParallelComputing是指同时使用多种计算资源解决计算问题的过程，其主要目的是快速解决大型且复杂的计算问题特点：把计算任务分派给系统内的多个运算单元大型机的多CPU和多存储器并行计算问题的特征将工作分离成离散部分，有助于同时解决随时并及时地执行多个程序指令（多条线同时运行）多计算资源下解决问题的耗时要少于单个计算资源下的耗时分布式计算DistributedComputing所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。特点：把计算任务分派给网络中的多台独立的机器优点：稀有资源可以共享通过分布式计算可以在多台计算机上平衡计算负载可以把程序放在最适合运行它的计算机上网格计算GridComputing网格是利用互联网把地理上广泛分布的各种资源（包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等）连成一个逻辑整体，就像一台超级计算机一样，为用户提供一体化信息和应用服务（计算、存储、访问等）

网格计算是分布式计算的一种，是分布式计算封装云计算技术概述云计算名称的来源云计算(CloudComputing)源自亚马逊公司(Amazon)的EC2(ElasticComputeCloud)产品和Google-IBM分布式计算项目，这两个项目直接使用了“CloudComputing”的概念。云计算定义百度百科伯克利白皮书：云计算是一种商业模式，它将计算任务分布到大量的计算机、服务器构成的资源池上，使用用户能够按需获取计算能力、存储空间和信息服务。狭义云计算：指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源广义云计算：服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算定义美国国家标准与技术研究所(NIST)的云计算定义1.基本特征EssentialCharacteristics2.部署模式DeploymentModels3.服务模式ServiceModels按需自助服务On-demandSelf-Service无处不在的网络接入BroadNetworkAccess敏捷的弹性RapidElasticity资源池ResourcePooling可度量的服务MeasuredService公有云PublicCloud私有云PrivateCloud混合云HybridCloud社区云CommunityCloud基础设施即服务InfrastructureasaService(IaaS)平台即服务PlatformasaService(PaaS)软件即服务SoftwareasaService(SaaS)云计算优势数据在云端：不怕丢失,不必备份,可以任意点的恢复；软件在云端：不必下载自动升级；无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务；无限强大的计算：具有无限空间的，无限速度。硬件为中心软件为中心服务为中心PCC/S云计算43云计算特点超大规模

Google云计算拥有100多万台服务器，Amazon、IBM等也有几十万台。虚拟化

物理属性（地理位置、存储磁盘等）对用户透明。高可靠性数据具有多副本容错、计算节点同构来保障服务的高可靠性。通用性在云计算支撑下，可以构造千变万化的应用服务。高可伸缩性规模可以动态伸缩，满足应用和用户规模增长的需要。按需服务将计算作为一种资源，用户按需购买极其廉价体现在多个方面，计算节点廉价、管理成本低、能源利用率高等。44云计算服务及好处基础设施服务（InfrastructureasaService，IaaS）平台环境服务（PlatformasaService,PaaS）应用软件服务（SoftwareasaService,SaaS）存储服务网络服务开发与运行环境计算服务各类开放服务能力办公应用信息化应用通讯应用互联网应用数据库123好处IaasPaaSSaaS低成本、大规模、高效率提供IT基础设施统一平台架构，开放平台能力，引入外部开发创新力量，形成生态系统增强业务性能，降低业务提供成本，降低终端要求基于网络以服务的形式提供计算、存储等资源能力基于互联网以服务的形式提供平台运行环境（运行库）基于互联网以服务的形式提供软件应用基础设施即服务（实用计算、虚拟化）IaaS——InfrastructureasaService

是为IT行业创造虚拟的计算和数据中心，使得其能够把计算单元、存储器、I/O设备、带宽等计算机基础设施，集中起来成为一个虚拟的资源池来为整个网络提供服务。用多少算多少AmazonWebServices，简作AWS弹性计算云EC2（ElasticComputeCloud）——计算简单存储服务S3（SimpleStorageService）——存储软件即服务SaaS——SoftwareasaServiceSaaS是一种基于互联网提供软件服务的应用模式。软件租赁：用户按使用时间和使用规模付费绿色部署：用户不需安装，打开浏览器即可运行不需要额外的服务器硬件软件（应用服务）按需定制软件即服务SaaS产品SalesforceCRM阿里软件GoogleappsAlexa排名：第一名Salesforce第二名阿里软件第三名铭万第四名金算盘第五名中企动力第六名神码在线第七名商务领航第八名友商网第九名八百客第十名平台即服务PaaS（Platformasaservice）是提供开发环境、服务器平台、硬件资源等服务给用户，用户可以在服务提供商的基础架构基础上开发开发程序并通过互联网和其服务器传给其他用户。PaaS能够提供企业或个人定制研发的中间件平台，提供应用软件开发、数据库、应用服务器、试验、托管及应用服务，为个人用户或企业的团队协作。平台即服务PaaS（Platformasaservice）GoogleAppEngine

云计算的目标企业B企业A企业C企业A企业B企业C互联网云平台服务商像用电、水一样使用IT发电厂企业自己部署发电设施企业使用公共电力服务电力传输网络云存储与云服务云计算的一个主要用途就是存储数据。采用云存储的过程中，数据被存放到多个第三方服务器的存储介质上，而不是像传统的数据存储那样存放在企业的专用服务器上。云动态地管理可用的存储空间，实际的存储位置可能每天甚至每分钟都不尽相同。尽管位置是虚拟的，用户所看到的数据位置每天都处于相对于观察者的固定状态。云存储与云服务通过云计算提供的任何基于web的应用或服务都被称为云服务，它包括从日历和客户关系管理到文字处理和演示的任何应用。云服务具有诸多优势，如果用户的电脑崩溃，它既不会影响到宿主应用程序，也不会影响到已经打开的文件，并且个人用户可以从任何地点，在任何时间，使用任何智能终端访问他的应用程序和文件。计算资源的演进：从集中到分散再到集中全世界只需要5台电脑就足够了

——托马斯·沃森个人用户的内存只需640K足矣

——比尔·盖茨计算时代网络时代云时代云计算的特点(缺点)企业级安全性问题，数据隐私保密云计算宿主离线所产生的事故迫使用户适应新的操作环境、更改使用习惯网络带宽的局限性问题-55-云计算技术体系结构由于云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决方案，目前还没有一个统一的技术体系结构；综合不同厂家的方案，给出一个供商榷的云计算体系结构。这个体系结构如下图所示，它概括了不同解决方案的主要特征，每一种方案或许只实现了其中部分功能，或许也还有部分相对次要功能尚未概括进来。云计算技术体系结构-57-云计算技术体系结构云计算技术体系结构分为4层：物理资源层、资源池层、管理中间件层和SOA构建层（如上图）；物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作-58-云计算技术体系结构管理中间件负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务；SOA构建层将云计算能力封装成标准的WebServices服务，并纳入到SOA体系进行管理和使用，包括服务注册、查找、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。-59-云计算技术体系结构计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等；-60-云计算技术体系结构用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。基于上述体系结构，以IaaS云计算为例，简述云计算的实现机制，如下图。云计算实现机制云用户端：提供云用户请求服务的交互界面，也是用户使用云的入口，用户通过Web浏览器可以注册、登录及定制服务、配置和管理用户。打开应用实例与本地操作桌面系统一样。服务目录：云用户在取得相应权限（付费或其他限制）后可以选择或定制的服务列表，也可以对已有服务进行退订的操作，在云用户端界面生成相应的图标或列表的形式展示相关的服务。管理系统和部署工具：提供管理和服务，能管理云用户，能对用户授权、认证、登录进行管理，并可以管理可用计算资源和服务，接收用户发送的请求，根据用户请求并转发到相应的相应程序，调度资源智能地部署资源和应用，动态地部署、配置和回收资源。监控：监控和计量云系统资源的使用情况，以便做出迅速反应，完成节点同步配置、负载均衡配置和资源监控，确保资源能顺利分配给合适的用户。服务器集群：虚拟的或物理的服务器，由管理系统管理，负责高并发量的用户请求处理、大运算量计算处理、用户Web应用服务，云数据存储时采用相应数据切割算法采用并行方式上传和下载大容量数据。用户可通过云用户端从列表中选择所需的服务，其请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置Web应用。云计算关键技术云计算关键技术分布式文件系统并行计算设计和编程模型统一管理智能空间管理资源管理与调度虚拟化技术基础核心云计算关键技术：计算虚拟化技术软件与硬件相结合每台机器上只有单一操作系统物理硬件逻辑抽象后，软件独立于物理硬件单台机器上可以有多个操作系统UnixWindowsLinuxIBMHPHDSSunH3C存储虚拟化平台服务器虚拟化平台存储设备虚拟存储池统一不同操作系统和异构存储资源大容量数据扩容和分区管理数据自动备份和恢复统一存储策略管理快照迁移虚拟计算资源复制镜像云计算关键技术：资源池虚拟化云计算关键技术：资源管理与调度建立超大规模集群的资源管理系统，实现透明化的可伸缩计算系统，提高资源的使用效率、发挥计算资源的聚合效能关键技术虚拟机生成虚拟机文件管理（复制、备份）快速的动态部署技术资源监控与调度，高效负载均衡高效迁移技术故障快速检测与容错技术高效的资源动态扩展技术67镜像文件存储器部署服务器、监控服务器调度服务器云计算关键技术：并行计算传统的并行计算算法复杂，并行规模有限（1024个节点），Mapreduce通过若干优化（本地化计算），简化模型（Map和Reduce）高效地并发计算（扩展到5000个节点）Google的搜索要求在几百毫秒内得到结果，如果采用传统的计算方式是不可能达到的。200多亿个网页，产生的索引是天文数据。2000年时2亿个网页，2005年是20亿，2009年初是200亿云计算关键技术：分布式文件系统文件划分为64M的块每一块至少在三个服务器上保存（可靠性）其中某块数据失效，会从其他块访问并恢复新的块‏主机（Master）管理所有元数据信息（每个块的具体大小、位置、起始）数据实际上直接在客户端和块服务器（ChunkServer）之间传输主机和块服务器之间保持通讯，以保证块服务器和块数据的有效性每次主机重启，都会重新从块服务器中刷新信息文件客户端应用备份主机MasterMasterC0C1C2C5块服务器C0C2C5块服务器C1块服务器…文件客户端应用C5C3文件命名空间块12ef7块n...块m...块s.../foo/bar存储资源管理计算资源管理网络资源管理应用性能管理ExecutiveDashboardServiceLevelReporting统一管理中心部署对计算、存储、网络的统一资源化管理平台网络，安全资源的触发联动技术部署实现存储资源基于策略的动态调整机制云计算关键技术：统一管理云计算发展的障碍云计算何时从云端到地面标准不统一Google、Amazon、IBM、微软等的平台互不兼容两大巨头的“云计算”之争

云计算何时从云端到地面数据真的安全？云服务提供商的信誉——留后门？！面临着全世界的黑客——需要高强度的安全系统云计算何时从云端到地面网络带宽3G尚未普及，费用极高云计算何时从云端到地面耗电量巨大主旋律——节能减排终端设备的电池容量有限第三部分大数据与云计算

云计算和大数据的关系

本质上，云计算与大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；而大数据则是计算的对象，是静的概念。

大数据需要处理大数据的能力（数据获取、清洁、存储、统计分析以及数据挖掘等能力），其实就是强大的存储与计算能力；所以可谓是动中有静。如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！

离开云技术海量的存储和天量的计算能力，大数据根本没有才、生存的根基和落地的可能！！！第四部分物联网与云计算物联网定义基本定义：将各种信息传感设备，如射频识别(RFID)装置、红外感应器、全球定位系统、激光扫描器等种种装置与互联网结合起来而形成的