云计算和大数据讲座(详细)

讲座纲要

数据中心与云计算架构基础1重点关注的云计算系统平台2国内行业云计算推广与应用3云计算技术与大数据时代4第一页，共111页。一、数据中心与云计算架构基础泛在互联的时代1移动电话PCsTVsPDAsGPS导航汽车电子设备智能家电iPhoneDCs传感器。。。我们已经进入一个无处不网、无时不网的时代！第二页，共111页。一、数据中心与云计算架构基础云计算技术来由2云计算是能够提供动态资源池、虚拟化和高可用性的下一代计算平台，借用了量子物理中的“电子云”（ElectronCloud），强调说明信息处理的弥漫性、无所不在的分布性和社会性特征。云计算技术可将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务，一般具备以下3个典型特征：

（1）硬件基础设施架构在大规模的廉价服务器集群之上；

（2）应用程序与底层服务协作开发，最大限度地利用资源；

（3）通过多个廉价服务器之间的冗余，使用软件获得高可用性。第三页，共111页。一、数据中心与云计算架构基础存储服务计算服务软件服务信息处理信息资源利用第四页，共111页。一、数据中心与云计算架构基础第五页，共111页。一、数据中心与云计算架构基础数据中心3维基百科给出的定义是“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。谷歌的《TheDatacenterasaComputer》一书中,将数据中心解释为“多功能的建筑物,能容纳多个服务器以及通信设备。这些设备被放置在一起是因为它们具有相同的对环境的要求以及物理安全上的需求,并且这样放置便于维护”,而“并不仅仅是一些服务器的集合”第六页，共111页。一、数据中心与云计算架构基础数据中心4数据中心外部第七页，共111页。第八页，共111页。第九页，共111页。第十页，共111页。第十一页，共111页。Google的节能措施第十二页，共111页。微软的节能措施第十三页，共111页。第十四页，共111页。一、数据中心与云计算架构基础数据中心4数据中心内部第十五页，共111页。第十六页，共111页。第十七页，共111页。第十八页，共111页。Google在芬兰Hamina数据中心第十九页，共111页。Google爱荷华州的ConcilBluffs数据中心第二十页，共111页。微软的节能措施第二十一页，共111页。第二十二页，共111页。一、数据中心与云计算架构基础数据中心3规模经济性项目中型数据中心成本特大型数据中心成本比率网络$95每Mb/秒/月$13每Mb/秒/月7.1存储$2.20每GB/月$0.40每GB/月5.7管理每个管理员约管理140个服务器每个管理员管理1000个服务器以上7.1更低的硬件成本更低廉的电价更低的管理费用更高的利用率从10-15%到80%第二十三页，共111页。一、数据中心与云计算架构基础云计算技术特点5虚拟化分布式并行计算海量存储桌面应用云计算关键技术安全资源调度超大规模虚拟化云计算特点高可扩展性按需服务高可靠性极其廉价第二十四页，共111页。一、数据中心与云计算架构基础虚拟化机制6Wikipedia，维基百科的虚拟化定义虚拟化是表示计算机资源的抽象方法，通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源。这种资源的抽象方法并不受实现、地理位置或底层资源的物理配置的限制。IBM的虚拟化定义虚拟化是资源的逻辑表示，它不受物理限制的约束。虚拟化的三层含义虚拟化的对象是各种各样的资源；经过虚拟化后的逻辑资源对用户隐藏了不必要的细节；用户可以在虚拟环境中实现其在真实环境中的功能。虚拟化技术第二十五页，共111页。一、数据中心与云计算架构基础虚拟化机制6虚拟化技术虚拟化包括：网络虚拟化存储虚拟化桌面虚拟化服务器虚拟化应用虚拟化其它第二十六页，共111页。一、数据中心与云计算架构基础虚拟化机制6系统虚拟化系统虚拟化：使用虚拟化软件在一台物理机上虚拟出一台或多台虚拟机（VirtualMachine,VM）。虚拟运行环境需要为在其上运行的虚拟机提供一套虚拟的硬件环境，包括虚拟的服务器、内存、设备与I/O及网络接口等。第二十七页，共111页。一、数据中心与云计算架构基础虚拟化机制6系统虚拟化VmwareWorkstation第二十八页，共111页。一、数据中心与云计算架构基础虚拟化机制6服务器虚拟化服务器虚拟化：将系统虚拟化应用于服务器上，将服务器进行整合，根据需求虚拟出若干个服务器。第二十九页，共111页。一、数据中心与云计算架构基础虚拟化机制6桌面虚拟化桌面虚拟化：将用户的桌面环境与使用的终端设备解耦合。优势：通过实施桌面虚拟化，可将原有的终端数据资源甚至操作系统都转移到后台数据中心的服务器，而前台终端可以转化为以显示为主、计算为辅的轻量级客户端。第三十页，共111页。一、数据中心与云计算架构基础虚拟化机制6桌面虚拟化第三十一页，共111页。一、数据中心与云计算架构基础云计算类别7第三十二页，共111页。一、数据中心与云计算架构基础云计算类别7第三十三页，共111页。讲座纲要

数据中心与云计算架构基础1重点关注的云计算系统平台2国内行业云计算推广与应用3云计算技术与大数据时代4第三十四页，共111页。二、重点关注的云计算系统平台Google云计算190%计算任务都能够通过“云计算”技术完成桌面软件正在向Web软件转型云计算是开放标准，业界不会有公司垄断中小企业、大学、消费者会相对迅速地转

向基于Web的“云计算”技术新的赢利模式低廉的云计算给Google带来更多的流量，进而

带来更多的广告收入承认“云计算”不会在一夜之间普及大公司通常会慢慢地改变自己的习惯其它问题，例如“飞机问题”，以及在不能上网时用户如何工作。Google观点GoogleCEO埃立克.施米特第三十五页，共111页。二、重点关注的云计算系统平台Google云计算1在计算机上安装的传统软件是微软的根本比尔·盖茨(BillGates)接受媒体采访时曾提出：“我们致力于推动PC成为一切的中心”微软将自身的战略称为“软件加服务”微软将Google的乐观称作是一厢情愿。

利用Web软件收发电子邮件、处理文档和电子表格、进行协作很方便吗？高速宽带连接会象Google断言的那样普及和可靠吗？企业、大学、消费者会让Google保存他们的资料吗？Microsoft观点MicrosoftCEO史蒂夫.鲍尔默孰优孰劣，等待市场检验！第三十六页，共111页。二、重点关注的云计算系统平台Google云计算1“浏览器＝操作系统”第三十七页，共111页。二、重点关注的云计算系统平台Google云计算1应用分类第三十八页，共111页。二、重点关注的云计算系统平台Google云计算1应用分类Google在线文档第三十九页，共111页。二、重点关注的云计算系统平台Google云计算1应用分类Google地图第四十页，共111页。二、重点关注的云计算系统平台Google云计算1应用分类Google邮件41第四十一页，共111页。二、重点关注的云计算系统平台Google云计算1应用分类Google日历第四十二页，共111页。二、重点关注的云计算系统平台Google云计算1应用分类Google

Wave,Google+信息分享、协作、发布平台第四十三页，共111页。Google云计算1应用分类隶属于PaaS的Google云计算属于部署在云端的应用执行环境支持Python和Java两种语言通过SDK提供Google的各种服务，如图形、MAIL和数据存储等可使用Google的基础服务，如BigTable和GFS等用户仅需提供应用代码，无需服务器维护应用程序可根据访问量和数据存储需要的增长轻松进行扩展用户可快速、廉价地部署自己开发的应用（如创新的网站、游戏等）二、重点关注的云计算系统平台第四十四页，共111页。二、重点关注的云计算系统平台Google云计算1需求分析Google拥有海量数据，需要存储管理和快速处理对爬虫获取的网页进行倒排索引计算网站的PageRank分析搜索趋势(GoogleTrends)计算网页的访问量……第四十五页，共111页。二、重点关注的云计算系统平台Google云计算1关键技术Google云计算平台关键技术文件存储，GoogleDistributedFileSystem，GFS并行数据处理MapReduce分布式锁Chubby结构化数据表BigTableGoogle云计算应用MapReduceBigTableGFSChubbySimple,andgoodenough!第四十六页，共111页。二、重点关注的云计算系统平台亚马逊云计算AWS

2一个简单的想法IaaS：将硬件设备等基础资源封装成服务供用户使用主要思想：虚拟优势：动态申请，资源无限起源第四十七页，共111页。二、重点关注的云计算系统平台亚马逊云计算AWS

2简单存储服务(simplestorageservice,简称S3)简单队列服务(simplequeueservice,简称SQS)弹性计算云EC2系统关键功能第四十八页，共111页。二、重点关注的云计算系统平台亚马逊云计算AWS

2应用示范AWS的应用案例——SmugMug为什么选择AWS

SmugMug是一家在线照片存储共享网站，拥有数亿照片资源和几十万付费用户。业务量的急剧增长导致该新兴公司无法承受巨额的基础设施开销，SmugMug选择了Amazon的EC2服务和S3服务。应用AWS后，仅需50人即可完成如此大的业务量。第四十九页，共111页。二、重点关注的云计算系统平台亚马逊云计算AWS

2应用示范AWS的应用案例——《纽约时报》使用亚马逊云计算服务在不到24个小时的时间里处理了1100万篇文章累计花费240美元如果用自己的服务器，需要数月和多得多的费用第五十页，共111页。二、重点关注的云计算系统平台亚马逊云计算AWS

2应用示范AWS的应用案例——《纽约时报》第五十一页，共111页。二、重点关注的云计算系统平台亚马逊云计算AWS

2资费情况AmazonSimpleStorageService$.15perGBpermonthstorage

Object-BasedStorage1B–5GB/objectFast,Reliable,ScalableRedundant,Dispersed99.99%AvailabilityGoalPrivateorPublicPer-objectURLs&ACLsBitTorrentSupport$.10-$.18perGBdatatransfer$.01for1000to10000requests第五十二页，共111页。二、重点关注的云计算系统平台亚马逊云计算AWS

2资费情况AmazonElasticComputeCloudVirtualComputeCloudElasticCapacity1.7GHzx861.7GBRAM160GBDisk250MB/SecondNetworkNetworkSecurityModelTimeorTraffic-basedScaling,Loadtesting,SimulationandAnalysis,Rendering,SoftwareasaServicePlatform,Hosting$.10-$.18perGBdatatransfer$.10perserverhour第五十三页，共111页。二、重点关注的云计算系统平台

其它云计算平台3OracleRealApplicationCluster第五十四页，共111页。二、重点关注的云计算系统平台

其它云计算平台3微软云计算第五十五页，共111页。二、重点关注的云计算系统平台

其它云计算平台3IBM云计算第五十六页，共111页。二、重点关注的云计算系统平台

其它云计算平台3HP云计算第五十七页，共111页。二、重点关注的云计算系统平台

其它云计算平台3VmwarevCenter动态迁移：VMware（storage）vMotion容错：VMwareFaultTolerance高可用性：VMwareHighAvailability备份：VMCB（VMwareConsolidatedBackup）安全：vSafe，vShield资源优化：DRS（DistributedResourceScheduler）第五十八页，共111页。二、重点关注的云计算系统平台

其它云计算平台3EMCAtmos第五十九页，共111页。二、重点关注的云计算系统平台

其它云计算平台3Cisco统一计算系统第六十页，共111页。二、重点关注的云计算系统平台

开源云计算平台4Hadoop：Google云计算的开源实现OpenStack：云平台管理的项目，美国国家航空航天局和Rackspace合作研发的Eucalyptus：Amazon云计算的开源实现Cassandra：结合了Dynamo的分布技术和Google的BigTable数据模型，高度可扩展、最终一致、分布式的结构化键值存储系统。Hive：基于Hadoop的数据仓库工具EnomalyECP：提供类似于EC2的云计算框架第六十一页，共111页。二、重点关注的云计算系统平台

开源云计算平台4Nimbus：基于网格中间件Globus，提供与EC2类似的功能和接口SectorandSphere：类似MapReduceAbiquo：以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施（包括虚拟服务器、网络、应用和存储设备等）MongoDB：构建基于分布式文件存储系统的数据库第六十二页，共111页。讲座纲要

数据中心与云计算架构基础1重点关注的云计算系统平台2国内行业云计算推广与应用3云计算技术与大数据时代4第六十三页，共111页。三、国内行业云计算推广与应用

中央政府1国务院国务院关于加快培育和发展战略性新兴产业的决定（国发〔2010〕32号）一（三）：我国要在未来国际竞争中占据有利地位，必须加快培育和发展战略性新兴产业，掌握关键核心技术及相关知识产权，增强自主发展能力。二（三）：……节能环保、新一代信息技术、生物、高端装备制造产业成为国民经济的支柱产业……创新能力大幅提升，掌握一批关键核心技术，在局部领域达到世界领先水平……三（二）：新一代信息技术产业。……加快推进三网融合，促进物联网、云计算的研发和示范应用……第六十四页，共111页。三、国内行业云计算推广与应用

中央政府1发改委和工信部关于做好云计算服务创新发展试点示范工作的通知

（发改高技[2010]2480号）工信部：国内云计算标准化年底出台主要涉及到标准主体、切入点、运营、建设等方面。其中重点是互联网数据中心的管理。在北京、上海、深圳、杭州、无锡等五个城市先行开展云计算创新发展试点示范工作二（二）：以信息服务骨干企业牵头、产学研用联合方式，加强虚拟化技术、分布式存储技术、海量数据管理技术等核心技术研发和产业化。第六十五页，共111页。三、国内行业云计算推广与应用

中央政府1发改委和工信部试点城市北京祥云计划(2010.7)中关村云计算联盟(2010.7)上海云海计划(2010.8)深圳华南云计算中心(2010.11)杭州无锡无锡云计算中心(2008)二期(2010)物联网云计算数据中心(2010.11)微软云计算中心(2009.5)西湖云计算服务平台(2010.12)第六十六页，共111页。三、国内行业云计算推广与应用

中央政府1发改委和工信部其它城市哈尔滨中国云谷(2010.11)大连大连云计算知识产权展览中心(2010)天津云计算战略产业旗舰总部(2010.10)济南山东省云计算中心(2010.8)南京阿里软件云计算中心(2008)广州天云计划(2011.2)第六十七页，共111页。三、国内行业云计算推广与应用

中央政府1发改委和工信部其它城市西安西安软件园云计算中心(2010.12)微软西部云计算中心(2011.4)成都四川电信西部信息中心(2011.1)重庆两江国际云计算中心(2011.4)武汉中国国际云计算数据港(2011.1)澳门与珠海共建云计算技术和应用实验室(2010.10)香港与IBM共建云计算实验室(2010.4)第六十八页，共111页。三、国内行业云计算推广与应用

国内运营商2发改委和工信部打造端到端的移动互联网基础设施，用云计算支撑业务系统部署、开发、分发、运行。BigCloud1.0已实现分布式文件系统、分布式海量数据仓库、分布式计算框架、集群管理、云存储系统、弹性计算系统、并行数据挖掘工具等功能。目前部署1000台服务器的云试验平台。第六十九页，共111页。三、国内行业云计算推广与应用

国内运营商2发改委和工信部已推出“e云存储”服务和两种品牌的“e云手机”。“星云计划”正在四个城市开展云计算的现场实验，包括：IDC演进与业务试点、商务领航SaaS应用、基于云计算的移动互联网应用研究、基于云计算的号百优化与提升等。第七十页，共111页。三、国内行业云计算推广与应用

国内运营商2发改委和工信部2009年下半年起，中国联通IDC开始建设“互联云”，实现不同云之间的互联，从而集成系统中的硬件、软件、网络、应用和服务的综合性平台。2010年7月27日宣布在青岛建“云计算”基地，要打造成“北方数据中心”乃至“东北亚数据中心”。第七十一页，共111页。三、国内行业云计算推广与应用

典型云平台3中国移动BigCloud第七十二页，共111页。三、国内行业云计算推广与应用

典型云平台3淘宝云平台第七十三页，共111页。三、国内行业云计算推广与应用

典型云平台3淘宝云平台第七十四页，共111页。三、国内行业云计算推广与应用

典型云平台3万网云计算第七十五页，共111页。三、国内行业云计算推广与应用

典型云平台3腾讯PaaS云操作系统WebQQ2.0第七十六页，共111页。三、国内行业云计算推广与应用

典型云平台3腾讯PaaSQQ云词典第七十七页，共111页。三、国内行业云计算推广与应用

典型云平台3百度框计算第七十八页，共111页。三、国内行业云计算推广与应用

典型云平台3新浪云平台SinaAppEngine第七十九页，共111页。三、国内行业云计算推广与应用

典型云平台3云安全传统安全的处理策略：Oneformany查毒软件开始查杀一台电脑出现症状加入病毒库系统升级第八十页，共111页。三、国内行业云计算推广与应用

典型云平台3云安全查毒软件开始查杀多台电脑类似操作加入病毒库系统升级上报内容？云安全的基本思想：Manyforone/many利用客户端搜集样本，客户越多，根据搜集的样本进行安全分析越可靠（大量的探针）第八十一页，共111页。三、国内行业云计算推广与应用

典型云平台3云安全病毒响应更及时体积更小、查杀病毒能力更强轻量级客户端适合于移动设备查杀“未知”病毒，保障用户彻底安全第八十二页，共111页。讲座纲要

数据中心与云计算架构基础1重点关注的云计算系统平台2国内行业云计算推广与应用3云计算技术与大数据时代4第八十三页，共111页。四、云计算技术与大数据时代数据的发展1第八十四页，共111页。四、云计算技术与大数据时代数据的发展1第八十五页，共111页。四、云计算技术与大数据时代数据的发展1第八十六页，共111页。四、云计算技术与大数据时代互联网的一天2一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。第八十七页，共111页。四、云计算技术与大数据时代大数据时代来临3截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。到2020年，全世界所产生的数据规模将达到今天的44倍。第八十八页，共111页。四、云计算技术与大数据时代《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”。数据并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。大数据时代来临3第八十九页，共111页。四、云计算技术与大数据时代大数据时代来临312011年-2016年中国大数据市场规模2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。2012年中国大数据市场规模达到4.7亿元，2013年大数据市场增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。第九十页，共111页。四、云计算技术与大数据时代大数据时代来临32各行业大数据市场规模政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个行业都存在大数据应用需求，潜在市场空间非常可观。第九十一页，共111页。四、云计算技术与大数据时代大数据的定义4维基百科：或称巨量数据、海量数据、大数据，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下，与个别分析独立的小型数据集（dataset）相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等。Gartner：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。IDC定义：为了更为经济的从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。第九十二页，共111页。四、云计算技术与大数据时代

大数据的特征5Volume（大量）：数据体量巨大。

从TB级别，跃升到PB级别；Variety（多样）：数据类型繁多。

网络日志、视频、图片、传感器数据、地理位置信息等。Velocity（高速）：处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这是和传统的数据挖掘技术有着本质的不同。Value（价值）：合理利用低密度价值的数据并对其进行正确、准确的分析，将会带来很高的价值回报。4个“V”第九十三页，共111页。四、云计算技术与大数据时代

大数据与云计算61目前数据系统架构存在问题第九十四页，共111页。四、云计算技术与大数据时代

大数据与云计算62目前数据分析处理面临的问题第九十五页，共111页。四、云计算技术与大数据时代

大数据与云计算6从技术上看，大数据与云计算的关系密