云计算技术与大数据处理技术

云计算与

大数据并行处理技术现在是1页\一共有197页\编辑于星期四主要内容第一部分：云计算与大数据技术简介简要介绍云计算和大数据技术的发展背景、主要技术特点、现状与趋势第二部分：大数据研究涉及的层面和主要研究内容主要介绍大数据研究所涉及的各个层面以及各层面下的主要研究内容和热点问题第三部分：大数据并行处理技术研究简要介绍在大数据方面所开展的一些工作现在是2页\一共有197页\编辑于星期四第一部分

云计算与大数据技术简介现在是3页\一共有197页\编辑于星期四云计算发展的背景从计算模式的演变看计算技术发展的趋势计算技术发展的历史就是不同层面上计算模式发展和演变的历史；而相关支撑技术的成熟为计算模式的演变和实现提供了基础和条件计算模式的演进过程是受到一定的发展规律支配的，存在一定的必然性现在是4页\一共有197页\编辑于星期四云计算发展的背景从计算模式的演变看计算技术发展的趋势计算模式变革的两大根本目标：更方便快捷的使用方式更强大的计算能力在提供更强大计算能力的同时，提供更加方便快捷的使用方式，是贯穿整个计算技术发展的主线现在是5页\一共有197页\编辑于星期四云计算发展的背景

集中分散集中60-70’s:大型机(mainframe),

集中式、分时共享80-90’s:个人计算机人手一台95-06:互联网/网格/集群/数据中心

“天下大势，合久必分，分久必合”“否定之否定，螺旋式上升”从计算模式的演变看计算技术发展的趋势现在是6页\一共有197页\编辑于星期四云计算发展的背景60-70’s:大型机(mainframe),

集中式、分时共享IBM创始人托马斯·沃森(ThomasJ.Watson):

“我认为全球大概只需要五台计算机就够了。”60年代，比尔盖茨读中学时需要以每小时40美金的费用租用大型机终端做程序设计。从计算模式的演变看计算技术发展的趋势现在是7页\一共有197页\编辑于星期四云计算发展的背景80-90’s:个人计算机(PC)人手一台因此，比尔盖茨产生了一个伟大的梦想：“让每一张桌子上有一台电脑！”这个梦想成就了微软，推动了个人计算时代的来临。比尔盖茨，1981年表示：“640KB内存应该对任何人都够用了。”1980年微软开发DOS时曾认为：“DOS只能管理1MB的空间，因为我们无法想象还有什么应用软件会需要更多的内存。”从计算模式的演变看计算技术发展的趋势现在是8页\一共有197页\编辑于星期四云计算发展的背景95-06:互联网/网格/集群/数据中心

分离的PC需要互连以交换信息共享资源互联网连接更多的计算资源以解决大的计算问题网格计算用很多微处理器构建具有大型机处理能力的系统集群很多的集群存储处理大量的信息数据中心Yahoo，Amazon，Google……从计算模式的演变看计算技术发展的趋势现在是9页\一共有197页\编辑于星期四云计算发展的背景2006年至今“更分散同时也更集中”前端更加分散：2006年后，一方面前端更加分散，以智能手机和IPad为代表的智能移动终端，推动移动计算技术发展

“PC太大了，每个人口袋里应该放一台！”传感网络、普适计算、物联网概念和技术

“每一粒沙子都应该是一台计算机！”从计算模式的演变看计算技术发展的趋势移动计算和物联网现在是10页\一共有197页\编辑于星期四云计算发展的背景2006年至今“更分散同时也更集中”后端更加集中：另一方面，后端更加集中，出现云计算概念和技术，让计算成为像水电一样的公共服务，便于资源共享，以及提供超大的计算能力从计算模式的演变看计算技术发展的趋势云计算现在是11页\一共有197页\编辑于星期四云计算发展的背景从计算模式的演变看计算技术发展的趋势从信息处理及其模式看物联网的发展信息是物理世界中对象和事物状态属性的抽象和表示信息处理是借助于计算机对信息进行加工处理的过程信息处理完成后将反作用于物理世界中的对象和事物计算机物理世界信息现在是12页\一共有197页\编辑于星期四云计算发展的背景从计算模式的演变看计算技术发展的趋势从信息处理及其模式看物联网的发展按照从物理对象获取和反馈信息的方式和对象与计算系统之间的耦合度，信息处理可分为4种模式：

早期计算模式主要是离线获取、离线反馈的松耦合模式，信息处理和使用的效率不高

离线获取在线反馈现在是13页\一共有197页\编辑于星期四云计算发展的背景从计算模式的演变看计算技术发展的趋势从信息处理及其模式看物联网的发展而现在越来越强调对物理对象信息处理的普遍性、时效性和方便性，因此越来越需要在线获取和在线反馈的紧耦合模式，这就产生“物联网”的概念和计算模式人作为物理世界中一类特殊对象、以及控制和使用计算系统的主体，如果我们综合考虑人、计算系统和物理世界对象三者间的交互作用，这就产生“人机物系统”的概念和计算模式

现在是14页\一共有197页\编辑于星期四云计算发展的背景从计算模式的演变看计算技术发展的趋势云计算与物联网物联网是前端计算能力向物理世界的前伸，使得计算系统与物理世界对象深度融合，获取信息更加快速和多样，信息量迅猛增长云计算则是计算系统后端处理能力的拓展，为快速有效处理大量物理世界的信息提供有效的计算手段和计算能力两者将相互结合，推动新的计算模式和计算技术发展现在是15页\一共有197页\编辑于星期四什么是云计算？CloudComputing,UtilityComputing,ServiceComputing……通过集中式远程计算资源池，以按需分配方式，为终端用户提供强大而廉价的计算服务能力工业化部署、商业化运作的大规模计算能力一种新的、可商业化的计算和服务模式计算能力像水电煤气一样，按需分配使用资源池物理上对用户透明就像在云端一样现在是16页\一共有197页\编辑于星期四云计算概念的由来“Thecomputationandthedataandsoforthareintheservers.…Wecallitcloudcomputing.”(ErickSchmidt,2006)“computationmaysomedaybeorganizedasapublicutility”(JohnMcCarthy,1960)“云计算”的概念在2006年由Google公司正式提出但最初的思想雏形可追溯到更早的时间现在是17页\一共有197页\编辑于星期四云计算的发展目标

云计算的一个重要目标是，把计算能力变成像水电等公用服务一样，随用随取，按需使用。故此也有人把云计算称为“UtilityComputing”这里Utility不是效用、实用的意思，在英文里Utility有一个专门的含义，专指类似于水电煤气的公用服务，故UtilityComputing应译为“公用服务计算”现在是18页\一共有197页\编辑于星期四云计算的主要特点透明的云端计算服务“无限”多的计算资源，提供强大的计算能力按需分配，弹性伸缩，取用方便，成本低廉资源共享，降低企业IT基础设施建设维护费用应用部署快速而容易软件/应用功能更新方便快捷节省能源，绿色环保集计算技术之大成，具有很强的技术性、工程型特点现在是19页\一共有197页\编辑于星期四云计算的分类按云计算服务层面进行分类SaaS：SoftwareasaService提供各种应用软件服务PaaS：PlatformasaService提供软件支撑平台服务IaaS：InfrastructureasaService提供接近于裸机(物理机或虚拟机)的计算资源

和基础设施服务现在是20页\一共有197页\编辑于星期四云计算硬件平台云计算的分类云计算软件支撑平台云计算应用服务软件SaaS如腾讯云词典PaaS如GoogleAppEngIaaS如AmazonEC2云计算应用按云计算服务层面进行分类现在是21页\一共有197页\编辑于星期四云计算的分类按云计算系统类型进行分类美国联邦云计算战略报告中，定义了4中云：公用云：提供面向社会大众、公共群体的云计算服务如Amazon云平台，GoogleAppEng

公有云有很多优点，但最大的一个缺点是难以保证数据的私密性私有云：提供面向应用行业/组织内的云计算服务如政府机关、移动通信、学校等内部使用的云平台

私有云可较好地解决数据私密性问题，对移动通信、公安等数据私密性要求特别高的企业或机构，建设私有云将是一个必然的选择现在是22页\一共有197页\编辑于星期四云计算的分类按云计算系统类型进行分类社区云：提供面向社团组织内用户使用的云计算平台

如美国航天局(NASA)Nebula云平台为NASA内的研究人员提供快速的IT访问服务混合云：包含以上2种以上云计算类型的混合式云平台现在是23页\一共有197页\编辑于星期四云计算发展的推动力应用需求推动力大粒度应用系统日益增多，系统规模日益扩大应用系统数据量爆炸性增长中国移动全国每天的电话短信通联记录数据达到500TB；而中国移动一个流量最大的省每天的通联记录数据可达到65TB阿里巴巴电子商务平台日处理数据量将达到500TB，目前淘宝交易总数据量已经达到1500PB百度存储100-1000PB数据，每日处理10-100PB；存储1千-1万亿网页，索引100-1000亿网页仅2011年，全世界产生1.8ZB（1.8万亿GB）数据，相当于每位美国人每分钟写3条Twitter，不停地写2.7万年YouTube每分钟有13h视频上传，每天数据10TB相当于好莱坞每周发行57000部电影

现在是24页\一共有197页\编辑于星期四云计算发展的推动力应用需求推动力大粒度应用系统日益增多，系统规模日益扩大超大的计算量和计算复杂度用SGI工作站进行电影渲染时，每帧一般需要1～2小时一部2小时的电影渲染需要：

2小时x3600秒x24帧x(1~2小时)/24小时=20~40年!特殊场景每帧可能需要60个小时(影片“星舰骑兵”中数千只蜘蛛爬行的场面),用横向4096象素分辨率进行渲染时，如果以每帧60个小时的速度，则1秒的放映量（24帧）需要60天的渲染时间,1分钟则需要100年！现在是25页\一共有197页\编辑于星期四云计算发展的推动力应用需求推动力小粒度应用系统资源重复、无法共享企业内大量的小粒度应用系统需要添置独立的硬件资源，但不同应用系统忙闲不均，忙时资源不够，闲时资源空置，资源无法相互调配和共享，造成资源和资金浪费

淘宝网案例：后台设置约15万台服务器，服务于不同的应用系统；而不同应用系统的负载不同，忙闲不均；据淘宝测算，如能在不同应用间合理调配计算资源，大约可省去2/3约10万台服务器，以每台3万元计算，可节省约30亿元！现在是26页\一共有197页\编辑于星期四云计算发展的推动力技术发展推动力云计算是诸多计算技术发展成熟与自然进化的产物计算机虚拟化技术、大规模并行计算、分布式存储、面向服务构架、公用服务计算等诸多技术广泛应用计算机系统规模和处理能力迅速扩大技术发展成熟与自然进化的结果现在是27页\一共有197页\编辑于星期四云计算发展的重要性

“从美国来讲，云计算已经是无可争议的主流……，美国整个信息工业都是以云计算为主流往前推动的。云计算对整个信息技术和整个社会将带来非常非常大的影响。”

微软全球副总裁陆奇，2012年10月29日，“中国云·移动互联网创新大奖赛决赛颁奖典礼暨创新创业论坛”主题报告现在是28页\一共有197页\编辑于星期四云计算发展的重要性

“是什么样的推动力产生云计算？什么样的大浪潮可以把云计算继续往前推动？我个人的体会，就是计算模式……。一种计算模式，真正有强大生命力的话，是必须要产生强大的社会经济价值，市场价值，同时对社会造成公益。”

微软全球副总裁陆奇，2012年10月29日，“中国云·移动互联网创新大奖赛决赛颁奖典礼暨创新创业论坛”主题报告现在是29页\一共有197页\编辑于星期四云计算发展的重要性2011年2月8日美国奥巴马总统签署了联邦云计算战略报告，制定该报告的目的：TheFederalGovernment’scurrentInformationTechnology(IT)environmentischaracterizedbylowassetutilization,afragmenteddemandforresources,duplicativesystems,environmentswhicharedifficulttomanage,andlongprocurementleadtimes.TheseinefficienciesnegativelyimpacttheFederalGovernment’sabilitytoservetheAmericanpublic.Cloudcomputinghasthepotentialtoplayamajorpartinaddressingtheseinefficienciesandimprovinggovernmentservicedelivery.Thecloudcomputingmodelcansignificantlyhelpagenciesgrapplingwiththeneedtoprovidehighlyreliable,innovativeservicesquicklydespiteresourceconstraints.美国联邦政府部门计划用全部的800亿美元IT预算中的200亿作为云计算平台开发建设的费用。美国联邦云计算战略报告，2011/2/8现在是30页\一共有197页\编辑于星期四云计算发展的重要性美国联邦云计算战略报告认为：CloudisafundamentalshiftinITCloudcomputingenablesITsystemstobescalableandelastic.Endusersdonotneedtodeterminetheirexactcomputingresourcerequirementsupfront.Instead,theyprovisioncomputingresourcesasrequired,on-demand.Usingcloudcomputingservices,aFederalagencydoesnotneedtoowndatacenterinfrastructuretolaunchacapabilitythatservesmillionsofusersCloudcomputingcansignificantlyimprovepublicsectorITAnumberofgovernmentagenciesareadoptingcloudtechnologiesandarerealizingconsiderablebenefits.Forinstance,NASANebula,throughacommunitycloud,givesresearchersaccesstoITservicesrelativelyinexpensivelyinminutes.Priortoadoptingthisapproach,itwouldtakeresearchersmonthstoprocureandconfigurecomparableITresourcesandsignificantmanagementoversighttomonitorandupgradesystems.ApplyingcloudtechnologiesacrosstheentireFederalGovernmentcanyieldtremendousbenefitsinefficiency,agility,andinnovation.现在是31页\一共有197页\编辑于星期四云计算发展现状与趋势业界云计算技术的发展自2006年Google公司提出云计算技术的概念后，全球IT著名企业纷纷予以极大关注，并投入了巨大力量进行云计算技术的研究开发。现在是32页\一共有197页\编辑于星期四GoogleCloudInfrastructureSchedulerChubbyGFSmasterNodeNodeNode…UserGoogleAppEngineSchedulerslaveGFSLinuxNodeMapReduceFrameworkBigTableServerGoogleCloudInfrastructure

(GoogleAppEngine，PaaS型公用云平台)GoogleAppEngine提供了一种PaaS类型的云计算服务平台，用户可租用该平台的计算资源，并使用AppEngine提供的各种应用开发和支撑软件平台开发和部署自己的应用软件现在是33页\一共有197页\编辑于星期四S3EBSEC2EBSEC2EBSEC2EBSEC2SimpleDBSQSUserDeveloperAmazonElasticComputingCloud

(AmazonEC2，IaaS型公用云平台)SQS:SimpleQueueServiceEC2:RunningInstanceofVirtualMachinesEBS:ElasticBlockService,ProvidingtheBlockInterface,StoringVirtualMachineImagesS3:SimpleStorageService,SOAP,ObjectInterfaceSimpleDB:SimplifiedDatabaseAmazonEC2提供了一种IaaS类型的云计算服务平台，在该平台上用户可部署自己的系统软件，完成应用软件的开发和发布。现在是34页\一共有197页\编辑于星期四租用案例12007年，美国纽约时报租用Amazon云计算平台，用于将1851-1922年纽约时报的1100万篇报刊文章转换为PDF文件,供读者上网免费访问。共租用了100个EC2节点，运行了24小时，处理了4TB的报刊原始扫描图像，生成了1.5TB的PDF文件。每节点每小时费用为10美分，整个计算任务仅花费了240美元(100节点x24小时x$0.10)！如果用自己的服务器，将需要数月和多得多的费用！

AmazonElasticComputingCloud现在是35页\一共有197页\编辑于星期四租用案例2SmugMug（数亿张照片，几十万付费用户，仅50人）是一个在线照片存储公司，初期和传统公司一样，建立了自己的数据中心，并通过不断添置新的IT设备以适应业务量增长，但是很快发现业务量增长速度大大超过了设备添加的速度。作为一家未完全盈利的新型公司，显然难以长期承受巨额的基础设施开销。最后公司选择使用Amazon的S3服务，结合公司实际情况，将最热门的部分照片存储在公司自己的服务器中，剩下的绝大部分照片则转移到S3服务器中，由Amazon来提供照片的安全存储。它把超过0.5PB的数据存储在Amazon的S3云存储中，由此节约的服务和存储成本接近100万美元。AmazonElasticComputingCloud2023/4/20现在是36页\一共有197页\编辑于星期四AmazonElasticComputingCloud租用案例3Animoto公司为注册用户提供通过网站进行图片和音乐上传、在线视频制作和分享等服务。开始选择了一家web托管服务提供商来完成数据处理和信息存储。2008年年初网站每天用户数约为5000人，但到4月中旬，由于Facebook用户开始使用Animoto服务，该网站在三天内的用户数大幅上升至75万人，所要求的服务器能力需要大约提高100倍，但该网站既无资金有无能力来建立规模如此巨大的计算能力，因此，该网站与云计算服务公司RightScale合作，设计了能够在Amazon云中使用的应用程序。这样，使得该网站大大提高了计算能力，而费用仅每小时每台服务器10美分。它使用AmazonEC2快速扩展处理能力，使用3500个同时运行的虚拟实例，成功渡过了一次Web通信高峰期可能带来的系统瘫痪。2023/4/20现在是37页\一共有197页\编辑于星期四MicrosoftCloudServices

(WindowAzure，私有云平台管理和服务软件)

Azure™ServicesPlatformMicrosoftSharePointServicesMicrosoftDynamicsCRMServices现在是38页\一共有197页\编辑于星期四IBM云计算方案

(私有云计算平台管理和服务软件)提供私有云计算资源管理软件平台，主要负责管理和调度虚拟计算资源，完成资源申请、调度和管理等整个生命周期管理现在是39页\一共有197页\编辑于星期四其它国内外IT企业云计算研发

除以上几家全球著名的IT企业外，其它著名IT企业如Cisco、HP、EMC、VMWare等，都在大力推进云计算技术和系统研发。国内各大著名IT企业，如中国移动、中国电信、中国联通、阿里巴巴、腾讯、百度、万网等，都在大力推动云计算技术和系统研发。尤其是著名的网络设备制造商中兴通信和华为，正在开始从传统的网络电信设备制造向计算技术领域转移，他们把云计算作为实现重大战略转移的一个重大契机云计算发展现状与趋势现在是40页\一共有197页\编辑于星期四中国移动BigCloud云计算发展现状目标是建立可为中国移动企业内部进行海量通信数据存储和处理的使用的私有云平台，以及为社会大众和群体使用的公有云平台。现在是41页\一共有197页\编辑于星期四阿里巴巴“飞天”云计算平台已经有超过2万个上线租用企业用户现在是42页\一共有197页\编辑于星期四中兴通信现在是43页\一共有197页\编辑于星期四中兴通信现在是44页\一共有197页\编辑于星期四云计算发展现状与趋势云计算发展趋势云计算将提供一种新的计算模式和服务模式。云计算将是计算技术的一次重大变革，作为今后计算发展的潮流将大大改变现有的计算模式，对计算技术领域本身以及各个应用行业都将带来重大的影响，提供更多的发展机遇

通过云计算人们能获得前所未有的强大计算能力，并能按需分配，按需付费，提升了本地计算能力但使用成本低廉，而且还能大幅削减不断升级软硬件系统的费用通过云计算平台强大的计算和存储能力，人们将能完成传统系统所无法完成的计算和处理，开发出更强大的应用功能，提供更多智能化应用现在是45页\一共有197页\编辑于星期四云计算解决什么主要问题？集中管理的计算资源池基于资源共享的小粒度应用基于大规模计算资源的大粒度应用基于资源共享的小粒度应用基于资源共享的小粒度应用基于资源共享的小粒度应用基于资源共享的小粒度应用用一个集中管理的巨大的计算资源池，提供巨大的计算资源和能力1）为小粒度应用提供资源共享；2）为大粒度应用提供大规模计算能力基于云计算的共享应用与服务现在是46页\一共有197页\编辑于星期四云计算系统的组成物理存储计算资源池虚拟化弹性资源调度管理虚拟资源池小粒度应用与服务分布式存储并行计算框架查询分析挖掘并行算法云安全管理云计算管理大数据应用与服务云计算应用与服务现在是47页\一共有197页\编辑于星期四云计算的关键技术现在是48页\一共有197页\编辑于星期四云计算的关键技术主要包括以下关键技术虚拟化技术：虚拟机的安装、设置、调度分配、使用、故障检测与失效恢复等云计算构架技术：研究解决适合于云计算的系统软硬件构架资源调度技术：解决物理或虚拟计算资源的自动化分配、调度、配置、使用、负载均衡、回收等资源管理并行计算技术：针对大数据或复杂计算应用，解决数据或计算任务切分和并行计算算法设计问题现在是49页\一共有197页\编辑于星期四云计算的关键技术主要包括以下关键技术大数据存储技术：解决大数据的分布存储、共享访问、数据备份等问题云安全技术：解决云计算系统的访问安全性、数据安全性（包括数据私密性）等问题云计算应用：面向各个行业的、不同形式的云计算应用技术和系统此外，还有云计算中心的节能和散热等工程技术问题现在是50页\一共有197页\编辑于星期四云计算的关键技术怎样才算是云计算系统？个人认为：一个计算系统必须具备以下两个特征才能算是云计算系统（至少具备第一个特征）:资源虚拟化和弹性调度解决小粒度应用资源共享

基于虚拟化和弹性调度，以按需分配方式，为小粒度应用提供计算资源，实现资源共享大数据存储处理和并行计算服务提供大粒度应用计算能力

基于云端的强大而廉价的计算能力，为大粒度应用提供传统计算系统或用户终端所无法完成的计算服务。这些计算能力包括海量数据存储能力、以及大规模并行计算能力。现在是51页\一共有197页\编辑于星期四Wiki百科：bigdataisacollectionofdatasetssolargeandcomplexthatitbecomesdifficulttoprocessusingon-handdatabasemanagementtools

大数据意指一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集IDC报告：Bigdatatechnologiesdescribeanewgenerationoftechnologiesandarchitectures,designedtoeconomicallyextractvaluefromverylargevolumesofawidevarietyofdata,byenablinghigh-velocitycapture,discovery,and/oranalysis.

大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值什么是大数据？现在是52页\一共有197页\编辑于星期四大数据处理技术的重要性大数据(BigData)应用需求

出现越来越多的大数据应用和行业需求。2008年，在Google成立10周年之际，《Nature》杂志出版一期专刊专门讨论未来的大数据（BigData）处理相关的一系列技术问题和挑战。现在是53页\一共有197页\编辑于星期四未来10多年数据将急剧增长IDC研究报告《DataUniverseStudy》提出“数据宇宙”的说法描述海量数据2007年2008年2009年2010年2011年大数据处理技术的重要性现在是54页\一共有197页\编辑于星期四大数据处理技术的重要性未来急剧增长的数据迫切需要寻求新的处理技术手段IDC报告《DataUniverseStudy》全世界权威IT咨询公司研究报告预测:全世界数据量未来10年将从2009年的0.8ZB增长到2020年的35ZB,增长44倍!年均增长率>40%!0.8ZB:一堆DVD堆起来够地球到月亮一个来回35ZB:一堆DVD堆起来是地球到火星距离的一半现在是55页\一共有197页\编辑于星期四美国联邦政府发布大数据研发专项研究计划美国联邦政府下属的国防部、能源部、卫生总署等7部委联合推动，于2012年3月底发布了大数据研发专项研究计划(BigDataInitiative)，拟投入2亿美元用于研究开发科学探索、环境和生物医学、教育和国家安全等重大领域和行业所急需的大数据处理技术和工具，把大数据研究上升到为国家发展战略。大数据处理技术的重要性56现在是56页\一共有197页\编辑于星期四“大数据研究的科学价值”李国杰，《中国计算机学会通讯》，vol.8，no.9,2012.92012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间和企业间新的争夺焦点。大数据处理技术的重要性57现在是57页\一共有197页\编辑于星期四数据科学(DataScience)

国内外出现了“数据科学”的概念图灵奖获得者JimGray:2007年最后一次演讲中提出“数据密集型科学发现(Data-IntensiveScientificDiscovery)”将成为科学研究的第四范式实验科学理论科学计算科学数据科学世界著名存储技术公司EMC提出了“DataScience”的概念，“DataScienceteamswillbecomethedrivingforceforsuccesswithbigdataanalytics”李国杰院士：“数据科学”研究的对象是什么？计算机科学是关于算法的科学，数据科学是关于数据的科学。大数据处理技术的重要性58现在是58页\一共有197页\编辑于星期四大数据将带来巨大的技术和商业机遇

大数据分析挖掘和利用将为企业带来巨大的商业价值原始信息行业数据知识报表制图电子文档信息检索数据仓库海量分析知识挖掘信息化技术大数据分析PC时代互联网时代大数据时代大数据处理技术的重要性现在是59页\一共有197页\编辑于星期四应用数据规模急剧增加，传统计算计算面临严重挑战中国移动江苏省电话通联记录(CDR)数据每月达0.5-1PB，而整个中国移动每月则高达7-15PB数据；如此巨大的数据量使得Oracle等数据库系统已经难以支撑和应对南京市公安局320道路监控云计算系统，数据量为三年200亿条、总量120TB的车辆监控数据中国深圳华大基因研究所成为全世界最大测序中心，每天产生300GB基因序列数据（每年100TB）百度存储数百PB数据，

每天处理数据10PB淘宝存储14PB交易数据，

每天新增数据40-50TB大数据处理技术发展的驱动力60现在是60页\一共有197页\编辑于星期四大数据处理技术发展的驱动力大规模数据处理和行业应用需求日益增加和迫切出现越来越多的大规模数据处理应用需求，传统系统难以提供足够的存储和计算资源进行处理，云计算平台是最理想的解决方案。调查显示：目前，IT专业人员对云计算中诸多关键技术最为关心的是大规模数据并行处理技术大数据并行处理没有通用和现成的解决方案对于应用行业来说，云计算平台软件、虚拟化软件都不需要自己开发，但行业的大规模数据处理应用没有现成和通用的软件，需要针对特定的应用需求专门开发，涉及到诸多并行化算法、索引查询优化技术研究、以及系统的设计实现现在是61页\一共有197页\编辑于星期四大数据处理技术发展的驱动力现有数据处理能力大幅落后于数据增长速度

数据访问能力大幅落后于数据增长速度磁盘容量增长远远快过存储访问带宽和延迟：80年代中期数十MB到今天的TB量级，增长数十万倍，而延迟仅提高2倍，带宽仅提高50倍！100TB数据顺序读一遍需要多少时间？设硬盘读取访问速率128MB/秒1TB/128MB约2.17小时100TB/128MB=217小时=9天！

即使用百万元高速磁盘阵列(800MB/s),仍需1.5天！数据存储能力大幅落后于数据增长速度现在是62页\一共有197页\编辑于星期四大数据处理技术发展的驱动力海量数据隐含着更准确的事实

研究发现：大数据量可显著提高机器学习算法的准确性；训练数据集越大,数据分类精度越高；大数据集上的简单算法能比小数据集上的复杂算法产生更好的结果，因此数据量足够大时有可能使用代价很小的简单算法来达到很好的学习精度。例如，2001年,一个基于事实的简短问答研究,如提问:WhoshotAbrahamLincoln？在很大的数据集时,只要使用简单的模式匹配方法,找到在“shotAbrahamLincoln”前面的部分即可快速得到准确答案：JohnWilkesBooth现在是63页\一共有197页\编辑于星期四结构特征结构化数据非结构化/半结构化数据获取和处理方式动态(流式/增量式/线上)/实时数据静态(线下数据)/非实时数据关联特征无关联/简单关联数据(键值记录型数据)复杂关联数据(图数据)大数据的类型现在是64页\一共有197页\编辑于星期四大数据的基本特点海量数据及其特点(4个V)：Volume:大容量,TB-ZBVariety:多样性Velocity:时效性Veracity:准确性现在是65页\一共有197页\编辑于星期四数据尺度和关联度空间DataconnectednessDatasizeTypicalRDBMSSQLComfortZoneDisk-basedKey-valueStoreColumnStoreDocumentStoreGraphDB现在是66页\一共有197页\编辑于星期四大数据问题的基本特点大数据来自应用行业,具有极强的行业应用需求特性数据规模极大，达到PB甚至EB量级，超过任何传统数据库系统的处理能力大数据处理给传统计算技术带来极大挑战,大多数传统算法在面向大数据处理时都面临问题，需要重写大数据研究的基本原则应用需求为导向领域交叉为桥梁计算技术为支撑大数据问题的特点和研究原则现在是67页\一共有197页\编辑于星期四大数据研究的挑战数据规模导致难以应对的存储和计算量数据规模导致传统算法失效大数据复杂的数据关联性导致高复杂度的计算大数据研究的基本途径三个基本途径：继续寻找新算法降低计算复杂度降低大数据尺度，寻找数据尺度无关算法大数据并行化处理大数据研究的挑战和基本途径现在是68页\一共有197页\编辑于星期四HadoopMapReduce是目前大数据处理的主流技术和平台目前国际公认和广为接受、

最成功使用的大数据并行

处理主流技术和平台精巧的设计和强大的功能分而治之的并行处理思想高层并行编程模型自动化存储计算软件框架事实上的海量数据并行处理工业标准，国内外各大著名IT企业都在广泛使用，Google,Amazon,FaceBook,IBM,百度,淘宝,腾讯…主流大数据处理技术MapReduce69现在是69页\一共有197页\编辑于星期四更多有关Hadoop

MapReduce的基本设计思想、技术特点和工作原理，请参见本PPT168页开始的附录。主流大数据处理技术MapReduce现在是70页\一共有197页\编辑于星期四第二部分

大数据研究层面与主要研究内容现在是71页\一共有197页\编辑于星期四技术层面大数据行业应用/服务层应用开发层应用技术层智能化计算层并行编程模型与计算框架层数据存储管理层并行构架和计算平台层集群,多核,GPU,混合式构架(如集群+多核,集群+GPU)云计算服务支撑平台大数据查询(SQL,NoSQL,实时查询,线下分析)大数据存储(DFS,HBase,MemDB,RDB)大数据预处理MapReduce,BSP,MPI,CUDA,OpenMP,定制式,混合式(如MapReduce+CUDA,MapReduce+MPI)并行化机器学习与数据挖掘算法社会网络,排名与推荐,商业智能,自然语言处理,生物信息媒体分析检索,Web搜索与挖掘,3维建模与可视化…大数据研究层面和主要内容电信/公安/商业/金融/遥感遥测/勘探/生物医药……领域应用/服务需求和计算模型行业应用系统开发角色行业用户领域专家应用开发者计算技术研究和开发者现在是72页\一共有197页\编辑于星期四大数据行业应用与服务层行业应用系统和服务行业应用系统电信、公安、商业、金融、遥感遥测、地质勘探、生物医药……行业应用公共服务中间件领域应用/服务需求和计算模型领域应用问题和需求领域应用问题计算模型现在是73页\一共有197页\编辑于星期四大数据行业应用开发层行业应用系统和服务大数据应用开发环境和工具大数据应用和服务集成框架和接口大数据应用测试环境和工具大数据应用发布和运行环境现在是74页\一共有197页\编辑于星期四应用技术层研究内容社会网络排名与推荐系统商业智能媒体分析检索Web挖掘与搜索3维建模与科学计算可视化生物信息自然语言处理……现在是75页\一共有197页\编辑于星期四应用技术层研究内容GoogleKnowledgeGraph

综合应用案例基于搜索关键词语义理解和信息关联性的智能化搜索功能，可提供搜索对象相关的综合性和多样化信息（文字和媒体信息）。涉及到前述大多数应用技术的综合性应用：一种深度搜索技术基于语义分析理解基于信息关联网络分析多样化排名与推荐基于图片内容的搜索目前GoogleKnowledgeGraph已经有五亿个信息“对象”包括35亿个属性和相互关系；但目前只支持英文，不支持中文现在是76页\一共有197页\编辑于星期四应用技术层研究内容GoogleKnowledgeGraph

综合应用案例现在是77页\一共有197页\编辑于星期四应用技术层研究内容社团发现(CommunityDetection)网络建模(NetworkModeling)中心分析和影响力建模(CentralityAnalysisandInfluenceModeling)分类推荐(ClassificationandRecommendation)隐私安全等(Privacy,SpamandSecurity)社会网络现在是78页\一共有197页\编辑于星期四应用技术层研究内容常规排名(Ranking)多样性排名(DiversifiedRanking)基于内容的推荐(Content-basedRecommendation)基于标签的推荐(Tag-basedRecommendation)协同过滤推荐(CollaborativeFilteringRecommendation)排名与推荐系统现在是79页\一共有197页\编辑于星期四应用技术层研究内容大规模图像检索(ImageRetrieval)大规模图像分类(ImageClassification)目标检测(Object

Recognition)视频异常行为检测(Abnormal

Event

Detection)媒体分析检索现在是80页\一共有197页\编辑于星期四应用技术层研究内容深度Web搜索(DeepWebSearch，精确化、智能化、综合化信息搜索)页面分类(DocumentClassification)页面聚类(DocumentCluster)网页摘要(DocumentAutomaticSummarization)Web搜索与数据挖掘现在是81页\一共有197页\编辑于星期四应用技术层研究内容机器翻译(MachineTranslation)情感分析(SentimentAnalysis)舆情分析(PublicOpinionAnalysis)智能输入(SmartInput)问答系统(QA)自然语言处理现在是82页\一共有197页\编辑于星期四IBM智力竞赛机器人Watson是一个基于MapReduce数据并行处理和统计模型自然语言处理的成功应用。IBM智力问答机器人Watson现在是83页\一共有197页\编辑于星期四Watson收集了2亿页知识文本数据，并基于HadoopMapReduce并行处理集群进行数据分析，采用了优化的并行体系结构和优化的知识和自然语言处理算法，可在1秒内完成对大量非结构化信息的检索，并实时回答知识竞赛问答题。IBM智力问答机器人Watson现在是84页\一共有197页\编辑于星期四应用技术层研究内容地质建模与分析(GeologicalModelingandAnalysis)电影渲染(MovieRendering)大规模数据可视化分析(ScaleVisualAnalytics)3维建模与大规模数据可视化现在是85页\一共有197页\编辑于星期四应用技术层研究内容高通量基因序列比对(High-ThroughputGeneSequenceAlignment)生物网络建模与分析(BiologicalNetworkModeling

andAnalysis)生物信息处理现在是86页\一共有197页\编辑于星期四智能化计算层研究内容大数据并行化机器学习和数据挖掘算法大数据处理并行化学习和挖掘算法不同并行模型下并行化学习和挖掘算法并行化机器学习和数据挖掘工具和平台现在是87页\一共有197页\编辑于星期四2001,微软研究院的BankoandBrill*等发表了一篇自然语言理解领域的经典研究论文，探讨训练数据集大小对分类精度的影响，发现数据越大，精度越高；更有趣的发现是，他们发现当数据不断增长时，不同算法的分类精度趋向于相同，使得小数据集时不同算法在精度上的差别基本消失！

结论引起争论：看似算法不再要紧，数据更重要！看似不再需要研究复杂算法，找更多数据就行了*M.BankoandE.Brili(2001).Scalingtoveryverylargecorporafornaturallanguagedisambiguation.ACL2001智能化计算层研究内容大数据并行化机器学习和数据挖掘算法现在是88页\一共有197页\编辑于星期四2007,Google公司Brants*等基于MapReduce研究了一个基于2万亿个单词训练数据集的语言模型，比较了当时最先进的Kneser-Neysmoothing算法与他们称之为“stupidbackoff“的简单算法,最后发现,后者在小数据集时效果不佳，但在大数据集时，该算法最终居然产生了更好的语言模型！

结论：大数据集上的简单算法能比小数据集上的复杂算法产生更好的结果！*T.Brants,A.C.Popat,etal.LargeLanguageModelsinMachineTranslation.InEMNLP-CoNLL2007-Proceedingsofthe2007JointConferenceonEmpiricalMethodsinNaturalLanguageProcessingandComputationalNaturalLanguageLearning智能化计算层研究内容大数据并行化机器学习和数据挖掘算法现在是89页\一共有197页\编辑于星期四分类(Classification)大规模支持向量机(LargeScaleSVM)线性核、非线性核；大规模稀疏数据求解大规模凸二次规划问题神经网络(NeuralNetwork)深度学习(DeepLearning),如深度置信网络(DBN)、卷积神经网络等。BP、SOM网络朴素贝叶斯(NaïveBayes)决策树(DecisionTrees)C4.5、CART智能化计算层研究内容大数据并行化机器学习和数据挖掘算法现在是90页\一共有197页\编辑于星期四大数据并行化机器学习和数据挖掘算法聚类(Clustering)K-Means算法关联规则挖掘Apriori算法参数估计(ParametersEstimation)EM算法智能化计算层研究内容现在是91页\一共有197页\编辑于星期四大数据并行化机器学习和数据挖掘算法高维度数据降维(DimensionReduction)LDA算法、PCA算法、ICA算法、一些流形学习(ManifoldLearning)算法集成学习(EnsembleLearning)AdaBoost算法图数据挖掘图聚类，图分类图模式匹配(子图同构、最大公共子图…)…智能化计算层研究内容现在是92页\一共有197页\编辑于星期四并行编程模型与计算框架层研究内容MapReduceHadoop性能优化针对I/0的优化、针对充分利用内存的优化(Berkeley的Spark)针对流程的优化(优化Shuffle过程

、SHadoop)针对作业、任务和Slot资源的调度优化(IBM的AMapReduce，Facebook的Corona）MapReduce并行计算框架改进迭代式MapReduce执行框架(Twister,HaLoop)流式MapReduce执行框架(HadoopOnline)现在是93页\一共有197页\编辑于星期四并行编程模型与计算框架层研究内容MapReduceMapReduce在不同构架上的实现基于众核构架的MapReduce

(Stanford的Phoenix,上海交大基于多核的MapReduce)基于GPU的MapReduce（香港科大、上海交大）现在是94页\一共有197页\编辑于星期四并行编程模型与计算框架层研究内容BSP

(BulkSynchronizedParallel)基于BSP模型的并行处理框架大规模图数据并行处理框架和系统Google的Pregel微软的TrinityCUDA、MPI、OpenMP提升可编程性现在是95页\一共有197页\编辑于星期四并行编程模型与计算框架层研究内容定制式并行计算框架全内存集群计算(Spark)大规模流式数据处理(S4)特定应用问题的定制式并行计算框架混合式并行计算模型和框架*MapReduce+CUDA并行计算框架的设计与优化MapReduce+MPI和MapReduce+BSP并行计算框架设计与优化*ASurveyofParallelProgrammingModelsandToolsintheMultiandMany-CoreEraJavierDiaz,CameliaMun˜oz-Caro,andAlfonsoNino.IEEETRANSACTIONSONPARALLELANDDISTRIBUTEDSYSTEMS,VOL.23,NO.8,AUGUST2012现在是96页\一共有197页\编辑于星期四大数据存储管理层研究内容大数据预处理技术大数据的采集和传输大数据的清洗过滤和质量管理技术大数据的压缩技术记录型大数据索引和查询技术静态记录型大数据索引技术流式/增量式记录型大数据索引技术大数据表的高效关系型操作(如查询连接)大数据并行化查询技术现在是97页\一共有197页\编辑于星期四大数据存储管理层研究内容图数据表示和查询技术静态图数据的表示和存储静态图数据的查询流式/增量式图数据的表示和存储流式/增量式图数据的查询图数据并行化查询技术SQL/NoSQL查询语言接口与技术SQL/NoSQL查询语言接口并行化查询执行机制现在是98页\一共有197页\编辑于星期四大数据存储管理层研究内容混合式数据表示和存储管理模型结构化/半结构/非结构化数据混合存储管理模型NoSQL数据库技术混合式数据下的数据关系和查询操作技术现在是99页\一共有197页\编辑于星期四大数据存储管理层研究内容分布式数据库HBase性能优化基于HBase的大数据索引和查询技术分布式内存数据库存储技术基于分布式内存数据库的大数据应用问题计算分布式文件系统HDFS的优化现在是100页\一共有197页\编辑于星期四并行构架和计算平台层研究内容共享内存构架多核，GPU分布内存构架集群混合式构架集群+多核集群+GPU现在是101页\一共有197页\编辑于星期四并行构架和计算平台层研究内容大数据应用/服务云计算支撑平台大数据云存储技术大数据并行计算系统可靠性与容错恢复技术云计算支撑平台和框架现在是102页\一共有197页\编辑于星期四第三部分

大数据并行处理技术研究现在是103页\一共有197页\编辑于星期四大数据处理的主要技术问题大数据处理的主要研究内容大数据存储管理模型和技术大数据索引和查询技术大数据并行编程模型和计算框架Hadoop系统改进与优化研究基于大数据的机器学习和数据挖掘并行算法大数据社会网络分析基于大数据分析的推荐系统大数据自然语言处理大数据媒体分析检索技术大规模Web挖掘与搜索大数据3维建模与可视化分析大数据并行处理应用系统现在是104页\一共有197页\编辑于星期四问题背景

大数据使得传统的关系数据库已经难以胜任，在存储能力和查询性能上都难以满足大数据存储和查询管理的需求。因此，需要针对应用需求研究大数据的索引和查询技术

大数据索引和查询技术Oracle海量数据库系统Exadata，每个定制集群系统2千万元，存储100TB高性能数据IBM基于数据库DB2构建了定制的数据仓库集群系统，每集群存储数据60TB，价格5百万元这些定制的分布式关系数据库系统价格过于昂贵，而数据存储处理能力仍然难以满足大数据处理要求，且系统难以扩充现在是105页\一共有197页\编辑于星期四主要研究问题

大数据索引和查询技术主要研究非结构化或半结构化大数据的快速索引和查询优化技术，尤其是面向特定应用领域的大数据索引机制和管理技术、以及流式或增量式实时/准实时数据的索引和查询优化技术

目前本报课题组正在研究基于分布式混合树索引的大数据索引和快速查询技术和算法。大数据索引和查询技术现在是106页\一共有197页\编辑于星期四大规模移动电话通联记录索引和查询技术移动电话通联记录（CDR）数据量巨大，关系数据库已经越来越难以承受和胜任大量电话记录的管理和查询处理，为此，需要考虑基于Hadoop的分布式CDR数据存储和查询技术。例如，在移动电话公司内部，最常使用的查询是依据电话号码（一个指定号码或者一个屏蔽了最后4位数字的万字段号码查询），加上其他查询信息（如局向、拨打或接受时间等）。为此提高查询速度，我们可以基于电话号码建立专门的快速查询索引表，然后使用两分快速查找方法，即可快速查询到指定号码的CDR数据记录。大数据索引和查询技术现在是107页\一共有197页\编辑于星期四大规模移动电话通联记录索引和查询技术CDR两级查询索引大数据数据索引和查询技术基于电话号码的等长二级索引表，可以进行快速的两分查找定位一级索引表中的offset包含其他查询信息，定位到指定号码后，可进行基于其他信息（局向、日期等）的进一步查询处理现在是108页\一共有197页\编辑于星期四大规模移动电话通联记录索引和查询技术CDR两级查询索引大数据数据索引和查询技术20亿个号码的CDR电话记录最多只需要比较大约31次即可完成!现在是109页\一共有197页\编辑于星期四面向在线查询类任务的Hadoop系统性能优化Hadoop系统设计时重点考虑了高吞吐率大数据的处理，在作业执行性能上不够理想，对实时响应要求较高的查询类作业难以满足要求。我们进行的工作：1.基于短作业任务调度的性能优化2.基于动态slot调度的性能优化

Hadoop系统改进与优化研究研究论文：BigDataMR2012，计算机研究与发展，IPDPS2013SHadoop:OptimizingExecutionPerformanceofShortMapReduceJobsRongGu,XiaoliangYang,JinshuangYan,ChunfengYuan,andYihuaHuangPerformanceOptimizationforShortMapReduceJobExecutioninHadoop

JinshuangYan,XiaoliangYang,RongGu,ChunfengYuan,andYihuaHuang现在是110页\一共有197页\编辑于星期四基于短作业任务调度的Hadoop系统性能优化

现有标准MapReduce作业初始化和结束时需要花费十几秒的常数时间，作业执行时，map和reduce任务的调度都依赖于心跳机制进行任务调度时的消息传递和通信，因而任务调度时间开销较大，效率较低解决方案：we

optimizethesetupandcleanuptaskstoreducethetimecostduringtheinitializationandterminationstagesofajob我们优化了作业初始化和作业结束阶段的setup和cleanup两个特殊任务的调度，去除了以前所有作业都需要花费的十几秒常数时间wedesignandimplementaninstantmessagingmodelintothestandardHadoopfortaskschedulingeventnotificationsbetweentheJobTrackerandTaskTrackers,insteadofusingtheoriginalheartbeat-basedcommunicationmechanism

我们在JobTracker和TaskTracker之间设计实现了一种即时消息传递机制，去除了原有的心跳通信机制，显著缩短了作业内任务的调度时间

Hadoop系统改进与优化研究现在是111页\一共有197页\编辑于星期四基于短作业任务调度的Hadoop系统性能优化

实验结果：对WorldCount,

Grep和TeraSort等MapReduce的标准Benchmark程序执行性能提升达到35%WorldCount

GrepTeraSort

Hadoop系统改进与优化研究优化前优化后现在是112页\一共有197页\编辑于星期四基于动态slot调度的Hadoop系统性能优化

现有标准MapReduce作业执行时其底层的Slot调度是通过静态的配置文件设置的，作业执行过程中即使有空闲的Slot也无法为忙绿的任务所使用，map任务与reduce任务间的Slot也不能互换使用，因而系统的Slot计算资源使用率不高，也导致作业执行性能不高解决方案：

基本解决方案是，我们在作业执行过程中及时收集Hadoop系统Slot资源分配使用的动态信息，并根据这些信息为作业动态分配和调度Slot资源此项工作目前正在编码实现和调试阶段Hadoop系统改进与优化研究现在是113页\一共有197页\编辑于星期四基础性大数据并行算法机器学习与数据挖掘基础算法并行化聚类算法并行化分类算法并行化关联规则挖掘算法神经网络并行化算法图比对并行化算法……现在是114页\一共有197页\编辑于星期四基础性大数据并行算法频繁项集挖掘并行化算法本研究组进行了基于MapReduce的频繁项集挖掘算法研究基本思路是基于传统的Apriori算法和SON算法，提出并实现了一个并行化的频繁项集挖掘算法PSON，用两轮MapReduce实现了大规模频繁项集挖掘并行计算研究论文，已发表于PAAP2011国际会议PSON:AParallelizedSONAlgorithmwithMapReduceforMiningFrequentSetsTaoXiao,ShuaiWang,ChunfengYuan,YihuaHuangTheFourthInternationalSymposiumonParallelArchitectures,AlgorithmsandProgramming(PAAP2011)，Tianjin，Dec.9-11,2011现在是115页\一共有197页\编辑于星期四SupposeIisanitemsetconsistingofitemsfromthetransactiondatabaseDLetNbethenumberoftransactionsDLetMbethenumberoftransactionsthatcontainalltheitemsof

IM/NisreferredtoasthesupportofIinD

ExampleHere,N=4,letI={I1,I2},thanM=2becauseI={I1,I2}iscontainedintransactionsT100andT400sothesupportofIis0.5(2/4=0.5)Ifsup(I)isnolessthatanuser-definedthreshold,thenIisreferredtoasafrequentitemsetGoaloffrequentsetsminingTofindallfrequentk-itemsetsfromatransactiondatabase(k=1,2,3,)枚举计算的时间复杂度是：O(2n*N*t),n是Item的总数，N是Transaction总数，t是每个Transaction平均包含的Item数现在是116页\一共有197页\编辑于星期四MapphaseEachmapnodetakesinonepartitionandgenerateslocalfrequentitemsetsforthatpartitionusingApriorialgorithm.ForeachlocalfrequentitemsetF,emitskey-valuepair<F,1>.Here,thevalue1isonlyto