大数据与云数据管理教材

第9章大数据与云数据管理大数据云计算云数据管理有关大数据的两个问题问题1：你知道什么是“大数据”吗？如果你不知道，那么你很可能OUT了！问题2：你听说过“大数据”吗？如果你连“大数据”听都没听过，那么你绝对OUT了！你认识这位老兄吗？如果你连这位老兄都不认识，那你也太OUT了！斯诺登事件带给我们的最大震动是什么？不在于他暴露了美国政府正在监听全世界这件事情。因为，这早已是公开的秘密，对“世界警察”而言，这没有什么值得大惊小怪的!而在于他使我们了解到美国政府已经具备了获取、存储、管理、分析和使用“大数据”的超强能力。这使美国政府获得了相对他国政府更明显的优势！大数据为“世界警察”的“大拳头”装上了“大眼睛”、“大耳朵”和“大脑袋”！目前IT领域最引人关注的三个热词是什么？大数据云计算物联网其他：移动互联网，社交网，XXX2.0/3.0/…什么是大数据？来源：2008年9月《科学》(Science)杂志发表了一篇文章“BigData:ScienceinthePetabyteEra”，从此“大数据”这个词开始被广泛传播。什么是大数据？没有统一定义，因为“大”是一个相对“小”而言概念。与大数据(BigData)相类似的词汇：LargeScale大规模,VeryLarge超大规模,Massive海量…什么是大数据？从历史发展的视角看这几个词：VeryLarge表示GB级别的数据Massive表示TB级的数据BigData表示PB级别及其以上的数据显然，争论它们中哪一个更大没有什么意义。什么是大数据？一个普遍接受的定义大数据是指无法在可容忍的时间内用传统方法或工具对其进行抓取、管理和处理的数据集合。数据集组成非常巨大和复杂，以至于传统数据库管理工具处理起来面临很多问题。获取、存储、检索、共享、分析和可视化。数据量达到PB、EB或ZB级别。*

from{BigData}@wikipedia.难道这就是大数据？难道这这就是是大数数据？？大数据据产生生的背背景数据量量3个月翻翻一番番通信速速度6个月翻翻一番番存储容容量9个月翻翻一番番集成电电路18个月翻翻一番番现在网网络环环境下下每18个月产产生的的数据据量相相当于于过去去几千千年的的数据据量之之和数据之之多，，数据据量之之大，，前所所未有有大数据据有多多大？？——以互联联网为为例Facebook截止2012年4月，每每日评评论已已达32亿条；；每天天新上上传照照片近近3亿张。。每周新新增图图片容容量约约60TB，图片片总量量约2600亿张，，已超超过20PB。平均每每秒3500次写操操作，，读操操作的的峰值值可以以达到到每秒秒百万万次。。Amazon目前EC2有约450000台服务务器(存储+处理)。*数据据来自自Facebook于2012年4月提交交的监监管文文件。。**数数据来来源于于亚马马逊2012年4月的官官方介介绍材材料。。大数据据有多多大？？多，实实在是是多！！繁，实实在是是繁！！大，实实在是是大！！Nodatalikemoredata!数据永永远也也不嫌嫌多！！大数据据从何何而来来？——机器存储软件、、系统统文件件、基基础数数据元数据据(如索引引)冗余、、备份份…处理原始数数据的的自动动加工工：压缩、、聚类类、规规则适适用、、可视视化、、智能能衍生生…传播负载迁迁移、、分布布式共共享(如P2P)……大数据据从何何而来来？——人内容提提供商商新闻报报道、、时事事评论论、广广告宣宣传…音频、、视频频、微微视频频…职业撰撰稿人人网络作作家、、写手手、推推手、、水军军…普通大大众博文、、图片片、音音乐、、视频频…SNS网络传传播评论、、转发发…大数据据从何何而来来？——物理世世界无所不不在的的感知知数据据传感节节点(压力、、温度度、湿湿度、、声光光电…)无线宽宽频信信号采采样、、太湖湖蓝藻藻检测测、PM2.5……视频监监控目前1路720P高清视视频摄摄像数数据每每小时时视频频录像像3GB左右。。按一一个月月保存存时间间要求求计算算，3GB/小时×24小时×30天×1路=2.16T。一个个拥有有500路高清清视频频摄像像，需需要保保存1个月的的监控控系统统所需需的最最少存存储容容量是是1PB。对地观观测资源三三号卫卫星在在运行行前两两个月月的时时间内内，产产生37TB的原始始影像像数据据。这这是后后续互互联网网地图图的基基础。。天文物物理、、气象象、医医学等等专业业领域域数据据…大数据据向何何而去去？服务如果不不能提提供服服务，，大数数据就就没有有意义义。面向人人、机机、物物的服服务物理世世界：：需要要足够够的采采样数数据机器：：需要要数据据具有有关联联度，，能够够从中中分析析出有有用信信息，，非结结构化化半结构构化结构化化人：能能够直直接使使用数数据的的表现现形式式，进进行生生产和和决策策大数据据为什什么重重要？？2012年3月29日，奥奥巴马马政府府宣布布投资资2亿美元元启动动“大大数据据研究究和发发展计计划””，美美国政政府已已把““大数数据””上升升到了了国家家战略略的层层面。。中国政政府和和业界界对““大数数据””高高度重重视并并在大大力推推进。。据报报道，，今年年两会会上已已有委委员提提出将将大数数据列列入国国家发发展战战略。。20大数据据的特特征容量大大1电子商商务科学计算网络生活每月交易21亿笔，产生300TB交易日志信信息7亿用户、400亿张照片，总总容量超过过1500TB新墨西哥州州的天文望望远镜每年产生80TB的图像信息息美国国会图图书馆存档档信息量：：约80TB生物信息第一个中国国人的全基基因组图谱谱，1177亿碱基对21大数据的特特征增加快2许多数据是是人造出来来的！例子：北京京至纽约的的客机有千千余个传感感器，一次次飞机记录录的数据达达数百T至P级。22大数据的特特征非结构化3非结构化=没有找到共共性特征多层结构大数据的构构成大数据的4V特性体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效Volume数据量PB是大数据层层次的临界界点.KB->MB->GB->TB->PB->EB->ZB->YB->NB->DBValue价值挖掘大数据据的价值类类似沙里淘淘金,从海量数据据中挖掘稀稀疏但珍贵贵的信息.价值密度低低,是大数据的的一个典型型特征.Variety多样性企业内部的的经营交易易信息，物物联网世界界中商品，，物流信息息；互联网网世界中人人与人交互互信息，位位置信息等等是大数据据的主要来来源。能够在不同同的数据类类型中，进进行交叉分分析的技术术，是大数数据的核心心技术之一一。语义分析技技术，图文文转换技术术，模式识识别技术，，地理信息息技术等，，都会在大大数据分析析时获得应应用。Velocity速度1s是临界点。。对于大数据据应用而言言,必须要在1秒钟内形成成答案,否则处理结结果就是过过时和无效效的。实时处理的的要求,是区别大数数据引用和和传统数据据仓库技术术、BI技术的关键键差别之一一。脸谱(Facebook)数据中心微软(Microsoft)数据中心苹果(Apple)数据中心谷歌(Google)数据中心数据中心—看上去，规规模庞大4大数据管理理的基础——数据中心30数据中心—走进去，结结构复杂4大数据管理理的基础——数据中心数据库与大大数据GB/TB级高质量、较较干净强结构化Top-down重交易确定解数据库vs大数据*传统数据库库/数据仓库PB级以上有噪声、有有冗余非结构化Bottom-up重交互满意解大数据*摘自李李德毅院士士于2012年5月23日在云计算算大会上的的讲话，略略有修改“大数据””是数据增增长

从量量变到质变变的里程碑碑从人的认知知角度来看看，在数据据量比较小小的情况下下，我们基基于典型的的数据去思思考。例如，我们们可以设计计一个数据据模型来管管理目前没没遇到但以以后可能遇遇到的数据据，或者设设计一个精精妙的算法法正确高效效地处理将将来可能遇遇到的数据据和各种情情况。而大数据则则颠覆了这这一假定，，目前的数数据量已足足够大，足足以包罗万万象，充分分利用现有有数据得出出的全面而而简约的数数据模型和和算法足以以应对我们们可能遇到到的各种情情况。换言之，数数据模型与与算法设计计的首要任任务不再是是人基于少少量数据的的思考，而而是机器基基于海量数数据的分析析归类。从基于猜测测假定的设设计到基于于事实和经经验的归纳纳总结，是是人类认知知过程的进进步。这是一个革革命性的进进展，是大大数据之所所以激动人人心的根本本。大数据不仅仅仅是“大大”多大？PB级比大更重要的是是数据的复杂杂性，有时甚至至大数据中中的小数据据如一条微微博就具有有颠覆性的的价值大数据的应应用不仅仅仅是精准营营销通过用户行行为分析实实现精准营营销是大数数据的典型型应用，但但是大数据据在各行各各业特别是是公共服务务领域具有有广阔的应应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象软件是驱动动大数据的的引擎和数据中心心(DataCenter)一样，软件件是大数据据的驱动力力。软件改变世世界！大数据生态态:软件是引擎擎前瞻来看，，随着互联联网对网民民的理解，，网民对网网络的反作作用，互联联网将变得得越来越智智能。它在在满足你需需求的同时时，也在创创造新的需需求。前者者的代表是是Google，后者的典典型则是Facebook。谷歌的盈利利在于所有有的软件应应用都是在在线的。用用户在免费费使用这些些产品的同同时，把个个人的行为为、喜好等等信息也免免费的送给给了Google。因此Google的产品线越越丰富，他他对用户的的理解就越越深入，他他的广告就就越精准。。广告的价价值就越高高。这是正向的的循环，谷谷歌好用的的、免费得得软件产品品，换取对对用户的理理解；通过过精准的广广告，找到到生财之道道。颠覆了了微软卖软软件拷贝赚赚钱的模式式。成为互互联网的巨巨擘。互联网越来来越智能Google精确掌握用用户行为、、获取需求求微博为新浪浪带来巨大大价值马云的判断断来自于数数据分析“2008年初,阿里巴巴平平台上整个买家询盘数急剧剧下滑，欧美对中国国采购在下下滑。海关关是卖了货货,出去以后再再获得数据据;而我们提前前半年时间间从询盘上上推断出世世界贸易发发生变化了了。”马云对未来来的预测，，是建立在在对用户行行文分析的的基础上。。通常而言，，买家在采采购商品前前，会比较较多家供应应商的产品品，反映到到阿里巴巴巴网站统计计数据中，，就是查询询点击的数数量和购买买点击的数数量会保持持一个相对对的数值，，综合各个个维度的数数据可建立立用户行为为模型。因因为数据样样本巨大，，保证用户户行为模型型的准确性性。因此在在这个案例例中，询盘盘数据的下下降，自然然导致买盘盘的下降。。腾讯在天津津投资建立立亚洲最大大的数据中中心；百度度也在投资资建立大数数据处理中中心；新浪浪推出企业业微博产品品，提供精精准的数据据分析服务务。更高一层数数据层面整整合企业内内外部更高数据层层面整合利用用户”行为指纹”创造新商机机用户在线的的每一次点点击，每一一次评论，，每一个视视频点播，，就是大数数据的典型型来源。互联网企业业之所以取取得令人瞩瞩目的成绩绩，其核心心的本质就就是包括用用户网络操操作的大数数据，进行行记录和分分析，形成成用户“行行为指纹””，从而洞洞悉用户的的潜在的、、真实的需需求，形成成预判。这是传统企企业花费重重金都难以以企及的梦梦想。所有有传统的产产品公司都都只能沦为为这种新型型用户平台台级公司的的附庸。大数据应用用中的陷阱阱邦弗朗尼原原理(Bonferroni’sPrinciple)邦弗朗尼原原理:在数据随机机性假设的的基础上，，计算所寻寻找的事件件的发生的的期望值，，如果该期期望值大于于找到的真真实事件的的数目，则则所找到的的事件很可可能是一种种假象。即随着数据规模的不断增加加，任何数数据都会显显现出一些些不同寻常常的特征，，这些特征征看上去似似乎非常重重要，但实实际上却并并不重要。。42整体情报预预警的故事事设有一群恐恐怖分子会会偶尔在酒酒店聚会策策划恐怖阴阴谋。想找出那些些同一天在在同一个酒酒店至少出出现两次的的人群。43假设被监控的人人数：10亿(109)被监控的天天数：1000days每个人去酒酒店的概率率1%(1000天里住10天酒店)有10万(105)家酒店，每每家酒店可可容纳100人每个人行为为都是随机机的。通过数据挖挖掘能发现现可疑行为为吗？44Calculations––(1)人员p和人员q同一天在同同一个酒店店出现的概概率:1/1001/10010-5=10-9.人员p和q在d1和d2出现在同一一个酒店的的概率:10-910-9=10-18.1000天任意两天天的排列组组合:5105.patsomehotelqatsomehotelSamehotel45Calculations––(2)人员p和q在任意两天天出现在同同一个酒店店的概率:510510-18=510-13.可能的人数数是10亿，任意两两个人的排排列组合是是:51017.平均可疑的的人员对的的数目:51017510-13=250,000.实际上他们们是纯随机机导致的巧巧合46结论假设真的有有10对恐怖分子子在同一个个酒店出现现两次那么需要扫扫描250,010对候选人才才能找出这这10对恐怖分子子这个方法好好吗？“大数据””是不能乱乱用的！大数据与云云数据管理理大数据云计算云数据管理理云计算（CloudComputing）,2007年第3季度才诞生生的新名词词，仅过了了半年多，，其受到关关注程度就就超过网格格计算（GridComputing），而且关关注度至今今一直居高高不下云计算是一一种商业计计算模型。。它将计算算任务分布布在大量计计算机构成成的资源池上，使各种种应用系统统能够根据据需要获取取计算力、、存储空间间和信息服服务。云计算到底底是什么？？云计算算有什么特特点？云计算起源源和发展1961年斯坦福教教授JohnMcCarthy提出计算资资源可以成成为一种重重要的新型型工业基础础。类似水水、电、气气和通信。。1999年Salesforce成立，2001年发布在线线CRM系统2001年GoogleCEOEricSchmidt在搜索引擎擎大会上首首次提出””CloudComputing“概念。2003年Google逐步开始在在内部使用用云计算，，2008年推出GoogleAppEngine云计算平台台2006年Amazon正式对外推推出弹性计计算服务(EC2)。。。各大大全球知名名厂商跟进进(IBM,MicroSoft….)51什么是云计计算?计算：对数值或信信息进行处处理并得到到结果的过过程，有时时也指计算算方式。1+1=2flower.bmpflower.jpg云：由网络连接接起来的各各种计算资资源(包括计算设设备和其上上的软件)云计算：运用由网络络连接起来来的大量虚虚拟化的计计算设备对对信息进行行处理并得得到结果的的一种计算算方式。不不是一种产产品，也不不是一种技技术，而是是一种产生生和获取计计算能力的的模式。52大型机时代代1960年代1980年代2000年代1990年代微型机时代代个人计算机机变革将只在特定定行业中应应用的大型型主机变成成每个人都都负担得起起的个人电电脑，大幅幅度提高了了个人生产产效率和企企业效率互联网变革革将数以亿万万计的信息息孤岛汇集集成庞大的的信息网络络，极大的的提高了人人类沟通，，共享和协协作的效率率，丰富了了社交和娱娱乐生活互联网时代代云计算变革革将IT基础设施转转变为像水水和煤气一一样的社会会公用基础础设施超级数据中中心成为IT资源和服务务的提供者者技术云计算时代代时间云计算是继继个人计算算机、互联联网变革之之后的第三三次IT革命云计算的由由来云计算定定义云计算(CloudComputing)：是分布布式处理理(DistributedComputing)、并行处处理(ParallelComputing)和网格计计算(GridComputing)的发展，，或者说说是这些些计算机机科学概概念的商商业实现现。是指指基于互联网的超级计计算模式式--即把存储储于个人电脑脑、移动电话话和其他设设备上的的大量信信息和处理器资源集中中在一起起，协同同工作。。在极大大规模上上可扩展展的信息息技术能能力向外外部客户户作为服服务来提提供的一一种计算算方式。。使得计算算资源如如同用水水、用电电、用燃燃气一样样40多亿的移移动电话话一2010年[数据来源源:Nokia]个人电脑脑和笔记本电电脑企业电脑脑和服务器器PDA54从不同角角度看云云计算的的内涵1.云计算是是一种IT基础设施施交付和和使用模模式从原理看看，云计计算是将将计算工工作分布布在大量量的、分分布式的的计算机机上，从从而利用用大量计计算资源源(包括硬件件设备、、软件及及网络等等IT基础设施施)完成所要要求的计计算任务务。云计算环环境下，，与传统统的IT基础设施施交付和和使用模模式的主主要区别别：1.基础设施施建设运运维方式式不同：：基础设设施所有有权和运运维责任任2.交付和使使用的便便捷性不不同：提提供商交交付方式式和用户户使用方方式55从不同角角度看云云计算的的内涵2.云计算是是一种信信息服务务的交付付和使用用模式从商业层层面看，，云计算算提供的的是而且且仅是服服务——可以统称称为“云云服务””。从云计算算服务商商和云计计算用户户间的关关系看，，服务商商并未向向用户提提供硬件件、软件件等事物物或具体体产品，，而是运运用自己己所掌握握的IT资源帮助助用户完完成计算算任务，，满足用用户使用用软硬件件设备或或获得信信息的需需要。基础设施施作为服服务(IaaS)平台作为为服务(PaaS)软件作为为服务(SaaS)服务器网络存储中间件协同合作作业务流程程CRM/ERP/HR行业应用用数据中心心Fabric共享的虚虚拟化的的,动态部属属数据库Web2.0应用运行行环境Java运行环境境开发工具具云计算分分类ComputingonDemandBlueCloud,PureScaleAppliicationSystem市场的例例子IBM的例子Source:HagenWenzekCHQStrategy,2/09云计算分分类操作系统统+应用服务务引擎应用系统统基础设施施应用平台台应用软件件(IaaS)(PaaS)(SaaS)根据提供供的服务务类型，，将云计计算应用用(服务)分为三类类InfrastructureasaService以服务的的形式提提供虚拟拟硬件资资源，如如虚拟主主机/存储/网络/安全等资资源。用于无需需购买服服务器、、网络设设备、存存储设备备，只需需通过互互联网租租赁即可可搭建自自己的应应用系统统典型应用用：AmazonWeb服务IDCPlatformasaService提供应用用服务引引擎，如如互联网网应用编编程接口口/运行平台台等。用户基于于该应用用服务引引擎，可可以构建建该类应应用。典型应用用：GoogleAppEngine,IBMPureScaleApplicationSystem,SAESoftwareasaService用户通过标准准的Web浏览器来使用用Internet上的软件。用户不必购买买软件，只需需按需租用软软件典型应用：LotusLive,S58从不同角度看看云计算的内内涵3.云计算是一种种基于互联网网的新型计算算模式从数值和信息息处理的角度度看，云计算算是通过互联联网将计算任任务分布到由由大量计算机机构成的资源源池上，从而而使用户能够够根据需要获获取计算能力力、存储空和和信息服务。。云计算的四方方面新特征：：1.资源汇聚：计计算资源汇聚聚在一起通过过多租户模式式服务多个消消费者2.快速弹性：计计算能力能够够以某种自动动方式快速而而弹性地实现现供应3.按需的自助服服务：消费者者能够根据自自己的需要获获取计算能力力4.可控可计量：：系统根据服服务类型提供供相应的计量量方式59云计算服务对对象：在各行行各业、各种种组织、各种种产业拓展应应用范围云计算服务内内容：从基础础架构、在线线存储、软件件服务扩展到到各种应用领领域云计算服务形形式：更简单单易用、更安安全、更智能能的差异化服服务从行业视角满足中小企业业、政府部门门、科研教育育、娱乐、商商业企业的信信息化需求成为互联网企企业的运营平平台和资源平平台成为人民群众众生活的必需需品从产业领域视视角成为物联网信信息存储、分分析的智能化化平台成为移动互联联网的基础信信息支撑平台台成为移动电子子商务、移动动支付的支持持平台逐步进入网络络通信基础设设施领域已有主要服务务内容基础设施即服务/IaaS软件平台即服务/PaaS软件即服务/SaaS存储即服务/DaaSXaaS一切皆服务，，延伸到各种种应用硬件即服务：终端端设备成为服服务发布形式式消息即服务：消息息中间件成为为服务监控即服务：监控控内容成为服服务现存各种应用用均被云服务化…更为便捷：就像现在水水、电、气、、通信那样简简单，打开即即用，关闭即即停，按需使使用，用完充充值隐私和信息安全更有保障：用用户信息隔离离、网络传输输加密、高强强度身份认证证、服务商数数据安全审核核更智能化：用户服务务状态恢复、、信息推荐、、精准营销、、预测用户潜潜在信息需求求、差异化服务：提供从从免费、普通通用户、中端端用户、高端端用户的各种种服务，按质质论价云服务云计算的优势势数据在云端：：不怕丢失,不必备份,可以任意点的的恢复；软件在云端：：不必下载自自动升级；；无所不在的计计算：在任何何时间，任意意地点，任何何设备登录后后就可以进行行计算服务；；无限强大的计计算：具有无无限空间的，，无限速度。。硬件为中心软件为中心服务为中心PCC/S云计算天下大势，合合久必分，分分久必合，计计算机技术术的分合演义义早期计算技术术以“合”为为特征:曲高和寡PC的发展使“分分”成为了主主流:旧时王谢堂前前燕，飞入寻寻常百姓家网络技术的发发展使云计算算成为了“合合”的模式，，计算和存储储通过网络隐隐形于云端：：大象无形云计算体系结结构云计算的基本本原理是通过过使计算分布布在大量的分分布式计算机机上，而非本本地计算机或或远程服务器器中，企业数数据中心的运运行将更与互互联网相似。。这使得企业能能够将资源切切换到需要的的应用上，根根据需求访问问计算机和存存储系统。云计算发展路路线并行计算集群计算网格计算云计算在动态、多机机构参与的虚虚拟组织中协协同共享资源源和求解问题题同时使用多种种计算资源解解决计算问题题的过程将需要巨大计计算能力的问问题分成许多多小部分进行行处理，最后后综合结果分布式计算并行计算网格计算云计算云计算特点超大规模虚拟化高可靠性通用性高可伸缩性按需服务极其廉价超大规模虚拟化高可靠性通用性高可伸缩性按需服务极其廉价云计算技术体体系结构云计算与大数数据大数据虽然不不是云计算，，但却是云计计算的灵魂和和升级方向。。云计算的核心心是业务模式式，本质是数数据处理技术术。数据是资产，，云为数据资资产提供了保保管、访问的的场所和渠道道。如何盘活数据据资产，使其其为国家治理理、企业决策策乃至个人生生活服务，是是大数据的核核心议题，也也是云计算内内在的灵魂和和必然的升级级方向。云计算与大数数据本质上，云计计算与大数据据的关系是““静”与“动动的关系；云计算强调的的是计算，这这是动的概念念；而数据则是计计算的对象，，是静的概念念。如果结合实际际的应用，前前者强调的是是计算能力，，或者看重的的存储能力；；云计算与大数数据但是这样说，，并不意味着着两个概念就就如此泾渭分分明。一方面，大数数据需要处理理大数据的能能力(数据获取、清清洁、转换、、统计等能力力)，其实就是强强大的计算能能力；另一方面，云云计算的“动动”也是相对对而言，比如如基础设施即即服务(IaaS)中的存储设备备提供的主要要是数据存储储能力，所以以可谓是动中中有静。云计算与大数数据如果数据是财财富，那么大大数据就是宝宝藏，而云计计算就是挖掘掘和利用宝藏藏的利器！没有强大的计计算能力，数数据宝藏终究究是镜中花；；没有大数据的的积淀，云计计算也只能是是杀鸡用的宰宰牛刀！大数据比云计计算更为落地地商业模式驱动动应用需求驱动动云计算本身也是大数据的一种业务模式大数据与云数数据管理大数据云计算云数据管理什么是云数据据管理？云数据管理是是指通过集群群应用、网格格技术或分布布式文件系统统等，将网络络中大量各种种不同类型的的存储设备通通过应用软件件集合起来协协同工作，共共同对外提供供数据存储和和业务访问功功能的一个系系统。云数据管理的的基础是云存存储，其核心心是以NoSQL(NewSQL)为代表的新一一代云数据存存储(库)系统。云数据管理的的背景随着云计算中中大数据集高高效管理、海海量数据中特特定数据的快快速定位、云云端海量数据据精准查询等等迫切需求的的日益显现,Web数据据管理正逐步步向云数据管管理阶段发展展,一个新的的云数据管理理研究领域正正逐渐形成。。云数据管理的的背景云数据管理在在云计算概念念上延伸和发发展出来的一一个新的概念念。云数据管理使使更大数据量量的处理成为为可能，被称称为下一代的的因特网计算算和下一代的的数据中心。。Web应用作为推动动云计算发展展的主力，正正快速的普及及成熟起来，，它需要能够够按需进行扩扩展，企业都都希望他们的的Web应用系统能够够应对不断增增长的用户量量和数据量，，以及适应用用户和其它开开发人员对WEB应用系统的高高吞吐量和低低响应时间的的要求。云数据管理的的背景通过云计算技技术，网络服服务提供者可可以在数秒之之内，处理数数以千万计甚甚至亿计的信信息，达到和和“超级计算算机”同样强强大的网络服服务。系统必须以低低延迟的响应应速度(几十毫秒)、高吞吐量(每秒上万的读读写)为世界范围内内的用户请求求提供服务。。并且，应用必必须具备高可可用性，长期期维持最小的的运维成本。。但是，如果WEB应用系统仍然然依赖传统的的关系(SQL)数据库系统，，我们会发现现数据存储将将成为最大的的瓶颈。云数据管理的的背景幸运的是我们们已不再需要要提供完整的的事务(ACID)支持，单独的的系统也可以以执行复杂的的分析任务，，比如像Hadoop这样的map-reduce平台。对于许多应用用程序来说，，它们处理的的请求相比传传统数据管理理更为简单。。数据可能是用用户的会话数数据，用户在在网页上所有有的行为只涉涉及单条记录录的读写。应用也有可能能是