大数据与云数据管理

第9章大数据与云数据管理大数据云计算云数据管理有关大数据的两个问题问题1：你知道什么是“大数据”吗？如果你不知道，那么你很可能OUT了！问题2：你听说过“大数据”吗？如果你连“大数据”听都没听过，那么你绝对OUT了！你认识这位老兄吗？如果你连这位老兄都不认识，那你也太OUT了！斯诺登事件带给我们的最大震动是什么？不在于他暴露了美国政府正在监听全世界这件事情。因为，这早已是公开的秘密，对“世界警察”而言，这没有什么值得大惊小怪的!而在于他使我们了解到美国政府已经具备了获取、存储、管理、分析和使用“大数据”的超强能力。这使美国政府获得了相对他国政府更明显的优势！大数据为“世界警察”的“大拳头”装上了“大眼睛”、“大耳朵”和“大脑袋”！目前IT领域最引人关注的三个热词是什么？大数据云计算物联网其他：移动互联网，社交网，XXX2.0/3.0/…什么是大数据？来源：2008年9月《科学》(Science)杂志发表了一篇文章“BigData:ScienceinthePetabyteEra”，从此“大数据”这个词开始被广泛传播。什么是大数据？没有统一定义，因为“大”是一个相对“小”而言概念。与大数据(BigData)相类似的词汇：LargeScale大规模,VeryLarge超大规模,Massive海量…什么是大数据？从历史发展的视角看这几个词：VeryLarge表示GB级别的数据Massive表示TB级的数据BigData表示PB级别及其以上的数据显然，争论它们中哪一个更大没有什么意义。什么是大数据？一个普遍接受的定义大数据是指无法在可容忍的时间内用传统方法或工具对其进行抓取、管理和处理的数据集合。数据集组成非常巨大和复杂，以至于传统数据库管理工具处理起来面临很多问题。获取、存储、检索、共享、分析和可视化。数据量达到PB、EB或ZB级别。*

from{BigData}@wikipedia.难道这就是大数据？难道这就是大数据？大数据产生的背景数据量3个月翻一番通信速度6个月翻一番存储容量9个月翻一番集成电路18个月翻一番现在网络环境下每18个月产生的数据量相当于过去几千年的数据量之和数据之多，数据量之大，前所未有大数据有多大？——以互联网为例Facebook截止2012年4月，每日评论已达32亿条；每天新上传照片近3亿张。每周新增图片容量约60TB，图片总量约2600亿张，已超过20PB。平均每秒3500次写操作，读操作的峰值可以达到每秒百万次。Amazon目前EC2有约450000台服务器(存储+处理)。*数据来自Facebook于2012年4月提交的监管文件。**数据来源于亚马逊2012年4月的官方介绍材料。大数据有多大？多，实在是多！繁，实在是繁！大，实在是大！Nodatalikemoredata!数据永远也不嫌多！大数据从何而来？——机器存储软件、系统文件、基础数据元数据(如索引)冗余、备份…处理原始数据的自动加工：压缩、聚类、规则适用、可视化、智能衍生…传播负载迁移、分布式共享(如P2P)…大数据从何而来？——人内容提供商新闻报道、时事评论、广告宣传…音频、视频、微视频…职业撰稿人网络作家、写手、推手、水军…普通大众博文、图片、音乐、视频…SNS网络传播评论、转发…大数据从何而来？——物理世界无所不在的感知数据传感节点(压力、温度、湿度、声光电…)无线宽频信号采样、太湖蓝藻检测、PM2.5…视频监控目前1路720P高清视频摄像数据每小时视频录像3GB左右。按一个月保存时间要求计算，3GB/小时×24小时×30天×1路=2.16T。一个拥有500路高清视频摄像，需要保存1个月的监控系统所需的最少存储容量是1PB。对地观测资源三号卫星在运行前两个月的时间内，产生37TB的原始影像数据。这是后续互联网地图的基础。天文物理、气象、医学等专业领域数据…大数据向何而去？服务如果不能提供服务，大数据就没有意义。面向人、机、物的服务物理世界：需要足够的采样数据机器：需要数据具有关联度，能够从中分析出有用信息，非结构化

半结构化

结构化人：能够直接使用数据的表现形式，进行生产和决策大数据为什么重要？2012年3月29日，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，美国政府已把“大数据”上升到了国家战略的层面。中国政府和业界对“大数据”高度重视并在大力推进。据报道，今年两会上已有委员提出将大数据列入国家发展战略。20大数据的特征容量大1电子商务科学计算网络生活每月交易21亿笔，产生300TB交易日志信息

7亿用户、400亿张照片，总容量超过1500TB新墨西哥州的天文望远镜每年产生80TB的图像信息美国国会图书馆存档信息量：约80TB生物信息第一个中国人的全基因组图谱，1177亿碱基对21大数据的特征增加快2许多数据是人造出来的！例子：北京至纽约的客机有千余个传感器，一次飞机记录的数据达数百T至P级。22大数据的特征非结构化3非结构化=没有找到共性特征多层结构大数据的构成大数据的4V特性体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效Volume数据量PB是大数据层次的临界点.KB->MB->GB->TB->PB->EB->ZB->YB->NB->DBValue价值挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息.价值密度低,是大数据的一个典型特征.Variety多样性企业内部的经营交易信息，物联网世界中商品，物流信息；互联网世界中人与人交互信息，位置信息等是大数据的主要来源。能够在不同的数据类型中，进行交叉分析的技术，是大数据的核心技术之一。语义分析技术，图文转换技术，模式识别技术，地理信息技术等，都会在大数据分析时获得应用。Velocity速度1s是临界点。对于大数据应用而言,必须要在1秒钟内形成答案,否则处理结果就是过时和无效的。实时处理的要求,是区别大数据引用和传统数据仓库技术、BI技术的关键差别之一。脸谱(Facebook)数据中心微软(Microsoft)数据中心苹果(Apple)数据中心谷歌(Google)数据中心数据中心—看上去，规模庞大4大数据管理的基础——数据中心30数据中心—走进去，结构复杂4大数据管理的基础——数据中心数据库与大数据GB/TB级高质量、较干净强结构化Top-down重交易确定解数据库vs大数据*传统数据库/数据仓库PB级以上有噪声、有冗余非结构化Bottom-up重交互满意解大数据*摘自李德毅院士于2012年5月23日在云计算大会上的讲话，略有修改“大数据”是数据增长

从量变到质变的里程碑从人的认知角度来看，在数据量比较小的情况下，我们基于典型的数据去思考。例如，我们可以设计一个数据模型来管理目前没遇到但以后可能遇到的数据，或者设计一个精妙的算法正确高效地处理将来可能遇到的数据和各种情况。而大数据则颠覆了这一假定，目前的数据量已足够大，足以包罗万象，充分利用现有数据得出的全面而简约的数据模型和算法足以应对我们可能遇到的各种情况。换言之，数据模型与算法设计的首要任务不再是人基于少量数据的思考，而是机器基于海量数据的分析归类。从基于猜测假定的设计到基于事实和经验的归纳总结，是人类认知过程的进步。这是一个革命性的进展，是大数据之所以激动人心的根本。大数据不仅仅是“大”多大？PB级比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值大数据的应用不仅仅是精准营销通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象软件是驱动大数据的引擎和数据中心(DataCenter)一样，软件是大数据的驱动力。软件改变世界！大数据生态:软件是引擎前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。互联网越来越智能Google精确掌握用户行为、获取需求微博为新浪带来巨大价值马云的判断来自于数据分析“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。”马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。更高一层数据层面整合企业内外部更高数据层面整合利用用户”行为指纹”创造新商机用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记录和分析，形成用户“行为指纹”，从而洞悉用户的潜在的、真实的需求，形成预判。这是传统企业花费重金都难以企及的梦想。所有传统的产品公司都只能沦为这种新型用户平台级公司的附庸。大数据应用中的陷阱

邦弗朗尼原理(Bonferroni’sPrinciple)邦弗朗尼原理:在数据随机性假设的基础上，计算所寻找的事件的发生的期望值，如果该期望值大于找到的真实事件的数目，则所找到的事件很可能是一种假象。即随着数据规模的不断增加，任何数据都会显现出一些不同寻常的特征，这些特征看上去似乎非常重要，但实际上却并不重要。42整体情报预警的故事设有一群恐怖分子会偶尔在酒店聚会策划恐怖阴谋。想找出那些同一天在同一个酒店至少出现两次的人群。43假设被监控的人数：10亿(109)被监控的天数：1000days每个人去酒店的概率1%(1000天里住10天酒店)有10万(105)家酒店，每家酒店可容纳100人

每个人行为都是随机的。通过数据挖掘能发现可疑行为吗？44Calculations–(1)人员

p

和人员

q

同一天在同一个酒店出现的概率:1/100

1/100

10-5=10-9.人员p

和

q

在d1

和

d2

出现在同一个酒店的概率:10-9

10-9=10-18.1000天任意两天的排列组合:5

105.patsomehotelqatsomehotelSamehotel45Calculations–(2)人员p

和

q

在任意两天出现在同一个酒店的概率:5

105

10-18=5

10-13.可能的人数是10亿，任意两个人的排列组合是:5

1017.平均可疑的人员对的数目:5

1017

5

10-13=250,000.实际上他们是纯随机导致的巧合46结论假设真的有10对恐怖分子在同一个酒店出现两次那么需要扫描250,010对候选人才能找出这10对恐怖分子这个方法好吗？“大数据”是不能乱用的！大数据与云数据管理大数据云计算云数据管理

云计算（CloudComputing）,2007年第3季度才诞生的新名词，仅过了半年多，其受到关注程度就超过网格计算（GridComputing），而且关注度至今一直居高不下

云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算到底是什么？云计算有什么特点？云计算起源和发展1961年斯坦福教授JohnMcCarthy提出计算资源可以成为一种重要的新型工业基础。类似水、电、气和通信。

1999年Salesforce成立，2001年发布在线CRM系统2001年GoogleCEOEricSchmidt在搜索引擎大会上首次提出”CloudComputing“概念。2003年Google逐步开始在内部使用云计算，2008年推出GoogleAppEngine云计算平台2006年Amazon正式对外推出弹性计算服务(EC2)。。。各大全球知名厂商跟进(IBM,MicroSoft….)51什么是云计算?计算：对数值或信息进行处理并得到结果的过程，有时也指计算方式。

1+1=2flower.bmpflower.jpg云：由网络连接起来的各种计算资源(包括计算设备和其上的软件)云计算：运用由网络连接起来的大量虚拟化的计算设备对信息进行处理并得到结果的一种计算方式。不是一种产品，也不是一种技术，而是一种产生和获取计算能力的模式。52大型机时代1960年代1980年代2000年代1990年代微型机时代个人计算机变革将只在特定行业中应用的大型主机变成每个人都负担得起的个人电脑，大幅度提高了个人生产效率和企业效率互联网变革将数以亿万计的信息孤岛汇集成庞大的信息网络，极大的提高了人类沟通，共享和协作的效率，丰富了社交和娱乐生活互联网时代云计算变革将IT基础设施转变为像水和煤气一样的社会公用基础设施超级数据中心成为IT资源和服务的提供者技术云计算时代时间云计算是继个人计算机、互联网变革之后的第三次IT革命云计算的由来云计算定义云计算(CloudComputing)：是分布式处理(DistributedComputing)、并行处理(ParallelComputing)和网格计算(GridComputing)的发展，或者说是这些计算机科学概念的商业实现。是指基于互联网的超级计算模式--即把存储于个人电脑、移动电话和其他设备上的大量信息和处理器资源集中在一起，协同工作。在极大规模上可扩展的信息技术能力向外部客户作为服务来提供的一种计算方式。使得计算资源如同用水、用电、用燃气一样40多亿的移动电话一

2010年[数据来源:Nokia]个人电脑和笔记本电脑企业电脑和服务器PDA54从不同角度看云计算的内涵1.云计算是一种IT基础设施交付和使用模式从原理看，云计算是将计算工作分布在大量的、分布式的计算机上，从而利用大量计算资源(包括硬件设备、软件及网络等IT基础设施)完成所要求的计算任务。云计算环境下，与传统的IT基础设施交付和使用模式的主要区别：1.基础设施建设运维方式不同：基础设施所有权和运维责任2.交付和使用的便捷性不同：提供商交付方式和用户使用方式55从不同角度看云计算的内涵2.云计算是一种信息服务的交付和使用模式从商业层面看，云计算提供的是而且仅是服务——可以统称为“云服务”。从云计算服务商和云计算用户间的关系看，服务商并未向用户提供硬件、软件等事物或具体产品，而是运用自己所掌握的IT资源帮助用户完成计算任务，满足用户使用软硬件设备或获得信息的需要。基础设施作为服务(IaaS)平台作为服务(PaaS)软件作为服务(SaaS)服务器网络存储中间件协同合作业务流程CRM/ERP/HR行业应用数据中心Fabric共享的虚拟化的,动态部属数据库Web2.0应用运行环境Java运行环境开发工具云计算分类Computingon

DemandBlueCloud,PureScaleAppliicationSystem市场的例子IBM的例子Source:HagenWenzekCHQStrategy,2/09云计算分类操作系统+应用服务引擎应用系统基础设施应用平台应用软件(IaaS)(PaaS)(SaaS)根据提供的服务类型，将云计算应用(服务)分为三类Infrastructureasa

Service以服务的形式提供虚拟硬件资源，如虚拟主机/存储/网络/安全等资源。用于无需购买服务器、网络设备、存储设备，只需通过互联网租赁即可搭建自己的应用系统典型应用：AmazonWeb服务IDCPlatformasa

Service提供应用服务引擎，如互联网应用编程接口/运行平台等。用户基于该应用服务引擎，可以构建该类应用。典型应用：GoogleAppEngine,IBM

PureScaleApplicationSystem,SAESoftwareasa

Service用户通过标准的Web浏览器来使用Internet上的软件。用户不必购买软件，只需按需租用软件典型应用：Lotus

Live,S58从不同角度看云计算的内涵3.云计算是一种基于互联网的新型计算模式从数值和信息处理的角度看，云计算是通过互联网将计算任务分布到由大量计算机构成的资源池上，从而使用户能够根据需要获取计算能力、存储空和信息服务。云计算的四方面新特征：1.资源汇聚：计算资源汇聚在一起通过多租户模式服务多个消费者2.快速弹性：计算能力能够以某种自动方式快速而弹性地实现供应3.按需的自助服务：消费者能够根据自己的需要获取计算能力4.可控可计量：系统根据服务类型提供相应的计量方式59云计算服务对象：在各行各业、各种组织、各种产业拓展应用范围云计算服务内容：从基础架构、在线存储、软件服务扩展到各种应用领域云计算服务形式：更简单易用、更安全、更智能的差异化服务从行业视角满足中小企业、政府部门、科研教育、娱乐、商业企业的信息化需求成为互联网企业的运营平台和资源平台成为人民群众生活的必需品从产业领域视角成为物联网信息存储、分析的智能化平台成为移动互联网的基础信息支撑平台成为移动电子商务、移动支付的支持平台逐步进入网络通信基础设施领域已有主要服务内容基础设施即服务/IaaS软件平台即服务/PaaS软件即服务/SaaS存储即服务/DaaSXaaS一切皆服务，延伸到各种应用硬件即服务：终端设备成为服务发布形式消息即服务：消息中