![2分钟读懂Hadoop和Spark的异同_第1页](http://file4.renrendoc.com/view/aa19b2404c97007082e26e3545139f19/aa19b2404c97007082e26e3545139f191.gif)
![2分钟读懂Hadoop和Spark的异同_第2页](http://file4.renrendoc.com/view/aa19b2404c97007082e26e3545139f19/aa19b2404c97007082e26e3545139f192.gif)
![2分钟读懂Hadoop和Spark的异同_第3页](http://file4.renrendoc.com/view/aa19b2404c97007082e26e3545139f19/aa19b2404c97007082e26e3545139f193.gif)
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
2分钟读懂Hadoop和Spark的异同谈到大数据,相信大家对Hadoop和ApacheSpark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先,Hadoop和ApacheSpark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施:它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,意味着您不需要购买和维护昂贵的服务器硬件。同时,Hadoop还会索引和跟踪这些数据,让大数据处理和分析效率达到前所未有的高度。Spark,则是那么一个专门用来对那些分布式存储的大数据进行处理的工具,它并不会进行分布式数据的存储。两者可合可分Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外,还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开Spark,使用Hadoop自身的MapReduce来完成数据的处理。相反,Spark也不是非要依附在Hadoop身上才能生存。但如上所述,毕竟它没有提供文件管理系统,所以,它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的,毕竟,大家都认为它们的结合是最好的。以下是从网上摘录的对MapReduce的最简洁明了的解析:我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”。我们人越多,数书就更快。现在我们到一起,把所有人的统计数加在一起。这就是“Reduce”。Spark数据处理速度秒杀MapReduceSpark因为其处理数据的方式不一样,会比MapReduce快上很多。MapReduce是分步对数据进行处理的:”从集群中读取数据,进行一次处理,将结果写到集群,从集群中读取更新后的数据,进行下一次的处理,将结果写到集群,等等…“BoozAllenHamilton的数据科学家KirkBorne如此解析。反观Spark,它会在内存中以接近“实时”的时间完成所有的数据分析:“从集群中读取数据,完成所有必须的分析处理,将结果写回集群,完成,”Born说道。Spark的批处理速度比MapReduce快近10倍,内存中的数据分析速度则快近100倍。如果需要处理的数据和结果需求大部分情况下是静态的,且你也有耐心等待批处理的完成的话,MapReduce的处理方式也是完全可以接受的。但如果你需要对流数据进行分析,比如那些来自于工厂的传感器收集回来的数据,又或者说你的应用是需要多重数据处理的,那么你也许更应该使用Spark进行处理。大部分机器学习算法都是需要多重数据处理的。此外,通常会用到Spark的应用场景有以下方面:实时的市场活动,在线产品推荐,网络安全分析,机器日记监控等。灾难恢复两者的灾难恢复方式迥异,但是都很不错。因为Hadoop将每次处理后的数据都写入到磁盘上,所以其天生就能很有弹性的对系统错误进行处理。Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD:ResilientDistributedDataset)中。“这些数据对象既可以放在内存,也可以放在磁盘,所以RDD同样也可以提供完成的灾难恢复功能,”Borne指出。【编辑推荐】YARN:下一代Hadoop计算平台如何设计基于Hadoop、Spark、Storm的大数据风控架构?Storm、
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 【正版授权】 IEC 60684-3-281:2010 EN-FR Flexible insulating sleeving - Part 3: Specifications for individual types of sleeving - Sheet 281: Heat-shrinkable,polyolefin sleeving,semiconductive
- 【正版授权】 IEC 60670-23:2006 EN-FR Boxes and enclosures for electrical accessories for household and similar fixed electrical installations - Part 23: Particular requirements for floor boxes and
- 【正版授权】 IEC 60654-2:1979/AMD1:1992 EN-FR Amendment 1 - Operating conditions for industrial-process measurement and control equipment. Part 2: Power
- 【正版授权】 IEC 60626-1:2023 RLV EN Combined flexible materials for electrical insulation - Part 1: Definitions and general requirements
- 【正版授权】 IEC 60601-2-45:2011+AMD1:2015 CSV EN-FR Medical electrical equipment - Part 2-45: Particular requirementsfor basic safety and essential performance of mammographic X-ray equipment and
- 【正版授权】 IEC 60601-2-43:2010+AMD1:2017 CSV EN-FR Medical electrical equipment - Part 2-43: Particular requirements for the basic safety and essential performance of X-ray equipment for interve
- 【正版授权】 IEC 60601-1-10:2007/AMD2:2020 EN-FR Amendment 2 - Medical electrical equipment - Part 1-10: General requirements for basic safety and essential performance - Collateral Standard: Requ
- 【正版授权】 IEC 60502-1:2004+AMD1:2009 CSV EN-FR Power cables with extruded insulation and their accessories for rated voltages from 1 kV (Um = 1,2 kV) up to 30 kV (Um = 36 kV) - Part 1: Cables f
- 【正版授权】 IEC 60404-2:1996 EN-FR Magnetic materials - Part 2: Methods of measurement of the magneticproperties of electrical steel sheet and strip by means of anEpstein frame
- 【正版授权】 IEC 60404-1-1:2004 EN-FR Magnetic materials - Part 1-1: Classification - Surface insulations of electrical steel sheet,strip and laminations
- (新版)天翼云从业者认证考试必备(重点)题库(浓缩300题)
- 6 我给厌学开处方(教学设计)-苏教版心理健康六年级上册
- 分布式光伏发电示范工程优化建议
- 压力管道壁厚计算程序及公式
- 新时期高职院校学前教育专业“三教”改革探析获奖科研报告
- CORN术中获得性压力性损伤风险评估量表评定细则解读
- 马鞍山市2022-2023学年数学三下期末综合测试试题含解析
- 毛泽东思想和中国特色社会主义理论体系概论(江南大学版)学习通课后章节答案期末考试题库2023年
- 供热安全及行业规范单选题试题及答案
- 二年级下册数学说课稿 - 第七单元 【第二课时】 1分有多长(认识秒1)北师大版
- (新平台)国家开放大学《建设法规》形考任务1-4参考答案
评论
0/150
提交评论