版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
Hadoop分布式系统基础架构Hadoop系统简介Hadoop是一个大数据分布式系统基础架构，是公认的大数据通用存储和分析平台。它实现了分布式文件系统HDFS（HadoopDistributedFileSystem）、分布式运行程序编程框架MapReduce及资源管理系统YARN（YetAnotherResourceNegotiator），其中，HDFS和MapReduce是Hadoop最核心的设计部分。Hadoop生态系统狭义上的Hadoop指的是由HDFS、MapReduce、YARN组成的集数据存储、计算和资源管理调度于一体的大数据框架。广义上的Hadoop指的是以Hadoop为核心，包括HBase、Hive、Flume、Sqoop、Azkaban等底层使用MapReduce进行计算的大数据分布式系统基础架构。Hadoop版本Hadoop版本分为三代：第一代Hadoop被称为Hadoop1.0，第二代Hadoop被称为Hadoop2.0，第三代Hadoop被称为Hadoop3.X。Hadoop1.0技术架构Hadoop1.0技术架构Hadoop2.0Hadoop1.0和Hadoop2.0从HDFS和MapReduce两个角度比较1）HDFS角度（1）Hadoop2.0新增了HDFSHA（高可用）机制，HA增加了StandbyNameNode作为热备份，它们通过一个共享的存储结构QJM（QuorumJournalManager）实现数据同步，解决了Hadoop1.0的单点故障问题。（2）Hadoop2.0新增了HDFSFederation（联邦模式），解决了HDFS水平可扩展能力低的问题。Hadoop1.0和Hadoop2.02）MapReduce角度Hadoop2.0新增了YARN框架，使MapReduce的运行环境发生了变化。MapReduce2.0只是一个计算框架，具体资源调度全部交给YARN框架。Hadoop3.XHadoop3.0提供了更高的性能、更强的容错能力及更高的数据处理能力。在可扩展性方面，Hadoop3.0为YARN提供了Federation，使其集群规模可以达到上万台。Hadoop3.0支持两个以上的NameNode，支持单ActiveNameNode和多StandbyNameNode的部署方式，进一步提升了可用性。Hadoop3.XJava运行环境升级为1.8版本，HDFS使用擦除编码机制来提供容错
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 八年级物理下册《压强》教案
- 奥地利拼车顺风车用户分析报告：FREE NOW-外文版培训课件2024.7微信支付宝
- 保护环境美化校园主题班会课件
- 茂名市信宜市东镇街道社区工作者招聘考试试题及答案2024
- 菏泽市巨野县大义镇社区工作者招聘考试试题及答案2024
- 秦皇岛市卢龙县燕河营镇社区工作者招聘考试试题及答案2024
- 聊城市东阿县高集镇社区工作者招聘考试试题及答案2024
- 中小型水库溢洪道设计中的常见问题及其对策
- 校园一卡通建设规划(可行性报告需求分析)
- 2025届湖南省株洲市茶陵二中高考历史考前最后一卷预测卷含解析
- 受记过处分后学位申请书(3篇)
- 会议管理系统操作指引
- 2023版思想道德与法治专题2领悟人生真谛把握人生方向PPT
- 数字电子技术基础全套
- (完整word版)中国户口本英文翻译模板
- 学生心理健康档案表格
- 一年级国学经典诵读教案
- 整理图书角（课件）-一年级下册劳动教育“小农庄”（校本课程）
- 设计咨询服务投标方案
- 中央空调维保方案书
- 发电厂风险评估报告
评论
0/150
提交评论