




下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、Hadoop技术介绍与发展技术创新,变革未来概要Hadoop的历史Hadoop 3介绍CommonHDFSYARNMapReduceHadoop的未来发展方向Hadoop的历史2005200820092010201120122006200720132014201520162003 2004Hadoop从Nutch分离Google GFS& MapReducePaperHBase HiveCloudera创立Hortonworks创立Hadoop 1.0发布Hadoop 2.0 GASpark成为顶级项目Hadoop 3.02017Hadoop生态系统文件存储层 HDFS资源任务调度 YARN计
2、算引擎MapReduce计算引擎SparkNoSQLHBase数据仓库SQL机器/深 度学习Batch任务流处理搜索KafkaHadoop 3介绍CommonJDK 8+ 升级Classpath隔离Shell脚本的重构HDFSYARNMapReduceClasspath隔离HADOOP-11656, HDFS-6200问题:依赖性地狱(Dependency Hell),版本冲突解决方案:客户端(client-side)和服务器端(server-side)的隔离Shell脚本的重构 - HADOOP-9902脚本重构,提升可维护性和易用性修正一些长期存在的bugs加入一些改进加入一些新功能带来一
3、些不兼容性Shell脚本现在更易于调试: -debugHadoop 3介绍CommonHDFS纠错码(Erasure Coding)多个Standby NamenodeDatanode内部balance工具云计算平台的支持YARNMapReduceHDFS纠错码(Erasure Coding)一个简单的例子1备份: 1,0 需要额外的2位XOR编码: 1,0 需要额外的1位HDFS纠错码(Erasure Coding)Reed-Solomon (RS) 编码数据可靠性和存储效率数据可靠性:可以最多几个节点故障存储效率:k/(k+m)可靠性存储效率单副本0100%3副本233%XOR(6个数据单
4、元)186%RS(6,3)367%RS(10,4)471%存储布局连续和条状小文件处理 并行IO数据本地性数据本地性 小文件处理纠错码在分布式存储系统中HDFS性能多个Standby NamenodeActive NNStandby NNStandby NNDNDNDNDNJournal NodeJournal NodeJournal NodeWrite edit logsRead edit logsBlock reportsHDFS-6440云计算存储虚拟化Hadoop 文件系统APISQL, 机器学习, 流处理, BatchHadoop 3介绍CommonHDFSYARNYARN Time
5、line Service v.2YARN Federation动态资源配置容器资源的动态调整资源隔离调度的增强YARN的Web页面的增强MapReduceYARN Timeline Service v.2扩展性分布式读写读写分离HBase存储YARN Timeline Service v.2可用性流(flow)聚合(aggregation)YARN FederationYARN-2915允许YARN的集群扩展到一万个戒更多个节点YARN的集群的集群对用户来说是一个整体的集群动态资源配置YARN-291允许动态的改变NM的资源配置容器资源的动态调整YARN-1197允许运行时动态的调整分配给容器
6、的资源资源隔离磁盘资源的隔离 YARN-2619网络IO的隔离 YARN-2140Docker Container YARN-3611调度的增强在同一个队列(queue)的优先级 YARN-1963YARN的Web页面的增强YARN-3368Hadoop 3介绍CommonHDFSYARNMapReduceTask层次的Native优化MapReduce Task层次Native优化对map output collector的Native实现,对于shuffle密集型的task能带来30%的性能提升。Hadoop 的未来HDFS的未来对象存储 - HDFS-7240更高性能的Namenode:更高
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 应急管理信息化工程师岗位面试问题及答案
- 2025届广东省惠州市实验中学高二下化学期末教学质量检测模拟试题含解析
- 广东省深圳实验学校高中部2025届高二化学第二学期期末联考试题含解析
- 忻州一中2025届高一化学第二学期期末检测模拟试题含解析
- 2025届重庆市普通高中化学高一下期末教学质量检测模拟试题含解析
- 2025届安徽省安庆市达标名校高一化学第二学期期末联考试题含解析
- 广西蒙山县一中2025届高一下化学期末达标检测试题含解析
- 冶金设备安全管理办法
- 供电企业信条管理办法
- 桃江人才引进管理办法
- 餐车经营食品安全应急预案
- DB43T 876.11-2017 高标准农田建设 第11部分:耕地地力评定技术规范
- 全国中医药职业教育技能大赛针灸推拿技能大赛方案
- 2024至2030年中国汉白玉石雕数据监测研究报告
- 三年级下册混合计算题100道及答案
- DB12T 998-2020 殡葬服务机构消毒卫生规范
- 广东省广州市五校2023-2024学年高一下学期期末联考化学试卷
- 2024年天津高考数学真题试题(原卷版+含解析)
- 《大数据分析技术》课程标准
- 最简单封阳台安全免责协议书
- 2024年危险化学品经营单位安全管理人员考试练习题(附答案)
评论
0/150
提交评论