版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
浙江经贸职业技术学院储与计算大数据存大数据基础Unit3《大数据基础》.移动商务营销课程群3.1.1分布式存储概述3.1.2HDFS工作原理3.1.3HDFS基础命令3.1分布式存储3.1.2HDFS工作原理2003年至2006年,Google发布了著名的三大论文,分别是:2003年发布的分布式文件系统GoogleFileSystem,2004年发布的分布式并行计算框架MapReduce,2006年发布的大型的分布式数据库Bigtable。
以三大论文为基础,演化出了开源项目Hadoop,Hadoop的核心是分布式文件存储系统HDFS和分布式并行计算框架MapReduce。3.1.2HDFS工作原理1HDFS概述
HDFS(HadoopDistributedFileSystem)HDFS全称Hadoop分布式文件系统,是由Google在2003年发布的分布式文件系统GoogleFileSystem论文基础上演化而来的开源版本。HDFS是Hadoop生态系统中非常重要的一环,它为管理大数据资源池和支撑相关大数据分析应用提供了一个具有高可靠性的工具。
3.1.2HDFS工作原理1HDFS概述
HDFS的优缺点
HDFS的优点:高容错性,数据自动保存多份;被设计为能够部署在低廉的硬件上;提供高吞吐量来访问应用程序的数据,适合处理大数据;流式文件访问,允许一次写入,多次读取;适合进行批处理。HDFS的缺点:不善于处理低延迟数据访问;不善于处理小文件存取;不支持并发写入,一个文件同时只能被一个写入者修改。3.1.2HDFS工作原理2HDFS中的基础概念HDFS中的存储单元是数据块,它的默认大小是64M,也就是HDFS中的文件是被分成一块块的64M的数据块存储的。数据块(Block)维护着文件系统树及整棵树内所有的文件和目录,并以两个文件形式永久保存在本地磁盘上:命名空间镜像和编辑日志。该节点也记录着每个文件中各个数据块所在的数据节点信息。元数据节点(NameNode)是真正存储数据的地方。客户端(client)和元数据节点可以向数据节点请求写入或者读出数据块。该节点也需要周期性的向元数据节点汇报其存储的数据块信息。数据节点(DataNode)主要功能是周期性的将元数据节点的命名空间镜像和编辑日志合并,以防日志文件过大;合并后的命名空间镜像也会在该节点保存一份。从元数据节点(SecondaryNameNode)3.1.2HDFS工作原理3HDFS中文件写入操作流程客户端(HDFSClient)元数据节点(NameNode)数据节点(DataNode)3.1.2HDFS工作原理4HDFS中文件读取操作流程客户端(HDFSClient)元数据节
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024房屋装修合同范本参考阅读
- 2024银行小额存单抵押贷款合同(合同版本)
- 宋明理学教案 岳麓版
- 2024【建造合同新准则应用研究】 建造合同新收入准则
- 2024边坡基坑监测、沉降观测工程合同模板
- 一种带有悬挂机壳的断路器
- 2024年店铺转让租赁合同范本
- 学校升旗台施工方案
- 存储器电路课程设计
- 天津市宝坻区八年级地理下册 7.1 自然特征与农业教案 (新版)新人教版
- 人体的四大基本组织课件
- 硝酸化学品安全技术说明书(MSDS)
- 初中信息技术-用物理沙盒做探究实验教学设计学情分析教材分析课后反思
- 统编版高中数学A版选择性必修第一册全册同步练习(课后练习、含答案解析单元测试卷等)
- 娱乐场所反恐防暴措施
- 成语的练习填空
- 2023年成都市金牛区数学六年级第二学期期末监测试题含解析
- 电测深法课件
- 供应商应付账款明细表Excel模板
- 2.1 信息系统及其组成 课件-高中信息技术 (粤教版2019)必修二
- DB65T 2012-2002加工用番茄收购标准
评论
0/150
提交评论