云计算之HDFS课件

1主要内容Hadoop项目简介HDFS体系结构HDFS关键运行机制HadoopVS.Google（分布式文件系统）HadoopAPIHadoop环境搭建2Hadoop项目简介吃水不忘挖井人DougCutting简介：Lucene（开源的全文检索包人）、Nutch（开源搜索引擎）、hadoop创始人。曾经在是雅虎搜索工程师，后面加入Cloudera,发展hadoop的企业级应用。一位盗火者，把高深的搜索引擎技术带给普通大众。3Hadoop项目简介Apache的解决方案Google云计算MapReduceBigTableGFSChubbyGFS-->HDFSMapReduce-->Hadoop

BigTable-->HBase

5

HDFS体系结构

NameNodeMasterDataNodeChunksever6一个名字节点和多个数据节点数据复制（冗余机制）

--存放的位置（机架感知策略）故障检测--数据节点心跳包（检测是否宕机）块报告（安全模式下检测）数据完整性检测（校验和比较）--名字节点（日志文件，镜像文件）空间回收机制

HDFS关键运行机制

--保障可靠性的措施7HDFS关键运行机制

--写文件流程客户端缓存流水线复制并发写控制流程：1.客户端把数据缓存到本地临时文件夹2.临时文件夹数据超过64M，客户端联系NameNode，NameNode分配DataNode，DataNode依照客户端的位置被排列成一个有着最近物理距离和最小的序列3.与序列的第一个数据服务器建立Socket连接，发送请求头，然后等待回应，依次下传，客户端得到回包，流水线建立成功，4.正式发送数据，以4K为大小传送9HDFSVS.GFS总体架构的比较数据结构化管理组件：Hbase→BigTable并行计算模型：MapReduce→MapReduce分布式文件系统：HDFS→GFSHadoop缺少分布式锁服务ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云计算应用Google云计算应用10HDFSVS.GFSHDFS与GFS比较中心服务器模式的差异GFS：多台物理服务器，选择一台对外服务，损坏时可选择另外一台提供服务HDFS：单一中心服务器模式，存在单点故障原因：Hadoop缺少分布式锁服务11HDFSVS.GFSHDFS与GFS比较子服务器管理模式差异GFS：ChunkServer在Chubby中获取独占锁表示其生存状态，Master通过轮询这些独占锁获知ChunkServer的生存状态HDFS：DataNode通过心跳的方式告知NameNode其生存状态GFS中，Master损坏时，替补服务器可以快速获知ChunkServer的状态HDFS中，NameNode损坏后，NameNode恢复时需要花费一段时间获知DataNode的状态在添加数据存储节点时，GFS的伸缩性较HDFS要好原因：Hadoop缺乏分布式锁服务13HDFSVS.GFSHDFS与GFS比较HDFS具备空间回收机制文件删除时，仅删除目录结构实际数据的删除在等待一段时间后实施优点：便于恢复文件14HDFS

API简单的HDFSAPI：

hdfs.copyFromLocalFile(pathsrcPath,pathdstPath)

上传本地文件到HDFS的指定位置上eg: 1.Configurationconfig=newConfiguration();

2.hdfs=(config);

3.PathsrcPath=newPath(srcFile);

4.PathdstPath=newPath(dstFile);

5.hdfs.copyFromLocal,dstPath);

hdfs.create(pathpath)

创建HDFS文件 1.Configurationconfig=newConfiguration();

2.hdfs=(config);

3.Pathpath=newPath();

4.FSDataOutputStreamoutputStream=hdfs.create(path);

5.outputStream.write(buff,0,buff.length);15HDFS

API常用的HDFSAPI：hdfs.rename(PathfromPath,PathtoPath) 重命名hdfs文件hdfs.delete(Pathf,Booleanrecursive) 删除指定HDFS文件hdfs.exists(Pathpath) 检查指定路径是否存在

17HDFS

--安防行业的应用前景HDFS存储相对传统存储的优势海量数据存储传统存储：海量视频存储对硬盘要求过高，不能动态增加硬盘容量，扩展容量方便HDFS存储：可以动态增加容量，容量抽象为没有上限，流式存储很适合视频数据。18HDFS

--安防行业的应用前景HDFS存储相对传统存储的优势海量数据分析传统存储：从海量视频数据存储中分析数据基本无法实现。HDFS存储：和hadoop另外的MapReduce分布式计算架构配合，可以进行海量视频数据的分析。19HDFS

--安