课件说明讲稿hadoop mindmap

安装配 配置文 设计思 3.大数据 基本结 文件元数 文件 结 文件属 生成时 副本 权 文件块列 文件块位 文件结 文件块数 数据校验 安全信 FSImage（元数据镜像文件 FSEdits（元数据操作日志 运行策 权限管 策 安全策 文件损 网络故 机器故 安全模 深入了 运行策 缓冲区同时写 环行缓冲 缓冲暂 阶 合并阶 处理阶 优 推测式执 跳过环记 任务执行环 子 Hadoop 数据检 校验文件比例 所使用的校验系统 失 创建 DataNode 校验和检 JAVA 数据恢 数据压 优 空间优 时间优 压缩算 可分 使 Java 序列 目 进程通 数据持久化 Interface-- Method--voidwrite(DataOutput Method--voidreadFileds(DataInput Implement- 数据类 基本数据类 扩展数据类 自定义数据类 文件 数据格 结构类 数据为文件夹中索 扩展 Version1.0问 作业延迟过 编程框架不够灵 设计要 可靠性 可用性 扩展性 向后兼容（Backward 其他框架兼容 架 资源管理器 应用管理器 调度协商组 应用主体容器管理组 应用主体组 调度器 节点管理器 为应用启用调度器已分配给应用的容 保证已启用的容器不会使用超过分配的资源 为所在的节点提供一个管理本地资源的简单服 应用主体 作 与调度器协商资 与节点管理器合作，在合适的容器中运行对应的组件task，并这些tas 计算应用程序所需的资源量，并转化成调度器可识别的协议信息 之前保存的应用程序执行状态中恢复应用程 应用主体组件 调度组 容器分配组 用户服务组 任务组 任务组 容器启动组 作业历史处理组 作业组 容器 设计细 资源协 调 选择系统中最低服务的队列。这个队列可以是等待时间最长的队列，或者等待时间与已分配资源之比最大的队列等 从队列中选择拥有最高优先级的作 满足被选出的作业的资源请 资源应用提 用户提交作业到应用管理 应用管理器接受应用提 应用管理器将启动的应用主体细节信息发还给用户，以便其监应用的进 ap框架接收用提交的作业，并为其分配一个新的应用，并将应用的定义打包上传到上用户的应用缓存中，然后提交此应用给应用管理器。 应用管理器同调度器协商获取运行应用主体所需的第一个资应用管理器在获取的资源容器上执行应用主 应用主体计算应用所需资源，并发送资源请求到调度 节点管理器启用容器并运行任 应用主体容器上任务的执行情 应用主体反馈作业的执行状态信息和完成状 优 集群资源统一组织成资源容器，提高资源利用 设计思基本结权文件块列文件块位文件块数数据校验FSImage（元数据镜像文件FSEdits（元数据操作日志权限管RawLocalFileSystem校验和设缓冲区同时写环行缓冲缓冲暂处理阶优推测式执跳过环记任务执行环子Hadoop数据检CRC-32循环冗余教512字节/4字失创建DataNode数据检UploadDataNodeRecieve校验和检JAVAFileSystemfs=newFileSystem（）；另一个是使用 另一个是使用 gethadoopfs-get[-ignoreCrc][-举hadoopfs-get-ignoreCrcget命令会文件到本地文件系统。可用-ignorecrc选项CRC校验失败的文件，或者使用-crc选项文件，以及CRC信息。hadoopfs-copyToLocal[-ignorecrc][-crc]URI＜localdst＞hadoopfs-copyToLocal-ignoreCrc校验和检验的主要原因是，如果不禁用校验和检验，就无法那些已经损坏的文件来查看是否可以挽1.检查回复标Blocktmp=newBlock（）；Stringmsg="Block"+block+"isalreadybeingrecovered，"+"ignoringthisrequesttorecoverit."；thrownew}ongoingRecovery.put（block,}2.统计数据块回复状for（DataNodeIDid：datanodeids）{}}blockRecords.add（newBlockRecord（iddatanode,info））；}}catch（IOException}3.找出所有版本数据块中正确长度的版在这一步骤中，DataNode会逐个扫描上一阶段中保存的数据块记录，首先判断当本是否正在恢复，如for（BlockRecordBlockRecoveryInfoinfo=；}}}}}returnsyncBlock（block,syncList,targets,数据压优空间优时间优压缩算 JavaJobConfconf=new press设置output输出压缩的代码JobConfconf=new 进程通1.紧3.可扩Interface--Method--voidwrite(DataOutputMethod--voidreadFileds(DataInputImplement- 扩展数据类8编码，同时Hadoop使用变长类型VInt来字符串，其上限是2GB类型的变量需要在使用时指定类型，因为ArrayWritable和TwoDArrayWritable并没有空值的构ArrayWritablea=new同样，在它们的子类时，必须使用super（）来指定ArrayWritable和TwoDArrayWritable的数据类publicclassIntArrayWritableextendspublicIntArrayWritable（）{}}一般情况下，和e都有（）get（）函数，在将t转化为g时，它们也都提供了一个转化函数（）。但是它们没有提供比较器这点需要注意。同时从的和readFields可以看出是横向读写的，同时还会读写每一维的数据长度。publicvoidreadFields（DataInputin）throwsIOException{for（inti=0；i＜values.length；i++）{for（intvalues[i][j]=value；//保存的数}}}publicvoidwrite（DataOutputout）throwsIOException{for（inti=0；i＜values.length；i++）{}for（inti=0；i＜values.length；i++）{for（intj=0；j＜values[i].length；j++）{}}} pressedWritable在数据时先二进制字节流，然后调用ensureInflaprivatestaticfinalbyteNOT_SET=-1；privatebytetype=NOT_SET；privateWritableinstance；privateConfigurationconf=null；publicvoidreadFields（DataInputin）throws//先数据类type=in//再数}publicvoidwrite（DataOutputout）throwsIOException{thrownewIOException（"TheGenericWritablehasNOTbeenset} byte//写本信publicvoidwrite（DataOutputout）throwsIOException{}publicvoidreadFields（DataInputin）throwsIOException{byteversion=in.readByte（）；thrownew}自定义数据类packagec importjava.io.*；importpublicclassNumPairimplements privateLongWritableline；privateLongWritablelocation；publicNumPair（）{set（newLongWritable（0），new}publicvoidset（LongWritablefirst,LongWritable{}publicNumPair（LongWritablefirst,LongWritablesecond）{set（first,second）；}publicNumPair（intfirst,intset（newLongWritable（first），new}publicLongWritablegetLine（）{returnline；}publicLongWritablegetLocation（）{returnlocation；}publicvoidreadFields（DataInputin）throws{locationreadFields（in）；}publicvoidwrite（DataOutputout）throwsIOException{}publicbooleanequals（NumPairo）{returntrue；return}publicintreturnline}publicintcompareTo（NumPairo）{return0；return-}文件version（版本号）：这是一个形如SEQ4或SEQ5的字节数组，一共占节compressorclass（压缩类）：这是Hadoop内封装的用于压缩key和value的代码；结构类并非直接子Version1.0问JobTracker单点瓶TaskTracker作业分配信息太简作业延迟过在运行作业之前，需要汇报自己的资源情况和运行情况，根据获取的信息分配作业r获