版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
分布 系主要内用户行为系 架主要内用户行为系 架概用户行为数 基本要可扩展容错HadoopDistributedFile离线数 系统，支持PB级数实时结构化数 ，支持PB级数据规构建在HDFS之上，将文 在HDFS主要内用户行为系 架HDFS是什么源自 的于2003年10HDFS是GFS克隆HadoopDistributedFile运行在大量普通廉价机器上，提供容错HDFS优高容副本丢失后，自动恢数据位 给计算框GB、TB、甚至PB级数10K+节点规HDFS优写入，多HDFS缺比如毫占用NameNode大量内寻道时间超 时仅支持50
HDFSHDFS
HDFSHDFSActive
Standby当ActiveHDFS架
文件切Fsimage与NameNode两个重要fsimage：元数据镜像文件（保存文件系统 树 系统中，比如NFS、JournalNode元数据镜内存中保存一 内存中的镜像合并fsimage与Edits文件过大将导致NameNode重启速度StandbyNamenodeHDFS数据块默认数据块大小为64MB，可配若文件大小不到64MB，则单独存成一个数据传输时间超过寻道时间（高吞吐率一个文 方 默认情况下每个block有三个副HDFS内部机制HDFS内部机制—HDFS内部机制HDFS内部机制—读HDFS内部机制—物理拓
每个机架通常有16-64HDFS内部机制—副本放置策问题择节点这几份数据？Block副本1: 的节点副本2:其他副本:随机挑
HDFS内部机制—可靠性策 •文件完整的 –CRC32校的 –Datanode定期向 NameNode挂况 •元数据NameNode挂况NameNodeFSImage（文件系统镜像）NameNodeEditlog（操作日志多主备NameNode实时切主要内用户行为系 架HBase是什么HBase是ApacheHadoop生态系统中的重要 Hbase地 HBase与HBase与HDFSHBase表的特大：一个表可以有数十亿行，上百万列面向列：面向列（族）的和权限控制，列（族）独立 数据类型单一：Hbase中的数据都是字符串，没有类型HBase数据模 ColumnRow HBaseHBase每一行与每个columnfamily由一个或者ColumnHBase基本名称为“Contents”的column 名称为“anchor”的columnRowRow"contents:Column"anchor:"com.apacw""<html>…"<html>…名称为"anchor:"APACHE n.www m"CNNca"CNN.com"<html>…"<html>…"<html>…ByteColumn拥有一个名称每一行有一个版RowRow"contents:Column"anchor:"com.apacw""<html>…"<html>…"anchor:"APACHE n.www "CNN"anchor:my.look.ca"CNN.com"<html>…"<html>…"<html>…每个rowkey默认值➔系统时间类型为ValueByteHBaseschema可以有多个每个表可由多个ColumnFamilyHBaseDynamicColumn（不属于schema的RowKey是主HBaseHBaseHBaseHBaseHBase基本►包 HBase的接口， cache来加快对HBase保证任何时候，集群中只有一个存贮所有Region的寻实 Regionserver的上线和下线信息。并实时通知给HBase的schema和table元数为Regionserver分配负责Regionserver的负载均发现失效的Regionserver并重新分配其上的管理用户对table的增删改查操RegionRegion region，处理对这些region的IO请Regionserver负责切分在运行过程中变得过大的HDFS与HDFS与HBase主要内用户行为系 架用户行为系 架
用户行 系数
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024版古建筑保护工程勘察合同3篇
- 2024年度劳动合同法修订版及配套合同范本2篇
- 2024版租赁车辆租赁合同解除条件协议2篇
- 2024版高层住宅消防系统设计与施工一体化合同3篇
- 2024版电影剧本保密及商业秘密保护合同范本3篇
- 2024版设备租赁与购买借款合同3篇
- 2024年度房屋买卖合同附物业交割清单3篇
- 2024年度企业内部资料保密及竞业限制合同范本2篇
- 汕头市2025届高三第二次模拟考试数学试卷含解析
- 2024年学校食堂食品安全责任险采购合同3篇
- 压力管道水压试验记录范文
- 山东电力积分商城系统建设方案v1.1
- 部编人教版五年级语文上册期末测试卷含答题卡
- 内陆渔政船建设项目可行性研究报告
- 环境材料学教学课件汇总完整版电子教案全书整套课件幻灯片(最新)
- 建设项目全过程跟踪审计表格
- 企业员工上下班交通安全培训(简详共2份)
- T∕ZSQX 008-2020 建设工程全过程质量行为导则
- 业务员手册内容
- pH值的测定方法
- 输出轴的机械加工工艺规程及夹具设计
评论
0/150
提交评论