版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大数据存储技术
-巫山文件系统关键技术和原理
2目标学完本课程后,您将能够:熟悉华为大数据存储系统架构。掌握巫山文件系统关键技术和原理,包括InfoProtector技术原理,对象存储原理,全局缓存原理等。掌握OceanStor
9000高速组网技术。掌握OceanStor9000集群NAS技术。了解WushanSQL和FusionInsightHadoop技术。3InfoProtector技术对象存储原理全局缓存原理4InfoProtector功能概述文件数据的保护:ErasureCode(N+M保护级别)OceanStor9000使用ErasureCode技术提供N+1、N+2、N+3、N+4、N+2:1和N+3:1文件数据的保护级别。元数据的保护:镜像当一个目录的保护级别为N+M时,此目录中文件的元数据将以镜像方式存储M+2份。数据恢复当硬盘故障或节点故障时,OceanStor9000可将故障硬盘或节点上的数据恢复到其他工作正常的硬盘上,从而实现数据找回。物理分域物理分域是一种隔离故障的有效手段。
5ErasureCode技术概述6Erasurecode基本原理7(N+M)保护级别N取值范围:2-16M取值范围:1-4文件数据被切成N(例如3)个数据分片另外再计算出M(例如2)个冗余分片以上图示以3份数据切片2份冗余切片存储在5个节点上举例以上图示以3份数据切片2份冗余切片存储在5个节点上举例8(N+M:B)保护级别文件数据被切成N(例如3)个数据分片另外再计算出M(例如2)个冗余分片N取值范围:2-16M取值范围:1-4B取值范围:19ErasureCode技术的硬盘利用率系统仅允许对空目录调整冗余配比。读写性能由高到低:N+1>N+2=N+2:1>N+3=N+3:1>N+4。保护级别硬盘利用率至少需要的节点数当节点数不够时,可选的保护级别N+166%to95%3-N+266%to89%6N+2:1N+366%to84%9N+3:1N+460%to80%10N+4:1N+2:167%to90%3-N+3:157%to84%3-10冗余度取值与应用场景(1)M取值保护含义适用场景+1指一个数据分条(Stripe)中有N+1个条带(Strip),可允许任意1个存储节点故障而不影响数据完整性。适用于对可靠性要求较低的场景。+2指一个数据分条中有N+2个条带,可允许任意2个存储节点故障而不影响数据完整性。此模式所需最少存储节点数量为6,否则将降低冗余度。适用于大多数场景。+3指一个数据分条中有N+3个条带,可允许任意3个存储节点故障而不影响数据完整性。此模式所需最少存储节点数量为7,否则将降低冗余度。适用于对可靠性要求更高的场景11冗余度取值与应用场景(2)M取值保护含义适用场景+4指一个数据分条中有N+4个条带,可允许任意4个存储节点故障而不影响数据完整性。此模式所需最少存储节点数量为10,否则将降低冗余度。适用于对可靠性要求最高的场景+2:1指一个数据分条中有N+2个条带,可允许任意1个存储节点故障而不影响数据完整性。仅当存储节点数目低于20个时考虑。+3:1指一个数据分条中有N+3个条带,可允许任意1个存储节点故障而不影响数据完整性。仅当存储节点数目低于20个时考虑。12冗余保护下数据写流程13冗余保护下数据读取流程14数据块损坏时的数据读取和恢复15M+N的数据离散与故障域隔离数据离散用于提升可靠性。OceanStor9000的数据离散设计包括:当一个节点池内的节点数目大于等于N+M时,则N+M块硬盘将分别位于N+M个节点。当一个节点池内节点所属的机柜数目大于等于N+M时,则N+M块硬盘将分别位于N+M个机柜。故障域隔离用于减小出现故障时的影响范围。OceanStor9000的故障域隔离设计包括:一个Chunk内的数据仅存放到N+M块硬盘组成的硬盘组内。通过节点池提供物理分域能力。16元数据保护-元数据镜像DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…元数据拷贝元数据拷贝元数据拷贝元数据拷贝元数据拷贝文件元数据节点1节点2节点3节点4节点517数据恢复技术及其触发条件故障对象数据恢复触发条件恢复方式是否自动执行硬盘硬盘离线时间不超过10分钟,并且10分钟内不超过4次离线。将离线时间内变化的数据更新到恢复正常的硬盘,针对这种方式需要确保硬盘上原有的数据没有丢失。是硬盘离线时间超过10分钟。硬盘10分钟之内有5次离线。硬盘故障无法恢复上线。通过计算得到故障硬盘上的数据,并将这些数据写到其他正常的硬盘。是节点节点离线后重新恢复正常。将离线时间内变化的数据更新到恢复正常的节点,针对这种方式需要确保节点上原有的数据没有丢失。是节点离线后,需管理员手工操作触发。通过计算得到故障节点硬盘上的数据,并将这些数据写到其他正常节点的硬盘。否-硬件故障或者系统业务压力过大,导致写数据失败。通过计算同步未写入的数据。是18自动数据恢复策略对于数据恢复任务,需要规划“自动数据恢复策略”,OceanStor9000最多支持5条策略。该策略可以限制某一时间段内执行数据恢复操作的优先级,5条策略的时间段取值范围不可以重合。影响策略等级取值如下所列。高:默认的优先级,对系统性能的影响不超过50%。中:对系统性能的影响不超过30%。低:对系统性能的影响不超过10%。停止:停止数据恢复任务。全速:对数据恢复任务不进行流控限制。当数据保护接近失效时,则相应数据恢复任务影响策略将自动调整为“高”。19快速数据恢复原理系统中每个硬盘都属于多个逻辑分组硬盘故障时,会选出4个目标盘出来进行恢复每个目标盘的恢复是独立的,目标盘之间的恢复可以并发故障节点1节点2节点3节点4节点5节点6硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……20InfoProtector技术对象存储原理全局缓存原理21巫山文件系统基础-对象存储22基础知识-文件系统功能和组织文件系统的功能存储设备的空间组织和分配完成文件的访问:
文件元数据的访问
文件数据内容的访问文件系统的组织无论从属于Win系统,还是Linux系统,文件系统通常以树状形式来组织数据。数据组成文件,文件再放到目录中23基础知识-元数据的存储和访问元数据,描述数据的数据。由Dentry(目录项)和Inode(索引节点)组成。24巫山文件系统中的对象25巫山文件系统的分布式对象资源池26InfoProtector技术对象存储原理全局缓存原理27全局缓存概念storageCPUMemorystorageCPUMemorystorageCPUMemory全局缓存ABC应用服务器GlobalCache使所有存储服务器上的内存空间在逻辑组成一个统一内存资源池,缓存在任何一个存储服务器上的数据,在后续其它任何存储服务器接收到访问该数据请求时都可以在全局缓存中命中,同时所有用户数据在整个集群系统中只缓存一份并且不缓存校验数据,可以有效发挥缓存对系统性能的影响提高系统整体的性能。28全局缓存组成要素29全局缓存与数据读取storageCPUstorageCPUMemorystorageCPUMemory应用服务器④LOCK③返回数据在NodeA缓存中①从NodeA缓存中读取数据E服务器向NodeC发起请求主机E向NodeC的客户端发出数据读请求。NodeC的客户端向分布式锁服务器申请分条资源读锁。系统检查所读数据的缓存是否在全局缓存中以及缓存在哪个节点上,左图显示该文件分条资源在NodeA节点上的缓存中。NodeC从NodeA节点上的全局缓存中获数据并返回(如果不在全局缓存中,则直接从各个节点上读取该分条数据的所有条带数据后构造出分条数据后再返回)。NodeANode
BNodeC向锁服务器申请分条资源读锁②GlobalCache30全局缓存与数据写入storageCPUstorageCPUstorageCPU应用服务器LOCK①E服务器向NodeC发起请求主机E向NodeC上客户端发出数据写请求。NodeC的客户端向分布式锁服务器申请分条资源写锁。NodeC的客户端
申请加锁成功后,NodeC将用户数据接收到本节点上的全局缓存中。No
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年修订:标准集装箱长期租赁条款
- 2024年营养型输液项目评价分析报告
- 2024年技术支持与短期用工合同
- 2024年新式物流搬运设备采购合同
- 2024年调直机项目评价分析报告
- 2024年房屋买卖合同范本汇编(英文版)
- 物流2024实习总结开头(28篇)
- 2024年文化遗址演出场地租赁
- 2024年式钢筋锚固施工协议
- 设计师工作计划(33篇)
- 2024年宏观经济发展情况分析报告
- 摄影入门课程-摄影基础与技巧全面解析
- 251直线与圆的位置关系(第1课时)(导学案)(原卷版)
- XX有限公司人员分流方案
- 大语言模型赋能自动化测试实践、挑战与展望-复旦大学(董震)
- 期中模拟检测(1-3单元)2024-2025学年度第一学期西师大版二年级数学
- 追觅科技在线测评逻辑题
- 2024-2030年中国演艺行业发展分析及发展前景与趋势预测研究报告
- 2025年广东省高中学业水平考试春季高考数学试题(含答案解析)
- 2024年重庆市渝北区数据谷八中小升初数学试卷
- 凝中国心铸中华魂铸牢中华民族共同体意识-小学民族团结爱国主题班会课件
评论
0/150
提交评论