HCNPCBDS大数据存储技术巫山文件系统关键技术和原理

大数据存储技术

-巫山文件系统关键技术和原理

2目标学完本课程后，您将能够：熟悉华为大数据存储系统架构。掌握巫山文件系统关键技术和原理，包括InfoProtector技术原理，对象存储原理，全局缓存原理等。掌握OceanStor

9000高速组网技术。掌握OceanStor9000集群NAS技术。了解WushanSQL和FusionInsightHadoop技术。3InfoProtector技术对象存储原理全局缓存原理4InfoProtector功能概述文件数据的保护：ErasureCode（N+M保护级别）OceanStor9000使用ErasureCode技术提供N+1、N+2、N+3、N+4、N+2:1和N+3:1文件数据的保护级别。元数据的保护：镜像当一个目录的保护级别为N+M时，此目录中文件的元数据将以镜像方式存储M+2份。数据恢复当硬盘故障或节点故障时，OceanStor9000可将故障硬盘或节点上的数据恢复到其他工作正常的硬盘上，从而实现数据找回。物理分域物理分域是一种隔离故障的有效手段。

5ErasureCode技术概述6Erasurecode基本原理7(N+M)保护级别N取值范围：2-16M取值范围：1-4文件数据被切成N（例如3)个数据分片另外再计算出M(例如2)个冗余分片以上图示以3份数据切片2份冗余切片存储在5个节点上举例以上图示以3份数据切片2份冗余切片存储在5个节点上举例8（N+M:B）保护级别文件数据被切成N（例如3)个数据分片另外再计算出M(例如2)个冗余分片N取值范围：2-16M取值范围：1-4B取值范围：19ErasureCode技术的硬盘利用率系统仅允许对空目录调整冗余配比。读写性能由高到低：N+1>N+2=N+2:1>N+3=N+3:1>N+4。保护级别硬盘利用率至少需要的节点数当节点数不够时，可选的保护级别N+166%to95%3-N+266%to89%6N+2:1N+366%to84%9N+3:1N+460%to80%10N+4:1N+2:167%to90%3-N+3:157%to84%3-10冗余度取值与应用场景(1)M取值保护含义适用场景+1指一个数据分条（Stripe）中有N+1个条带（Strip），可允许任意1个存储节点故障而不影响数据完整性。适用于对可靠性要求较低的场景。+2指一个数据分条中有N+2个条带，可允许任意2个存储节点故障而不影响数据完整性。此模式所需最少存储节点数量为6，否则将降低冗余度。适用于大多数场景。+3指一个数据分条中有N+3个条带，可允许任意3个存储节点故障而不影响数据完整性。此模式所需最少存储节点数量为7，否则将降低冗余度。适用于对可靠性要求更高的场景11冗余度取值与应用场景(2)M取值保护含义适用场景+4指一个数据分条中有N+4个条带，可允许任意4个存储节点故障而不影响数据完整性。此模式所需最少存储节点数量为10，否则将降低冗余度。适用于对可靠性要求最高的场景+2:1指一个数据分条中有N+2个条带，可允许任意1个存储节点故障而不影响数据完整性。仅当存储节点数目低于20个时考虑。+3:1指一个数据分条中有N+3个条带，可允许任意1个存储节点故障而不影响数据完整性。仅当存储节点数目低于20个时考虑。12冗余保护下数据写流程13冗余保护下数据读取流程14数据块损坏时的数据读取和恢复15M+N的数据离散与故障域隔离数据离散用于提升可靠性。OceanStor9000的数据离散设计包括：当一个节点池内的节点数目大于等于N+M时，则N+M块硬盘将分别位于N+M个节点。当一个节点池内节点所属的机柜数目大于等于N+M时，则N+M块硬盘将分别位于N+M个机柜。故障域隔离用于减小出现故障时的影响范围。OceanStor9000的故障域隔离设计包括：一个Chunk内的数据仅存放到N+M块硬盘组成的硬盘组内。通过节点池提供物理分域能力。16元数据保护-元数据镜像DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…DiskDiskDisk…元数据拷贝元数据拷贝元数据拷贝元数据拷贝元数据拷贝文件元数据节点1节点2节点3节点4节点517数据恢复技术及其触发条件故障对象数据恢复触发条件恢复方式是否自动执行硬盘硬盘离线时间不超过10分钟，并且10分钟内不超过4次离线。将离线时间内变化的数据更新到恢复正常的硬盘，针对这种方式需要确保硬盘上原有的数据没有丢失。是硬盘离线时间超过10分钟。硬盘10分钟之内有5次离线。硬盘故障无法恢复上线。通过计算得到故障硬盘上的数据，并将这些数据写到其他正常的硬盘。是节点节点离线后重新恢复正常。将离线时间内变化的数据更新到恢复正常的节点，针对这种方式需要确保节点上原有的数据没有丢失。是节点离线后，需管理员手工操作触发。通过计算得到故障节点硬盘上的数据，并将这些数据写到其他正常节点的硬盘。否-硬件故障或者系统业务压力过大，导致写数据失败。通过计算同步未写入的数据。是18自动数据恢复策略对于数据恢复任务，需要规划“自动数据恢复策略”，OceanStor9000最多支持5条策略。该策略可以限制某一时间段内执行数据恢复操作的优先级，5条策略的时间段取值范围不可以重合。影响策略等级取值如下所列。高：默认的优先级，对系统性能的影响不超过50%。中：对系统性能的影响不超过30%。低：对系统性能的影响不超过10%。停止：停止数据恢复任务。全速：对数据恢复任务不进行流控限制。当数据保护接近失效时，则相应数据恢复任务影响策略将自动调整为“高”。19快速数据恢复原理系统中每个硬盘都属于多个逻辑分组硬盘故障时,会选出4个目标盘出来进行恢复每个目标盘的恢复是独立的，目标盘之间的恢复可以并发故障节点1节点2节点3节点4节点5节点6硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……硬盘1硬盘2硬盘3硬盘n……20InfoProtector技术对象存储原理全局缓存原理21巫山文件系统基础-对象存储22基础知识-文件系统功能和组织文件系统的功能存储设备的空间组织和分配完成文件的访问：

文件元数据的访问

文件数据内容的访问文件系统的组织无论从属于Win系统，还是Linux系统，文件系统通常以树状形式来组织数据。数据组成文件，文件再放到目录中23基础知识-元数据的存储和访问元数据，描述数据的数据。由Dentry（目录项）和Inode（索引节点）组成。24巫山文件系统中的对象25巫山文件系统的分布式对象资源池26InfoProtector技术对象存储原理全局缓存原理27全局缓存概念storageCPUMemorystorageCPUMemorystorageCPUMemory全局缓存ABC应用服务器GlobalCache使所有存储服务器上的内存空间在逻辑组成一个统一内存资源池，缓存在任何一个存储服务器上的数据，在后续其它任何存储服务器接收到访问该数据请求时都可以在全局缓存中命中，同时所有用户数据在整个集群系统中只缓存一份并且不缓存校验数据，可以有效发挥缓存对系统性能的影响提高系统整体的性能。28全局缓存组成要素29全局缓存与数据读取storageCPUstorageCPUMemorystorageCPUMemory应用服务器④LOCK③返回数据在NodeA缓存中①从NodeA缓存中读取数据E服务器向NodeC发起请求主机E向NodeC的客户端发出数据读请求。NodeC的客户端向分布式锁服务器申请分条资源读锁。系统检查所读数据的缓存是否在全局缓存中以及缓存在哪个节点上，左图显示该文件分条资源在NodeA节点上的缓存中。NodeC从NodeA节点上的全局缓存中获数据并返回（如果不在全局缓存中，则直接从各个节点上读取该分条数据的所有条带数据后构造出分条数据后再返回）。NodeANode

BNodeC向锁服务器申请分条资源读锁②GlobalCache30全局缓存与数据写入storageCPUstorageCPUstorageCPU应用服务器LOCK①E服务器向NodeC发起请求主机E向NodeC上客户端发出数据写请求。NodeC的客户端向分布式锁服务器申请分条资源写锁。NodeC的客户端

申请加锁成功后，NodeC将用户数据接收到本节点上的全局缓存中。No