大数据存储技术培训

1、修订(xidng)记录课程编码适用产品产品版本课程版本ISSUEHC1209202N8500OceanStor 9000V100R002V00R001V2.0开发/优化者审核人开发类型（新开发/优化）2013-09-20/新开发本页不打印(d yn)第一页，共九十页。HC1209202 第二章 大数据(shj)存储技术第二页，共九十页。目标(mbio)学完本课程后，您将能够:描述大数据存储架构理解大数据存储技术了解大数据分析技术(jsh)了解数据安全技术理解集群NAS技术理解文件系统分级存储理解文件系统快照、镜像、复制第三页，共九十页。目录(ml)大数据存储架构大数据存储技术大数据分析技术(j

2、sh)数据安全技术NAS基础技术集群NAS技术集群NAS卷管理技术第四页，共九十页。大数据(shj)存储架构 Scale-out File system数据生命周期管理/跨域调度管理 Scale-out DB 传统存储业务海量数据业务 主存储域 NOFSServers: General X86 open architecture NOFS NOFS NOFS NOFS NOFS NOFS NOFS10GE iWARP/Infiniband XDBCSQLMap-Reduce InterfacePOSIXJOB 备份域HDFS HDFS large-capacity nodehigh-OPS n

3、odeHDFShigh-bandwidth node业务层接口层存储层NFS/CIFSS3ISCSIBIBig data analyticsBackupBig data shareNAS第五页，共九十页。应用层HPC 客户端客户端在线(zi xin)系统近线系统(xtng) FC/10GE/InfinibandFC/10GE/InfinibandScale-out NASScale-out DBScale-out Backup磁盘上下电扫描文件数据保护策略单盘下电节能数据定期巡检文件生命周期策略Distributed FSScale-out架构(ji u)第六页，共九十页。目录(ml)大数据(

4、shj)存储架构大数据存储技术大数据分析技术数据安全技术NAS基础技术集群NAS技术集群NAS卷管理技术第七页，共九十页。传统存储(cn ch)与对象存储(cn ch)第八页，共九十页。大数据(shj)存储技术分布式对象资源池第九页，共九十页。大数据(shj)存储技术-Erasure code数据写入时被切割成M个数据块经过纠错编码(bin m)生成N个冗余校验块,共M+N份数据系统将多个数据块并行的存储于不同的节点中当存储节点损坏时，数据读写正常，剩余数据块及冗余块后台参与并将数据恢复m2m4m1m3m3m2n2n1m4m1n2m4第十页，共九十页。对象存储(cn ch)数据写流程第十一页，

5、共九十页。9、 人的价值，在招收诱惑的一瞬间被决定。2022/9/12022/9/1Thursday, September 1, 202210、低头要有勇气，抬头要有低气。2022/9/12022/9/12022/9/19/1/2022 10:27:06 PM11、人总是珍惜为得到。2022/9/12022/9/12022/9/1Sep-2201-Sep-2212、人乱于心，不宽余请。2022/9/12022/9/12022/9/1Thursday, September 1, 202213、生气是拿别人做错的事来惩罚自己。2022/9/12022/9/12022/9/12022/9/19/1/

6、202214、抱最大的希望，作最大的努力。01 九月 20222022/9/12022/9/12022/9/115、一个(y )人炫耀什么，说明他内心缺少什么。九月 222022/9/12022/9/12022/9/19/1/202216、业余生活要有意义，不要越轨。2022/9/12022/9/101 September 202217、一个人即使已登上顶峰，也仍要自强不息。2022/9/12022/9/12022/9/12022/9/1第十二页，共九十页。对象存储数据(shj)读取流程第十三页，共九十页。数据(shj)块损坏时的数据(shj)读取和恢复第十四页，共九十页。元数据(shj)冗余

7、DiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDisk元数据拷贝元数据拷贝元数据拷贝元数据拷贝元数据拷贝文件元数据节点1节点2节点3节点4节点5第十五页，共九十页。EC快速(kui s)数据恢复系统中每个硬盘都属于多个(du )NLUN硬盘故障时,会选出4个目标盘出来进行恢复每个目标盘的恢复是独立的，目标盘之间的恢复可以并发节点(ji din)1节点2节点3节点4节点5节点6硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n第十六页，共

8、九十页。单一文件系统&统一文件系统命名(mng mng)空间应用服务器WushanFS第十七页，共九十页。热数据(shj)冷数据(shj)普通(ptng)数据Tier 2Tier 3Tier 1SSD分级存储技术分级存储满足用户既需要高性能访问也需要大容量存储的双重需求。允许用户自行规划自己的业务，对自己的业务进行分级，把某些重要的业务放在性能较高的节点上。 第十八页，共九十页。热数据(shj)冷数据(shj)普通(ptng)数据Tier 2Tier 3Tier 1SSD分级存储技术分级存储满足用户既需要高性能访问也需要大容量存储的双重需求。允许用户自行规划自己的业务，对自己的业务进行分级，把

9、某些重要的业务放在性能较高的节点上。 第十九页，共九十页。智能(zh nn)负载均衡在所有节点间自动进行负载均衡(jnhng)自动平衡容量和性能IP的故障切换(failover)和故障恢复(failback)无需人工干预，无需更改配置对应用透明nodenodenodenodeOceanStor9000WiseLinkWiseLinkWiseLinkWiseLinkWushanFS01234第二十页，共九十页。智能负载(fzi)均衡负载均衡实现过程：访问系统一级/二级域名,如：OceanStor 9000对域名进行解析(ji x)，根据负载策略，返回IP地址业务请求nodenodenodenod

10、enodenodeZone 1：基于(jy)CPU使用情况二级域名：Zone 2：基于网络连接数二级域名：WushanFSNFS Client第二十一页，共九十页。智能(zh nn)负载均衡负载均衡(jnhng)实现过程：访问系统一级/二级域名,如：OceanStor 9000对域名进行解析，根据负载策略，返回IP地址业务请求nodenodenodenodenodenodeZone 1：基于CPU使用(shyng)情况二级域名：Zone 2：基于网络连接数二级域名：WushanFSNFS Client第二十二页，共九十页。高效(o xio)全局缓存（一）storageCPUMemorystor

11、ageCPUMemorystorageCPUMemory全局缓存ABC应用服务器nodeAnodeBnodeCWushanFS第二十三页，共九十页。高效(o xio)全局缓存（二）利用分布式锁，实现(shxin)全局缓存同一数据块在缓存只缓存一份任意节点缓存中的数据都能被其他节点访问时命中Node ANode BNode CstorageCPUMemorystorageCPUMemorystorageCPUMemory应用服务器WushanFS服务器向Node C申请(shnqng)锁LOCK返回锁在Node A已经申请从Node A缓存中读取数据第二十四页，共九十页。按需扩展(kuzhn)节

12、点(ji din)线性扩展60秒之内完成(wn chng)单节点扩容无需人为干预，无需任何改动应用服务器第二十五页，共九十页。InfiniBand技术(jsh)InfiniBandInfiniBand技术不是用于一般网络连接的，它的主要设计目的针对服务器端的连接问题。InfiniBand技术被应用(yngyng)于服务器与服务器（比如复制、分布式工作等）、服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN、 WANs和the Internet）的通信。InfiniBand的用途针对服务器端的连接，提供高速、低时延、RDMA方式的访问InfiniBand的特点高带宽低时

13、延系统扩展性好第二十六页，共九十页。InfiniBand体系(tx)架构InfiniBand标准定义(dngy)了一套用于系统通信的多种设备，包括信道适配器、交换机和路由器。第二十七页，共九十页。InfiniBand的帧结构(jigu)InfiniBand的帧结构(jigu)第二十八页，共九十页。InfiniBand的特点(tdin)高速度Infiniband第一代DDR技术，所支持的吞吐量为5、20或60Gbps，延迟低于1.3us。第二代QDR技术，带宽最高可达120Gbps，延迟低于100ns 远程直接内存存取功能该功能对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和

14、使用其他服务器的部分内存，无需涉及操作系统的内核。传输卸载远程直接内存存取能够(nnggu)帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担第二十九页，共九十页。InfiniBand的协议(xiy)栈第三十页，共九十页。10GE以太网定义10GE 以太网（10 Gigabit Ethernet，缩写为10GE，10GbE，10 GigE或10GE），即万兆以太网。一种以太网的传输标准，2021年通过，成为IEEE Std 802.3ae-2021。它规范了以10 Gbit/s 的速度来传输的以太网，它的速度是GE的十倍。特点：10 Gigabit以太网，以全双工方式连接到

15、网络交换器，它不支持(zhch)半双工模式与CSMA/CD。10GE提供了高带宽低时延的访问，适合比较 媒资类、高算类、OLAP等。第三十一页，共九十页。目录(ml)大数据存储架构大数据存储技术大数据分析技术(jsh)数据安全技术NAS基础技术集群NAS技术集群NAS卷管理技术第三十二页，共九十页。数据库技术(jsh)的演变随着数据量的飞速增长，特别是非结构化数据，传统关系(gun x)型数据库的可扩展性出现瓶颈，因此出现各种场景优化的数据存放方式OldSQL（事务）New SQL/MoreSQL（分析）NoSQL（互联网）第三十三页，共九十页。NoSQL与NewSQL第三十四页，共九十页。数

16、据库CAP原理(yunl)第三十五页，共九十页。NoSQL结构(jigu)第三十六页，共九十页。NoSQL与关系(gun x)型的数据库对比优势方面： 易扩展：灵活的数据模型高可用：快速读写，大数据量，高性能低廉的成本不足： 不提供对SQL的支持支持的特性不够丰富NoSQL未形成(xngchng)一定标准第三十七页，共九十页。NoSQL与关系(gun x)型的数据库对比优势方面(fngmin)： 易扩展：灵活的数据模型高可用：快速读写，大数据量，高性能低廉的成本不足： 不提供对SQL的支持支持的特性不够丰富NoSQL未形成一定标准第三十八页，共九十页。NoSQL分类(fn li)类型部分代表特

17、点列存储Hbase/Cassandra/Hypertable顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。文档存储MongoDB/CouchDB文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。key-value存储Tokyo Cabinet Tyrant/Berkeley DB/MemcacheDB/Redis可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）图存储Neo4

18、J/FlockDB/InfoGrid图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。对象存储Db4o/Versant通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。xml数据库Berkeley DB XML/BaseX高效的存储XML数据，并支持XML的内部查询语法，比如XQuery,Xpath。第三十九页，共九十页。NoSQL应用(yngyng)举例Google的BigTableBigTable提出了一种很有趣的数据模型，它将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格(yng)的一致性保证。Amazon的DynamoDyn

19、amo使用的是另外一种分布式模型。Dynamo的模型更简单，它将数据按key进行hash存储。其数据分片模型有比较强的容灾性，因此它实现的是相对松散的弱一致性：最终一致性。第四十页，共九十页。NewSQLNewSQL 是对各种新的可扩展/高性能数据库的简称。NewSQL数据库具有NoSQL对海量(hiling)数据的存储管理能力。NewSQL数据库保持了传统数据库支持ACID和SQL等特性。第四十一页，共九十页。MPP DB-结构化数据分析MPP DB关键技术：分布式并行计算、存储在线系统扩容 访问性能线性扩展加载能力线性扩展高级负载管理 数据分区均衡存储透明压缩支持开放硬件平台CPUCPUC

20、PUCPU内存内存内存内存扩展方式(fngsh)：增加服务器节点理论上扩展无限制，上千节点互连随着节点数量增加，性能线性提升MPP DB Share-nothing架构(ji u)例如：HUAWEI OceanStor 9000， EMC Greenplum， DB2 DPF Scale Out 模式(msh)网络第四十二页，共九十页。目录(ml)大数据存储架构大数据存储技术大数据分析技术数据安全技术NAS基础(jch)技术集群NAS技术集群NAS卷管理技术第四十三页，共九十页。存储系统的数据(shj)安全性完整性保密性可用性数据加密WORMRAID用户管理系统加固日志审计补丁管理网络管理(A

21、CL)数据销毁远程复制备份恢复防病毒第四十四页，共九十页。对象存储(cn ch)加密物理级：磁道校验 CRC分片级：分片校验 SHA256对象级：对象校验 MD5应用级：报文校验 CRC端到端一致性校验第四十五页，共九十页。目录(ml)大数据存储架构大数据存储技术大数据分析技术数据安全技术NAS基础(jch)技术集群NAS技术集群NAS卷管理技术第四十六页，共九十页。什么(shn me)是NAS？NAS特征：拥有(yngyu)可访问的磁盘阵列拥有文件系统对外提供访问文件系统的接口LUN0LUN1LUN2LUN3LUN6LUN7LUN8LUN9LUN4LUN10LUN5LUN11卷管理(gunl

22、)模块卷管理模块文件系统Network Attached Storage网络文件系统协议以太网接口以太网接口第四十七页，共九十页。NAS结构(jigu)NAS硬件操作系统存储管理（磁盘监视，异常处理，RAID）文件系统网络文件共享（NFS,CIFS）GUI界面设备监视与控制；设备配置：网络、卷、文件存取权限等）可通过Web进行管理第四十八页，共九十页。网络(wnglu)模块TCP/IP微内核操作系统控制器微码RAID软件NAS文件系统CIFS或NFS协议(xiy)NTFS或FAT32文件系统，Windows计算机UFS文件系统，UNIX工作站UFS文件系统，UNIX工作站NTFS或FAT32文

23、件系统，Windows计算机NTFS或FAT32文件系统，Windows计算机CIFS或NFS协议(xiy)CIFS或NFS协议NAS设备第四十九页，共九十页。CIFS是什么(shn me) 定义CIFS (Common Internet File System)，通用Internet文件系统 ，一个新提出的协议，它使程序可以访问远程(yunchng)Internet计算机上的文件并要求此计算机的服务。 CIFS是公共的或开放的SMB协议版本，包含主要模块有：NBTSMBBrowsing第五十页，共九十页。NBT、SMB、BrowsingNBT (NetBIOS over TCP/IP) TC

24、P/IP 上的NetBIOSSMB (The Server Messages Block Protocol) 服务器消息块协议(xiy)Browsing (The Browse Service) 浏览服务SMBNETBIOSTCP/UDPIP第五十一页，共九十页。NBTHullRingoClementsTCP/IP网络(wnglu)MickLaidlawWhere is Ringo ?NBT（NetBIOS over TCP/IP）TCP/IP上的NetBIOSThis is Ringo 第五十二页，共九十页。SMBSMB 是用于文件与打印机共享的协议同时也叫 CIFS (Common Int

25、ernet File System)基于客户端/服务器模式并不等同于Samba: 一种SMB协议在unix系统上的开源实现(shxin)SMB 通常运行在 NetBIOS (naming + sessions + datagram)协议之上NetBIOS + SMB 适用于LAN环境第五十三页，共九十页。BrowsingBrowsing（The Browse Service ）浏览器服务的主要功能是：提供客户机域中共享资源的计算机的列表(li bio)，以及广域网 (WAN) 上其他域名和工作组名称的列表。此列表提供给用“网上邻居”或 NET VIEW 命令查看网络资源的客户端。第五十四页，共

26、九十页。CIFS 消息(xio xi)流User RequestUser ModeKernel ModeI/O ManagerRedirectorTDI LayerNWLinkNet BTNet BIOSIPXTCP/IPNDISNetworkTDI LayerNWLinkNet BTNet BIOSIPXTCP/IPNDISServer第五十五页，共九十页。NFS (Network File System )定义NFS（网络文件系统）是Unix/linux系统间实现磁盘文件共享的一种方法，支持应用程序在客户端通过(tnggu)网络存取位于服务器磁盘中数据的一种文件系统协议。工作原理使用客户端

27、/服务器架构，由一个客户端程序和服务器程序组成。主要模块RPC、鉴权、传输 第五十六页，共九十页。NFS消息(xio xi)流Syetem Call interfaceNFS ClientRPC/XDRVFS InterfaceOther types of filesystemLinux & Unix filesystemNFSClientNetworkRPC/XDRNFSServerVFS InterfaceLinux & Unix filesystem第五十七页，共九十页。RPC是什么(shn me)？第五十八页，共九十页。传输方式 使用UDP协议UDP传输在NFS局域网的应用中传输速度快

28、UDP协议传输的开销小使用TCP协议可靠性高，有效的阻塞控制客户端和服务器端都保留TCP连接的状态服务器崩溃时，客户端只需要打开一个新的TCP连接客户端崩溃时，服务器端在新的TCP连接到来时，关闭(gunb)原来的TCP连接第五十九页，共九十页。应用环境对比、网络(wnglu)特性对比特性(txng)NFSCIFS传输(chun sh)协议 连接状态 故障恢复 传输包大小TCP/UDP 无状态自动恢复 8K/32KTCP有状态64K文件格式 UNIX类型 WIN类型无 第六十页，共九十页。目录(ml)大数据存储架构大数据存储技术大数据分析技术数据安全技术NAS基础(jch)技术集群NAS技术集

29、群NAS卷管理技术第六十一页，共九十页。集群技术(jsh)定义：集群是由一组相互独立的服务器组成，对外表现(bioxin)为单一服务器，提供高可靠性服务。特点：统一命名高可靠性性能扩展共享数据空间集群系统(xtng)业务网络增加组件第六十二页，共九十页。集群NAS存储系统概念(ginin)与特点集群NAS（Network Attached Storage）系统概念：集群NAS存储系统是指将集群技术(jsh)应用到NAS存储系统中，是为应对非结构化数据应用暴涨，提升NAS文件共享服务的性能和高可靠性。集群NAS存储系统与传统NAS存储系统的对比：传统NAS存储系统集群NAS存储系统可靠性单控模式

30、：单点故障；双控模式：故障切换导致业务中断，链路切换时间长。故障切换快速；双控模式采用Active-Active模式，集群单个节点故障不影响业务。高性能多套设备提高性能将会带来数据冗余，数据不一致等问题。引擎架构可扩展；共享存储设备；文件系统位于存储侧，读取速度快。可扩展性固定引擎架构；频繁更新及添加导致的系统停机开始影响业务在多层面提供扩展优势：NAS机头，存储容量；支持在线扩展第六十三页，共九十页。集群NAS数据通道互联第六十四页，共九十页。VCS通信(tng xn)架构代理监控各个系统的资源，并将状态提供给每台机器的HADHAD将状态发送给GAB（Group Membership Ser

31、vices/Atomic Broadcast）Gab 通过广播，将配置信息发送到集群的所有成员LLT（Low-Latency Transport）通过低时延传送协议，将信息发送的集群的所有节点在各个节点的HAD采取正确的行动，比如必要(byo)时，进行倒换（Failover）第六十五页，共九十页。LLT协议(xiy)LLT：Low Latency Transport属于MAC层协议，与IP无关两个作用:供GAB使用（单播报文）心跳(0.5秒一个广播报文)N8000中有三条(sn tio)私有链路SystemASystemBLLTLLTHardwareKernelPrivate Network第

32、六十六页，共九十页。GAB原子广播，实际上是点到点的单播使用LLT协议(xiy)发送数据管理集群成员：gabconfig -a第六十七页，共九十页。fencingFencing 功能监控GAB，并检测集群成员的变化保证集群成员的单一视图，防止(fngzh)集群脑裂防止从多个节点，在没有单一集群控制下，用卷管理器访问共享存储第六十八页，共九十页。HADVCS的引擎，就是HAD（High availability daemon），其功能为：在集群的每个主机系统上都有该进程(jnchng)运行对所有的集群资源，维护配置和状态信息管理所有的代理用hashadow监控进程HAD，在HAD进程故障时，能够

33、把它重新启动起来第六十九页，共九十页。全局(qunj)存储空间管理技术第七十页，共九十页。集群元数据管理第七十一页，共九十页。集群元数据管理第七十二页，共九十页。集群全局(qunj)锁机制第七十三页，共九十页。AgentAgent是控制资源的程序每种类型(lixng)的资源对应一个代理，一个代理控制对应类型(lixng)的所有资源用户也可以自定义代理Diskc1t0d1s0c1t0d0s0IPNICqfe1hme0Mount/dataAgentsResources第七十四页，共九十页。服务组-NFS为例服务组是资源的一个集合，是控制资源的管理单元一个节点（node）可以有多个服务组每个服务组都

34、被独立的监控(jin kn)和管理服务组中的资源在系统中必须是可用的服务组和资源存在相互依赖关系NFS Service GroupNFSIPDiskMountShareNIC第七十五页，共九十页。服务组的类型(lixng)Failover Service Groups在某一时间，该service group只能运行在一个系统上（system），在对数据一致性要求高（比如数据库，网络文件系统（NFS）的情况下，使用(shyng)该组。Parallel Service Groups在某一时间，可以部署在多个系统上 配置比Failover Service Groups复杂很多Hybrid Servi

35、ce Groups是上面两种service groups的组合在N8000中只使用了Failover和Parallel两种第七十六页，共九十页。资源(zyun)（Resource）定义资源是VCS对象，它对应(duyng)到应用服务的硬件或者软件组件资源是放在服务组里面的定义和管理的。第七十七页，共九十页。资源依赖(yli)关系资源可以依赖其他资源父资源依赖子资源服务组可以依赖其他服务组资源和服务组之间的依赖关系由规则(guz)管理不允许出现循环依赖第七十八页，共九十页。目录(ml)大数据存储架构大数据存储技术大数据分析技术(jsh)数据安全技术NAS基础技术集群NAS技术集群NAS卷管理技术

36、第七十九页，共九十页。VxVM基本概念物理对象：能被OS看到的物理存储设备虚拟(xn)对象：VxVM进行存储设备管理的逻辑对象。VxVM通过虚拟对象和物理设备的映射来访问存储设备虚拟对象有：卷，磁盘组，VM磁盘，子磁盘，Plex卷布局: 卷的布局是指卷与物理存储设备的映射关系，即卷与一个或多个Plex 的关联关系。不同的卷布局提供不同级别的存储服务 VM磁盘一个物理磁盘，分区或者LUN磁盘组若干个VM磁盘的组合子磁盘VM磁盘上连续的磁盘块 Plex由一个或多个物理磁盘上的一个或者多个子磁盘组成卷由一个或多个Plex组成 第八十页，共九十页。VxVM虚拟(xn)对象之间的关系第八十一页，共九十页

37、。VxVM虚拟(xn)对象之间的关系第八十二页，共九十页。卷布局(bj) 条带化（RAID-0）Disk GroupVolumePlexSubdisksVxVM DisksSubdisksdatadgdatavoldatadg02datadg02-01datadg02-02datadg02-03datadg03-01datadg03-02datadg03-03SU = Stripe Unit64K (default)datavol-01SU1SU4SU7SU2SU5SU8SU3SU6SU9StripesSU10SU11SU12Columnsdatadg01-01datadg01-02datad

38、g01-03datadg01datadg03第八十三页，共九十页。卷布局(bj) 镜像（RAID-1）Disk GroupVolumePlexSubdisksVxVM DisksSubdisksEach plex must have disk stor from different disks to achieve redundancy.datadg01datadg01-01datadg01-02datadg02datadg02-01datadg02-02datadg02-03datadg03datadg03-01datadg03-02datadg03-03datavoldatadgdatavol-01datavol-02datadg03-01datadg02-02datadg01-02第八十四页，共九十页。卷布局(bj) 镜像（RAID-1）Disk G