HC大数据存储技术

1、修订记录课程编码适用产品产品版本课程版本ISSUEHC1209202N8500OceanStor 9000V100R002V00R001V2.0开发/优化者时间审核人开发类型（新开发/优化）张博2013-09-20刘庆超/余雷新开发本页不打印HC1209202 第二章 大数据存储技术目标学完本课程后，您将能够:描述大数据存储架构理解大数据存储技术了解大数据分析技术了解数据安全技术理解集群NAS技术理解文件系统分级存储理解文件系统快照、镜像、复制目录大数据存储架构大数据存储技术大数据分析技术数据安全技术NAS基础技术集群NAS技术集群NAS卷管理技术大数据存储架构 Scale-out File

2、system数据生命周期管理/跨域调度管理 Scale-out DB 传统存储业务海量数据业务 主存储域 NOFSServers: General X86 open architecture NOFS NOFS NOFS NOFS NOFS NOFS NOFS10GE iWARP/Infiniband XDBCSQLMap-Reduce InterfacePOSIXJOB 备份域HDFS HDFS large-capacity nodehigh-OPS nodeHDFShigh-bandwidth node业务层接口层存储层NFS/CIFSS3ISCSIBIBig data analytics

3、BackupBig data shareNAS应用层HPC 客户端客户端在线系统近线系统 FC/10GE/InfinibandFC/10GE/InfinibandScale-out NASScale-out DBScale-out Backup磁盘上下电扫描文件数据保护策略单盘下电节能数据定期巡检文件生命周期策略Distributed FSScale-out架构目录大数据存储架构大数据存储技术大数据分析技术数据安全技术NAS基础技术集群NAS技术集群NAS卷管理技术传统存储与对象存储大数据存储技术分布式对象资源池大数据存储技术-Erasure code数据写入时被切割成M个数据块经过纠错编码生

4、成N个冗余校验块,共M+N份数据系统将多个数据块并行的存储于不同的节点中当存储节点损坏时，数据读写正常，剩余数据块及冗余块后台参与并将数据恢复m2m4m1m3m3m2n2n1m4m1n2m4对象存储数据写流程对象存储数据读取流程数据块损坏时的数据读取和恢复元数据冗余DiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDisk元数据拷贝元数据拷贝元数据拷贝元数据拷贝元数据拷贝文件元数据节点1节点2节点3节点4节点5EC快速数据恢复系统中每个硬盘都属于多个NLUN硬盘故障时,会选出4个目标盘出来进行恢复每个目标盘的恢复是独立的，目标盘之间

5、的恢复可以并发节点1节点2节点3节点4节点5节点6硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n硬盘1硬盘2硬盘3硬盘n单一文件系统&统一文件系统命名空间应用服务器WushanFS热数据冷数据普通数据Tier 2Tier 3Tier 1SSD分级存储技术分级存储满足用户既需要高性能访问也需要大容量存储的双重需求。允许用户自行规划自己的业务，对自己的业务进行分级，把某些重要的业务放在性能较高的节点上。 热数据冷数据普通数据Tier 2Tier 3Tier 1SSD分级存储技术分级存储满足用户既需要高性能访问也需要大容量存储

6、的双重需求。允许用户自行规划自己的业务，对自己的业务进行分级，把某些重要的业务放在性能较高的节点上。 智能负载均衡在所有节点间自动进行负载均衡自动平衡容量和性能IP的故障切换(failover)和故障恢复(failback)无需人工干预，无需更改配置对应用透明nodenodenodenodeOceanStor9000WiseLinkWiseLinkWiseLinkWiseLinkWushanFS01234智能负载均衡负载均衡实现过程：访问系统一级/二级域名,如：OceanStor 9000对域名进行解析，根据负载策略，返回IP地址业务请求nodenodenodenodenodenodeZone

7、 1：基于CPU使用情况二级域名：Zone 2：基于网络连接数二级域名：WushanFSNFS Client智能负载均衡负载均衡实现过程：访问系统一级/二级域名,如：OceanStor 9000对域名进行解析，根据负载策略，返回IP地址业务请求nodenodenodenodenodenodeZone 1：基于CPU使用情况二级域名：Zone 2：基于网络连接数二级域名：WushanFSNFS Client高效全局缓存（一）storageCPUMemorystorageCPUMemorystorageCPUMemory全局缓存ABC应用服务器nodeAnodeBnodeCWushanFS高效全局

8、缓存（二）利用分布式锁，实现全局缓存同一数据块在缓存只缓存一份任意节点缓存中的数据都能被其他节点访问时命中Node ANode BNode CstorageCPUMemorystorageCPUMemorystorageCPUMemory应用服务器WushanFS服务器向Node C申请锁LOCK返回锁在Node A已经申请从Node A缓存中读取数据按需扩展节点线性扩展60秒之内完成单节点扩容无需人为干预，无需任何改动应用服务器InfiniBand技术InfiniBandInfiniBand技术不是用于一般网络连接的，它的主要设计目的针对服务器端的连接问题。InfiniBand技术被应用于服

9、务器与服务器（比如复制、分布式工作等）、服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN、 WANs和the Internet）的通信。InfiniBand的用途针对服务器端的连接，提供高速、低时延、RDMA方式的访问InfiniBand的特点高带宽低时延系统扩展性好InfiniBand体系架构InfiniBand标准定义了一套用于系统通信的多种设备，包括信道适配器、交换机和路由器。InfiniBand的帧结构InfiniBand的帧结构InfiniBand的特点高速度Infiniband第一代DDR技术，所支持的吞吐量为5、20或60Gbps，延迟低于1.3us。

10、第二代QDR技术，带宽最高可达120Gbps，延迟低于100ns 远程直接内存存取功能该功能对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。传输卸载远程直接内存存取能够帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担InfiniBand的协议栈10GE以太网定义10GE 以太网（10 Gigabit Ethernet，缩写为10GE，10GbE，10 GigE或10GE），即万兆以太网。一种以太网的传输标准，2002年通过，成为IEEE Std 802.3ae-2002。它规范了以10 Gbit/s 的

11、速度来传输的以太网，它的速度是GE的十倍。特点：10 Gigabit以太网，以全双工方式连接到网络交换器，它不支持半双工模式与CSMA/CD。10GE提供了高带宽低时延的访问，适合比较 媒资类、高算类、OLAP等。目录大数据存储架构大数据存储技术大数据分析技术数据安全技术NAS基础技术集群NAS技术集群NAS卷管理技术数据库技术的演变随着数据量的飞速增长，特别是非结构化数据，传统关系型数据库的可扩展性出现瓶颈，因此出现各种场景优化的数据存放方式OldSQL（事务）New SQL/MoreSQL（分析）NoSQL（互联网）NoSQL与NewSQL数据库CAP原理NoSQL结构NoSQL与关系型的

12、数据库对比优势方面： 易扩展：灵活的数据模型高可用：快速读写，大数据量，高性能低廉的成本不足： 不提供对SQL的支持支持的特性不够丰富NoSQL未形成一定标准NoSQL与关系型的数据库对比优势方面： 易扩展：灵活的数据模型高可用：快速读写，大数据量，高性能低廉的成本不足： 不提供对SQL的支持支持的特性不够丰富NoSQL未形成一定标准NoSQL分类类型部分代表特点列存储Hbase/Cassandra/Hypertable顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。文档存储MongoDB/CouchDB文档

13、存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。key-value存储Tokyo Cabinet Tyrant/Berkeley DB/MemcacheDB/Redis可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）图存储Neo4J/FlockDB/InfoGrid图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。对象存储Db4o/Versant通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。xml数据库Berkeley

14、 DB XML/BaseX高效的存储XML数据，并支持XML的内部查询语法，比如XQuery,Xpath。NoSQL应用举例Google的BigTableBigTable提出了一种很有趣的数据模型，它将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格的一致性保证。Amazon的DynamoDynamo使用的是另外一种分布式模型。Dynamo的模型更简单，它将数据按key进行hash存储。其数据分片模型有比较强的容灾性，因此它实现的是相对松散的弱一致性：最终一致性。NewSQLNewSQL 是对各种新的可扩展/高性能数据库的简称。NewSQL数据库具有NoSQL对海量数据的存

15、储管理能力。NewSQL数据库保持了传统数据库支持ACID和SQL等特性。MPP DB-结构化数据分析MPP DB关键技术：分布式并行计算、存储在线系统扩容 访问性能线性扩展加载能力线性扩展高级负载管理 数据分区均衡存储透明压缩支持开放硬件平台CPUCPUCPUCPU内存内存内存内存扩展方式：增加服务器节点理论上扩展无限制，上千节点互连随着节点数量增加，性能线性提升MPP DB Share-nothing架构例如：HUAWEI OceanStor 9000， EMC Greenplum， DB2 DPF Scale Out 模式网络目录大数据存储架构大数据存储技术大数据分析技术数据安全技术NA

16、S基础技术集群NAS技术集群NAS卷管理技术存储系统的数据安全性完整性保密性可用性数据加密WORMRAID用户管理系统加固日志审计补丁管理网络管理(ACL)数据销毁远程复制备份恢复防病毒对象存储加密物理级：磁道校验 CRC分片级：分片校验 SHA256对象级：对象校验 MD5应用级：报文校验 CRC端到端一致性校验目录大数据存储架构大数据存储技术大数据分析技术数据安全技术NAS基础技术集群NAS技术集群NAS卷管理技术什么是NAS？NAS特征：拥有可访问的磁盘阵列拥有文件系统对外提供访问文件系统的接口LUN0LUN1LUN2LUN3LUN6LUN7LUN8LUN9LUN4LUN10LUN5LU

17、N11卷管理模块卷管理模块文件系统Network Attached Storage网络文件系统协议以太网接口以太网接口NAS结构NAS硬件操作系统存储管理（磁盘监视，异常处理，RAID）文件系统网络文件共享（NFS,CIFS）GUI界面设备监视与控制；设备配置：网络、卷、文件存取权限等）可通过Web进行管理网络模块TCP/IP微内核操作系统控制器微码RAID软件NAS文件系统CIFS或NFS协议NTFS或FAT32文件系统，Windows计算机UFS文件系统，UNIX工作站UFS文件系统，UNIX工作站NTFS或FAT32文件系统，Windows计算机NTFS或FAT32文件系统，Window

18、s计算机CIFS或NFS协议CIFS或NFS协议NAS设备CIFS是什么 定义CIFS (Common Internet File System)，通用Internet文件系统 ，一个新提出的协议，它使程序可以访问远程Internet计算机上的文件并要求此计算机的服务。 CIFS是公共的或开放的SMB协议版本，包含主要模块有：NBTSMBBrowsingNBT、SMB、BrowsingNBT (NetBIOS over TCP/IP) TCP/IP 上的NetBIOSSMB (The Server Messages Block Protocol) 服务器消息块协议Browsing (The B

19、rowse Service) 浏览服务SMBNETBIOSTCP/UDPIPNBTHullRingoClementsTCP/IP网络MickLaidlawWhere is Ringo ?NBT（NetBIOS over TCP/IP）TCP/IP上的NetBIOSThis is Ringo SMBSMB 是用于文件与打印机共享的协议同时也叫 CIFS (Common Internet File System)基于客户端/服务器模式并不等同于Samba: 一种SMB协议在unix系统上的开源实现SMB 通常运行在 NetBIOS (naming + sessions + datagram)协议之

20、上NetBIOS + SMB 适用于LAN环境BrowsingBrowsing（The Browse Service ）浏览器服务的主要功能是：提供客户机域中共享资源的计算机的列表，以及广域网 (WAN) 上其他域名和工作组名称的列表。此列表提供给用“网上邻居”或 NET VIEW 命令查看网络资源的客户端。CIFS 消息流User RequestUser ModeKernel ModeI/O ManagerRedirectorTDI LayerNWLinkNet BTNet BIOSIPXTCP/IPNDISNetworkTDI LayerNWLinkNet BTNet BIOSIPXTCP

21、/IPNDISServerNFS (Network File System )定义NFS（网络文件系统）是Unix/linux系统间实现磁盘文件共享的一种方法，支持应用程序在客户端通过网络存取位于服务器磁盘中数据的一种文件系统协议。工作原理使用客户端/服务器架构，由一个客户端程序和服务器程序组成。主要模块RPC、鉴权、传输 NFS消息流Syetem Call interfaceNFS ClientRPC/XDRVFS InterfaceOther types of filesystemLinux & Unix filesystemNFSClientNetworkRPC/XDRNFSServer

22、VFS InterfaceLinux & Unix filesystemRPC是什么？传输方式 使用UDP协议UDP传输在NFS局域网的应用中传输速度快UDP协议传输的开销小使用TCP协议可靠性高，有效的阻塞控制客户端和服务器端都保留TCP连接的状态服务器崩溃时，客户端只需要打开一个新的TCP连接客户端崩溃时，服务器端在新的TCP连接到来时，关闭原来的TCP连接应用环境对比、网络特性对比特性NFSCIFS传输协议 连接状态 故障恢复 传输包大小TCP/UDP 无状态自动恢复 8K/32KTCP有状态64K文件格式 UNIX类型 WIN类型无 目录大数据存储架构大数据存储技术大数据分析技术数据安

23、全技术NAS基础技术集群NAS技术集群NAS卷管理技术集群技术定义：集群是由一组相互独立的服务器组成，对外表现为单一服务器，提供高可靠性服务。特点：统一命名高可靠性性能扩展共享数据空间集群系统业务网络增加组件集群NAS存储系统概念与特点集群NAS（Network Attached Storage）系统概念：集群NAS存储系统是指将集群技术应用到NAS存储系统中，是为应对非结构化数据应用暴涨，提升NAS文件共享服务的性能和高可靠性。集群NAS存储系统与传统NAS存储系统的对比：传统NAS存储系统集群NAS存储系统可靠性单控模式：单点故障；双控模式：故障切换导致业务中断，链路切换时间长。故障切换快

24、速；双控模式采用Active-Active模式，集群单个节点故障不影响业务。高性能多套设备提高性能将会带来数据冗余，数据不一致等问题。引擎架构可扩展；共享存储设备；文件系统位于存储侧，读取速度快。可扩展性固定引擎架构；频繁更新及添加导致的系统停机开始影响业务在多层面提供扩展优势：NAS机头，存储容量；支持在线扩展集群NAS数据通道互联VCS通信架构代理监控各个系统的资源，并将状态提供给每台机器的HADHAD将状态发送给GAB（Group Membership Services/Atomic Broadcast）Gab 通过广播，将配置信息发送到集群的所有成员LLT（Low-Latency Tr

25、ansport）通过低时延传送协议，将信息发送的集群的所有节点在各个节点的HAD采取正确的行动，比如必要时，进行倒换（Failover）LLT协议LLT：Low Latency Transport属于MAC层协议，与IP无关两个作用:供GAB使用（单播报文）心跳(0.5秒一个广播报文)N8000中有三条私有链路SystemASystemBLLTLLTHardwareKernelPrivate NetworkGAB原子广播，实际上是点到点的单播使用LLT协议发送数据管理集群成员：gabconfig -afencingFencing 功能监控GAB，并检测集群成员的变化保证集群成员的单一视图，防止

26、集群脑裂防止从多个节点，在没有单一集群控制下，用卷管理器访问共享存储HADVCS的引擎，就是HAD（High availability daemon），其功能为：在集群的每个主机系统上都有该进程运行对所有的集群资源，维护配置和状态信息管理所有的代理用hashadow监控进程HAD，在HAD进程故障时，能够把它重新启动起来全局存储空间管理技术集群元数据管理集群元数据管理集群全局锁机制AgentAgent是控制资源的程序每种类型的资源对应一个代理，一个代理控制对应类型的所有资源用户也可以自定义代理Diskc1t0d1s0c1t0d0s0IPNICqfe1hme0Mount/dataAgentsRe

27、sources服务组-NFS为例服务组是资源的一个集合，是控制资源的管理单元一个节点（node）可以有多个服务组每个服务组都被独立的监控和管理服务组中的资源在系统中必须是可用的服务组和资源存在相互依赖关系NFS Service GroupNFSIPDiskMountShareNIC服务组的类型Failover Service Groups在某一时间，该service group只能运行在一个系统上（system），在对数据一致性要求高（比如数据库，网络文件系统（NFS）的情况下，使用该组。Parallel Service Groups在某一时间，可以部署在多个系统上 配置比Failover S

28、ervice Groups复杂很多Hybrid Service Groups是上面两种service groups的组合在N8000中只使用了Failover和Parallel两种资源（Resource）定义资源是VCS对象，它对应到应用服务的硬件或者软件组件资源是放在服务组里面的定义和管理的。资源依赖关系资源可以依赖其他资源父资源依赖子资源服务组可以依赖其他服务组资源和服务组之间的依赖关系由规则管理不允许出现循环依赖目录大数据存储架构大数据存储技术大数据分析技术数据安全技术NAS基础技术集群NAS技术集群NAS卷管理技术VxVM基本概念物理对象：能被OS看到的物理存储设备虚拟对象：VxVM进

29、行存储设备管理的逻辑对象。VxVM通过虚拟对象和物理设备的映射来访问存储设备虚拟对象有：卷，磁盘组，VM磁盘，子磁盘，Plex卷布局: 卷的布局是指卷与物理存储设备的映射关系，即卷与一个或多个Plex 的关联关系。不同的卷布局提供不同级别的存储服务 VM磁盘一个物理磁盘，分区或者LUN磁盘组若干个VM磁盘的组合子磁盘VM磁盘上连续的磁盘块 Plex由一个或多个物理磁盘上的一个或者多个子磁盘组成卷由一个或多个Plex组成 VxVM虚拟对象之间的关系VxVM虚拟对象之间的关系卷布局 条带化（RAID-0）Disk GroupVolumePlexSubdisksVxVM DisksSubdisksdatadgdatavoldatadg02datadg02-01datadg02-02datadg0