Customer Ready07 - 高性能并行存储-CH

HighPerformanceParallelStorageSolution

高性能并行存储解决方案ConfidentialSmallandMediaBusinessinDELLDELL中小企业客户部主要内容高性能并行存储的应用需求DELL高性能并行存储产品DELL高性能并行存储解决方案DELL高性能并行存储解决方案的成功案例DELLCONFIDENTIAL2存储的初步分类DELLCONFIDENTIAL3磁盘阵列NAS存储高性能并行存储数据中心按应用层次划分一、高性能并行存储的应用需求

什么时候需要高性能并行存储随着CPU性能的提高以及CPU多核技术的不断发展，需要更多数据吞吐量才能满足高利用率，这需要应用更多的并发操作Clusterworkingspace越来越大的数据流

服务端和客户端数据的传输达到GB甚至TB级I/O瓶颈NFS文件系统不能满足更多客户端同时访问的应用需求网络带宽限制更多I/O的应用需求应用对并行I/O的需求DELLCONFIDENTIAL4Localdata,HomedirectoriesWorkstationWorkgroupDepartmentSuperComputerNFSApplicationDataand

ScratchSpace方案背景

根据应用大小和工作负载来规划

500MB/sDivisionNFSHPCStorageSolution吞吐量应用级别DELLCONFIDENTIAL5并行存储－突破瓶颈性能超群Clusters=ParallelComputeParallelComputeneedsParallelIOMonolithicStorage(NFSservers)LinuxComputeClusterSingledatapathtostorage问题扩展困难带宽和I/O受限存储孤岛缺乏灵活性价格昂贵线性扩展高带宽和I/O统一存储池易于管理降低成本ParalleldatapathsParallelStorageClusters好处LinuxComputeCluster并行存储/并行文件系统高可扩展的文件型存储FileServerNFSClusteredNFSFileServerFileServerNAS:NetworkAttachedStorageClusteredStorage:统一管理多个

NAS文件服务器.较好的综合性能.ParallelClusteredStorage:文件服务器不局限于一个datapath.消除了性能瓶颈.ParallelNFSDELLCONFIDENTIAL8

二、DELL高性能并行存储产品目标：

为客户提供高性价比、高性能、易扩展和易管理的高性能并行存储产品主要组成部分DELLPowerEdgeR510机架式服务器DELLPowerConnect6248以太网交换机并行文件系统

并行文件系统使得DELL不仅可以提供存储的硬件产品，更能够提供性能更好的存储产品和解决方案，为云计算与虚拟化提供必要的公共存储空间；

为了提高存储容量和I/O性能，可以增加存储服务器和磁盘阵列，采用标准的工业设备可以有效降低单位存储空间的成本.DELL高性能并行存储产品

DELLCONFIDENTIAL9DELL高性能并行存储产品

ValuePropositionValuetocustomer(intier1cities)HugesteadyRead/Writeupto4GB/s最高4GB/s的I/OScalability–upto220TB(usablediskspace)最大220TB的可用存储空间RemoveStoragebottleneck没有网络瓶颈Onlineexpansion方便的在线扩容LowPrice单位存储空间上的价格优势DELL高性能并行存储产品

方案配置DELLCONFIDENTIAL11元数据服务器规格2U型号DellPowerEdgeR510处理器配置备2个英特尔®

至强®5500/5600系列处理器内存16G/24G内存，确保≥2G/CPU核RaidRaid1，5硬盘2*300G；12*2TSATA7200转以太网卡板载英特尔千兆ET四连接口配接卡以太网卡一块以太网卡（管理网段）电源非备援480W的电源DELL高性能并行存储产品

方案配置DELLCONFIDENTIAL12对象存储服务器规格2U型号DellPowerEdgeR510处理器配置备2个英特尔®

至强®5500/5600系列处理器内存16G/24G内存，确保≥2G/CPU核RaidRaid1，5硬盘2*300G；12*2TSATA7200转以太网卡板载英特尔千兆ET四连接口配接卡，电源非备援480W的电源DELL高性能并行存储产品

方案配置DELLCONFIDENTIAL13以太网交换机规格1U型号DellPowerConnet6248以太网交换机端口数量48个10/100/1000BASE-T自感应千兆以太网交换端口上行模块4个万兆以太网上行模块DELL高性能并行存储产品

系统配置DELLCONFIDENTIAL14操作系统CentOSLinux5客户端操作系统LinuxWindows7、Windowsserver2003、2008访问协议Samba，FTP，HTTP访问通道GbE，10GbE存储容量/可用存储容量96TB/80TB(可扩展)单对象存储服务器的存储容量/可用容量24TB/20TBDELL6248交换机1×元数据服务器4个以太网端口4×对象数据服务器16个以太网端口存储容量的增加最多支持11个对象存储服务器DellR510，最大可用容量220TBDELL高性能并行存储产品

扩展性DELLCONFIDENTIAL15每个2TB的SATA盘的数据传输率以80Mbyte/s为标准对象存储服务器中每一组做Raid5后磁盘的I/O性能持续写速度：240MB/s持续读速度：320MB/s单个对象存储服务器的I/O性能持续写速度：480MB/s持续读速度：640MB/s高性能并行存储（4个对象存储服务器）的I/O性能持续写速度：1.92GB/s持续读速度：2.56GB/sDELL高性能并行存储产品

I/O性能DELLCONFIDENTIAL16本方案支持三种层次的备份文件系统级(filesystem-level)

可以借助第三方备份软件来完成

优点：数据完全复制

复制方式简单

缺点：占用网络带宽

完全备份数据量太大设备级(device-level)

对文件系统的单个存储块设备（MDT或OST）进行备份

数据的安全性依靠服务器的Raid5来保障文件级(file-level)

只备份关键数据DELL高性能并行存储产品

数据备份机制DELLCONFIDENTIAL17客户端当发现无法连接某一个客户端时，存储的服务端会回收属于该客户端的文件锁及其他资源，并将其从服务列表中剔除，从而确保其他客户端能够访问客户端元数据服务器/对象存储服务器客户端发现无法连接到元数据服务器或对象存储服务器时，未完成的文件操作会被保留在内存中，客户端会试图重新与元数据服务器或对象存储服务器建立连接当元数据服务器或对象存储服务器重新启动后，就会开始恢复过程，首先将响应出错之前连接的所有客户端，与它们进行数据同步，以确保数据一致性；此时元数据服务器或对象存储服务器将不会拒绝其他客户端的请求，直到恢复结束元数据服务器对象存储服务器当元数据服务器发现某一台对象存储服务器无法连接时，它标记这台服务器，并试图与这台服务器重新建立连接，一旦连接重新建立，元数据服务器将和对象存储服务器进行同步操作，以确保文件数据的一致性。而这个对象存储服务器也会立即响应出错之前连接的所有客户端，进行同步操作，来完成被挂起的文件操作。DELL高性能并行存储产品

数据恢复机制DELLCONFIDENTIAL18DELL高性能并行存储产品

典型操作界面DELLCONFIDENTIAL19DELL高性能并行存储产品

典型操作界面DELLCONFIDENTIAL20全面的高性能并行存储解决方案，支持完全的配置、测试、调优和部署高可用性集群管理软件高性价比高性能,线性扩展

近乎线性增长的I/O性能

单OSS提供20TBs的可用存储容量

最高支持220TB的存储容量

在线扩展，不需要中断业务系统全面管理，拥有易用的Web界面MetaDataServer(MDS)DELLCONFIDENTIAL21DELL高性能并行存储产品的优点BaseOSS从整体架构来看，大型的并行存储系统由存储子系统、I/O节点、客户端和网络组成。存储子系统可以采用存储区域网络SAN、直接连接存储DAS或者面向对象存储设备OSD的存储架构。根据所采用的后端存储子系统的不同，可以把并行存储分为三种技术架构，即SAN共享存储架构、并行文件系统架构（集群文件系统架构）和pNFS/NFSv4.1架构。三、DELL高性能并行存储解决方案

DELLCONFIDENTIAL22SAN共享存储架构

DELLCONFIDENTIAL23优点：

高带宽和高I/O性能高可扩展性存储容量

I/O性能

高可用性：集群管理软件缺点：成本高部署管理复杂扩展规模有限直连存储系统架构

DELLCONFIDENTIAL24优点：

高带宽和高I/O性能高可扩展性存储容量

近乎线性的I/O性能增长

系统规模高可用性：集群管理软件

成本低：通用的标准设备并行文件系统原理介绍目前主流的并行文件系统的主要组成部分通常包括：

元数据服务器MetaDataServer(MDS)

存储元数据信息对象存储服务器ObjectStorageServer(OSS)

存储各种文件、数据

增加OSS的数量可以提高并行文件系统的数据传输率

客户端Clients

与存储有交互的、运行应用软件的各种设备

个人计算机MetaDataServer(MDS)ClientsOSSOSSOSS…DELLCONFIDENTIAL25

DELL高性能并行存储解决方案的体系架构DELLCONFIDENTIAL26MDS在并行文件系统中的功能是对目录和文件名进行管理，并且为本地的一个或多个MDT提供网络请求处理。MDS中的MDT存储了文件的元数据(比如文件名、目录名、权限信息和文件分布信息)。每个并行文件系统只能有一个MDT，一个基于共享存储的MDT可以服务于多个MDS，但是同一时刻只能供一个MDS使用。如果当前active的MDS失效，则备用的MDS可以继续服务MDT，并对client提供服务。

元数据服务器MetaDataServer(MDS)DELLCONFIDENTIAL27容错机制：基于共享存储的双机热备元数据服务器：Active/Standby模式每一个HAMDS通常包括两台R710作为MDS以及一套MD3220/3200磁盘阵列。元数据服务器MDS的HA机制DELLCONFIDENTIAL28OSS提供文件的I/O服务，处理本地的一个或多个OST的网络请求。一般来讲，一个OSS上服务2个到8个OST，每个OST的容量最大可以是8TB。ObjectStorageTarget(OST)：OST中存储了具体的文件数据。一个并行文件系统可以有多个OST，每个OST服务于一部分的文件数据。一个文件不一定只存储在一个OST中，为了优化文件系统的性能，一个文件可以被分块存储在多个OST中，多个OST上的分条存储是通过一个逻辑对象卷LogicalObjectVolume(LOV)来进行管理的。

对象存储服务器ObjectStorageServer(OSS)DELLCONFIDENTIAL29

对象存储服务器的failoverDEL