数据存储与备份技术_第1页
数据存储与备份技术_第2页
数据存储与备份技术_第3页
数据存储与备份技术_第4页
数据存储与备份技术_第5页
已阅读5页,还剩126页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

数据存储与备份技术闪存直接外挂存储(DAS)

存储域网络(SAN)网络附加存储设备(NAS)存储技术发展数据备份一、闪存

闪存是内存的一种,闪存卡(FlashCard)是利用闪存(FlashMemory)技术达到存储电子信息的存储器,一般应用在数码相机,掌上电脑,MP3等小型数码产品中作为存储介质,所以样子小巧,有如一张卡片,所以称之为闪存卡。根据不同的生产厂商和不同的应用,闪存卡大概有:SmartMedia(SM卡)、CompactFlash(CF卡)、MultiMediaCard(MMC卡)、SecureDigital(SD卡)、MemoryStick(记忆棒)、XD-PictureCard(XD卡)和微硬盘(MICRODRIVE)。CF(CompactFlash)卡

CompactFlash的诞生比较早,由最大的FlashMemory卡厂商之一美国SanDisk于1994年首次推出。意为“标准闪存卡”,简称“CF卡”。CF(CompactFlash)卡

CF卡与其它存储卡相比,有几个特点。CF卡使用flash作为存储媒介,无需供电也能保存资料,而且工作时耗电量也很低,它在3.3V或者5V的电压下工作,其耗电量只相当于传统存储设备如磁带、硬盘的3%或更低,适合用在移动设备上;如上图,CF卡由两个基本部分组成:控制芯片和闪存模组,闪存用于存储信息,控制芯片用来实现与主机的连接及控制数据在闪存模块中的传输。CF(CompactFlash)卡

CF卡比闪盘之类的存储器更加接近硬盘,CF卡内部控制器设计完全模拟硬盘,而且使用标准的ATA/IDE接口界面,可以很容易的通过IDE接口与电脑连接,而且早已实现无驱动设计,使用非常方便。CF卡最初一般是配备PCMCIA适配器在笔记本电脑的PCMCIA插槽上使用,现在还有了许多USB、IEEE1394读卡器等各种各样的CF适配器,使CF卡与电脑之间的信息传输变得更加方便。SM(SmartMedia)卡

SmartMedia是由东芝公司ToshibaAmericaElectronicComponents(TAEC)在1995年11月发布的FlashMemory存贮卡,三星公司SamsungElectronicCo.在1996年购买了生产和销售许可,这两家公司成为主要的SmartMedia厂商。

SmartMedia采用了东芝大力鼓吹的NAND型FlashMemory,因此体积做得很小:45mmx37mmx0.76mm,非常的薄,仅重1.8克。NAND型FlashMemory的功劳还使得SmartMedia具有比较高的擦写性能,成为除了薄以外的另一个特点。

SM(SmartMedia)卡

SmartMedia为了节省自身的成本,存贮卡上只有FlashMemory模块和接口,而并没有包括控制芯片,所以使用SmartMedia的设备必须自己装置控制机构。但这却带来了令人头疼的兼容性问题:由于各家的控制不尽相同,所以存在着格式互不兼容的现象,如一张SmartMedia在某个MP3播放器上用了,往往就不能直接在数码相机上使用。另外旧的设备是根据以前的SmartMedia规范来设计的,所以当SmartMedia推出新的升级产品时,规范往往会改变,以前的设备很多就无法使用。例如推出新容量SmartMedia时,页/块大小和其它一些东西都改变了,结果新容量的SmartMedia无法在很多旧的设备上使用,造成不少浪费。

接口方面,SmartMedia采用了22针的接口,我们在卡上看到的是遍平的金手指。

SIM卡是(SubscriberIdentityModel客户识别模块)的缩写,也称为智能卡、用户身份识别卡,GSM数字移动电话机必须装上此卡方能使用。SIM卡是带有微处理器的智能芯片卡,它的构成是以下几个模块:---CPU---程序存储器(ROM)---工作存储器(RAM)---数据存储器(EPROM或E2PROM)---串行通信单元这五个模块必须集成在一块集成电路中,否则其安全性会受到威胁。因为,芯片间的连线可能成为非法存取和盗用SIM卡的重要线索。在实际使用中有两种功能相同而形式不同的SIM卡:

(a)卡片式(俗称大卡)SIM卡,这种形式的SIM卡符合有关IC卡的ISO…7816标准,类似IC卡。

(b)嵌入式(俗称小卡)SIM卡,其大小只有25mm×15mm,是半永久性地装入到移动台设备中的卡。两种卡外装都有防水、耐磨、抗静电、接触可靠和精度高的特点。SIM卡中存储了数字移动电话客户的信息、加密密钥等内容,它可供GSM网络对客户身份进行鉴别,并对客户通话时的语音信息进行加密。SIM卡的使用,完全防止了并机和通话被窃听行为,并且SIM卡的制作是严格按照GSM国际标准和规范来完成的,它使客户的正常通信得到了可靠的保障。SIM卡在GSM系统中的应用,使得卡和手机分离,一张SIM卡唯一标识一个客户。一张SIM卡可以插入任何一部GSM手机中使用,而使用手机所产生的通信费用则自动记录在该SIM卡所唯一标识的客户的帐户上。MMC(MultiMediaCard)卡

MMC即MultiMediaCard,由西门子公司Siemens(现在称为Infineon)和首推CF的SanDisk于1997年推出。1998年1月十四家公司联合成立了MMC协会(MultiMediaCardAssociation简称MMCA),现在已经有超过84个成员,其中更包括了Nokia、Ericsson、Motorola等手机巨头。

MMC(MultiMediaCard)卡

MMC的发展目标主要是针对数码影像、音乐、手机、PDA、电子书、玩具等产品,号称是目前世界上最小的FlashMemory存贮卡,尺寸只有32mmx24mmx1.4mm。虽然比SmartMedia厚,但整体体积却比SmartMedia小,而且也比SmartMedia轻,只有1.5克。MMC存贮卡可以分为MMC和SPI两种工作模式,MMC模式是标准的默认模式,具有MMC的全部特性。而SPI模式则是MMC存贮卡可选的第二种模式,这个模式是MMC协议的一个子集,主要用于只需要小数量的卡(通常是1个)和低数据传输率(和MMC协议相比)的系统,这个模式可以把设计花费减到最小,但性能就不如MMC。

MMC被设计作为一种低成本的数据平台和通讯介质,它的接口设计非常简单:只有7针!接口成本低于0.5美元,相比之下SmartMedia和MemoryStick的接口成本都要高于1美元。在接口中,电源供应是3针,而数据操作只用3针的串行总线就搞定了(SPI模式再加上1针用于选择芯片),真是简单得不能再简单了。

SD(SecureDigitalCard)卡

SD卡可以说是相当新的产品,SD的意思是SecureDigital。这个产品由松下电器MatsusaElectricIndustrialCo.,Ltd、东芝ToshibaCorp.和SanDisk联合推出,1999年8月才首次发布。SD卡数据传送和物理规范由MMC发展而来,大小和MMC差不多,尺寸为32mmx24mmx2.1mm。长宽和MMC一样,只是厚了0.7mm,以容纳更大容量的存贮单元。SD(SecureDigitalCard)卡

SD卡与MMC卡保持着向上兼容,也就是说,MMC可以被新的SD设备存取,兼容性则取决于应用软件,但SD卡却不可以被MMC设备存取。(SD卡外型采用了与MMC厚度一样的导轨式设计,以使SD设备可以适合MMC)

SD接口除了保留MMC的7针外,还在两边加多了2针,作为数据线。至于在存贮单元方面,当然也是采用了东芝大力倡导的NAND型FlashMemory,基本上和SmartMedia的一样,所以性能也不俗,平均数据传输率能达到2MB/s,不久更将提高到10MB/s。也许是被SmartMedia不兼容性弄怕了,这次SD把控制器集成到了卡里,希望在推出新规格的SD卡时,不会再有不兼容的情况发生了。另外SD和MemoryStick一样,也带了物理写保护开关。MemoryStick记忆棒

MemoryStick被很多人称为香口胶存贮卡,因为其尺寸确实像一条香口胶:50mmx21.5mmx0.28mm,重4克。采用精致醒目的蓝色外壳(新的MG为白色),并具有写保护开关。MemoryStick由Sony在日本的工厂生产,但存贮单元模块却并不是由Sony自己生产的,而是由第三方厂商提供。MemoryStick记忆棒

和很多FlashMemory存贮卡不同,MemoryStick规范是非公开的,没有什么标准化组织(Sony认为没有必要进行行业标准化)。这个香口胶采用了Sony自己的外型、协议、物理格式和版权保护技术,要使用它的规范就必须和Sony谈判签定许可。目前所知道的是MemoryStick也包括了控制器在内,采用10针接口,数据总线为串行,最高频率可达20MHz,电压为2.7伏到3.6伏,电流平均为45mA。可以看出这个规格和差不多同一时间出现的MMC颇为相似。XD卡

XD卡全称为XD-PICTURECARD,是由富士和奥林巴斯联合推出的专为数码相机使用的小型存储卡,采用单面18针接口,是目前体积最小的存储卡。XD取自于“ExtremeDigital”,是“极限数字”的意思。XD卡

XD卡是较为新型的闪存卡,相比于其它闪存卡,它拥有众多的优势特点。袖珍的外形尺寸,外形尺寸为20mm×25mm×1.7mm,总体积只有0.85立方厘米,约为2克重,是目前世界上最为轻便、体积最小的数字闪存卡。优秀的兼容性,配合各式的读卡器,可以方便的与个人电脑连接。超大的存储容量,XD卡的理论最大容量可达8GB,具有很大的扩展空间。目前市场上见到的XD卡有16MB、32MB、64MB、128MB、256MB等不同的容量规格。微硬盘(Microdrive)微硬盘(Microdrive)最早是由IBM公司开发的一款超级迷你硬盘机产品。其最初的容量为340MB和512MB,而现在的产品容量有1GB、2GB以及4GB等。与以前相比,目前的微硬盘降低了转速(4200rpm降为3600rpm),从而降低了功耗,但增强了稳定性。微硬盘(Microdrive)可以使用CF卡的大多数设备大都可以直接使用Microdrive,如数码相机、手持电脑、MP3播放器等。笔记本电脑则通过PCMCIA适配器转接,由于Microdrive比起CF卡略厚,所以需要设备符合CFII标准,大容量的Microdrive(4GB)要求设备支持FAT32文件系统。与CF相比,Microdrive的最大优势是单位存储容量的价格更低。Microdrive采用的是硬盘技术,具有低成本高容量的特点,可以成为采用固态存储技术存贮器的替代品。

目前柯达、三洋、富士通、爱普生等公司,已经开始设计支持Microdrive使用的数码相机产品。未来可以预见的是,包括数码相机或其它计算机外设产品,会陆续加入支持Microdrive的行列。InformationInfrastructure,TopologySummaryTCP/IPNetworkAttachedStorageServerServerDataStorageDataStorageFileServerStorageAreaNetworkServerServerServerDataStorageDataStorageFibreSwitchDirectlyAttachedStorageDeviceServerServerDataStorageDataStorage二、数据存储直接外挂存储(DAS)

DAS(DirectAttachedStorage—直接连接存储)是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上。DAS的适用环境为:1)服务器在地理分布上很分散,通过SAN或NAS在它们之间进行互连非常困难时(商店或银行的分支便是一个典型的例子);2)存储系统必须被直接连接到应用服务器(如MicrosoftClusterServer或某些数据库使用的“原始分区”)上时;3)包括许多数据库应用和应用服务器在内的应用,它们需要直接连接到存储器上,群件应用和一些邮件服务也包括在内。

当服务器在地理上比较分散,很难通过远程连接进行互连时,直接连接存储是比较好的解决方案,甚至可能是唯一的解决方案。利用直接连接存储的另一个原因也可能是企业决定继续保留已有的传输速率并不很高的网络系统。

存储域网络(SAN)

存储域网络(StorageAreaNetwork)的支撑技术是FibreChannel(FC)技术,这是ANSI为网络和通道I/O接口建立的一个标准集成。支持HIPPI,IPI,SCSI,IP,ATM等多种高级协议,它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开.这样多种协议可在同一个物理连接上同时传送,高性能存储体和宽带网络使用单I/O接口使得系统的成本和复杂程度大大降低。如通过Switch扩充至交换仲裁复用结构则可将用户扩至很多。FC使用全双工串行通讯原理传输数据,传输速率高达1062.5Mbps,FibreChannel的数据传输速度为100MB/S,双环可达200MB/S,使用同轴线传输距离为30米,使用单模光纤传输距离可达10公里以上。

光纤通道支持多种拓扑结构,主要有:点到点(Links)、仲裁环(FC-AL)、交换式网络结构(FC-XS)。点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接;其次为光纤通道仲裁环(FC-AL),在FC-AL的装置可为主机或存储装置。第三种FC-XS交换式架构在主机和存储装置之间透过智能型的光纤通道交换器连接,使用交换架构需使用存储网络的管理软件。

FinanceSalesNetworkClientsOracle

Exchange

SAP

EMCNetworkedStorage–SANMidrangeNetworkedStorageArchitectureFinanceSalesNetworkClientsOracle

Exchange

SAP

SANCLARiiONFC4700FileServersCLARiiONIP4700NASSANSymmetrixFileServersCelerraNASHighEndNetworkedStorageArchitectureEMCConnectrixFamily(SAN)CONSOLIDATIONFUNCTIONALITYHubsSwitchesHighavailabilityDepartmentalanddatacenterlocationsRackmountableDirectorsRedundanteverythingNon-blockingI/ODatacenterlocationsMaximumscalabilityED-64MED-1032DS-8BDS-16BDS-32MDS-16M

(1)既具有单通道的特点,又具有网络的特点,它是把设备连接到网络结构上的一种高速通道。而这种网络结构描述了连接两套设备的单条电缆以及连接许多设备的交换机产生网状结构。

(2)光纤通道最大优点是速度快,它可以给计算机设备提供接近于设备处理速度的吞吐量。

(3)协议无关性,它有很好的通用性,是一种通用传输机制。适用范围广,可提供多性价比的系统,从小系统到超大型系统,支持存在的多种指令集,如IP、SCSI、IPI。

光纤通道规范定义的速率最高可到4Gbps,目前T11工程组对10Gbps传输速度的FC规范也在紧锣密鼓的制定之中。

FC技术具有以下优越性

FC是一种分层结构,每个层次定义为一个功能级,但是所分的层不能直接映射到OSI模型的层上。FC通道的五层定义为:物理媒介和传输速率、编码方式、帧协议和流控制、公共服务以及上级协议(ULP)接口。

1)FC-0:

FC-0是物理层底层标准。FC-0层定义了连接的物理端口特性,包括介质和连接器(驱动器、接收机、发送机等)的物理特性、电气特性和光特性、传输速率以及其它的一些连接端口特性。物理介质有光纤、双绞线和同轴电缆。带有ECL的铜芯同轴电缆,用于高速、短距离传输。双绞线用于25MB/s数据传输,距离可达50米。带有激光和LED传导的光纤,用于长距离的传输,光纤通道的数据误码率低于10E-12,它具有严格的抖动容许规定和串行I/O电路能够进行正常管理的其他一些电气条件。

FC分层结构

2)FC-1(传输协议)

FC-1根据ANSIX3T11标准,规定了8B/10B的编码方式和传输协议,包括串行编码、解码规则、特殊字符和错误控制。传输编码必须是直流平衡以满足接收单元的电气要求。特殊字符确保在串行比特流中出现的是短字符长度和一定的跳变信号,以便时钟恢复。8B/10B码在现实中的应用是稳定和简单的。

3)FC-2(帧协议):

FC-2层定义了传输机制、包括帧定位、帧头内容、使用规则以及流量控制等。光纤通道数据帧长度可变,可扩展地址。用于传输数据的光纤通道数据帧长度最多达到2K,因此非常适合于大容量数据的传输。帧头内容包括控制信息、源地址、目的地址、传输序列标识和交换设备等。64字节可选帧头用于其它类型网络在光纤通道上传输时的协议映射。光纤通道依赖数据帧头的内容来引发操作,如把到达的数据发送到一个正确的缓冲区里。

FC分层结构

4)FC-3(公共服务):

提供高级特性的公共服务,即端口间的结构协议和流动控制,它定义了三种服务:条带化(Striping)、搜索组(Hunt

Group)和多播(Multicast)。条带化的目的是为了利用多个端口在多个连接上并行传输,这样I/O传输带宽能扩展到相应的倍数。搜索组用于多个端口去响应一个相同名字地址的情况,它通过降低到达"占线"的端口的概率来提高效率。多播用于将一个信息传递到多个目的地址。

5)FC-4(ULP映射):

它是光纤通道标准中定义的最高等级,固定了光纤通道的底层跟高层协议(ULP)之间的映射关系以及与现行标准的应用接口,这里的现行标准包括现有的所有通道标准和网络协议,如SCSI接口和IP、ATM、HIPPI等。

FC分层结构FC分层结构SAN是架构在FibreChannelStandard的储域网络,FibreChannel改善了许多SCSI的限制。FC与SCSI比较FibreChannel

SCSI

100MB/secperloop20MB/s200MB/secperarray40MB/sperarray4wirecablestructure68wirecable500metercabling25metercabling30kmwithOpticalLinkextender25metermaximum127devicesperloop15devicesperbusEasyHAcablingComplexHAcablingNon-disruptive(N.D.)expansionN.D.notsupportedNoterminationTerminatorsrequiredSignalisolationNosignalisolationStorageandnetworkingprotocoltransfersStorageonlyprotocolsHubs,switches,connectivityNointerconnection

SAN以数据存储为中心,采用可伸缩的网络拓扑结构,通过具有较高传输速率的光通道连接方式,提供SAN内部任意节点之间的多路可选择的数据交换,并且将数据存储管理集中在相对独立的存储区域网内。SAN的特点是将数据的存储移到了后端,采用了一个专门的系统来完成,并进行了RAID数据保护。

SAN解决方案

a.分享资源存取与设备-DiskandTape。

b.高速度、距离长,可提高资料的可使用率。

c.可作RemoteMirror增加灾难防御力及重建速度。

d.透过SAN备份,降低经过LAN备份的Traffic负载。

e.集中管理与整合储存设备资源。

f.FC-Loop可连接127个Device,不需要ShutdownServer,即可扩充储存容量,SAN解决方案具备良好扩充性。

SAN的优点

如果储存资料的成长率持续增高,近两年内可能成长至1TB以上,建议规划SANReady的储存设备,包括RAID及TapeLibrary,因为资料量扩增,必定增加硬盘数量,但SCSI的RAID有ID及Cable长度的种种限制,在扩充性来说,无法达到需求及稳定度的要求,而且当资料量愈来愈大,可能分享给更多Client,绝不容许机器有Shutdown的时间,而SANReady的RAID可以让机器在不Shutdown的状况下扩充硬盘容量,维持系统不停的正常运作。

什么样的环境需要SAN?

a.HostBusAdapter-依连接的作业平台选择FibreChannelCard的种类,装置在主机中,连接Storage、FibreChannelHub或Switch。

b.FibreChannelHub-可将储存设备分享给多台服务器。

c.FibreChannelSwitch-如果要将储存设备分享给不同平台的操作系统,或要作SAN的Security进阶控管及连接多个FibreChannelHub,须购买此设备及控管软件。

d.FibreChannelCable及GBIC-依主机及储存设备的连接长度选购Cable,Cable有分Optical及Copper两种线材,决定使用哪一种Cable后再选择GBIC的种类,以符合CableConnector的连接型态。

e.FibreChannel/SCSIConventer-若有些储存设备是SCSI界面,要连接上SAN的,则需购买FC/SCSI的讯号转接器。

SAN的产品组成SAN的产品组成网络附加存储设备(NAS)

网络附加存储设备(NetworkAttachedStorage,NAS)是一种专业的网络文件存储及文件备份设备,或称为网络直联存储设备、网络磁盘阵列。NAS是基于LAN的,按照TCP/IP协议进行通信,面向消息传递,以文件的I/O方式进行数据传输。在LAN环境下,NAS已经完全可以实现异构平台之间的数据级共享,比如NT、UNIX等平台的共享。但是,在10/100M的带宽条件下,只有其中的30%左右可以用做存储,所以NAS无法发挥其应有的性能,这就需要等待G/T比特级以太网络的大规模普及应用。

一个NAS包括处理器,文件服务管理模块和多个的硬盘驱动器用于数据的存储。NAS可以应用在任何的网络环境当中。主服务器和客户端可以非常方便地在NAS上存取任意格式的文件,包括SMB格式(Windows)NFS格式(Unix,Linux)和CIFS格式等等。NAS系统可以根据服务器或者客户端计算机发出的指令完成对内在文件的管理。另外的特性包括:独立于操作系统,不同类的文件共享,交叉协议用户认证,浏览器界面的操作/管理,和增加和移除服务器不会中断网络服务,NAS是在RAID的基础上增加了存储操作系统,因此,NAS的数据能由异类平台共享。

EMC-NASPlatformGeneralPurpose

File

ServersCLARiiONHighavailabilityModeratefunctionModeratescaleCelerraandSymmetrix

ContinuousavailabilityMaximumfunctionMaximumscaleCLARiiONIP4700CelerraSECONSOLIDATIONFUNCTIONALITYEMCNetworkAttachedStorage(NAS)CelerraSESymmerixCelerraSymmetrixCelerra(CFS14)EMCHigh-EndNASEMCMidrangeNASCLARiiONIP4700NAS的结构

NAS

结构和SAN最大的区别就在于NAS有文件操作和管理系统,而SAN却没有这样的系统功能,其功能仅仅停留在文件管理的下一层,即数据管理。从这些意义上看,SAN和NAS的功能互为补充,同时SAN的服务器访问数据的时候不会占LAN的资源,但是NAS结构的服务器都需要和文件服务器进行交互,以取得自己请求的数据,因此,NAS结构在速度慢的LAN(如10/100M网络)上几乎不具有任何优势和意义。

NAS的特点无人值守。随着信息系统规模的膨胀,基本设备的数量将变得非常庞大。如果还是像现在这样每台服务器派专人管理,那么管理成本会不可控制,成为一个天文数字。所以这些基本设备必须实现无人值守,在长时间没有专职人员对其管理维护的情况下仍然可以稳定高效的工作。

具有高度智能化。要实现无人值守这一特性,就需要设备本身具有高效的自我维护功能,自动完成目前由管理员负责的日常维护工作。这就需要一套智能化很高的专家系统运行在设备中。

性能稳定。无人值守的服务器对性能稳定性的要求可想而知,目前大多数服务器的稳定性对这一特性来说,显得力不从心。

功能单一化。目前所使用服务器的功能强大实际上是以软硬件系统复杂的结构、庞大的规模为代价的。结构和规模都是和性能的稳定性成反比。为了实现性能的稳定和管理的简易,最容易想到的方法是把通用服务器的各种功能分离出来,利用嵌入式技术,设计出功能单一,结构简单,性能稳定的专用瘦服务器。

NAS与SAN比较

SAN和NAS并不是相互冲突的,是可以共存于一个系统网络中的,但NAS通过一个公共的接口实现空间的管理和资源共享,SAN仅仅是为服务器存储数据提供一个专门的快速后方通道,在空间的利用上,SAN和NAS也有截然不同之处,SAN是只能独享的数据存储池,NAS是共享与独享兼顾的数据存储池。因此,NAS与SAN的关系也可以表述为:NAS是Network-attached(网络外挂式),而SAN是Channel-attached(通道外挂式)。

SAN和NAS体系的主流厂商及技术体系列表

SAN和NAS体系列表

SAN和NAS并不是相互冲突的,是可以共存于一个系统网络中的,但NAS通过一个公共的接口实现空间的管理和资源共享,SAN(网络外挂式),而SAN是Channel-attached(通道外挂式)。

SAN和NAS的综合

SAN和NAS并不是相互冲突的,是可以共存于一个系统网络中的,但NAS通过一个公共的接口实现空间的管理和资源共享,SAN(网络外挂式),而SAN是Channel-attached(通道外挂式)。

TCP/IPFileServerdatadatadatadatadatadatadatadatadatadatadataNetworkbecomesthebottleneckifNASonlyAfocusonMultiPathFileSystemNAS

SANMPFSMPFSMPFS=Multi-pathfilesystem“Highroad”

ChannelsIPFileBlockMulti-pathFileSystem(HighRoad)-SAN/NASIntegrationWebContentAdServerContentBLOBs,FlatFilesSANswitchServersIPNetworkSymmetrixNetworkInfrastructureNetworkrequest,channelornetworkdeliveryDeliveryoptimizationPerformanceandsharingBestofbothworlds

DataFibreChannelControlandDataCelerraNASIntelligentDataDeliveryComplimentarybenefits-whyyouneedchoiceChannelsIPFileBlockNASDistanceSharing

SANPerformanceControlMPFSPerformanceSharingChoicecanbeconfusing:howdoIchoose?ConsolidationCollaborationDistributionSANorNAS?SAN=StorageAreaNetwork,NAS=NetworkAttachedStorageSANorNAS?SANorNAS?YoucandoitwithSAN&NAS

SAN+NAS=NetworkedStorageUserenvironmentdeterminestechnologychoice:ApplicationmixPerformancerequirementsLocationofcomputingresourcesTheEMCNetworkedStorageDASSANSANSymmetrixNASCelerraDAS=DirectAttachedStorageSAN=StorageAreaNetworkNAS=NetworkAttachedStorageMPFS=SANandNASsharingUsernetworkFC4700DASFC4700SANSANIP4700NASEMCCLARiiONEMC’sMIDRANGESOLUTIONORORMPFSBenefitsofNetworkedStorageLowercostsofadministrationCentralizedmanagementofstorageResourcesharingFastergrowthImprovedscalability,flexibilityBetterITservicesIncreasedreliabilityandavailabilityTraditionalbattle:SANvs.NASButbothtypesofservicesareneeded!Storageutilitymodel数据存储技术现状

从1999年开始,EMC、IBM、Compaq、Sun、HP等公司相继推出自己的SAN产品,使SAN成为存储领域的一个新星,整个业界都在围绕SAN大做文章。

(1)SAN的互操作性问题

存储的互操作性分为两个方面:一是存储设备支持不同的服务器系统。这个问题已经得到了很好的解决,存储供应商的存储设备都能够做到支持主流操作系统,或者是其中的某些版本。目前,多服务器平台的SAN解决方案是一个发展趋势。

互操作性的另一个方面是如何支持多厂商的存储系统,这就是OpenSAN解决方案的核心问题。OpenSAN的目标是支持任何应用程序、操作系统、文件系统、服务器平台、存储系统、磁带库以及客户所要求的互连设备,解决棘手的设备兼容问题,使网络设备发挥最大的效率。在这个方面,采用开放式的标准是大势所趋。据权威调查机构ITCentrix的存储网络调查表明:只有不到30%的用户会选择专有存储解决方案来满足企业需求。因此,企业迫切需要OpenSAN。2000年7月,Compaq与IBM共同在OpenSAN方面投资10亿美元,开发各自存储软硬件产品的相互支持功能并销售对方的主要存储产品,以共同促进客户采用开放式存储区域网络解决方案。

(2)数据存储标准之争的问题

SAN采用的是专门的协议,而NAS使用的是IP协议,而目前,为了维持对现有的SAN的兼容性,出现了几大存储技术流派,整个存储技术市场形成了百花齐放的局面:Internet工程任务组(IETF)提出的基于TCP的SCSI(iSCSI)方案、IETF与ANSI(美国国家标准机构)共同提出的基于IP的光纤方案、ANSI提出的光纤骨干网方案。各种方案互不相让。无论如何,一个存储网方案的出台,其标准的主体定义必须完整细致,不然将难以推广运用。以下是这几种方案的简单介绍:

iSCSI(SCSIoverTCP):

iSCSI方案由Adaptec、Cisco、HP、IBM、Quantum等公司共同倡导。它提供基于TCP传输、将数据驻留于SCSI设备的方法。在千兆以太网出现以前,要传输这种类型的块数据,LAN的速度是无法胜任的;现在,10G以太网即将登台,这种基于IP传输块数据的方案无疑更具吸引力。

iSCSI并不改变传统标准通信方案和网络基础架构的设置,但需要额外的千兆光纤以太网路由器及复杂的相关路由器软件来支撑,透过网络,以IP数据形式实现存储设备中SCSI数据的传输。

iSCSI是基于IP协议的技术标准,实现了SCSI和TCP/IP协议的连接,对于以局域网为网络环境的用户,只需要不多的投资,就可以方便、快捷的对信息和数据进行交互式传输和管理。iSCSI的产生解决了开放性、容量、传输速度、兼容性、安全性等问题,其优越的性能使其自发布之始便受到市场的关注与青睐。

FCoverIP:

基于IP的光纤通道方案,由Brocade通信系统公司、Gadzoox网络、Lucent科技、McData及Qlogic公司共同提出。采用这种模式,意味着在千兆以太网、SONET或ATMLAN、WAN或城域网(MAN)中,光数据帧被压缩为IP帧传输。

虽然基于IP的光纤规范尚在完善中,但现在一些厂商已开始销售这类产品,用来连接在地域上分离的存储局域网(SAN),他们声称这些产品可在规范形成时,运用软件进行升级。

同时,Brocade与Gadzoox也是向ANSI提交“光纤骨干网方案”的厂商。光纤骨干网方案较基于IP的光纤方案而言,支持更广地域,性能也更高。

(3)基于纯IP的存储方案登台亮相

基于IP的存储方案,事实上是iSCSI和基于IP的光纤方案的扩展。最初由Nishan系统公司提出,后由Dell、Quantum、Siemens及Sun投资开发。Nishan说,这种方案最终将成为标准之一,并声称可填补这一领域很多的技术空白。目前,大多商家对这一方案还持观望态度。因为该方案在很大程度上有一厢情愿的因素,指望依靠创建另一个单一标准,达到综合运用前三种方案所有优势的目的,基本上是不可能的。

DirectAccessFileSystem(DAFS)体系:

这是由NAS体系一度的最大生产者NetworkAppliance公司开发的一种协议,称为虚拟接口(VI),该协议旁路了TCP协议栈,降低了时延。当交互建立后,数据直接从缓冲区搬移到网卡,这将比UNIX的NFS和NT的CIFS提供更好的性能。这两者都通过TCP/IP和NAS服务器通信。

采用IP方式的好处就是可以利用公用的数据网络,减少租用线的费用。TCP/IP的许多开销和不稳定性都采用了一些新的方式来克服,如采用“巨型”帧,QOS,VPN和加密方式。IP方式的解决方案到底能不能在企业一级的解决方案中得到应用,还得看今后市场的反映情况,目前的形势是一片大好。光纤通道目前是建立SAN架构的唯一选择,但是随着新技术和市场的双重作用,将来可能会用G/10G以太网和/或InfiniBand架构(简称IBA)来实现SAN。

尽管光纤通道是一种占主导地位的SAN互联技术,但仍然存在一些问题。设备层的互操作性已经不再是主要的问题了,但交换机之间的互操作性却是一个潜在的问题。另一个主要的问题在于SAN的管理。当前,大多数SAN管理解决方案都需要一个独立的以太网连接,这样才能传递管理指令。这种管理被称为“带外管理”。数据存储技术展望

Infiniband规范体系结构(简称IBA)包含一下重要核心内容:协议分层结构、面向多层的连接、基于包交换的通信、多播(组播)能力、包及单节点容错、子网管理能力、支持多种连接速度(单速,4速,12速)、提供2.5Gbps(单速)/10Gbps(4速)/30Gbps(12速)单向数据链路、PCB,电缆和光纤传输媒介、远程DMA访问的支持、QOS问题的考虑。基于Infiniband的计算机体系结构

Infiniband沿袭了SAN和NAS的一些概念,Infiniband将处理计算、存储I/O、网络I/O等功能完全分开,这种设计真正体现了计算机体系结构的最终思想,即以网络为中心的架构。采用这种架构,可以非常灵活的根据用户的需要来定制系统,对于高性能计算,如果对计算能力要求非常高,那么就需要将处理节点的数目配置的非常高,对于网络服务器,如视频服务应用,对存储,网络带宽,内部数据交换能力要求很高,这时候,系统就需要根据这种要求来定制。基于Infiniband的计算机体系结构

数据存储技术发展走向

数据存储的服务器体系结构的演变

按照目前发展的进程,由于10G以太网交换机将与Infiniband交换机将同时问世,未来的几年也许是这两种体系下数据存储解决方案的又一场恶战,结局到底如何,我们还得看3年以后的市场情况,除非有比10G以太网更诱人的价格,那么从感觉上说Infiniband的风头将会被10G以太网完全盖过。

从最初的服务器,到目前的围绕数据存储解决方案的一些变化,我们可以大体上看出计算机服务器体系结构网络化的趋势,即目前的内部总线架构将逐渐走向消亡,形成交换式(fabrics)网络化发展方向的趋势,在最初,数据存储、计算处理和I/O是合为一体的,而目前数据存储部分已经独立出来,未来将是I/O和计算处理的进一步分离,形成数据存储、计算处理、I/O吞吐三足鼎立的局面,这就是真正的服务器网络化体系结构

数据存储的服务器体系结构的演变数据备份一、数据完整性 数据完整性这一术语用来泛指与损坏和丢失相对的数据的状态,它通常表明数据的可靠性与准确性是可以信赖的,同时也意味着数据有可能是无效的或不完整的。数据完整性包括数据地正确性、有效性和一致性。 (1)正确性。数据在输入时要保证其输入值与定义这个表相应的域的类型一致。 (2)有效性。在保证数据有效的前提下,系统还要约束数据的有效性。 (3)一致性。当不同的用户使用数据库时,应该保证他们取出的数据必须一致。数据完整性

影响数据完整性的因素主要有五种:硬件故障、网络故障、逻辑问题、意外的灾难性事件和人为的因素 1.硬件故障 常见的影响数据完整性的硬件故障有: (1)磁盘故障; (2)I/O控制器故障; (3)电源故障; (4)存储器故障; (5)介质、设备和其它备份的故障; (6)芯片和主板故障。 2.网络故障(1)网络接口卡和驱动程序的问题。(2)网络连接上的问题。(3)辐射问题。 3.逻辑问题(1)软件错误;(2)文件损坏;(3)数据交换错误;(4)容量错误;(5)不恰当的需求;(6)操作系统错误。 4.灾难性事件 (1)火灾; (2)水灾; (3)风暴——龙卷风、台风、暴风雪等; (4)工业事故; (5)蓄意破坏/恐怖活动。 5.人为因素 (1)意外事故; (2)缺乏经验; (3)压力/恐慌; (4)通信不畅; (5)蓄意的报复破坏和窃取。提高数据完整性的办法

解决办法有两个方面的内容。首先,采用预防性的技术,防范危及数据完整性的事件的发生;其次,一旦数据的完整性受到损坏时采取有效的恢复手段,恢复被损坏的数据。下面所列出的是一些恢复数据完整性和防止数据丢失的方法: 备份、镜像技术、归档、转储、分级存储管理、奇偶检验、灾难恢复计划、故障发生前的预前分析和电源调节系统。

备份是用来恢复出错系统或防止数据丢失的一种最常用的办法。

镜像技术是物理上的镜像原理在计算机技术上的具体应用,它所指的是将数据原样从一台计算机(或服务器)上拷贝到另一台计算机(或服务器)上。镜像技术在计算机系统中具体执行时一般有两种方法: (1)逻辑地将计算机系统或网络系统中的文件系统按段拷贝到网络中的另一台计算机或服务器上; (2)严格地在物理层上进行,例如建立磁盘驱动器、I/O驱动子系统和整个机器的镜像。 归档有两层意思,其一,把文件从网络系统的在线存储器上复制到磁带或光学介质上以便长期保存;其二,在文件复制的同时删除旧文件,使网络上的剩余存储空间变大一些。

转储是指将那些用来恢复的磁带中地数据转存到其它地方的。

分级存储管理与归档很相似,它是一种能将软件从在线存储器上归档到靠近在线存储上的自动系统,也可以进行相反的过程。

奇偶校验提供一种监视的机制来保证不可预测的内存错误,防止服务器出错以至造成数据完整性的丧失。 灾难给计算机网络系统带来的破坏是巨大的,而灾难恢复计划是在废墟上如何重建系统的指导性文件。

二、容错与网络冗余 随着计算机网络系统的进一步发展,网络可靠性变得越来越重要。其主要原因如下: (1)网络系统性能的提高,使系统的复杂性增加,服务器主频的加快,将导致系统更容易出错,为此,必须进行精心的可靠性设计。 (2)网络应用的环境已不再局限于机房,这使系统更容易出错,因此,系统必须具有抗恶劣环境的能力。 (3)网络已走向社会,使用的人也不再是专业人员,这要求系统能够容许各种操作错误。 (4)网络系统的硬件成本日益降低,维护成本相对增高,则需要提高系统的可靠性以降低维护成本。 容错系统的实现方法 1.空闲备件 “空闲备件”,其字面上的意思是系统中配置一个处于空闲状态的备用部件。 2.负载平衡 负载平衡是另一种提供容错的途径,在具体的实现时使用两个部件共同承担一项任务,一旦其中的一个部件出现故障,另一个部件立即将原来有两个部件负担的任务全部承担下来。 3磁盘双联 在镜像磁盘对中增加一个I/O控制器便称为磁盘双联。它由于对I/O总线争用次数的减少而提供了系统的性能。 4RAID RAID(冗余磁盘阵列)是一种能够在不经历任何故障时间的情况下更换正在出错的磁盘或已发生故障的磁盘的存储系统,它是保证磁盘子系统非故障时间的一条途径。 RAID的另一个优点是在其上面传输数据的速度远远高于单独一个磁盘上传输数据时的速度。即数据能够从RAID上较快地读出来。 应根据实际情况选择适当的RAID级别可以满足用户对存储系统可用性、性能和容量的要求。常用的RAID级别有以下几种:NRAID,JBOD,RAID0,RAID1,RAID0+1,RAID3,RAID5等。为提高可靠性和性能,常使用RAID5和RAID(0+1)。

三、数据备份Backup-Definition“Backupisacopytypeofoperation,designedtoprotectdatafromaccidentalormaliciouslossordamage”File12(ormore)BackupCopy备份过程拷贝为什么要备份Systemstolen UserDataandSystemLossSystemdamaged UserDataandSystemLoss/DowntimeAccidentalFileDeletion FileLossAccidentalFileOverwrite FileLossAccidentalDirectoryDeletion Directoryand/orFileLoss HackerIntrusion CorruptorLostDataMagneticDiskFailure CorruptorLostDataCPU/MotherboardFailure CorruptorLostDataandDowntimeNetwork/InterfaceFailure CorruptorLostData/LossofConnectivityApplicationHaltorCrash CorruptorLostDataOperatingSystemHaltorCrash CorruptorLostData事件结果为什么要备份Flood SiteLoss-CompleteorPartialExtremeWeatherEvent SiteLoss-CompleteorPartialSeismicEvent SiteLoss-CompleteorPartialAviationAccident SiteLoss-CompleteorPartialTerrorism SiteLoss-CompleteorPartialEmergencyEvacuation LossofAccesstoSite灾难后果网络备份系统 网络备份实际上不仅仅是指网络上各计算机的文件备份,它实际上包含了整个网络系统的一套备份体系。 主要包括如下几个方面: (1)文件备份和恢复; (2)数据库备份和恢复; (3)系统灾难恢复; (4)备份任务管理。 备份系统中用于备份与恢复的介质主要的有:磁带介质和光学介质。 1.磁带介质 (1)具有较好的磁化特性,容易在它上面读写数据; (2)磁带上的数据不会被与之相邻的同一磁带上别的数据处于低强度磁场的影响; (3)磁带的各层不能相互分开或出现剥落现象; (4)磁带具有很好的抗拉强度,不容易被拉断; (5)磁带具有很好的柔软度,这样确保了通过磁带机时可以卷得很紧并可以很容易地被弯曲。备份介质

2.光学介质 光学介质技术是将从介质表面反射回来的激光识别成信息。光学介质上的0和1以不同的方式反射激光,这样光驱就可以向光轨上发射一束激光并检测反射光的不同。常见的光学介质有:磁光盘和可读CD。 磁光盘,或称MO(Magnetic-Optical),是最好的持久性和耐磨性的一种介质。它允许进行非常快速的数据随机访问,MO特别适合于分级存储管理应用。但由于MO的容量至今仍不能与磁带相比,因此,它未被广泛用于备份系统。 可读CD,即CD-ROM,目前因为速度太慢和进行多进程介质写入困难,目前还不能适应于网络备份的要求。硬盘:速度快且方便可移动磁盘:容量小,价格昂贵光盘:价格不昂贵且耐用,速度比较迅速磁带:容量大,价格便宜,速度慢,顺序存取 备份与恢复操作的种类 对于大多数网络管理员来说,备份和恢复是一项繁重的任务。而备份的最基本的一个问题是:为保证能恢复全部系统,需要备份多少以及何时进行备份?

1.冷、热备份冷备份:在备份期间,数据是不能改动,服务器将拒绝数据的更改。对于数据量大的备份系统并不是适用热备份:在备份期间,数据是可以更改的,这需要相应的支持。2.全盘备份、增量备份、差别备份、按需备份和排除。

全盘备份是将所有的文件写入备份介质。增量备份指的是只备份那些上次备份之后已经作过更改的文件,即备份已更新的文件。全备份备份数据量大,但恢复较容易增量备份数据量较小,但恢复较麻烦合理的安排备份,可以减少系统开销又保持一定的数据冗余。差别备份是对上次全盘备份之后更新过的所有文件的进行备份的一种方法。差别备份的主要优点是全部系统只需两组磁带就可以恢复——最后一次全盘备份的磁带和最后一次差别备份的磁带。按需备份是指在正常的备份安排之外额外进行的备份操作。按需备份也可以弥补冗余管理或长期转储的日常备份的不足。排除不是一种备份的方法,它只是把不想备份的文件排除在需备份文件之外的一类方法。Fullbackup(全备份)全备份...........全备份全备份是在某一个时间点上所有数据的一个完全拷贝Differential(差分)BackupsFullBackupDifferentialFullBackupAdifferentialbackupisacopyofallthedatasincethelastfullBackup............Incremental(增量)BackupsFullBackup...........IncrementalsFullBackupIncrementalbackupisacopyofonlythedatathathavechangedsincethelastbackup.恢复恢复过程将数据从磁带拷贝回磁盘备份是比恢复早的一个时间点的完全映象备份记录了文件的目录结构,权限等,备份在具体的某盘磁带,磁带在磁带库中具体的槽位等这些信息存储在备份软件的数据库中通常被称为元数据DiskTape备份数据的生命周期DatabackedupBrowsePolicyExpiresBROWSABLERetentionPolicyExpiresRECOVERABLEVolumeRecycledRECYCLABLE/RECOVERABLEArchive(归档)Archive-Definition “Archiveisamovetypeofoperation,designedtopreserveafileforfuturereference”源文件1.1.备份归档的文件归档过程移动,校验,(删除)传统lan环境下数据流走向ApplicationServerLANRAIDorJBODTapeLibraryBackupServerLan-free备份数据流的走向LocalAreaNetworkMetadataReadWriteBackupServerBackupClientServer-free数据流走向DiskFibreChannelLocalAreaNetworkTapeStorageAreaNetworkSan环境下磁带驱动器的共享TapeLocalAreaNetworkSANFibreChannel集群环境下的备份BackupServerVirtualClientBackupNas的备份NASServerTapeBackupServerNDMPCommunicationNDMP-NetworkDataManagementProtocol-isastoragespecificcommunicationsprotocolthatallowsNASsystemstobackuptolocaltapelibrariesunderthecontrolofaremotebackupserver

备份系统的设计

网络备份实际上不仅仅是指网络上各计算机的文件备份,它实际上包含了整个网络系统的一套备份体系。 1.系统现状分析及备份要求 系统的现状分析的内容包括: (1)网络系统的操作平台; (2)网络所采用的数据库管理系统; (3)网络上运行的应用系统; (4)网络系统结构以及所选用的服务器等。 对网络备份系统的要求主要有: (1)备份的数据需要保留的时间; (2)对数据库的备份是否要求在线备份; (3)对不同操作平台服务器要求以低成本实现备份; (4)是否需要一套自动恢复的机制; (5)对恢复时间的要求; (6)对系统监控程序运行的要求; (7)对备份系统自动化程度的要求; (8)对网络前台工作站信息备件要求; (9)说明现已采用的备份措施等。

2.备份方案的设计 (l)备份软件 备份软件的选择对一个网络备份系统来说是至关重要的,它的选择必须满足用户的全部需求。 (2)备份介质 常见的备份介质首选是磁带,当然,根据实际情况也可以考虑其它的介质,如磁光盘、可读CD等。 (3)日常备份制度 如果决定采用磁带作为备份的介质,那么,可以根据“磁带轮换”中所介绍的几种模式,选择其中的一种或几种模式作为日常备份制度。 3.备份方案的实现 备份方案的实现包括下列几个方面: (1)安装。包括应用系统,备份软件以及磁带机的安装; (2)制定日常备份策略; (3)文件备份; (4)数据库备份; (5)网络操作系统备份; (6)工作站内容的备份。4、备份中易出现的错误 备份常常出现概念错误,主要有下面几方面:拷贝、磁盘阵列和利用系统提供的备份命令。

(1)拷贝 拷贝是实现数据备份的一个手段,但它不是备份的全部。 ①拷贝不能保存档案的历史记录; ②备份可保存目录服务记录及重要的系统信息。

(2)磁盘阵列(RAID) RAID主要是针对数据安全的,不能作为备份。 ①RAID的主要用途是保证在线,(即时资料); ②RAID并没有保留第二份或更多份的历史资料; ③两个磁盘同时毁坏

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论