存储备份的基本体系结构课件

1、关于存储备份的基本体系结构第一页，讲稿共五十一页哦存储备份系统的发展软盘，硬盘，磁带，磁光盘scsi技术，ssa技术，fc技术，iscsi技术das，nas，sanLan backup，lanfree backup，serverfree backup.第二页，讲稿共五十一页哦SCSI技术与RAID技术SCSI是SmallComputerSystemInterface(小型计算机系统接口)的英文缩写。SCSI最早是一种并行连接使用SCISI命令的计算机硬件接口。RedundantArrayofInexpensive(orIndependent)Drive。RAID是1988年由美国加州大学的Be

2、rkeley分校的DavidPatterson等几人提出来的。 第三页，讲稿共五十一页哦RAIDRAID条切“striped”的存取模式在使用数据条切DataStripping的RAID系统之中，对成员磁盘驱动器的存取方式，可分为两种：并行存取ParalleledAccess独立存取IndependentAccessRAID2和RAID3是采取并行存取模式。RAID0、RAID4、RAID5及RAID6则是采用独立存取模式 第四页，讲稿共五十一页哦平行存取模式并行存取模式支持里，是把所有磁盘驱动器的主轴马达作精密的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的I/O数据传

3、送，如此一来，从主机来的每一个I/O指令，都平均分布到每一个磁盘驱动器。为了达到并行存取的功能，RAID中的每一个磁盘驱动器，都必须具备几乎完全相同的规格：转速必须一样；磁头搜寻速度AccessTime必须相同；Buffer或Cache的容量和存取速度要一致；CPU处理指令的速度要相同；I/OChannel的速度也要一样。总而言之，要利用并行存取模式，RAID中所有的成员磁盘驱动器，应该使用同一厂牌，相同型号的磁盘驱动器。 第五页，讲稿共五十一页哦独立存取模式相对于并行存取模式，独立存取模式并不对成员磁盘驱动器作同步转动控制，其对每个磁盘驱动器的存取，都是独立且没有顺序和时间间格的限制，同时每

4、笔传输的数据量都比较大。因此，独立存取模式可以尽量地利用overlapping多任务、TaggedCommandQueuing等等高阶功能，来“隐藏”上述磁盘驱动器的机械时间延迟Seek和RotationalLatency。由于独立存取模式可以做overlapping多任务，而且可以同时处理来自多个主机不同的I/ORequests，在多主机环境如Clustering，更可发挥最大的性能。 第六页，讲稿共五十一页哦RAID级别相对优点相对缺点RAID0存取速度最快没有容错RAID1完全容错成本高RAID3写入性能最好没有多任务功能RAID4具备多任务及容错功能Parity磁盘驱动器造成性能瓶颈R

5、AID5具备多任务及容错功能写入时有overheadRAID0+1/RAID10速度快、完全容错成本高 第七页，讲稿共五十一页哦TapeDDS,8mm,AIT(HP,Exabyte,SONY)DLT(ATL)LTO(IBM,HP,Segate)9840(STK).第八页，讲稿共五十一页哦SANSAN = Storage Area Network (存储区域网络)是一种基于光网的特殊的后台数据存取网络提供了一个性能稳定的数据高速存取平台关键概念:支持前台企业信息处理网络 (例如：Ethernet及TCP/IP）有助于减轻关键工作量和增加应用性能及高可用性成为一种有灵活同时有扩展性的数据平台来解决

6、现有的数据迁移和数据共享瓶颈问题基于NCITS T11:光纤通道(Fibre Channel)标准I/O接口 (X3.230-1994) 第九页，讲稿共五十一页哦光纤通道的特性光纤通道的优点为一个新的多用途网络信息基础结构, 用于连接开放系统存储, 网络, 视频应用和服务器集群应用.为上层协议(SCSI,IP，ATM，IEEE 802.2等)提供一个通用硬件传输平台高速: 现在可以提供2Gbit(200MB)/秒的数据传输速率, 全双工专有连接,未来可升级至10Gbit/秒串行的,无阻塞(non-blocking)数据传输最大10公里连接距离(通过扩展器可连接上千公里,适于灾难恢复应用)多平台

7、系统支持(包括 AIX, NT, Solaris, HP/UX, UNIX, LINUX, Novell,等)支持传统环境和应用光纤通道的技术能力不存在无线电信号散射 (RFI), 从而消除了电磁信号串行数据传输, 每传输一位需要0.94纳秒(极小的时间延迟)使用8b/10b编码方式将8位转换为10b格式进行串行传输(内置时钟信号)先进的流控制系统保证数据按顺序传输.最多可以连接1千6百万个节点(交换Fabric模式)帧大小可调整, 支持128MB的批量数据传输强大的错误更正能力(位错误率 = 1x10-12), 比原有铜连接网络强大1,000倍第十页，讲稿共五十一页哦光纤通道 = 是SAN

8、Fabric的基础为存储系统提供一个网络连接模式客户机LAN(局域网)广域网存储区域网（第二网）Fabric = 第二网“Fabric”是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络, 这一数据网络可以提供企业级的性能, 扩展能力, 可管理能力, 可靠性和可用能力服务器存储子系统第一网第十一页，讲稿共五十一页哦光纤通道的拓扑结构Fibre Channel有三种拓扑结构:点对点(Point-to-Point) 两个设备之间互连仲裁环(Arbitrated Loop) 最多支持126个设备互连，形成一个仲裁环 交换式Fabric(Switch Fabric) 最多1千6百万个设备互连

9、点对点交换式 FabricArbitrated Loop (仲裁环)第十二页，讲稿共五十一页哦光纤通道协议映射ATMFC - ATMIPFC链路封装FC - LE高层协议 (ULPs) 支持现有协议 对于操作系统是透明的 不做更改+ 新的能力SCSI-3SCSI 3命令集映射 IPI - 3 命令集映射 (IPI-3 STD)FC-4FC - AL -2FC-3通用服务FC-0FC-1FC-2光纤物理与信号接口 ( FC- PH, FC-PH2, FC-PH3 )物理变换编码 / 解码结构协议FC - AL8b/10b 编码铜, 光连接第十三页，讲稿共五十一页哦第二网启动顺序：建议遵循一定的顺

10、序启动网络设备首先要启动的就是网络系统，包括所有的交换机并确定所有的设备连接正常第二网启动进程:(1)启动Fabric1(3)启动服务器系统3(2)启动存储设备2第十四页，讲稿共五十一页哦NAS网络附加存储设备（NetworkAttachedStorage，NAS）是一种专业的网络文件存储及文件备份设备，或称为网络直联存储设备、网络磁盘阵列。NAS是基于LAN的，按照TCP/IP协议进行通信，面向消息传递，以文件的I/O方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享。NAS结构和SAN最大的区别就在于NAS有文件操作和管理系统，而SAN却没有这样的系统功能，其

11、功能仅仅停留在文件管理的下一层，即数据管理。SAN和NAS并不是相互冲突的，是可以共存于一个系统网络中的，但NAS通过一个公共的接口实现空间的管理和资源共享，SAN仅仅是为服务器存储数据提供一个专门的快速后方通道，在空间的利用上，SAN和NAS也有截然不同之处，SAN是只能独享的数据存储池，NAS是共享与独享兼顾的数据存储池。第十五页，讲稿共五十一页哦ISCSIiSCSI（互联网小型计算机系统接口）是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备使用的可以在IP协议上层运行的SC

12、SI指令集。简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。ISCSI的工作流程iSCSI协议就是一个在网络上封包和解包的过程，在网络的一端，数据包被封装成包括TCP/IP头、iSCSI识别包和SCSI数据三部分内容，传输到网络另一端时，这三部分内容分别被顺序地解开。第十六页，讲稿共五十一页哦数据时任何资源的基础DataBusinessIntelligenceKnowledgeWisdomInformation第十七页，讲稿共五十一页哦Backup（备份）Backup - Definition“Backup is a copy type o

13、f operation, designed to protect data from accidental or malicious loss or damage”File12 (or more)Backup Copy备份过程拷贝第十八页，讲稿共五十一页哦为什么要备份System stolenUser Data and System LossSystem damagedUser Data and System Loss/DowntimeAccidental File DeletionFile LossAccidental File OverwriteFile LossAccidental Di

14、rectory DeletionDirectory and/or File LossHacker IntrusionCorrupt or Lost DataMagnetic Disk FailureCorrupt or Lost DataCPU/Motherboard FailureCorrupt or Lost Data and DowntimeNetwork/Interface FailureCorrupt or Lost Data/Loss of Connectivity Application Halt or CrashCorrupt or Lost DataOperating Sys

15、tem Halt or CrashCorrupt or Lost Data事件结果第十九页，讲稿共五十一页哦为什么要备份FloodSite Loss - Complete or PartialExtreme Weather EventSite Loss - Complete or PartialSeismic EventSite Loss - Complete or PartialAviation AccidentSite Loss - Complete or PartialTerrorismSite Loss - Complete or PartialEmergency Evacuation

16、Loss of Access to Site灾难后果第二十页，讲稿共五十一页哦Full backup（全备份）全备份.全备份全备份是在某一个时间点上所有数据的一个完全拷贝第二十一页，讲稿共五十一页哦Differential(差分) BackupsFull BackupDifferentialFull BackupA differential backup is a copy of all the data since the last full Backup.第二十二页，讲稿共五十一页哦Incremental(增量) BackupsFull Backup.IncrementalsFull Ba

17、ckupIncremental backup is a copy of only the data that have changed since the last backup.第二十三页，讲稿共五十一页哦恢复恢复过程将数据从磁带拷贝回磁盘备份是比恢复早的一个时间点的完全映象备份记录了文件的目录结构，权限等，备份在具体的某盘磁带，磁带在磁带库中具体的槽位等这些信息存储在备份软件的数据库中通常被称为元数据DiskTape第二十四页，讲稿共五十一页哦备份数据的生命周期Databacked upBrowse PolicyExpiresBROWSABLERetentionPolicy Expires

18、RECOVERABLEVolumeRecycledRECYCLABLE / RECOVERABLE第二十五页，讲稿共五十一页哦Archive(归档)Archive - Definition“Archive is a move type of operation, designed to preserve a file for future reference”源文件1.1.备份归档的文件归档过程移动, 校验, (删除)第二十六页，讲稿共五十一页哦Hierarchical Storage Management (HSM)HSM 是充分保护现有的硬盘存储资源的基础上，将很少使用的文件保存到相对较为

19、便宜的磁带上，当应用需要访问的时候自动进行回调，相对而言在访问速度上会有所影响；对于应用来说是透明的。1.1.HSM Process “透明的” 移动第二十七页，讲稿共五十一页哦备份服务器，备份客户端Backup Server Definition“The Backup Server is the central control and management point of the backup and restore process. It holds the Index database (Metadata)”A Client - Definition“A client is a ser

20、ver or workstation that backs up its data over the network to the backup server”.第二十八页，讲稿共五十一页哦传统lan环境下数据流走向ApplicationServerLANRAID or JBODTape LibraryBackupServer第二十九页，讲稿共五十一页哦Lanfree备份数据流的走向Local Area NetworkMetadataReadWriteBackupServerBackupClient第三十页，讲稿共五十一页哦Serverfree数据流走向DiskFibre ChannelLoc

21、al Area NetworkTapeStorage Area Network第三十一页，讲稿共五十一页哦San环境下磁带驱动器的共享TapeLocal Area NetworkSANFibreChannel第三十二页，讲稿共五十一页哦集群环境下的备份Backup ServerVirtual ClientBackup第三十三页，讲稿共五十一页哦Nas的备份NAS ServerTapeBackupServerNDMP CommunicationNDMP - Network Data Management Protocol - is a storage specific communication

22、s protocol that allowsNAS systems to backup to local tape libraries under the control of a remote backup server第三十四页，讲稿共五十一页哦存储备份的误区第三十五页，讲稿共五十一页哦误区1:混淆备份、双机热备份和容灾系统在为大型企业提供咨询服务时，经常有用户反映:“我们的数据库软件有容错和自动恢复功能，服务器主机也做了双机热备份，而且以后还要建立容灾系统。在这么高标准的安全性保证下，我们再也不需要用磁带设备和备份软件每天做备份了。”第三十六页，讲稿共五十一页哦误区2:错解数据迁移随着社

23、会的发展，现代企业的流动性大大增加，给企业的数据“搬家”在所难免。很多企业由于业务需要，都建立了异地的数据分发、数据集中或者数据同步一类的系统。一些用户把这种系统称为“数据迁移”。不妥的是，在存储技术中，“数据迁移”这一概念早已有了明确的定义，而且与之相去甚远。真正的数据迁移技术(也被称为分层存储管理)是指:由在线存储设备和离线存储设备共同构成一个协调工作的存储系统，该系统在在线存储设备和离线存储设备之间动态地管理数据，使得访问频率高的数据存放于性能较高的在线存储设备中，而访问频率低的数据存放于较为廉价的离线存储设备中。这样，既可以保证在绝大部分状况下系统的性能，同时又大幅度降低了系统成本。第

24、三十七页，讲稿共五十一页哦构建存储备份的原则第三十八页，讲稿共五十一页哦原则一:信息是存储的核心什么样的企业需要存储系统，实际上，任何企业都需要存储系统。因为今天企业的核心问题之一是信息，而建立存储系统的目的，就是对信息进行保护、管理和共享。第三十九页，讲稿共五十一页哦原则二:要产品也要技术一个典型的数据存储系统基本由以磁盘阵列为主的在线存储系统、以磁带设备为主的离线存储系统、存储管理软件、交换设备和主机适配器等周边设备共4部分的产品构成。由于产品提供商很难对用户的具体数据特征做出深入细致的分析，并给出具有针对性的方案，所以在用户还没有足够的能力来自行设计存储系统之前，选择一家有经验的存储专业

25、集成商是很必要的。第四十页，讲稿共五十一页哦原则三:明确需求，切勿一味追新作为用户，应该充分把握自己的实际情况，不要盲目地跟随厂商的思路。在明确需求之时，可以咨询有经验的行业专家顾问，或者考察同行业的系统设计和实施情况，万不可把自己至关重要的业务作为“试验田”。 第四十一页，讲稿共五十一页哦原则四:长远考虑，打好基础存储是应用系统的基础和核心，它的丝毫变化都将“牵一发而动全身”，同时，存储系统出现的问题和故障也可能影响到整个IT系统的正常运行。所以，建立存储系统之初就应该考虑到稳定性和结构扩展性等方面的要求，保证系统能够稳定而长期的工作。第四十二页，讲稿共五十一页哦综合评价为我所用确定好选择哪种存储系统的基本结构后，我们可以考虑产品问题。存储产品的评价基本可以集中在下面几个方面容错能力、性能、容量、连接性、管理性附加功能第四十三页，讲稿共五十一页哦1容错能力容错能力是指在存储设备的设计方面对各种偶然性错误和意外情况的预期，以及采取的预防或补救措施。这里，用户需要注意的是，存储系统是一个从软到硬的复杂系