存储备份的基本体系结构

1、关于存储备份的基本体系结构第1页，共51页，2022年，5月20日，21点30分，星期三存储备份系统的发展软盘，硬盘，磁带，磁光盘scsi技术，ssa技术，fc技术，iscsi技术das，nas，sanLan backup，lanfree backup，serverfree backup.第2页，共51页，2022年，5月20日，21点30分，星期三SCSI技术与RAID技术SCSI是SmallComputerSystemInterface(小型计算机系统接口)的英文缩写。SCSI最早是一种并行连接使用SCISI命令的计算机硬件接口。RedundantArrayofInexpensive(or

2、Independent)Drive。RAID是1988年由美国加州大学的Berkeley分校的DavidPatterson等几人提出来的。 第3页，共51页，2022年，5月20日，21点30分，星期三RAIDRAID条切“striped”的存取模式在使用数据条切DataStripping的RAID系统之中，对成员磁盘驱动器的存取方式，可分为两种：并行存取ParalleledAccess独立存取IndependentAccessRAID2和RAID3是采取并行存取模式。RAID0、RAID4、RAID5及RAID6则是采用独立存取模式 第4页，共51页，2022年，5月20日，21点30分，星

3、期三平行存取模式并行存取模式支持里，是把所有磁盘驱动器的主轴马达作精密的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的I/O数据传送，如此一来，从主机来的每一个I/O指令，都平均分布到每一个磁盘驱动器。为了达到并行存取的功能，RAID中的每一个磁盘驱动器，都必须具备几乎完全相同的规格：转速必须一样；磁头搜寻速度AccessTime必须相同；Buffer或Cache的容量和存取速度要一致；CPU处理指令的速度要相同；I/OChannel的速度也要一样。总而言之，要利用并行存取模式，RAID中所有的成员磁盘驱动器，应该使用同一厂牌，相同型号的磁盘驱动器。 第5页，共51页，2

4、022年，5月20日，21点30分，星期三独立存取模式相对于并行存取模式，独立存取模式并不对成员磁盘驱动器作同步转动控制，其对每个磁盘驱动器的存取，都是独立且没有顺序和时间间格的限制，同时每笔传输的数据量都比较大。因此，独立存取模式可以尽量地利用overlapping多任务、TaggedCommandQueuing等等高阶功能，来“隐藏”上述磁盘驱动器的机械时间延迟Seek和RotationalLatency。由于独立存取模式可以做overlapping多任务，而且可以同时处理来自多个主机不同的I/ORequests，在多主机环境如Clustering，更可发挥最大的性能。 第6页，共51页，

5、2022年，5月20日，21点30分，星期三RAID级别相对优点相对缺点RAID0存取速度最快没有容错RAID1完全容错成本高RAID3写入性能最好没有多任务功能RAID4具备多任务及容错功能Parity磁盘驱动器造成性能瓶颈RAID5具备多任务及容错功能写入时有overheadRAID0+1/RAID10速度快、完全容错成本高 第7页，共51页，2022年，5月20日，21点30分，星期三TapeDDS,8mm,AIT(HP,Exabyte,SONY)DLT(ATL)LTO(IBM,HP,Segate)9840(STK).第8页，共51页，2022年，5月20日，21点30分，星期三SANS

6、AN = Storage Area Network (存储区域网络)是一种基于光网的特殊的后台数据存取网络提供了一个性能稳定的数据高速存取平台关键概念:支持前台企业信息处理网络 (例如：Ethernet及TCP/IP）有助于减轻关键工作量和增加应用性能及高可用性成为一种有灵活同时有扩展性的数据平台来解决现有的数据迁移和数据共享瓶颈问题基于NCITS T11:光纤通道(Fibre Channel)标准I/O接口 (X3.230-1994) 第9页，共51页，2022年，5月20日，21点30分，星期三光纤通道的特性光纤通道的优点为一个新的多用途网络信息基础结构, 用于连接开放系统存储, 网络,

7、视频应用和服务器集群应用.为上层协议(SCSI,IP，ATM，IEEE 802.2等)提供一个通用硬件传输平台高速: 现在可以提供2Gbit(200MB)/秒的数据传输速率, 全双工专有连接,未来可升级至10Gbit/秒串行的,无阻塞(non-blocking)数据传输最大10公里连接距离(通过扩展器可连接上千公里,适于灾难恢复应用)多平台系统支持(包括 AIX, NT, Solaris, HP/UX, UNIX, LINUX, Novell,等)支持传统环境和应用光纤通道的技术能力不存在无线电信号散射 (RFI), 从而消除了电磁信号串行数据传输, 每传输一位需要0.94纳秒(极小的时间延迟

8、)使用8b/10b编码方式将8位转换为10b格式进行串行传输(内置时钟信号)先进的流控制系统保证数据按顺序传输.最多可以连接1千6百万个节点(交换Fabric模式)帧大小可调整, 支持128MB的批量数据传输强大的错误更正能力(位错误率 = 1x10-12), 比原有铜连接网络强大1,000倍第10页，共51页，2022年，5月20日，21点30分，星期三光纤通道 = 是SAN Fabric的基础为存储系统提供一个网络连接模式客户机LAN(局域网)广域网存储区域网（第二网）Fabric = 第二网“Fabric”是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络, 这一数据网络可以提

9、供企业级的性能, 扩展能力, 可管理能力, 可靠性和可用能力服务器存储子系统第一网第11页，共51页，2022年，5月20日，21点30分，星期三光纤通道的拓扑结构Fibre Channel有三种拓扑结构:点对点(Point-to-Point) 两个设备之间互连仲裁环(Arbitrated Loop) 最多支持126个设备互连，形成一个仲裁环 交换式Fabric(Switch Fabric) 最多1千6百万个设备互连点对点交换式 FabricArbitrated Loop (仲裁环)第12页，共51页，2022年，5月20日，21点30分，星期三光纤通道协议映射ATMFC - ATMIPFC链

10、路封装FC - LE高层协议 (ULPs) 支持现有协议 对于操作系统是透明的 不做更改+ 新的能力SCSI-3SCSI 3命令集映射 IPI - 3 命令集映射 (IPI-3 STD)FC-4FC - AL -2FC-3通用服务FC-0FC-1FC-2光纤物理与信号接口 ( FC- PH, FC-PH2, FC-PH3 )物理变换编码 / 解码结构协议FC - AL8b/10b 编码铜, 光连接第13页，共51页，2022年，5月20日，21点30分，星期三第二网启动顺序：建议遵循一定的顺序启动网络设备首先要启动的就是网络系统，包括所有的交换机并确定所有的设备连接正常第二网启动进程:(1)启

11、动Fabric1(3)启动服务器系统3(2)启动存储设备2第14页，共51页，2022年，5月20日，21点30分，星期三NAS网络附加存储设备（NetworkAttachedStorage，NAS）是一种专业的网络文件存储及文件备份设备，或称为网络直联存储设备、网络磁盘阵列。NAS是基于LAN的，按照TCP/IP协议进行通信，面向消息传递，以文件的I/O方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享。NAS结构和SAN最大的区别就在于NAS有文件操作和管理系统，而SAN却没有这样的系统功能，其功能仅仅停留在文件管理的下一层，即数据管理。SAN和NAS并不是相

12、互冲突的，是可以共存于一个系统网络中的，但NAS通过一个公共的接口实现空间的管理和资源共享，SAN仅仅是为服务器存储数据提供一个专门的快速后方通道，在空间的利用上，SAN和NAS也有截然不同之处，SAN是只能独享的数据存储池，NAS是共享与独享兼顾的数据存储池。第15页，共51页，2022年，5月20日，21点30分，星期三ISCSIiSCSI（互联网小型计算机系统接口）是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。简单地说，iSC

13、SI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。ISCSI的工作流程iSCSI协议就是一个在网络上封包和解包的过程，在网络的一端，数据包被封装成包括TCP/IP头、iSCSI识别包和SCSI数据三部分内容，传输到网络另一端时，这三部分内容分别被顺序地解开。第16页，共51页，2022年，5月20日，21点30分，星期三数据时任何资源的基础DataBusinessIntelligenceKnowledgeWisdomInformation第17页，共51页，2022年，5月20日，21点30分，星期三Backup（备份）Backup - Definition

14、“Backup is a copy type of operation, designed to protect data from accidental or malicious loss or damage”File12 (or more)Backup Copy备份过程拷贝第18页，共51页，2022年，5月20日，21点30分，星期三为什么要备份System stolenUser Data and System LossSystem damagedUser Data and System Loss/DowntimeAccidental File DeletionFile LossAcci

15、dental File OverwriteFile LossAccidental Directory DeletionDirectory and/or File LossHacker IntrusionCorrupt or Lost DataMagnetic Disk FailureCorrupt or Lost DataCPU/Motherboard FailureCorrupt or Lost Data and DowntimeNetwork/Interface FailureCorrupt or Lost Data/Loss of Connectivity Application Hal

16、t or CrashCorrupt or Lost DataOperating System Halt or CrashCorrupt or Lost Data事件结果第19页，共51页，2022年，5月20日，21点30分，星期三为什么要备份FloodSite Loss - Complete or PartialExtreme Weather EventSite Loss - Complete or PartialSeismic EventSite Loss - Complete or PartialAviation AccidentSite Loss - Complete or Parti

17、alTerrorismSite Loss - Complete or PartialEmergency EvacuationLoss of Access to Site灾难后果第20页，共51页，2022年，5月20日，21点30分，星期三Full backup（全备份）全备份.全备份全备份是在某一个时间点上所有数据的一个完全拷贝第21页，共51页，2022年，5月20日，21点30分，星期三Differential(差分) BackupsFull BackupDifferentialFull BackupA differential backup is a copy of all the d

18、ata since the last full Backup.第22页，共51页，2022年，5月20日，21点30分，星期三Incremental(增量) BackupsFull Backup.IncrementalsFull BackupIncremental backup is a copy of only the data that have changed since the last backup.第23页，共51页，2022年，5月20日，21点30分，星期三恢复恢复过程将数据从磁带拷贝回磁盘备份是比恢复早的一个时间点的完全映象备份记录了文件的目录结构，权限等，备份在具体的某盘磁

19、带，磁带在磁带库中具体的槽位等这些信息存储在备份软件的数据库中通常被称为元数据DiskTape第24页，共51页，2022年，5月20日，21点30分，星期三备份数据的生命周期Databacked upBrowse PolicyExpiresBROWSABLERetentionPolicy ExpiresRECOVERABLEVolumeRecycledRECYCLABLE / RECOVERABLE第25页，共51页，2022年，5月20日，21点30分，星期三Archive(归档)Archive - Definition“Archive is a move type of operatio

20、n, designed to preserve a file for future reference”源文件1.1.备份归档的文件归档过程移动, 校验, (删除)第26页，共51页，2022年，5月20日，21点30分，星期三Hierarchical Storage Management (HSM)HSM 是充分保护现有的硬盘存储资源的基础上，将很少使用的文件保存到相对较为便宜的磁带上，当应用需要访问的时候自动进行回调，相对而言在访问速度上会有所影响；对于应用来说是透明的。1.1.HSM Process “透明的” 移动第27页，共51页，2022年，5月20日，21点30分，星期三备份服务

21、器，备份客户端Backup Server Definition“The Backup Server is the central control and management point of the backup and restore process. It holds the Index database (Metadata)”A Client - Definition“A client is a server or workstation that backs up its data over the network to the backup server”.第28页，共51页，20

22、22年，5月20日，21点30分，星期三传统lan环境下数据流走向ApplicationServerLANRAID or JBODTape LibraryBackupServer第29页，共51页，2022年，5月20日，21点30分，星期三Lanfree备份数据流的走向Local Area NetworkMetadataReadWriteBackupServerBackupClient第30页，共51页，2022年，5月20日，21点30分，星期三Serverfree数据流走向DiskFibre ChannelLocal Area NetworkTapeStorage Area Networ

23、k第31页，共51页，2022年，5月20日，21点30分，星期三San环境下磁带驱动器的共享TapeLocal Area NetworkSANFibreChannel第32页，共51页，2022年，5月20日，21点30分，星期三集群环境下的备份Backup ServerVirtual ClientBackup第33页，共51页，2022年，5月20日，21点30分，星期三Nas的备份NAS ServerTapeBackupServerNDMP CommunicationNDMP - Network Data Management Protocol - is a storage specif

24、ic communications protocol that allowsNAS systems to backup to local tape libraries under the control of a remote backup server第34页，共51页，2022年，5月20日，21点30分，星期三存储备份的误区第35页，共51页，2022年，5月20日，21点30分，星期三误区1:混淆备份、双机热备份和容灾系统在为大型企业提供咨询服务时，经常有用户反映:“我们的数据库软件有容错和自动恢复功能，服务器主机也做了双机热备份，而且以后还要建立容灾系统。在这么高标准的安全性保证下，

25、我们再也不需要用磁带设备和备份软件每天做备份了。”第36页，共51页，2022年，5月20日，21点30分，星期三误区2:错解数据迁移随着社会的发展，现代企业的流动性大大增加，给企业的数据“搬家”在所难免。很多企业由于业务需要，都建立了异地的数据分发、数据集中或者数据同步一类的系统。一些用户把这种系统称为“数据迁移”。不妥的是，在存储技术中，“数据迁移”这一概念早已有了明确的定义，而且与之相去甚远。真正的数据迁移技术(也被称为分层存储管理)是指:由在线存储设备和离线存储设备共同构成一个协调工作的存储系统，该系统在在线存储设备和离线存储设备之间动态地管理数据，使得访问频率高的数据存放于性能较高的

26、在线存储设备中，而访问频率低的数据存放于较为廉价的离线存储设备中。这样，既可以保证在绝大部分状况下系统的性能，同时又大幅度降低了系统成本。第37页，共51页，2022年，5月20日，21点30分，星期三构建存储备份的原则第38页，共51页，2022年，5月20日，21点30分，星期三原则一:信息是存储的核心什么样的企业需要存储系统，实际上，任何企业都需要存储系统。因为今天企业的核心问题之一是信息，而建立存储系统的目的，就是对信息进行保护、管理和共享。第39页，共51页，2022年，5月20日，21点30分，星期三原则二:要产品也要技术一个典型的数据存储系统基本由以磁盘阵列为主的在线存储系统、以

27、磁带设备为主的离线存储系统、存储管理软件、交换设备和主机适配器等周边设备共4部分的产品构成。由于产品提供商很难对用户的具体数据特征做出深入细致的分析，并给出具有针对性的方案，所以在用户还没有足够的能力来自行设计存储系统之前，选择一家有经验的存储专业集成商是很必要的。第40页，共51页，2022年，5月20日，21点30分，星期三原则三:明确需求，切勿一味追新作为用户，应该充分把握自己的实际情况，不要盲目地跟随厂商的思路。在明确需求之时，可以咨询有经验的行业专家顾问，或者考察同行业的系统设计和实施情况，万不可把自己至关重要的业务作为“试验田”。 第41页，共51页，2022年，5月20日，21点

28、30分，星期三原则四:长远考虑，打好基础存储是应用系统的基础和核心，它的丝毫变化都将“牵一发而动全身”，同时，存储系统出现的问题和故障也可能影响到整个IT系统的正常运行。所以，建立存储系统之初就应该考虑到稳定性和结构扩展性等方面的要求，保证系统能够稳定而长期的工作。第42页，共51页，2022年，5月20日，21点30分，星期三综合评价为我所用确定好选择哪种存储系统的基本结构后，我们可以考虑产品问题。存储产品的评价基本可以集中在下面几个方面容错能力、性能、容量、连接性、管理性附加功能第43页，共51页，2022年，5月20日，21点30分，星期三1容错能力容错能力是指在存储设备的设计方面对各种偶然性错误和意外情况的预期，以及采取的预防或补救措施。这里，用户需要注意的是，存储系统是一个从软到硬的复杂系统，所以，对数据保护能力的评价应当考虑到整个系统。第44页，共51页，2022年，5月20日，21点3