存储备份的基本体系结构

1、存储&备份的基础bird_man2003-10-26n存储备份系统的发展n存储备份n存储备份技术中的误区n构建存储备份系统的原则 内容存储备份系统的发展n软盘，硬盘，磁带，磁光盘nscsi技术，ssa技术，fc技术，iscsi技术ndas，nas，sannLan backup，lanfree backup，serverfree backupn.SCSI技术与RAID技术nSCSI是Small Computer System Interface(小型计算机系统接口)的英文缩写。SCSI最早是一种并行连接使用SCISI命令的计算机硬件接口。nRedundant Array of Inexp

2、ensive (or Independent) Drive。RAID是1988年由美国加州大学的Berkeley分校的David Patterson等几人提出来的。 RAIDnRAID条切“striped”的存取模式在使用数据条切Data Stripping 的RAID 系统之中，对成员磁盘驱动器的存取方式，可分为两种：并行存取Paralleled Access独立存取Independent AccessRAID 2和RAID 3 是采取并行存取模式。RAID 0、RAID 4、RAID 5及RAID 6则是采用独立存取模式 平行存取模式n并行存取模式支持里，是把所有磁盘驱动器的主轴马达作精密

3、的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的I/O数据传送，如此一来，从主机来的每一个I/O 指令，都平均分布到每一个磁盘驱动器。n为了达到并行存取的功能，RAID 中的每一个磁盘驱动器，都必须具备几乎完全相同的规格：转速必须一样；磁头搜寻速度Access Time必须相同；Buffer 或Cache的容量和存取速度要一致；CPU处理指令的速度要相同；I/O Channel 的速度也要一样。总而言之，要利用并行存取模式，RAID 中所有的成员磁盘驱动器，应该使用同一厂牌，相同型号的磁盘驱动器。 独立存取模式n相对于并行存取模式，独立存取模式并不对成员磁盘驱动器作同步转

4、动控制，其对每个磁盘驱动器的存取，都是独立且没有顺序和时间间格的限制，同时每笔传输的数据量都比较大。因此，独立存取模式可以尽量地利用overlapping 多任务、Tagged Command Queuing等等高阶功能，来“隐藏”上述磁盘驱动器的机械时间延迟Seek 和Rotational Latency。n由于独立存取模式可以做overlapping 多任务，而且可以同时处理来自多个主机不同的I/O Requests，在多主机环境如Clustering，更可发挥最大的性能。 RAID级别 相对优点 相对缺点nRAID 0 存取速度最快 没有容错 nRAID 1 完全容错 成本高 nRAID

5、 3 写入性能最好 没有多任务功能 nRAID 4 具备多任务及容错功能 Parity 磁盘驱动器造成性能瓶颈 nRAID 5 具备多任务及容错功能 写入时有overhead nRAID 0+1/RAID 10 速度快、完全容错 成本高 TapenDDS,8mm,AIT(HP,Exabyte,SONY)nDLT(ATL)nLTO(IBM,HP,Segate)n9840(STK)n.SANnSAN = Storage Area Network (存储区域网络)n是一种基于光网的特殊的后台后台数据存取网络n提供了一个性能稳定的数据高速存取平台n关键概念:n支持前台企业信息处理网络 (例如：Ethe

6、rnet及TCP/IP）有助于减轻关键工作量和增加应用性能及高可用性n成为一种有灵活同时有扩展性的数据平台来解决现有的数据迁移和数据共享瓶颈问题n基于NCITS T11:光纤通道(Fibre Channel)标准I/O接口 (X3.230-1994) 光纤通道的特性n光纤通道的优点n为一个新的多用途网络多用途网络信息基础结构, 用于连接开放系统存储, 网络, 视频应用和服务器集群应用.n为上层协议(SCSI,IP，ATM，IEEE 802.2等)提供一个通用硬件传输平台n高速高速: 现在可以提供2Gbit(200MB)/秒的数据传输速率, 全双工专有连接,未来

7、可升级至10Gbit/秒n串行的串行的, ,无阻塞无阻塞(non-blocking)数据传输n最大10公里连接距离(通过扩展器可连接上千公里上千公里,适于灾难恢复应用)n多平台多平台系统支持(包括 AIX, NT, Solaris, HP/UX, UNIX, LINUX, Novell,等)n支持传统传统环境和应用n光纤通道的技术能力n不存在无线电信号散射 (RFI), 从而消除了电磁信号n串行数据传输, 每传输一位需要0.94纳秒(极小的时间延迟)n使用8b/10b编码方式将8位转换为10b格式进行串行传输串行传输(内置时钟信号)n先进的流控制流控制系统保证数据按顺序传输.n最多可以连接1

8、1千千6 6百万百万个节点(交换Fabric模式)n帧大小可调整, 支持128MB128MB的批量数据传输n强大的错误更正能力(位错误位错误率率 = 1x10= 1x10-12-12), 比原有铜连接网络强大1,000倍光纤通道 = 是SAN Fabric的基础为存储系统提供一个网络连接模式客户机LAN(局域网局域网)广域网广域网存储区域网存储区域网（第二网）Fabric = 第二网第二网“Fabric”是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络, 这一数据网络可以提供企业级的性能, 扩展能力, 可管理能力, 可靠性和可用能力服务器存储子系统第一网第一网光纤通道的拓扑结构nF

9、ibre Channel有三种拓扑结构有三种拓扑结构:n点对点点对点(Point-to-Point) 两个设备之间互连n仲裁环仲裁环(Arbitrated Loop) 最多支持126个设备互连，形成一个仲裁环 n交换式交换式Fabric(Switch Fabric) 最多1千6百万个设备互连点对点点对点交换式交换式 FabricArbitrated Loop (仲裁环仲裁环)光纤通道协议映射ATMFC - ATMIPFC链路封装FC - LE高层协议 (ULPs) 支持现有协议 对于操作系统是透明的 不做更改+ 新的能力SCSI-3SCSI 3命令集映射 IPI - 3 命令集映射 (IPI-

10、3 STD)FC-4FC - AL -2FC-3通用服务FC-0FC-1FC-2光纤物理与信号接口 ( FC- PH, FC-PH2, FC-PH3 )物理变换编码 / 解码结构协议FC - AL8b/10b 编码铜, 光连接第二网启动顺序：n建议遵循一定的顺序启动网络设备n首先要启动的就是网络系统，包括所有的交换机并确定所有的设备连接正常n第二网启动进程:(1)启动Fabric1(3)启动服务器系统3(2)启动存储设备2NASn网络附加存储设备（Network Attached Storage，NAS）是一种专业的网络文件存储及文件备份设备，或称为网络直联存储设备、网络磁盘阵列。NAS是基于

11、LAN的，按照TCP/IP协议进行通信，面向消息传递，以文件的I/O方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享。nNAS 结构和SAN最大的区别就在于NAS有文件操作和管理系统，而SAN却没有这样的系统功能，其功能仅仅停留在文件管理的下一层，即数据管理。nSAN和NAS并不是相互冲突的，是可以共存于一个系统网络中的，但NAS通过一个公共的接口实现空间的管理和资源共享，SAN仅仅是为服务器存储数据提供一个专门的快速后方通道，在空间的利用上，SAN和NAS也有截然不同之处，SAN是只能独享的数据存储池，NAS是共享与独享兼顾的数据存储池。ISCSIniSCSI

12、（互联网小型计算机系统接口）是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。nISCSI的工作流程niSCSI协议就是一个在网络上封包和解包的过程，在网络的一端，数据包被封装成包括TCP/IP头、iSCSI识别包和SCSI数据三部分内容，传输到网络另一端时，这三部分内容分别被顺序地解开。数据时任何资源的基础DataBusinessIn

13、telligenceKnowledgeWisdomInformationBackup（备份）nBackup - Definitionn“Backup is a copy type of operation, designed to protect data from accidental or malicious loss or damage”File12 (or more)Backup Copy备份过程拷贝为什么要备份System stolenUser Data and System LossSystem damagedUser Data and System Loss/DowntimeAc

14、cidental File DeletionFile LossAccidental File OverwriteFile LossAccidental Directory DeletionDirectory and/or File LossHacker IntrusionCorrupt or Lost DataMagnetic Disk FailureCorrupt or Lost DataCPU/Motherboard FailureCorrupt or Lost Data and DowntimeNetwork/Interface FailureCorrupt or Lost Data/L

15、oss of Connectivity Application Halt or CrashCorrupt or Lost DataOperating System Halt or CrashCorrupt or Lost Data事件结果为什么要备份FloodSite Loss - Complete or PartialExtreme Weather EventSite Loss - Complete or PartialSeismic EventSite Loss - Complete or PartialAviation AccidentSite Loss - Complete or Pa

16、rtialTerrorismSite Loss - Complete or PartialEmergency EvacuationLoss of Access to Site灾难后果Full backup（全备份）全备份.全备份全备份是在某一个时间点上所有数据的一个完全拷贝Differential(差分) BackupsFull BackupDifferentialFull BackupA differential backup is a copy of all the data since the last full Backup.Incremental(增量) BackupsFull Ba

17、ckup.IncrementalsFull BackupIncremental backup is a copy of only the data that have changed since the last backup.恢复n恢复过程将数据从磁带拷贝回磁盘n备份是比恢复早的一个时间点的完全映象备份记录了文件的目录结构，权限等，备份在具体的某盘磁带，磁带在磁带库中具体的槽位等这些信息存储在备份软件的数据库中通常被称为元数据DiskTape备份数据的生命周期Databacked upBrowse PolicyExpiresBROWSABLERetentionPolicy ExpiresRE

18、COVERABLEVolumeRecycledRECYCLABLE / RECOVERABLEArchive(归档)Archive - Definition“Archive is a move type of operation, designed to preserve a file for future reference”源文件1.1.备份归档的文件归档过程移动, 校验, (删除)Hierarchical Storage Management (HSM)HSM 是充分保护现有的硬盘存储资源的基础上，将很少使用的文件保存到相对较为便宜的磁带上，当应用需要访问的时候自动进行回调，相对而言在访

19、问速度上会有所影响；对于应用来说是透明的。1.1.HSM Process “透明的” 移动备份服务器，备份客户端nBackup Server Definitionn“The Backup Server is the central control and management point of the backup and restore process. It holds the Index database (Metadata)”nA Client - Definitionn“A client is a server or workstation that backs up its dat

20、a over the network to the backup server”.传统lan环境下数据流走向ApplicationServerLANRAID or JBODTape LibraryBackupServerLanfree备份数据流的走向Local Area NetworkMetadataReadWriteBackupServerBackupClientServerfree数据流走向DiskFibre ChannelLocal Area NetworkTapeStorage Area NetworkSan环境下磁带驱动器的共享TapeLocal Area NetworkSANFib

21、reChannel集群环境下的备份Backup ServerVirtual ClientBackupNas的备份NAS ServerTapeBackupServerNDMP CommunicationNDMP - Network Data Management Protocol - is a storage specific communications protocol that allowsNAS systems to backup to local tape libraries under the control of a remote backup server存储备份的误区误区1:

22、混淆备份、双机热备份和容灾系统在为大型企业提供咨询服务时，经常有用户反映: “我们的数据库软件有容错和自动恢复功能，服务器主机也做了双机热备份，而且以后还要建立容灾系统。在这么高标准的安全性保证下，我们再也不需要用磁带设备和备份软件每天做备份了。” 误区2: 错解数据迁移 n随着社会的发展，现代企业的流动性大大增加，给企业的数据“搬家”在所难免。很多企业由于业务需要，都建立了异地的数据分发、数据集中或者数据同步一类的系统。一些用户把这种系统称为“数据迁移”。不妥的是，在存储技术中，“数据迁移”这一概念早已有了明确的定义，而且与之相去甚远。真正的数据迁移技术(也被称为分层存储管理)是指: 由在线

23、存储设备和离线存储设备共同构成一个协调工作的存储系统，该系统在在线存储设备和离线存储设备之间动态地管理数据，使得访问频率高的数据存放于性能较高的在线存储设备中，而访问频率低的数据存放于较为廉价的离线存储设备中。这样，既可以保证在绝大部分状况下系统的性能，同时又大幅度降低了系统成本。 构建存储备份的原则原则一: 信息是存储的核心 n什么样的企业需要存储系统，实际上，任何企业都需要存储系统。因为今天企业的核心问题之一是信息，而建立存储系统的目的，就是对信息进行保护、管理和共享。 原则二: 要产品也要技术 n一个典型的数据存储系统基本由以磁盘阵列为主的在线存储系统、以磁带设备为主的离线存储系统、存储

24、管理软件、交换设备和主机适配器等周边设备共4部分的产品构成。由于产品提供商很难对用户的具体数据特征做出深入细致的分析，并给出具有针对性的方案，所以在用户还没有足够的能力来自行设计存储系统之前，选择一家有经验的存储专业集成商是很必要的。 原则三: 明确需求，切勿一味追新 n作为用户，应该充分把握自己的实际情况，不要盲目地跟随厂商的思路。在明确需求之时，可以咨询有经验的行业专家顾问，或者考察同行业的系统设计和实施情况，万不可把自己至关重要的业务作为“试验田”。 原则四: 长远考虑，打好基础 n存储是应用系统的基础和核心，它的丝毫变化都将“牵一发而动全身”，同时，存储系统出现的问题和故障也可能影响到整个IT系统的正常运行。所以，建立存储系统之初就应该考虑到稳定性和结构扩展性等方面的要求，保证系统能够稳定而长期的工作。 综合评价 为我所用 n确定好选择哪种存储系统的基本结构后，我们可以考虑产品问题。存储产品的评价基本可以集中在下面几个方面n容错能力、n性能、n容量、n连接性、n管理性n附加功能1容错能力n容错能力是指在存储