数据保护技术

数据保护技术2一、数据保护技术从底层来分，数据保护可以分为文件级保护块级保护数据保护3一、数据保护技术文件级备份文件级备份：将磁盘上所有文件通过调用文件系统接口备份到另一个介质上。也就是把数据以文件形式读出，然后存储在另一个介质上面。此时备份软件只能感知到文件这一层。我们知道一般来说，文件在原来的介质上，可以是不连续存放的，通过文件系统来管理和访问。当备份到新的介质上以后，文件完全可以连续存放。正因为如此，没有必要备份元数据，因为利用新介质进行恢复的时候，反正会重构文件系统。4一、数据保护技术块级备份块级备份就是不管块上是否有数据，不考虑文件系统的逻辑，备份块设备上的每个块。这样好处是不通过调用文件系统接口，速度更快，缺点的是备份的时候会把所有的块复制一遍，但是实际上很多扇区的数据是不对应真实文件的，也就是会备份很多僵尸扇区。而且备份之后，原来不连续的文件一样是不连续的文件，有很多的碎片。5二、高级数据保护远程文件复制远程文件复制：通过网络传输到异地容灾点。典型的代表是rsync异步远程文件同步软件。可以监视文件系统的动作，将文件的变化，同步到异地站点。增量复制。6二、高级数据保护远程卷镜像这是基于块的远程备份。与远程文件复制不同的地方在于，是把块数据备份到异地站点。又可以分为同步和异步复制。同步复制：必须等数据复制到异地站点以后，才通报上层IO成功消息异步复制：写入成功即可回复成功，然后通过网络传输到异地。不能保证一致性，但是上层响应快。基于块的备份措施，一般都是在底层设备上进行，不耗费主机资源。7二、高级数据保护RAID存取数据的基本方式远程镜像确实是对生产数据一种非常好的保护，但是需要镜像卷一直在线，主卷有写IO，那么镜像卷也需要有写IO。如果想对镜像卷进行备份，需要将停止主卷的读写，然后将两个卷的镜像关系分离。所以当恢复主卷的IO的时候，镜像卷不会再被读写。然后才可以备份镜像卷的数据。这样会存在一个问题，主卷上还继续有IO，将会导致数据与备份的镜像不一致。所以主卷上所有的写IO动作，会以位图bitmap方式记录下来，bitmap上的每个位表示卷上的一个块，0表示未写入，1表示已写入，所以当拆分镜像以后，被写入了数据，程序将bitmap文件对应位从0变为1。备份完成以后，再做数据同步即可。可以看出上述过程比较的繁琐，而且需要占用一块和主卷一样大小的镜像卷。快照技术就是为了解决这种问题，其基本思想是抓取某一时间点磁盘卷上的所有数据。8三、快照文件系统管理的精髓：链表、B树、位图，也就是元数据文件系统将扇区组合成更大的逻辑块来降低管理规模。NTFS最大块可以到4KB，也就是8个扇区一组一个簇（Block），这样可以减少管理成本。文件系统会创建所管理存储空间上所有簇的位图文件。每个位代表卷上的簇（或者物理扇区）是否被使用，如果被使用，则置1。文件系统保存一份文件和其对应簇号的映射链。因为映射链本身和簇位图也是文件，也有自己的映射链，所以针对重要的元数据，有一个固定的入口：rootinode基于文件系统的快照9三、快照写入新数据查找簇位图，找位值为0的簇号，计算所需空间，分配簇号给文件将数据写入簇，再去文件——簇号映射图更新将对应的簇映射关系记录下来，到簇位图将对应位置改为1.删除数据直接在簇号映射链中抹掉，簇位图对应簇改为0可以看出删除数据实际上不会抹掉实际的数据。基于文件系统的快照10三、快照基于物理卷的快照基于物理卷的快照比文件系统快照要简单得多。因为LUN一般在底层磁盘上是恒定的，不像文件系统一样可以随机细粒度的分布。所以可以认为LUN的元数据就是在底层磁盘的起始和结束地址这样在快照的时候，需要复制的元数据就更少了，但是完成了以后，需要按照一定粒度来做CoFW或者RoFW，还需要记录更多数据映射指针，就比较难受了。对于实现了块级虚拟化的系统如NetApp,XIV,3PAR等，它们的LUN在底层位置是不固定的，LUN就相当于一个文件，存在元数据链来进