数据存储安全与恢复

1、1数据存储安全与恢复数据存储安全与恢复沈夫康沈夫康2007年8月2目录目录一、数据存储设备二、硬盘分区结构三、数据备份四、数据恢复五、常用工具介绍3一、数据存储设备一、数据存储设备1、磁盘 1)硬盘(普通硬盘、移动硬盘、热插拔硬盘) 2)软盘 (1.44寸、1.2寸)2、光盘(CD、DVD）3、磁带4、闪存(U盘、SD卡等)4硬盘硬盘硬盘: 包括磁性盘片、电机、盘上方的伸缩臂以及伸缩臂(手 柄)上的磁头。 电机带动磁盘旋转，伸缩臂在盘上移动，磁头进行读 盘或写盘操作。读盘时，磁头检测盘表面磁性的变 化，将其转化为0或1的数据组。写盘时，通过磁头改 变盘上数据的磁性，如正、负极分别与0和1相对应

2、。 外存储器中，硬盘的存取速度最快, 适合存储需要经常 访问和快速访问的程序和文件。5硬盘硬盘硬盘盘面区域划分磁头飞行在盘面上方，不接触盘面6硬盘硬盘磁道磁道 磁盘格式化成许多同心 圆，同心圆轨迹即磁道 (Track) 磁道从外向内自0开始顺 序编号。每盘面有 3001024个磁道 扇区:磁道不连续记录数 据，划分成圆弧段,即扇 区,从“1”开始编号，每个 扇区中的数据是作为一 个单元同时读出或写入 的7硬盘硬盘柱面柱面 所有盘面上的同一磁道 构成一个圆柱，通常称 做柱面(Cylinder) 读写按柱面进行扇区扇区 数据以扇区(Sector)形式 存储在硬盘上 每扇区包括512字节的数 据和一

3、些其他信息。 每扇区由两个主要部分 组在：存储数据地点的 标识符和存储数据的数 据段8CHS与与LBAlCHS表示硬盘的物理地址，现在随着硬盘容量增大我们用逻辑地址即线性地址LBA）。l从CHS到LBAl假设用C表示当前柱面号，H表示当前磁头号，Cs表示起始柱面号，Hs表示起始磁头号，Ss表示起始扇区号，PS表示每磁道有多少个扇区，PH表示每柱面有多少个磁道，则有以下对应关系：LBA=（C-Cs）*PH*PS+（H-Hs）*PS+（S-Ss）一般情况下，CS=0、HS=0、Ss=1；PS=63、PH=255l计算：C/H/S=0/0/1，0/0/63，0/1/1，220/156/189LBA与

4、与 CHSl从CHS到LBAlMOD运算：lC=LBA DIV (PH*PS) + CsH=(LBA DIV PS) MOD PH + HsS=LBA MOD PS + SslDIV运算lC= LBA DIV (PH*PS) + CsH=LBA DIV PS (C-Cs) * Ps + SsS=LBA- (C-Cs) * PH * PS - (H-Hs) * PS + Ssl计算： LBA=0，62，63，354414510磁盘技术指标及参数磁盘技术指标及参数 容量：容量： 希捷 总容量&单碟容量 普通硬盘的最大盘片数量为3张或4张靠增加碟片来扩充容量 平均寻道时间平均寻道时间 硬盘磁

5、头移动到数据所在磁道时所用的时间 寻道时间影响硬盘的磁道定位速度和硬盘的整体性 能，还对硬盘的噪音产生影响 平均潜伏期平均潜伏期 磁头移动到数据所在的磁道后，等待所要的数据块继 续转动(半圈或多些、少些)到磁头下的时间11磁盘技术指标及参数磁盘技术指标及参数 道至道时间道至道时间 磁头从一磁道转移至下一磁道的时间 旋转速度旋转速度 驱动硬盘盘片旋转的主轴电机的旋转速度 全程访问时间全程访问时间 磁头开始移动直到最后找到所需要的数据块所用的全部时间 平均访问时间平均访问时间 磁头找到指定数据的平均时间=平均寻道时间和平均潜伏时间之和12磁盘技术指标及参数磁盘技术指标及参数 最大内部数据传输速率最

6、大内部数据传输速率磁头至硬盘缓存间的最大数据传输速率，一般 取决于硬盘的盘片转速和盘片数据线密度 外部数据传输速率外部数据传输速率从硬盘缓冲区读取数据的速率13磁盘技术指标及参数磁盘技术指标及参数 数据缓存数据缓存 硬盘内部的高速存储器 一般为28MB 作用：预读取，对写入动作进行缓存，临时存储最 近访问过的数据 硬盘表面温度硬盘表面温度 硬盘工作时产生的热量使硬盘密封壳温度上升的情 况 温度较低的硬盘有更好的数据读、写稳定性 MTBF 连续无故障工作时间14存储设备与计算机间的接口存储设备与计算机间的接口 IDE(ATA)与SATA USB IEEE1394 SCSI FibreChanne

7、l15硬盘与接口硬盘与接口lIDE/ATA 集成设备电路/AT附件lSCSI 小型计算机系统接口lSATA串口硬盘16IDE/ATA T13委员会，颁布委员会，颁布ATA标准的组织标准的组织 最初最初ATA接口标准接口标准极为简单: ATA-1只支持两个硬盘,使用跳线进行设制为一主一从, 支持编程I/O(PIO)02,最大传输率8.3MB/S 改进改进:使用了DMA直接内存存取,最高传输率16MB/S, 传输数据时不会耗费CPU周期 当前为当前为Utral-DMA,最高传输率可达100MB/S,其前 三种模式分别为66MB/S、44MB/S和33MB/S。66和 33较为常见 IDE/ATA模

8、式向后兼容模式向后兼容17IDE/ATA硬盘容量界限硬盘容量界限 当前ATA接口标准采用28位寻址，最高支持137.4GB容量 在行业标准与技术的更新时，需考虑到磁盘实用工具对于大容量 硬盘的支持问题：如MS scandisk和disk defragmenter目前不能 在超过137GB硬盘上工作。 硬盘介质容量界限已经经历过32GB、8.4GB和2.1GB硬盘布线硬盘布线 有效复制的目标之一有效复制的目标之一是在最短时是内安全地伟输尽可能多的数据 数据线要求数据线要求： ATA/33及以下标准，40线/40针数据线；对于 ATA/33以上标准，使用80线/40针数据线，其中额外40线接地导

9、走过量电流以最大限度减少有效导线之间的相互干扰 数据线接口色标数据线接口色标：蓝 主板/PCI主控制器；灰 连接从设备；黑 主硬盘。否则，BIOS无法识别硬盘，并可能导致数据损坏，或 降低信号质量18IDE/ATA不同类型硬盘混合使用不同类型硬盘混合使用 硬盘将按自己额定速率工作，或仅能达到控制器标定速率不同型号数据线混用不同型号数据线混用 数据线串接时确保型号一致 接口的34针为接地 主机内40针，外接80线/40针线会出现BIOS无法识别外部驱动器线缆选择模式线缆选择模式 IDE/ATA系统已经实现线缆选择模式，无需设置跳线通过位置只 别主从盘，但为保证复制按预知方式进行，仍要求设置跳线以

10、区 分主从盘ATA桥桥 IDE2SCSI、IDE21394、IDE2USB1.1或IDE2USB2.0主桥 使用ATA主桥可以获得基于硬件的写保护和硬盘热交换功能 准备ATA主桥时注意与系统环境兼容,包括windows、unix19SATA 并行传输存在着信号串扰问题 SATA,即Serial ATA,它通过提高工作频率提升接口传 输速率 特点 支持所有的ATA和ATAPI设备 串行方式传输数据，每次传输1位 比并行ATA低电压标准，减小能耗 点对点协议，不存在并行ATA的主/从问题 与目前的操作系统在软件上兼容 缺陷 目前面向桌面应用的Serial ATA适配卡或支持Serial ATA的芯

11、 片组只能支持2个通道 个通道只能连接1个设备 目前SATA已经有成为市场主流的趋势20USB Universal Serial Bus(通用串行总线) 1994年年底由Compaq、IBM、Microsoft等多家 公司联合提出 USB接口理论上可以连接127个USB设备 不需要单独的供电系统 USB1.1可达12Mb/s，是串口的100多倍， USB2.0带宽拓宽到480Mb/s USB接口设备之间的通信效率低，连接电缆的长 度比较短21IEEE1394 IEEE1394：又称为火线,高速串行总线，传输速率可达到 400Mb/s 一个火线通道上支持多于63个设备 1394b： 高传输速率与

12、长距离版本的1394，2001年完成，单信道带宽为 800Mb/s 在不同的传输距离与传输速率下使用不同的传输媒介 将来有可能取代PCI总线的全新总线标准 IEEE1394接口可以实现即时数据传输(Real-Time Data Transfer)，支持热插拔，驱动程序安装简易，接口速度快， 目前的1394支持传输速率为400Mb/s，I/O连接头通用，是 一种点对点的通信架构。 IEEE1394硬盘需要价格昂贵的IEEE1394硬盘适配器。AppleSony22SCSI小型计算机系统接口小型计算机系统接口(SCSI)美国国家标准化组织(ANSI) 定义的标准高速 并行接口。 SCSI 接口用于

13、微型计算机到外围设备（例如 硬盘和打印机）的连接，以及到其他计算机和 局域网(LAN) 的连接。23SCSIlATA与SCSI在数据吞吐量方面差别已经很小。两种硬 盘的生产使用了相同的磁头和盘片，区别在控制卡。l当前SCSI外部传输率已经接近每秒320MB（scsi-3ultra4/320）lSCSI支持并行、排队命令，一次可以使用多个设备。故高I/O负荷条件下，SCSI RAID优于ATA RAIDlSCSI支持多达7个或14个设备，SCSI设备划分为逻辑功能子单元，即LUN，通过LUN来控制存取管理设备及磁带驱动器等l三种SCSI规范(ANSI)24SCSI标准向后兼容标准向后兼容SCSI

14、SCSI标准标准常用名称常用名称外部传输率外部传输率 /S/S数据线型号数据线型号SCSI-1Asynchronous4MBASCSI-2Wide10MBPSCSI-2Fast10MBASCSI-2Wide/Fast20MBPSCSI-3Ultra/Wide20/40MBPSCSI-3Ultra2/wide40/80MBA/PSCSI-3Ultra3/Ultra160160MBPSCSI-3Ultra3/Ultra320320MBPA 50针P 68针25FC技术技术 即光纤通道,由美国国家标准委员会(ANSI） 开发出来的一套标准 支持多种拓扑结构、物理互联以及协议的高 性能、全双工接口。

15、1Gbps(已经)-2Gbps(正在)-4Gbps(未来) 目前是建立SAN架构的唯一选择 支持三种拓扑技术：点对点、仲裁环路以及 交换结构26二、二、硬盘分区结构硬盘分区结构计算机数据表示计算机数据表示 数的进制 数据的大小与表示次序(endian ordering) 字符串与字符编码 数据结构与文件系统27数的进制数的进制二进制二进制八进制八进制十六进制十六进制l二进制二进制八进制八进制十六进制十六进制l0001000881111001991022101010A1133101111B10044110012C10155110113D11066111014E11177111115F28分区分区

16、作用分区作用 便于硬盘的规划、文件的管理 数据安全 有效利用磁盘空间 提高系统运行效率 分配权限 高效整理硬盘 镜像磁盘分区必须在不同的分区之间进行操作 多系统需要使用不同类型的文件系统 逻辑盘比较小，文件性能好29常见的文件系统格式常见的文件系统格式lFAT16l可以被多种操作系统访问，如MS-DOS、Windows所有系列和OS/2。l 8.3命名规则 (文件名.扩展名)l无法支持系统高级容错特性，不具有内部安全特性等30常见的文件系统格式常见的文件系统格式lNTFSl应用于Windows NT/2000/XP/2003l可以利用先进的数据结构提供更好的性能、稳定性和磁盘的利用率lWind

17、ows的95/98/98SE和Me版都不能识别NTFS文件系统l此文件系统至今仍未公开源码31分区数据结构分区数据结构主引导扇区操作系统引导扇区FATDIRData32主引导扇区主引导扇区主引导扇区位于整个硬盘的0磁道0柱面1扇区主引导记录MBR分区表DPT以80H或00H为开始标志，以55AAH为结束标志，共64字节，位于本扇区的最末端33操作系统引导扇区操作系统引导扇区OBRl位于硬盘的0磁道1柱面1扇区，是操作系统可直接访问的第一个扇区；l引导程序l判断本分区根目录前两个文件是否为操作系统的引导文件lBPB（BIOSParameterBlock）的本分区参数记录表34文件分配表文件分配表

18、FATlFAT一般做两个，第二FAT为第一FAT的备份,FAT区紧接在OBR之后，其大小由本分区的大小及文件分配单元的大小决定lFAT12、FAT16和FAT3235目录区目录区DIRlDIR紧接在第二FAT表之后,只有FAT还不能定位文件在磁盘中的位置，FAT还必须和DIR配合才能准确定位文件的位置。l操作系统根据DIR中的起始单元，结合FAT表就可以知道文件在磁盘的具体位置及大小了36数据区数据区DATAl占据了硬盘的绝大部分空间l格式化程序（指高级格式化，例如DOS下的Format程序），并没有把DATA区的数据清除，只是重写了FAT表而已，至于分区硬盘，也只是修改了MBR和OBR，绝大

19、部分的DATA区的数据并没有被改变，这也是许多硬盘数据能够得以修复的原因。37硬盘分区方式硬盘分区方式l主分区l扩展分区l逻辑分区38数据存储原理数据存储原理l文件的读取l文件的写入l文件的删除lFAT分区将目录区的文件的第一个字符改成了E5就表示将改文件删除了lFdisk和Format的一点小说明 Fdisk重写MBR(主引导记录)信息 Format重写FAT(文件分配表)信息39Windows中的磁盘分区中的磁盘分区逻辑分区是依附在扩展分区之下C：D：E：F：主分区扩展分区在Windows中，每个分区都是用磁盘代号表示40DOS分区分析 MBR分析 分区表详析41主引导记录主引导记录MBR

20、 0柱面、0磁头、1扇区有关各分区信息不属于任何操作系统通过分区来完成主引导记录的写入42主引导记录l主引导记录结构偏移偏移数据名称数据名称说明说明0H1BDH主引导程序占446个字节,但实际可能并没有到这么多的字节1BEH1FDH硬盘分区表占64个字节,每个分区项占16个字节，最多可容纳4个分区项1FEH1FFH结束标识占2个字节，结束标志，总是55H AAH43MBR引导代码引导代码 作用作用 从从BIOS手里接过引导权手里接过引导权 解释分区表结构解释分区表结构 将资源控制权交给将资源控制权交给80H分区（活动分区）分区（活动分区） 损坏后的修复方法损坏后的修复方法 从已有完好硬盘上拷贝

21、从已有完好硬盘上拷贝 FDISK/MBR或或FIXMBR 第三方程序第三方程序 初始化硬盘给硬盘签名（初始化硬盘给硬盘签名（2000或或XP的硬盘管理）的硬盘管理） 自己编程实现自己编程实现44分区表分区表 描述描述 用来有效管理存储空间的一种逻辑结构用来有效管理存储空间的一种逻辑结构！也可以没有分区表！也可以没有分区表 分区表的数据结构分区表的数据结构 每组分区表由每组分区表由4个分区表项组成，每项个分区表项组成，每项16Byte 每个分区表项的结构与意义均相同每个分区表项的结构与意义均相同 分区表的恢复分区表的恢复 MBR常规下没有备份常规下没有备份 如果病毒或恶意程序所为，查看如果病毒或

22、恶意程序所为，查看1-62扇区是否有备份扇区是否有备份 如无备份，可分析后按分区表项的结构重新建立如无备份，可分析后按分区表项的结构重新建立45分区表数据结构Byte Range字节范围字节范围(十进制十进制)Description描述描述Essential有效内容有效内容0445Boot Code启动代码No446461Partition Table Entry第一分区信息YesPartition Table Entry第二分区信息Yes510511Signature value 结束代码(0 xAA55)No46分区表项(条目)数据结构Byte Range字节范围字节范围(十进制十进制)D

23、escription描述描述Essential有效内容有效内容00Bootable Flag分区标记No13Starting CHS Address起始柱面/磁头/扇区Yes44Partition Type分区类型No57Ending CHS Address结束柱面/磁头/扇区Yes811Starting LBA AddressLBA起始位置Yes1215Size in Sectors分区大小Yes47分区类型类型类型描述描述类型类型描述描述0 x00EmptyLinux Swap0 x01FAT12, CHS0 x83Linux0 x04FAT16, 1632 MB, CHS0 x84Hib

24、ernation0 x05Microsoft Extended, CHS0 x85Linux Extended0 x06FAT16, 32 MB2GB, CHS0 x86NTFS Volume Set0 x07NTFS0 x87NTFS Volume Set0 x0bFAT32, CHS0 xa0Hibernation0 x0cFAT32, LBA0 xa1Hibernation0 x0eFAT16, 32 MB2GB, LBA0 xa5FreeBSD0 x0fMicrosoft Extended, LBA0 xa6OpenBSD0 x11Hidden FAT12, CHS0 xa8Mac O

25、SX0 x14Hidden FAT16, 1632 MB, CHS0 xa9NetBSD0 x16Hidden FAT16, 32 MB2GB, CHS0 xabMac OSX Boot0 x1bHidden FAT32, CHS0 xb7BSDI0 x1cHidden FAT32, LBA0 xb8BSDI swap0 x1eHidden FAT16, 32 MB2GB, LBA0 xeeEFI GPT Disk0 x42Microsoft MBR. Dynamic Disk0 xefEFI System Partition0 x82Solaris x860 xfbVmware File S

26、ystem000 xfcVmware swap48演示：具有演示：具有5个分区的磁盘结构个分区的磁盘结构49扩展分区的结构特点扩展分区的结构特点 扩展分区内部才真正体现了链的概念扩展分区内部才真正体现了链的概念 对于其父结构的相对扇区位置对于其父结构的相对扇区位置50示例：填充下图所示磁盘结构的各个分区示例：填充下图所示磁盘结构的各个分区表表51硬盘坏道修复硬盘坏道修复lWindows的磁盘扫描l确定“逻辑坏道”还是“物理坏道”l强制完全格式化并标记坏块lSFdisk或者PQmagic重新分区l坏道会传染l0扇区损坏，把0磁道屏蔽，用1磁道取而代之l万不得已，不要低格52三、数据备份三、数据备

27、份l存储保护设计_SMARTl存储保护设计_RAID53存储保护设计存储保护设计_SMART磁盘可靠性技术磁盘可靠性技术 S.M.A.R.T (Self-Monitoring Analysis & Reporting Technology)即自动监视分析及报告技术。通过监视和分析 硬盘工作时的状态和性能并显示出来，使用户 可以随时了解硬盘的工作情况。54存储保护设计存储保护设计_RAID磁盘阵列磁盘阵列Array把几个磁盘的存储空间整合起来，形成一个大 的单一连续的存储空间。阵列就是由多个磁盘组成，并行工作的磁盘系统。 如RAID控制器利用它的SCSI通道可以把多个磁盘 组合成一个磁盘

28、阵列。 另如软件RAID55独立冗余磁盘阵列独立冗余磁盘阵列RAIDRAIDl独立冗余磁盘阵列最初叫做廉价冗余磁盘阵列（Redundant Array of Inexpensive Disks），它是由多个小容量、独立的硬盘组成的阵列，而阵列综合的性能可以超过单一昂贵大容量硬盘（SLED）的性能。由于是对多个磁盘并行操作，所以RAID磁盘子系统与单一磁盘相比它的输入输出性能得到了提高。服务器会把RAID阵列看成一个单一的存储单元，并对几个磁盘同时访问，所以提高了输入输出的速率。56磁盘阵列磁盘阵列l磁盘阵列技术RAID即独立磁盘冗余阵列，发展的技术也很快，出现了低、中、高端产品和相关的软件产品

29、，具体一点讲，中低档磁盘阵列是由柜式和卡式组成，柜式产品如普桦豪威、ESCORT等。卡式由SCSI Raid和IDE Raid组成。SCSI卡式的产品有AMI、adapta、IBM、DPT、Mytex等。IDE Raid卡式的产品有promise、highpoint等。l磁盘阵列模式是把几个磁盘的存储空间整合起来，形成一个大的单一连续的存储空间。RAID控制器利用它的SCSI通道可以把多个磁盘组合成一个磁盘阵列。简单的说，阵列就是由多个磁盘组成，并行工作的磁盘系统。需要注意的是作为热备用的磁盘是不能添加到阵列中的。57磁盘阵列的分类磁盘阵列的分类lRAID0：也称为：也称为disk spann

30、ing ，是将同一阵列的多，是将同一阵列的多个磁盘视为单一的虚拟磁盘个磁盘视为单一的虚拟磁盘(virtual disk)，数据是以，数据是以分段的方式顺序存放在磁盘阵列中分段的方式顺序存放在磁盘阵列中 ，其效率最高，其效率最高，但无纠错能力。但无纠错能力。58磁盘阵列的分类磁盘阵列的分类lRAID0的特点59磁盘阵列的分类磁盘阵列的分类lRAID1：使用磁盘镜像：使用磁盘镜像(disk mirroring)技术技术 ，容错能力和数据存取性能最好。容错能力和数据存取性能最好。60磁盘阵列的分类磁盘阵列的分类lRAID1的特点61磁盘阵列的分类lRAID2加入了汉明码,是早期为了能进行即时的数据校

31、验而研制的一种技术，从它的设计上看也是主要为了即时校验以保证数据安全，针对了当时对数据即时安全性非常敏感的领域，如服务器、金融服务等。 62磁盘阵列的分类磁盘阵列的分类lRAID2的特点63lRAID 3：数据储存及存取方式都和：数据储存及存取方式都和RAID 2一样一样,但在安全方但在安全方面以奇偶校验面以奇偶校验(parity check)取代海明码做错误校正及检测。取代海明码做错误校正及检测。性能比性能比RAID 2稍差，同样适用于大档案及大量数据输出入的稍差，同样适用于大档案及大量数据输出入的应用应用 ，并不适用于，并不适用于PC及网络服务器及网络服务器 。磁盘阵列的分类磁盘阵列的分类

32、64磁盘阵列的分类磁盘阵列的分类lRAID3 的特点65磁盘阵列的分类磁盘阵列的分类lRAID4：以扇区作数据分段：以扇区作数据分段,各磁盘相同位置的分段各磁盘相同位置的分段形成一个校验磁盘分段形成一个校验磁盘分段(parity block),放在校验磁盘。放在校验磁盘。校验磁盘形成校验磁盘形成RAID 4的瓶颈，降低了性能。因有的瓶颈，降低了性能。因有RAID 5而使得而使得RAID 4较少使用。较少使用。66磁盘阵列的分类磁盘阵列的分类lRAID4的特点67磁盘阵列的分类磁盘阵列的分类lRAID5：避免了：避免了RAID 4的瓶颈的瓶颈,方法是不用校验磁盘方法是不用校验磁盘而将校验数据以循

33、环的方式放在每一个磁盘中，校而将校验数据以循环的方式放在每一个磁盘中，校验值是由各磁盘同一位置的分段的数据所计算出来验值是由各磁盘同一位置的分段的数据所计算出来 。这种方式能大幅增加小档案的存取性能这种方式能大幅增加小档案的存取性能 ，对联机交，对联机交易处理易处理(OLTP, on-line Transaction Processing)如如银行系统、金融、股市等或大型数据库的处理提供银行系统、金融、股市等或大型数据库的处理提供了最佳的解决方案了最佳的解决方案 。 68磁盘阵列的分类磁盘阵列的分类RAID5存储示意图存储示意图69四、数据恢复l1.在硬盘数据出现丢失后，请立即关机，不要再对硬盘进行任何写操作，那样会增大修复的难度，也影