UIT 存储基础培训 - OS与存储ppt课件

1、UIT 存储根底技术中心 郭镭第二章 操作系统与存储块设备文件系统卷管理技术数据库与存储操作系统与存储设备分类 - 字符设备与块设备字符设备Character devices 指那些无须缓冲直接读写的设备。字符设备以字节为单位进展读写，数据缓冲系统对它们的访问不提供缓冲。裸设备，也叫裸分区原始分区，是一种没有经过格式化，不经过文件系统来读取的特殊字符设备 块设备(Block devices) 只能以块为单位进展读写，典型的块大小为512或1024字节。块设备允许随机访问，每次读写的数据量都是数据块长度的整数倍。块设备和字符设备的区别在概念上主要是字符设备跳过了缓冲区，块设备那么要经过缓冲区。硬

2、盘是既可以做块设备用，也可以做字符设备用。 块设备和块I/OSector 块设备传输数据的最小单位Block 文件系统的最小存储单位Segment 内存交换单位或一部分Page 磁盘缓存单位PageBlockSectorBlock I/OSector硬件设备存放数据的延续区域单位.一个sector的大小是512字节sector是磁盘设备和操作系统之间最小传输单位，多个sector可同时传输。假设磁盘设备支持的sector大小是512的整数倍且大于512字节，那么操作系统的底层block 驱动程序帮我们自动转化。sector是操作系统和块硬件设备之间传送数据的单位，那么block是文件系统管理数

3、据的单位比如操作系统的虚拟文件系统VFS需求从硬件设备上读取一个block，实践上是从硬件设备读取了一个或多个sector.对于文件管理来说，每个文件对应的多个block能够是不延续的block最终要映射到sector上，所以普通block的大小是sector大小的整数倍不同的文件系统，可以运用的block的大小可以不同块 Block块设备操作的根本概念对 block 设备的操作涉及到的内核组件The generic block layerThe generic block layer 隐藏硬件细节，提供block设备的笼统视图。提供通用的数据构造描画 disks 和 disk partiti

4、ons. I/O scheduler I/O scheduler (I/O调度器)根据内核制定的战略对未决的(pending) I/O 数据传送恳求进展排序和调度。提高I/O 调度器的效率也是影响整个系统对块设备上数据管理效率的一个方面。block device 最后，block device 设备驱动程序，完成和硬件的详细交互。为什么需求I/O调度？磁盘寻道在计算机系统中是最慢的操作没有适宜的I/O调度器，对系统性能影响非常大I/O 调度可以安排磁头在一个方向上挪动，减少 seek 次数像电梯操作系统中普通称这样的算法为电梯算法)在全局范围内获得高吞吐量block I/O requestI/

5、O SchedulerRequest queue maintenanceRequest dispatchI/O Scheduler 的任务Sort request queuesMerge request queuesDispatch I/O requests提高读取磁盘的效率逻辑卷管理传统分区缺陷：磁盘的划分经过分区来实现，在系统安装之前用户必需正确选择每个分区的大小分区大小是固定不变的，同时也就限制文件系统和文件的大小分配给分区的磁盘空间必需是延续，这个特点限制了分区不能跨越多个物理卷LVM逻辑卷管理优点：可分配非延续空间，可以跨越多个硬盘可以动态增大逻辑卷的大小方便存储管理操作，包括文件系

6、统的备份、分区的删除、新分区的建立和文件系统的恢复等新的硬盘很容易动态地添加到系统DriversVG操作系统物理存储Logical Volume Manager (LVM)LVLV数据库文件系统VGLV文件系统卷组VG ：Volume Grouphdisk0hdisk1hdisk2rootvgdatavg一个卷组VG可以拥有多个硬盘，但至少拥有一个硬盘(hdisk)一个硬盘(hdisk)只能属于一个VG，不能同时属于多个不同VG用户可以创建多个不同VG，rootvg是操作系统所在的VG物理卷PV和PP存储管理器中，一个硬盘就是一个PV一个PV要划分为大小相等的PP同一个VG中的不同PV的PP大

7、小要一样，默许的PP大小为4MPV必需参与一个VG中，系统才干运用其存储空间hdisk(硬盘)PVPPPhysical Volume (物理卷)Physical Partition (物理分区)逻辑卷LV123459678101112123459678101112PVPVLV逻辑卷(Logical Volume)映射关系12345678n存储管理一个很重要的特点就是引入了“逻辑卷这个概念，几乎一切的存储管理都围绕“逻辑卷展开逻辑卷LV有多个逻辑上延续的逻辑分区LP组成，逻辑分区与物理分区存在映射关系，他们大小一样VGLogical Partition逻辑分区创建了逻辑卷后，可以在上面创建文件系

8、统，还可以直接是裸设备，用于数据库软件的数据存取等逻辑卷空间缺乏，只需卷组中还有足够的PP数量，那么逻辑卷空间都可以动态增大LV逻辑卷的意义逻辑卷LV与文件系统hd4LVhd1limhaihome(root)LVhd2binusrlpplibhd9varspoolvaretcmnt逻辑卷管理器：扮演的角色就是管理好逻辑卷与物理卷之间的映射关系，保证一切的上层存储操作命令都正确地把数据写入相应的物理设备中文件系统：是数据存储方式。它扮演的角色就是以明晰层次构造的文件和目录，去管理好用户数据存取，保证用户写入的数据以可靠的存储方式存放，且无过失地响运用户恳求的数据不同文件系统的数据存在硬盘的不同逻

9、辑卷中逻辑卷管理器rootvgPVPV文件系统LVhd1hd6hd8lv00paging00Mount表jfspagespacejfslogjfspagespacePPhomelimhai类型varlimhaioracleoracleApp-dataMount点datatvg逻辑卷LV与文件系统 构造图逻辑卷战略 - 镜像mirrorPP1PP2PP1PP2PP1PP2LP1LP2.hdisk0hdisk1hdisk2LV00镜像mirror，类似于RAID1，可以实现逻辑卷中逻辑分区的镜像，在独立的不同硬盘中保管两个或三个副本，从而保证硬盘出错时数据不受损坏而且是可用的镜像的调度战略Para

10、llel(并行)：每个副本的写恳求是同时进展的，当更新时间最长的副本完成后，控制就前往给程序。执行效率很高，但当副本更新时假设有硬盘错误发生，数据的完好性有能够遭到破坏。读操作时候，读最相近的副本，所以呼应速率快Sequential(串行)：当数据写到逻辑分区时，只需一切的副本都更新后控制才前往给程序，而且副本是一个个轮留更新。执行速率比并行镜像慢，但是数据完好性较好。读操作时候，总是先读主副本逻辑卷战略 -条带化striping1234567891011121314151617181471013162581114173691215181、没有做条带化的数据块流：2、做了条带化的数据块流：PV

11、PV做条带化类似于RAID0条带化把数据块均匀地分布在不同硬盘上访问逻辑卷上的延续数据时多个硬盘驱动器并行操作，提高了I/O的吞吐量物理卷内分配战略外部边缘外部中间中心内部中间内部边缘硬盘的平面图通常访问最频繁的LV分配在中心，访问不频繁的LV分配在边缘访问速度慢慢快文件系统 File System 概念：文件和对文件进展支配和管理的软件集合。三个层次一、管理的对象及属性1文件2目录3物理存贮空间的管理二、管理的文件操作：1逻辑文件系统：授命write - write2根本I/O管理：write3根本文件系统：向driver发令4I/O控制层：driver三、管理的文件系统接口1命令接口：2程

12、序接口：文件系统层次模型File System Driver体系构造本地File System Driver体系构造远程存储分配方法文件物理组织 延续分配磁带，磁盘都可采用每个顺序文件分配一组相邻盘块。特点：简单1顺序访问容易且速度快，因磁头挪动间隔小，2要求延续空间，一段时间后需整理磁盘以消除外部碎片。3必需事先知道长度，文件不易动态增长和删除。链接分配文件离散地分配于各盘块中，以提高外存利用率，文件长度可变，易于增删，只能顺序存取。特点：只适宜于顺序访问，对随机访问效率低，可靠性差。链接分配问题：不能高效直接存取；FAT需占较大的内存。索引分配概念：为每个文件分配一个索引块特点：1文件较大

13、时有利。文件较小时浪费外存空间还需为小文件建索引块2当文件较大时，索引块太多，那么需建立多级索引 日志文件系统日志文件系统最大的优点在于提供了更好的平安性。日志文件系统会将整个磁盘所做过的更动, 像写日记一样完好的记录下来，一旦发生非预期的缺点情况, 会在下次启动时, 自动检查已记录的日志,然后按照日志记录的动作再做一次，将系统恢复到当机前的正常形状。可以大幅减少不正常关机后所破费的系统修复时间, 让数据的运用更有效率非日志文件系统发生缺点时, 需求辛劳地执行 FSCK命令检查与修复整个文件系统。如今动辄数十 GB 的磁盘空间, 一旦不正常关机, 便要耗费相当多的时间来检查及修复文件系统, 且

14、不能百分之百保证一切的数据都不会流失每个文件系统由逻辑块的序列组成，一个逻辑盘空间普通划分为几个用途各不一样的部分，即引导块、超级块、inode区以及数据区等。引导块：在文件系统的开头，通常为一个扇区，其中存放引导程序，用于读入并启动操作系统；超级块：用于记录文件系统的管理信息。特定的文件系统定义了特定的超级块； inode区索引节点：一个文件或目录占据一个索引节点。第一个索引节点是该文件系统的根节点。利用根节点，可以把一个文件系统挂在另一个文件系统的非叶节点上；数据区：用于存放文件数据或者管理数据。Unix/Linux文件系统逻辑块数量的决议：建立文件系统时,可以自行设定逻辑块的大小是 10

15、24、2048 或 4096 Bytes 假设沒有指定, 那么系统默以为 4096 Bytes每个分区的逻辑块数量由以下公式确定：Unix/Linux文件系统构造超级块中包含了描画文件系统根本尺寸和形状的信息。文件系统管理器利用它们来运用和维护文件系统。通常安装文件系统时只读取数据块组0 中的超级块，但是为了防止文件系统被破坏,每个数据块组都包含了复制拷贝。超级块包含如下信息：Block Group Number：超级块的拷贝。Block Size：以字节记数的文件系统块大小如1024 字节。Blocks per Group：每个组中块数目，当文件系统创建时此块大小被固定下来。Free Blo

16、cks：文件系统中空闲块数Free Inodes：文件系统中空闲Inode数First Inode：文件系统中第一个inode号。根文件系统中第一个inode将是指向/目录的目录入口。超级块PartitionPartitionPartitionFile Systeminodeinodeinodeinodeinodei-listdirectory blocks and data blocksBootBlockSuperBlock文件系统经过一个 inode 构造来描画文件系统中文件并确定此文件系统的拓扑构造。同时还有一个位图被系统用来跟踪已分配和未分配的inode。inode 构造描画文件中数据

17、占据哪个块以及文件的存取权限、文件修正时间及文件类型。文件系统中的每个文件用一个inode 来表示且每个inode 有独一的编号。目录是一个包含指向其目录入口指针的特殊文件也用inode表示。inode包含以下几个域：mode：它包含两类信息：inode 描画的内容以及用户运用权限。inode 可以表示一个文件、目录、符号衔接、块设备、字符设备或FIFO。Owner Information：表示此文件或目录一切者的用户和组标志符。文件系统根据它可以进展正确的存取。Size：以字节计算的文件尺寸。Timestamps：inode 创建及最后一次被修正的时间。 Datablocks： 指向此ino

18、de 描画的包含数据的块指针。inode数量= FileSystem_size / NBPINumber of Bytes per inode在文件系统创建以后就不能修正了,想添加inode数，只能添加文件系统的大小。Bytes-per-inode最小不能小于block size，因此指定Bytes-per-inode大小等于block size大小可以获得最大inode个数。 inodeinode 的数量执行 df -i 命令可查看 inode 的数量：inode 文件构造inode 中存放的指针, 会指到实践存放文件的数据块小的文件仅需用到 inode中direct blocks 的空间假

19、设再大文件那么会用到 indirect blocks、double indirect blocks 或 triple indirect blocks块指针指向间接数据块，间接数据块再指向实践的文件数据块。较大文件的inode指向更多的间接数据块。NTFS文件系统什么是NTFS新(N)技术(T)文件(F)系统(S)？ NTFS新特性主文件表(Master File Table)。而$MFT那么由文件记录(File Record)数组构成。File Record的大小普通是固定的，通常情况下均为1KB，这个概念相当于Linux中的inode。$MFT仅供File System本身组织、架构文件系统

20、运用，这在NTFS中称为元数据(Metadata)。NTFS存储构造卷，簇主控文件表文件援用号，文件记录，文件称号常驻属性与非常驻属性索引数据紧缩NTFS存储构造：卷卷是建立在磁盘分区上 一个磁盘可以有多个卷，一个卷也可以有多个磁盘组成经过格式化的卷上的数据可分为：元数据和用户数据NTFS存储构造：簇簇作为磁盘空间分配和回收的根本单位簇的大小是用户在运用Format命令或其他的格式化程序格式化卷时确定的。簇随卷的大小而不同，但都是物理扇区的整数倍，通常是2的幂。系统默许NTFS簇的大小不会超越4KB，簇越小空间的利用率就越好。NTFS运用LCNLogical Cluster Number，逻辑

21、簇号和VCNVirtual Cluster Number，虚拟簇号来进展簇的定位。分区大小每簇的扇区缺省的簇大小=2G84KBVCN和LCNNTFS运用逻辑簇号Logical Cluster Number，LCN和虚拟簇号Virtual Cluster Number，VCN来对簇进展定位。LCN是对整个卷中一切的簇从头到尾所进展的简单编号。用卷簇乘以LCN，NTFS就可以得到卷上的物理字节偏移量，从而得到物理磁盘地址。VCN那么是对属于特定文件的簇从头到尾进展编号，以便于援用文件中的数据。VCN可以映射成LCN，而不用要求在物理上延续。NTFS存储构造：主控文件表MFTMaster File

22、Table，主控文件表是NTFS卷构造的中心，是NTFS中最重要的系统文件，包含了卷中一切文件的信息。MFT是一个数据库，由一系列文件记录File record组成。卷中每一个文件都有一个文件记录， 每个文件记录的大小都固定为1KB。卷上的每个文件包括MFT本身都有一行MFT记录。MFT开场的16个元数据文件是保管的。在NTFS中只需这16个元数据文件占有固定的位置。每个这样的元数据文件都有一个以“$开头的文件称号，不过该符号是隐藏的。16个元数据文件之后那么是普通的用户文件和目录。 NTFS中的16个元数据文件0：$Mft：MFT本身，保管NTFS卷中一切文件的记录1：$MftMirr：MF

23、T镜像， Mft一小部分的副本2：$LogFile：日志文件，NTFS卷构造和元数据更改日志，用来保证数据一致性3：$Volume：卷文件，保管NTFS卷的根本信息(如NTFS版本等)4：$AttrDef：属性定义表，定义NTFS支持的文件属性5：$：根目录6：$Bitmap：位图文件，卷的cluster位图7：$Boot：引导文件，引导区8：$BadClus：坏簇文件，坏扇区标志9：$Secure：平安文件，权限信息10：$UpCase：大写文件，大小写对应表11：$Extended metadata directory：扩展元数据目录$Quota 磁盘配额信息$ObjID 文件的ObjID$UsnJrnl 用户运用信息$Reparse 重分析点12，13，14，15：预留15：其他用户文件和目录NTFS存储构造：主控文件表的空间和备份NTFS把磁盘分成了两大部分，其中大约12%分配给了MFT，以满足其不断增长的文件数量。为了坚持MFT元文件的延续性，MFT对这12%的空间享有独占权。余下的88%的空间被分配用来存储文件。MFT空间的运用机制可以这样来描画：当文件耗尽了存储空间时，Windows操作系统会简单地减少MFT空间，并把它分配给文件存储。当有剩余空间时，这些空间又会重新被划