对存储系统发挥特殊作用的文件系统

1、对存储系统发挥特殊作用的 文件系统 http:/ ng 存储系统当前是信息系统建设的核心 在直连存储系统的时代，应用系统以计算 机为中心，存储只是外设，数据是存储孤岛 在存储网络时代，数据成为信息系统的核 心，应用系统充分挖掘数据的价值，服务器 成为存储系统的外设 http:/ ng 文件级在存储系统中的位置 应用系统 操作系统 文件系统 RAID控制 磁盘读写 文件级传输文件级传输 块级传输块级传输 文件级传输：应用系统 的I/O逻辑请求，它是文 件系统的输入。是应用 系统要求存储做什么的 逻辑请求。 文件系统决定数据（包 括META数据）在磁盘 上的存放格式和位置， 这种格式和位置又决定

2、磁头的移动方式。 块级传输：应用系统的 I/O物理请求，它是文件 系统的输出。是怎么对 存储操作的数据块请求。 RAID控制使文件系统看 到一个大逻辑盘。 它不 管磁盘格式。 http:/ ng 从应用系统的I/O调用看存储模式 文件系统对存储系统的效率有举足轻重的作用 应用系统 操作系统 文件系统 RAID控制 磁盘读写 NAS FC SAN http:/ ng SAN和NAS存储模型的比较 应用服务器应用服务器 以太网交换机以太网交换机 NAS FC 交换机交换机 SAN 应用服务器应用服务器 文件系统文件系统 RAIDRAID 文件系统文件系统 RAID 文件系统文件系统 RAID 应用

3、服务器应用服务器 文件系统文件系统 应用服务器应用服务器 http:/ ng 误区之一：带宽决定一切 人们经常高估带宽的作用。他们一看到网络变慢，就想到是带宽不 够了，其实往往是其他原因。我个人还从来没有看到因为带宽不够 需要从2-Gbps生到4-Gbps的情况。 Quite often people are not exceeding their bandwidths. They see a network slowdown and think they are exceeding their pipeline, but often it is something else. Im not

4、yet personally seeing anyplace where the need to exceed 2-Gbps is a reason to push for 4-Gbps. 随着4-Gbps产品价格下落，对大映像文件存取所用的SAN会是最好 的选择。但对于象数据库这样的应用所用的SAN来说，增添的性能 是多余的。 With the price of 4-Gbps products expected to fall, it will be the best alternative for installing new SANs, or for existing SANs wher

5、e large imaging or R&D files are stored and accessed. But for existing SANs used for such applications as databases, the extra performance may not be necessary. - 摘自“IBM Latest Vendor To Throw Hat Into 4Gbps Ring” CRN 5- 9-05 http:/ ng 文件系统(1) 什麽是文件系统?计算机的文件系统是任何信息管理系统的基本 元素。它是处理过的信息最终被放置的地方。关键应用系统的

6、客户依 靠文件系统得到快速、不间断的可靠的数据访问 。 VERITAS 指数据(包括文件和metadata)在存储介质上的组织管理模式,以便能 快速可靠地存取数据。文件系统是最初的存储“虚拟者”。每个 操作系统都有自己的文件系统。例如 操作系统所支持的文件系统 MS-DOS, Windows 95 FAT16 Windows 95,98,MeFAT16,FAT32 Windows NT,2000,XPNTFS,FAT16,FAT32 LinuxExt2,FAT32,FAT16 http:/ ng 文件系统(2) 不同的文件系统有不同的格式。例如 文件系统最长文件名 最大卷大小 最大文件大小 F

7、AT1682GB*2GB FAT322552TB4GB NTFS25516TB16TB Ext22554TB2GB http:/ ng 不同的FS有不同的存储效率 WAFL Writes to nearest available free block Berkeley Fast File System/Veritas Fast File System/NTFS Writes to pre-allocated locations (data and metadata) . . http:/ ng 文件系统对I/O效率的影响 文件系统决定了磁头如何读写磁盘 磁头是毫秒级操作，最大限度地减 少磁头臂

8、的平均移动次数，是提高 读写效率的关键 http:/ ng WAFL 大目录处理 对谁有用? 大邮件目录 新闻 大目录环境每秒创建数 Directory SizeSunOSNetApp 2.0NetApp 2.1 100030113122 50002268123 100001640122 200001214122 http:/ ng Copy-on-Write技术 (1) 数据卷 Snapshot卷 需要建立快照卷 http:/ ng Copy-on-Write技术 (2) Data Volume Snapshot Volume 必须进行数据拷贝 http:/ ng Copy-on-Write

9、技术 (3) Data Volume Snapshot Volume http:/ ng NetApp 的 Snapshot 快照技术 (1) ABC Active File System File: NETAPP.DAT Disk blocks http:/ ng NetApp 的 Snapshot 快照技术 (2) Snapshot.0 File: NETAPP.DAT ABC Active File System File: NETAPP.DAT Disk blocks Snapshot 仅仅记录这三个仅仅记录这三个 数据块的指针数据块的指针, 没有数据拷贝没有数据拷贝 http:/ n

10、g NetApp 的 Snapshot 快照技术 (3) Snapshot.0 File: NETAPP.DAT C WAFL把修改后的数据块写到新位置 (C) 现在数据块 (C) 既没有被更新,也没 有被释放 ABC Active File System File: NETAPP.DAT Disk blocks 顾客 修改数据 块 C 新数据新数据 http:/ ng NetApp 的 Snapshot 快照技术 (4) 当前文件系统 NETAPP.DAT 现在由数据块 A, B 和 C组成. NETAPP.DAT 的Snapshot.0由数据块 A, B 和 C 组成. 可以同时保留多个文

11、件系统版本, 用于系统快速恢复 C Snapshot.0 File: NETAPP.DAT ABC Active File System File: NETAPP.DAT Disk blocks http:/ ng 不同“快照”方式的比较 把模块把模块“C”改为改为“Z” 其它File Systems (例如, NTFS, UFS) 存在存在 Snapshot 每个 write I/O 变为: Read old value Write old value Write new value 300% I/O penalty 把模块把模块“C” 改为改为“Z” Write Anywhere File

12、 Layout 一个 write I/O 保持为一个 I/O 当前文件当前文件 系统系统 Snapshot 当前文件当前文件 系统系统 Snapshot 当前文件当前文件 系统系统 Snapshot CABCDABZDZABCD http:/ ng 存储系统中的缓存作用 v磁盘写操作涉及磁头臂的机械运动，可以用带电池的缓存来减短应用 的中断时间 v缓存可以把单个写操作，积累成批量写操作，从而提高磁盘阵列的写 效率 v写缓存可以放在文件系统级或卷管理级 http:/ ng 基于文件系统的缓存 进程中断时间最短, 客户响应时间加快, 可预见 NVRAM: 保证快速写操作保证快速写操作 保证所写数据

13、与磁盘的一致性, 缩短中断时间 http:/ ng 基于文件系统和基于卷的缓存 UNIX NVRAMNetApp NVRAM Disk DriverNVRAM Semantic Layer Write alloc Layer File System NFS Disk Driver NVRAMSemantic Layer Write alloc Layer File System NFS http:/ ng FC SAN解决数据共享的传统方法 NAS gateway方法 缺点： 两个管理界面 效率不匹配（NAS gateway可能是瓶颈） 资源不能完全共享 硬件资源浪费(Cache) 适用情况：

14、绝大部分数据是结构化的，少 量是非结构化的 http:/ ng CFS：在群集范围内的所有存储设备上的每个存储块 可以被并发读写。它不适用顾客，只适用服务器。 CFS通过分布锁管理器(DLM)来实现数据共享。如： ADIC的StorNext，IBM的 DFS：它协调所有的服务器实现数据共享。它对顾客 和服务器采用2层结构的文件系统。在顾客层，它实现 跨越所有机器的统一命名空间和单个文件系统的表达 方式。它的服务器层承担所有的I/O操作，从数据存储 的观点看，服务器层相当于存储层，有时就简称为存 储结点。在DFS结构中，每个物理服务器管理自己的 存储资源，不同的物理服务器彼此并不直接共享存储 资

15、源。如：NetApp的SpinFS（现在的Data ONTAP NG ) 群集文件系统与分布式文件系统 http:/ ng 群集文件系统CFS示例 群集服务器 客户端 FC交换机 Metadata控制器 SAN卷 每个群集服务器看到的是相同的SAN卷 用控制器统一管理群集服务器对SAN卷中文件的共享 可以支持从主机到存储的多路径合并 可以支持异构平台的互操作 http:/ ng DFS示例 GX 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4 FCFC通路 灵活卷 GigE GigE 顾客网络 LinuxLinux 计算网格 GXGX ClusterCluster GigE Gig

16、E 群集网 络 (可以构架为冗余) 10/100/1000 10/100/1000 管理网络 FCFC失效恢 复路径 汇聚 FCFC 或 ATA ATA 磁盘架 InfiniBand InfiniBand 系统失效恢 复连接 http:/ ng 关键技术整体命名空间(global namespace) 简单 所有参加计算的节点,可以看到所有数据 简化mount点的管理 在顾客端无需改动 透明 扩展 灵活卷的移动 失效接管 扩展性 将命名空间用于PB数量级数据 可管理性 http:/ ng 整体命名空间举例 Proj_ABCProj_ABC EngEng SynSyn SimSim DocsDo

17、cs SWSW HWHW Proj_XYZProj_XYZ GX 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4 整体命名空间 EngEng Proj_ABCProj_ABC Proj_XYZProj_XYZ HWHWSWSW DocsDocs SimSim SynSyn FibreFibre ChannelChannel 存储的 灵活卷 GigE 顾客网络 对位于对位于SWSW目录上目录上 文件的文件的NFSNFS请求请求 LinuxLinux ComputeCompute GridGrid GXGX ClusterCluster GigE 群集网络 顾客可以 mount到任 何

18、服务器上, 存取整个命 名空间 举例: 从位于 GX1的服 务器端口, 存取位于 GX3上的 灵活卷 SW http:/ ng 扩展性 灵活卷的条带化 提供高性能选择 好处 创建跨多个控制器 节点的灵活卷 将灵活卷的通量扩 展到多GB/秒 将灵活卷的大小扩 展到数百TB 传送多GB/秒的通量 给重要文件和目录 保持管理的简单性 用相同的存储系统 于多个应用需求 ProjectsProjects X XB BC C A1A1A2A2A3A3 B1B1B2B2 C1C1C2C2C3C3 B B C C A1A1 A2A2 A3A3 B1B1 B2B2 C1C1 C2C2 C3C3 LinuxLin

19、ux 计算 网格 GX ClusterGX Cluster 整体命名空间 FV3FV3 FV4FV4FV7FV7 FV8FV8FV11FV11FV12FV12 FV1FV1 FV2FV2FV5FV5 FV6FV6FV9FV9 FV10FV10 条带化的卷X http:/ ng 扩展性 透明扩展 透明扩展 透明数据移动 用于存储扩展 好处 迅速无缝地启 用新存储和/或 应用 无需宕机时间 对计算节点透 明,不改变命名 空间 A B C A1 A2 A3 B1 B2 C1 C2 C3 Projects ABC A1 A2 A3 B1 B2C1 C2 C3 把数据移到新添加的存储上把数据移到新添加的

20、存储上 B B http:/ ng 扩展性 负载均衡镜像 整体命名空间 ProjProj A AB BC CD D A1A1 A2A2B1B1 B2B2 B3B3 C1C1 C2C2 C3C3D1D1 D2D2 D3D3 C1C1 B1B1 GX 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4 FibreFibre ChannelChannel 存储的 灵活卷 GXGX ClusterCluster A1A1 ProjProj A2A2 D1D1 B2B2 D2D2 C2C2 B3B3 D3D3 C3C3 A3 A3 A3A3A3A3 镜像的灵活卷 GigE群集网络 与整体命名空间

21、透明 结合 不需要修改顾客 直接mount到有镜 像数据的节点, 可以 从本地镜像读取数 据 需要远程数据的 DFS请求, 将被轮流 分布到可用的镜像 上 举例: 灵活卷A3读取频率 很高 GX3正在变饱和 镜像创建在GX2,3,4 Mount到GX2,3,4的 顾客可以直接读取 Mount到GX1的顾 客将通过DFS从其 它三个节点读取A3 数据 http:/ ng 灵活数据管理 数据移动 透明数据移动 适宜优化负载 好处 优化性能 充分利用磁盘空间 不影响应用运行 对顾客透明, 不改变 命名空间 举例: 优化项目A的响应时 间 A B C A1 A2 A3 B1 B2 C1 C2 C3 P

22、rojects ABC A1 A2 A3 B1 B2C1 C2 C3 项目项目A 得到专用资源得到专用资源 http:/ ng 灵活数据管理 分层存储 应用情况: 分层存储 根据磁盘的价格/性能比 匹配磁盘 在同一命名空间内管理 主存储与二级存储 分层存储应用: 归档 盘到盘备份 引用数据 应用情况: 顺序I/O应用 用ATA的价格,取得FC 的性能 对不同的磁盘或应用要 求,提供不同的RAID保 护(如提供2块磁盘失效 的数据保护) B CA2 A3 C1 C2 A Projects ABC A1 A2 A3 B1 B2C1 C2 C3 A1 B1 主存储 (所有工作负载得到最高性能所有工作

23、负载得到最高性能) 二级存储 (较低的 $/GB) B2 C3 灵活卷移动时命名空间保持灵活卷移动时命名空间保持 http:/ ng 卷管理 传统卷，FlexVol http:/ ng 今天的卷 v卷是存储的基本建设模块卷是存储的基本建设模块 v数据管理的操作和计划均围绕卷进行数据管理的操作和计划均围绕卷进行 快照 备份和恢复 空间的分配和供应 v问题在于问题在于: 卷与底层的磁盘是密不可分的卷与底层的磁盘是密不可分的 缺乏灵活性缺乏灵活性 难于按应用特性分卷难于按应用特性分卷 空间利用率低空间利用率低 性能难于优化性能难于优化 http:/ ng 介绍 FlexVol 4数据存储和管理的主要单位仍旧是数据存储和管理的主要单位仍旧是 WAFL 卷卷 4FlexVol: 不再直接与物理存储挂钩不再直接与物理存储挂钩 4FlexVol: 每个每个aggregate可有多个可有多个 4存储空间能够很容易被再分配存储空间能够很容易被再分配 Aggregate DisksDisksDisks FlexVols 4Aggregate包含物理存储包含物理存储 http:/ ng Aggregates 与 FlexVols: 工作原 理 RG1RG2RG3 Aggregate RG1RG2RG3 FlexVol1FlexVol 2FlexVol