（计算机科学与技术专业论文）集群环境下全局文件系统mgfs的设计与实现.pdf

国 防 科 学 技 术 大 学 研 究 生 院 学 位 论 文 摘要 集群技术作为最经济的构建计算平台的模式，已经成为当前研究的一个热点问题。基 于集群环境下的全局文件系统的设计和实现是集群技术的重点之一。与硬件技术的迅速发 展相比，全局文件系统技术的研究工作却有些相对滞后，一些新的概念和想法还处于试验 阶段，其可行性还有待于进一步验证。所以，对全局文件系统技术进行研究，为新一代文 件系统的设计和实现提供必要的技术支持是一件十分有意义的工作。 本文对一个具体的全局文件系统 g f s - 3 进行了深入的研究，通过充分阅读和分析其源 代码，指出了 g f s -3中影响文件系统性能的技术缺陷，这些缺陷包括锁管理方法、空闲 空间管理方法以及 b u f f e r c a c h e等诸多方面。为了克服上述缺陷对文件系统性能的负面 影响，我们在g f s -3 的基础上设计并实现了一个改进的文件系统原型m -g f s . m -g f s 在 锁管理、空间管理和 b u f f e r c a c h e等方面均给出了新的解决方案，试图在这几个方面使 文件系统的性能能够有所改进。同时我们对m -g f s 和g f s -3 的性能进行了比较测试，通 过测试结果表明， m -g f s 在针对g f s -3 的技术缺陷所作改进方面整体上比g f s -3 的性能 要优越。 最后， 对m -g f s 进一步需要改进的方面提出了作者的建议，以 希望在今后的研究中在 这些方面能够有所收获。 关键词:集群全局文件系统 g f s g f s -3 m - g f s - -一 一 一. . 一 -一一. . -、-一. 一 t 国 防 科 学 技 术 大 学 研 究 生 院 学 位 论 文 abs t r act t o d a y c l u s t e r t e c h n i q u e h as b e c o m e a h o t r e s e a r c h i n g i s s u e a s i t i s t h e m o s t e c o n o m i c m o d e t o c o n s t r u c t a c o m p u t i n g p l a t f o r m .t h e d e s i g n a n d i m p l e m e n t o f t h e g l o b a l f i l e s y s t e m b as e d o n c l u s t e r e n v i r o n m e n t i s o n e o f t h e m o s t i m p o r t a n t i s s u e s o f c l u s t e r t e c h n i q u e .c o m p a r i n g w i t h t h e r a p i d d e v e l o p m e n t o f h a r d w a r e t e c h n i q u e s ,t h e r e s e a r c h w o r k o n t h e g l o b a l f i l e s y s t e m f a l l s b e h i n d .a n d s o m e n e w c o n c e p t s a n d i d e as a r e j u s t o n t h e s t a g e o f t e s t .t h e f e a s ib i l i t y o f t h e s e c o n c e p t s a n d i d e a s a p p l i e d t o t h e g l o b a l f i l e s y s t e m n e e d s t o b e f u r th e r t e s t i n g .s o i t i s v e r y n e c e s s a r y t o d o s o m e r e s e a r c h w o r k o n t h e t e c h n i q u e s o f t h e g l o b a l f i l e s y s t e m i n o r d e r t o p r o v i d e s o m e s u r p o r t s t o t h e d e s i g n a n d im p l e m e n t o f a n e w g e n e r a t i o n g l o b a l f i l e s y s t e m . t h i s p a p e r d o e s s o m e w o r k b a s e d o n a c o n c r e t e g l o b a l f i l e s y s t e m n a m e d g f s - 3 .a ft e r t h e a u t h o r s r e a d i n g a n d a n a l y z i n g t h e s o u r c e c o d e o f g f s - 3 ,t h i s p a p e r p o i n t s o u t t h e t e c h n i q u e f a u l t s e x i s t i n g i n g f s - 3 .t h e f a u lt s c o v e r t h e f ie l d s a b o u t l o c k m a n a g e m e n t , f r e e b l o c k s m a n a g e m e n t a n d b u f f e r c a c h e ,w h i c h w i l l b r in g a n e g a t i v e i m p a c t o n t h e p e r f o r m a n c e o f t h e f i l e s y s t e m . s o w e d e s i g n a n d im p l e m e n t a m o d i f i e d f i l e s y s t e m p r o t o t y p e n a m e d m- g f s i n o r d e r t o e l i m i n a t e t h e g f s - 3 s t e c h n i q u e l i m i t a t i o n s . i n m- g f s ,n e w s o l u t i o n s c h e m e s a r e i n t r o d u c e d i n t o t h e p r e v i o u s a s p e c t s . t h e c o m p a r i n g t e s t r e s u l t s b e t w e e n m- g f s a n d g f s - 3 a r e a l s o s h o w n i n t h i s p a p e r ,w h i c h i n d i c a t e t h a t t h e p e r f o r m a n c e o f m - g f s i s s u p e r i o r t o t h a t o f g f s - 3 in t h e m o d i f i e d p a r t s . a t t h e e n d o f t h i s p a p e r ,t h e a u t h o r p r o v i d e s s o m e a d v i c e o n t h e i m p r o v e m e n t o f m-g f s in o r d e r t o a c q u i r e s o m e h e l p s i n t h e f u t u r e . k e y w o r d s : c l u s t e r，g l o b a l f i l e s y s t e m，g f s , g f s - 3.m - g f s 1 1 独创性声明 本人声明 所呈交的学位论文是我本人在导师指导下 进行的 研究工作及取得 的 研究 成果， 尽我 所知， 除了 文中 特别加以 标注和致谢的 地方外， 论文中 不 包含 其他人已 经发表和撰写过的 研究 成果， 也不包含为获得国防 科学技术大学或其它 教育 机构的 学 位或证书而 使用过的 材料。 与我一同 工作的同志 对本研究 所 做的 任 何贡 献 均已 在论文中 作了 明 确的 说明 并 表示 谢意。 学位论文题目 : 学位论文作者签名 学位论文版权使用授权书 本人完 全了 解国防 科学 技术大学 有关 保留、 使用学 位论文的规定。 本人授权 国防 科学技术大学可以 保留 并向国 家有关部门 或机构送交论文的复印 件和电 子 文 档， 允许 论文 被查阅 和借阅; 可以 将学 位论文的 全部 或部分内 容编入有关数据 库进 行检索，可以 采用影印 、 缩印 或扫 描等复 制手 段 保存、汇 编学 位论文。 保密学位论文在解密 后适用本授权书。 ) 学位论文题目: 学位论文作者签名 作者指导教师签名 国 防 科 学 技 术 大 学 研 究 生 院 学 位 论 文 图 目 录 图1 . 1无共享结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 图1 . 2共享磁盘结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 图1 . 3 共享存 储器结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 一 . . . . . . 5 图2 . 1 l u s t r e 结构视图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 一 1 0 图2 . 2 c o s m o s 的 层次结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 图2 . 3 c o s m o s 的 系 统 结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 图2 . 4 g f s 物理结 构视图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 一 1 4 图3 . 1 g f s - 3 文 件系 统 层次 结 构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 二 “ 1 8 图3 . 2 g f s - 3 模 块之间 关 系图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 图3 . 3 g f s 一 3 数据 存 储示 意图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 图3 . 4 g f s 一3 锁结构组成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 图3 . 5 g f s - 3 节点间 互 联关 系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 图3 . 6 e x t e n t - b a s e d 空间管理示意图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8 图4 . 1 m 一 g f s 锁管 理 逻 辑结 构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 图4 . 2 g - d l m 锁 管 理 器工 作 流 程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 图4 . 3 客户端向 服务器发锁请求示意图， . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 图4 . 4 g -d l m 核心数据结构之间关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6 图4 . 5 锁 状 态 之间的 转 换关 系 ， ， ， 二 “ . . . . . . . 3 8 图4 . 6 g 一 d l m 资 源死 锁图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0 图4 . 7 成 组 链表 法示 意图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1 图4 . 8 空闲 块分 配流程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3 图4 . 9 空闲 块回收流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 4 图4 . 1 0 g f s - 3 中 同 步写回 流 程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5 图4 . 1 1 m -g f s 写回c a c h e 的写操作流程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6 图4 . 1 2 m - g f s 写 回 操 作的a p i . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 7 图4 . 1 3 m - g f s 读 操 作流 程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 9 图5 . 1 实验环境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 一5 2 图5 . 2 对文件进行顺序读取的测试结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4 图5 . 3 对文件进行随机读取的测试结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4 图5 . 4 事 务处 理比 较图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5 图5 . 5 初 始 创 建 文 件 速 度比 较图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5 图5 . 7 文 件 删除的 速度比 较图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5 iv 国 防 科 学 技 术 大 学 研 究 生 院 学 位 论 文 表 目 录 37盯 1六种锁模式 2锁模式之间的兼容性二 粗叔 v 国 防 科 学 技 术 大 学 研 究 生 院 学 位 论 文 第一章 绪论 1 . 1课题选题背景及依据 文件系统作为计算机磁盘资料的管理者， 对计算机系统的输入输出能力有着 重要的影响。 c a s e / a m d a h l 经验法则表明，1 m i p s 的计算能力需要 1 m b i t 的工 / 0 带宽与之匹配。 与快速增长的c p u 计算能力相比， 计算机系统的工 / 0 能力显然显 得过于薄弱，并且这种情况还在不断恶化。根据m o o r e 定律， c p u 计算能力、内 存容量等硬件技术以指数方式每 1 8 个月增长一倍，而磁盘带宽由于受其机械部 件速度的限制， 其增长速度远远落后于计算能力的增长， 使得单机系统的计算能 力与工 / 0 系统之间的差距越来越大。 特别是最近几年， 由 于越来越多的系统采用 多c p u ， 使得计算能力与i / 0 速度不匹配的问题变得更加严重。与此同时， 计算 能力的提高又产生了一批新型的计算机应用领域， 如具有重大挑战性的科学计算 和工程计算问题、w e b服务器、1 / 0 密集型数据库、弱连接环境下的计算和网络 教学等等，这些应用对 1 / 0性能提出了更高的要求，同时也表明应用呈现出对 i / 0 需求无限增长的趋势川 。 硬件 r a i d 系统可以部分解决计算速度和 i / 0 速度的不匹配问题，但是始终 存在对主机资源争夺的矛盾。 通过高性能网络或者局域网互联的 集群系统d 1 正成 为实现高可伸缩、 高可用服务的有效结构， 集群结构比单处理器系统和紧祸合多 处理器系统具有更好的伸缩性和性能价格比， 但是实现集群环境具有很多挑战性 工作需要解决， 如何在集群系统中实现文件服务， 提供一个全局一致的单一文件 系统映像， 实现文件访问的透明性成为一个急待解决的问题。 集群中的全局文件 系统提供了一种解决i / 0 瓶颈的途径， 它将整个集群环境中的磁盘组织成为全局 的存储系统， 集群中的节点可以实现对该存储系统的共享访问， 全局文件系统能 够提供更大的存储容量和聚合的工 /0带宽，并可以随着系统规模的扩大而扩展， 这种文件系统大致可以分成三类: 1 )共享文档和缓冲的文件系统; 2 ) c o d a , i n t e r m e z z o 文件系统; 3 ) 集群文件系统; 上述三类文件系统中， 第一类文件系统以s u n 公司的n f s 为代表， 其设计 目 的是对网络中的单机文件系统实现共享。这类文件系统采用基于u n i x 系统的 设计思想， 利用将远程文件系统作为本地文件系统子树挂接的形式实现。 某一服 务器提供的文件共享只能作为客户端单独的子目 录，无法实现多服务器交叉存 取。n f s使用u n i x的认证体制，底层通过 r p c过程实现，因此无法利用客户端 第1 页 国 防 科 学 技 术 大 学 研 究 生 院 学 位 论 文 内 核提供的缓冲机制， 速度较慢，无法满足高性能系统的要求。 对于c o d a 和i n t e r m e z z 。 文件系统， 二者都实现了内核级的文件调用， 可以 利用本地文件系统缓存实现了与本地文件系统接近的文件访问性能。 但是 c o d a 和 i n t e r m e z z 。 文件系统至今还没有实现资料的高可用性存放，一旦某服务器出 现停机或者离线，保存在此服务器上的资料将不能被访问而导致资料丢失。 集群环境下的全局文件系统利用位置无关性， 并结合快速的网络，比前两种 文件系统具有更高的性能和可扩展性。 另外， 由 于集群采用无集中服务器式的结 构，因 此具有很高的可用性。 集群环境下的全局文件系统相对于集中服务器方式的文件系统的主要优势 体现在以 下几个方面:n s l .可用性大大提高。 全局文件系统采用无集中服务器的模式， 所有连接在集 群上的节点都可以 平等的访问文件系统， 所以 不存在单点失效的问题， 不会出 现 客户/ 服务器模式由于服务器失效所引起的整个系统不可用的情况。在这种系统 中， 一个节点失效， 不会对整个系统的 运行产生太大的影响。 .所有存储设备被组织成单一的磁盘卷， 使得节点访问远程设备就像访问本 地设备一样， 屏蔽了设备的位置特性， 即节点对设备的位置是透明的。 不论文件 存储在什么设备上， 所有节点都可以平等的访问该文件， 这样简化了存储管理和 降低了管理的复杂性。 .在容量、互联性和带宽的扩展性方面， 突破了具有集中服务器的网络文件 系统如n f s 等的限制，具有很好的可扩展性。 如今计算机网络和计算机技术的正处于迅速发展的阶段， 高性能处理器和内 存等单节点硬件已 经成为商品化部件， 集群系统由于在性能、 可用性、 可扩展性 和价格等方面有着传统的大型机和对称处理机所不能比拟的优势， 己经成为超级 计算机市场上的主流。 但现有集群系统的文件系统方面研究的进展却远远落后于 其他方面。随着c p u 计算能力的不断提高，这种差距越来越大。而天气、石油、 地质数据的处理、多媒体、可视化、i / 0 密集型数据库、语音识别等应用对文件 系统提出了更高的要求， 因此开发高性能、 高可用性和高可扩展的文件系统并对 其进行深入细致的研究和测试以寻求解决集群文件系统性能的良 好途径， 具有非 常重要的意义。 第2 页 国防科学技术大学研究生院学位论文 1 2 全局文件系统的简介 1 2 1 全局文件系统的概念 对于全局文件系统的概念，通过查阅资料，未发现得到大家一致认可的定义， 不同的学者从不同的角度对全局文件系统都有不同的理解和定义。针对本课题研 究所依赖的集群环境，我们给全局文件系统的概念做如下定义： 在集群环境( 或者分布式环境) 下支持的文件系统如果能够使得对文件的访 问相对于文件位置是透明的，任何进程可以使用相同的路径名访问系统中的任何 文件，那么这个文件系统就称为一个全局文件系统。 也就是说在集群环境中。所有节点对文件的访问都屏蔽了文件的物理特性， 任何节点访问存储在远地磁盘上文件的方法和访问本地磁盘上文件的方法相同， 而整个系统保持唯一的全局的文件系统映像，即从任何节点看该文件系统都是相 同的，节点之间能够实现对全局文件系统的共享访问。 1 ，2 2 全局文件系统的特征。1 单一文件层次结构用户可以从任何一个节点访问该文件层次结构。在用 户看来是一个唯一的、巨大的文件系统映像，它将局部和全局磁盘以及其他文件 设备透明的结合在一起。一个用户所用的所有文件都存在根目录下的某个子目录 中，可以通过普通的u n i x 调用如o p e n 、r e a d 等来访问这些文件。如n f s 、a f s 提供了单一文件层次结构的部分功能。 对称性一个用户可以从任何节点平等地访问存储在全局存储器上的文 件，对所有节点和所有用户，所有的文件服务和功能都是对称的。 位置透明性用户并不知道最终提供服务的物理设备和所请求的文件所 在的物理位置。例如，用户可以使用一个与任何节点挂接的r a i d ，这个r a i d 对 于这个节点而言就像是挂接在本地上的r a i d 一样，所不同的是，在性能上会有 一些差异。 全局的命名空间文件系统为所有节点提供一个全局有效的单一目录树， 即所有节点通过唯一相同的文件名实现在该目录下同一个文件的访问。 1 2 3 全局文件系统的结构。” 全局文件系统的结构因节点的互联技术、节点的复杂度以及节点间的耦合程 度的不同而有所差异。以下三种结构是比较具有代表性的。 第3 页 国防科学技术大学研究生院学位论文 无共享结构 图1 1 无共享结构 在无共享结构中，每一个节点都是完整独立的操作系统或者硬件设备集合。 节点间通过局域网或者开关阵列以松耦合的方式连接起来，彼此分享节点的部分 甚至全部可用资源：c p u 、内存、磁盘、1 0 设备等等，以形成一个对外单一强大 的计算机系统。这样的系统对单一系统映像的能力较弱，需要特殊的中间件或者 o s 扩展加以支持。 共享磁盘结构 图1 2 共享磁盘结构 常见的n f s 、a f s 以及我们课题中研究的g f s 都属于这个范畴。而硬件上的 解决通常是通过共享磁盘阵列或者s a n ( s t o r a g ea r e an e t w o r k ) 来实现。该结 构主要是解决区域存储空间容量的问题，通过构造单一的全局文件系统，提供给 所有节点一个巨大的存储设备。尤其是在高可用的场合，共享磁盘阵列常常能够 解决文件系统容错和数据一致性等可靠性问题。 共享存储器结构 第4 页 国防科学技术大学研究生院学位论文 图1 3 共享存储器结构 从实现的角度上讲，不论硬件制造的复杂性还是软件的实现难度，这种结构 都是最复杂的。这种结构中可以将多个节点的计算资源集合在一起，这样的系统 具有最好的单一系统映像能力。 1 2 4 全局文件系统技术要点”。“ 全局文件系统的出现主要是为了解决文件系统的容量和性能的可扩展为主 要目标的，为了达到这样的一个目标，全局文件系统需要在以下几个方提供强有 力的技术支持。 一是实现全局的单一系统映像功能。即分布的磁盘存储对同样是分布的节点 而占是一个单一的文件系统。这种功能一般是通过类似于l i n u x 的l v m 机制得以 实现。 二是采用无中央服务器结构以消除系统的扩展瓶颈。无中央服务器结构克服 了n f s 这样的集中服务器结构所带来的随着系统规模的扩大而引起的服务器瓶 颈问题和单点失效问题。在类似n f s 的系统中，一旦服务器失败，则整个系统就 随之也崩溃，而在无中央服务器结构中，一个节点失效，不会影响到系统中其他 节点的正常运行。 三是实现文件的分布式存储。即以磁盘的条块化( s t r i p i n g ) 或者资源分组 ( r e s o u r c eg r o u p ) 的形式管理磁盘，将文件以轮转的方式存放于不同的资源分 组中，这样就可以通过对各个分组进行并行读写的方法实现对文件访问的并行 化，既可以提高系统的吞吐量也可以提供一个较高的聚合带宽。 哩是实现对数据的缓存。通过将访问的文件和数据缓存到本地b u f f e rc a c h e 中的方法，达到提高整个全局文件系统性能的目的。不过数据缓存功能增加了维 护系统中数据一致性的难度，需要有好的机制保证系统中的数据一致性，使所有 节点看到的都是数据的最新备份。 五是锁机制保证对共享资源访问的正确性。锁机制用来同步系统中多个进程 对共享资源如磁盘、文件、程序等的访问，占有锁的进程可以向其他进程表明其 第5 页 国 防 科 学 技 术 大 学 研 究 生 院 学 位 论 文 对资源的占有使用以阻止其他进程对该资源的请求。 所有进程通过调用锁函数对 共同访问的资源达成一致， 并且要遵循锁使用的规则， 在访问资源前， 进程必须 通过锁请求获得该资源的锁，以此来表明对该资源具有访问的权利后， 才能访问 该资源。 夸 1 . 3课题研究内 容及达到的目 标 本课题在对一个全局文件系统g f s 一3 的源代码进行阅读分析的基础上，对 g f s -3 中存在的一些对其性能有影响的技术缺陷进行了分析。 针对g f s -3 的这 些缺陷我们设计和实现了一个新的全局文件系统原型m -g f s . m - g f s 力图在解 决g f s -3的技术缺陷上采取一些比较高效的方法，达到提高整个文件系统性能 的目的。g f s -3在锁管理方法、缓冲技术以及空间管理方法上都存在一定的缺 陷， 从而影响其性能的发挥。 m -g f s对上述三个方面的问题均采取新的解决方 法。最后我们对m -g f s 和g f s -3 的性能进行了比 较测试，测试结果表明， m - g f s 在总体上比g f s -3 的性能优越。 1 . 4论文的组织 本文对集群环境下全局文件系统的概念、实现方法等进行了深入的探讨， 并 在一个现有的全局文件系统g f s -3的基础上设计和实现了一个新的全局文件系 统m - g f s 。全文共分为七章，其章节安排如下: 第一章 绪论。介绍课题的背景， 研究内容、取得的成果以及论文组织，同 时对集群环境下全局文件系统的概念、 特征、 结构及技术要点等方面进行了叙述。 第二章 全局文件系统研究现状。对几个国内外比较著名的全局文件系统及 它们各自的技术特点进行了介绍。 第三章 g f s - 3 文件系统分析。 重点 对g f s - 3 文件系统进行了 分析， 对其特 点、一些关键技术进行了深入的 讨论。并且对g f s - 3中一些影响文件系统的性 能的技术缺陷进行了指出。 第四章 基于g f s -3 的m -g f s 的设计与实现。m -g f s 针对g f s -3 的技术 缺陷，提出解决方案，具体给出了设计和实现的方法。 第五章测试及测试结果的评价。建立对m -g f s 和g f s -3的性能进行比 较测试的环境， 获得两个文件系统的比较测试结果， 并对结果进行了评价和分析。 第六章下一步工作。 对通过改进可以继续提高m -g f s 文件系统性能的地 方进行了阐述，并给出了解决的思路，提出下一步努力的方向。 第七章结论。对课题工作做一个最后的总结。 第6 页 国 防 科 学 技 术 大 学 研 究 生 院 学 位 论 文 第二章 全局文件系统研究现状 2 . 1 c x f s 文件系统“ ， ， c x f s ( c l u s t e r e d x f s ) 是由s g i 公司开发的集群文件系统， 它是高 性能计 算环境下的分布式共享文件系统。c x f s允许集群中所有节点直接访问 共享文件 系统，而且可以达到和x f s 相同的性能，也就是说c x f s 文件系统中的所有节点 同时访问同一个文件的速度可以达到或者接近访问本地文件系统的速度。 c x f s 通过s a n 提供对数据共享访问的支持， s a n 为多个节点和存储设备之间 提供直接、 高速的物理连接，c x f s提供对共享存储设备同时访问的软件支持。系统中节点 充分利用 s a n的带宽将数据从它们驻留的存储设备上直接进行读写，消除了低 速拥塞网络或者集中的文件服务器所带来的性能瓶颈。 c x f s 具有以 下的主要优点:u 3 .基于成熟的技术进行构建 c x f s的设计是作为对 s g i x f s文件系统的扩展而提出来的，己经被公认为 具有最好可扩展性和可用性的高性能文件系统。 x f s 技术的成熟性己经在实践中 得以证明，因为多年来它已经非常可靠的运行于成千上万的系统中。 c x f s 文件系统支持以 下技术: 1 )保证系统可靠和快速恢复的日志系统 2 ) 6 4 位地址空间支持超大文件和文件系统 3 )实时文件系统 4 )动态分配元数据空间 今高可扩展和高性能 c x f s 将x f s的优点应用到s a n 中。单个文件大小最大可以达到9 e b ( 1 g b x 9 g b )，整个文件系统的尺寸最大可以达到 1 8 e b ，这样足以保证 up s能够满足 用户对数据空间的要求。 动态的元数据分配算法可以保证文件系统中存储数以百 万的文件，每一目录下的文件数量达到百万以上而不会使文件系统的性能下降。 c x f s的扩展性可以 很容易通过以下途径得以实现:一是当对存储容量需求 增加时，只要将额外的磁盘添加到s a n 上即可;二是如果对带宽的需求增加时， 只需要额外添加 f c 就可以实现，而不象网络文件系统那样增加带宽的唯一途径 就是重新更换更快速的网络。 c x f s 在以下几个方面的性能接近x f s 的性能:1 ) 对由单个进程打开的文件 进行读写; 2 ) 对同一个节点上的多个进程打开的文件进行读写: 3 )多个节点上 的多个进程对同一个文件的读写; 4 )多个节点上的多个进程以d i r e c t 工 / 0 的方 第了 页 国 防 科 学 技 术 大 学 研 究 生 院 学 位 论 文 式对同一个文件进行读写。 .高级元数据管理 元数据管理对c x f s的性能非常关键， 虽然c x f s 中所有的文件数据的访问可 以 在服务器和存储器之间直接交互进行， 但是改变元数据的事务处理必须通过元 数据服务器进行， 元数据服务器协调对元数据的访问以 保证数据的完整性。 元数 据事务处理通过t c p / i p网络发往元数据服务器，由于元数据事务处理通常都很 小而且相对于文件数据事务处理而言又不是那么频繁， 所以通过快速的以太网进 行连接就可以完全满足元数据事务处理的要求。 为了支持快速的元数据事务处理，c x f s 支持:1 ) 客户端对元数据缓冲;2 ) 多个元数据服务器;3 )在元数据服务器上对c x f s层进行旁路的能力;4 )指定 小节点作为元数据服务器。c x f s采用快速高效的令牌机制控制对文件的访问以 保证事务处理的正确性。 .高可用性 c x f s 可以 检测到单点失效、元数据服务器失效、s a n 或者t c p 八p 网 络部件 失效，并且可以自 动从这些失效中快速恢复。在 c x f s配置中，一个节点被指定 为元数据服务器， 而其他的节点都是作为元数据服务器备份。 一旦发现元数据服 务器发生失败， 那么一个备份元数据服务器就接管失败元数据服务器的工作， 而 且整个故障接管过程只需要几秒钟就可以完成以确保对数据访问的连续性。 对于 用户应用程序对集群文件系统的可用性要求，c x f s采用将文件系统和用户接口 与i r i s f a i l s a f e 进行集成的方法进行解决，i r i s f a i l s a f e 是 s g i 的一个健壮 高可用的集群应用程序，将c x f s 和 工 r 工 s f a i l s a f e 相结合可以使得在任何时间 任何地方对数据的访问得到保证。 .易管理性 c x f s 采用基于j a v a 的直观的用户接口，通过这个接口 对c x f s 进行配置、 监视、 管理。 c x f s以极大的灵活性通过使用与j a v a 兼容的w e b 浏览器进行管理。 具有相同功能的命令接口在c x f s 也可以使用。 2 . 2 l u s t r e 文 件 系 统 “ 2 . 2 . 1 l u s t r e 简介 l u s t r e 是一个可扩展高性能集群文件系统，它起源于卡内基梅隆大学，由 c l u s t e r f i l e s y s t e m 公司、惠普、 s e a g a t e 、 各l i n u x 公司及美国国家核安全 管理委员会 ( n n s a ) 的高级模拟和计算路径转发程序办公室花费三年时间进行设 第8 页 国防科学技术大学研究生院学位论文 计。运行于大型l i n u x 集群系统l u s t r el i t e 上的l u s t r e 文件系统的初期版本 在美国能源部( d o e ) 旗下四个实验室中进行配置。 作为具有高性能和高伸缩性的基于l i n u x 的全局文件系统，l u s t r e 专为对 存储和输入输出性能要求极高的计算机集群而设计，这些计算机集群具有超过 1 0 0 万亿浮点的计算能力。l u s t