一种linux集群文件系统研究_第1页
一种linux集群文件系统研究_第2页
一种linux集群文件系统研究_第3页
全文预览已结束

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、一种集群文件系统研究摘要本文首先提出了基于bysfs集群技术的效劳器群建立方案,然后对几个相关的关键技术进展了研究,最后对本研究进展了总结。关键词linux集群并行文件系统目前,对分布式/并行文件系统的研究可以分为三类:商业用处的并行文件系统、公开的分布式并行文件系统、供研究的并行文件系统。由于技术需要,笔者提出了一种基于linux的并行文件系统构造bysfs。与其它系统相比,bysfs具有如下优势:(1)具有更高的可用性;(2)具有更好的可扩展性;(3)提供分布式的元数据管理;(4)提供了元数据的访问速度;(5)配置简单。一、基于bysfs的效劳器群建立方案1.bysfs系统构造说明在笔者研

2、究的高可用并行文件系统中,每个效劳器既是etadataserver,又是idserver,它们一起构成一个逻辑环,形成对外效劳的server池,server与server之间可以平衡负载,并且互相容错。当有新的server要参加或者分开时,整个系统无需进展重新配置,系统可以自动适应这种动态变化。而且由于数据在其它节点均有备份,因此可以实现数据的动态迁移与恢复。2.系统模块划分整个系统主要分为如下几个功能模块:1访问接口模块:提供了并行文件系统的访问接口,以三种方式提供:用户层的库lib.a、并行程序访问接口ri-i、系统底层接口(vfs)。2jb管理模块:每个恳求将对应一个jb,由jbanag

3、er去完成。3状态机处理模块:每种类型的恳求对于一种状态机,一个恳求需要多个操作,由状态机决定下一步该转向那一步操作。4数据流管理模块:负责管理i/数据块的传输。5bi:基于消息的网络传输模块。6dhash:高可用的分布式存储子系统。提供key/value对的存储方式。7hrd:分布式查找协议。可以快速查找负责某个key的server。二、关键技术研究1.数据存取方式本系统中,不管是文件数据还是元数据都是通过handle值来存取的。每个handle对应一个key值,每个key对应一个相应的数据块,运用dhash提供的put(key,blk)存储到berkeleydb中。当客户端要存储k6对应的

4、数据块时,首先去查本地的glbalkeyrangetable,查出该key值k由节点nde3负责,于是将恳求发到nde3。nde3送到恳求后,调用get或put接口来存取数据,由下层的dhash来提供数据的高可用性。2.ida算法ida算法是一种信息分散算法。它的功能是能将一个长度为l的文件f,分成n个分片filin,每个分片的长度为l/,在fi中任取个分片都能重组成原来的文件f。这种分片和分片重组在计算效率上是很高的。在空间上,可以看出n个分片fi的总和是原来文件的n/倍,n/大于但可以趋近于1,所以数据冗余不会占用太多空间。3.文件系统接口的实现人们对任何数据的访问都是通过handle进展

5、的,而且handle被存放在块中,记录了各个对象之间的逻辑关系。人们只要知道文件系统超级块handle值,就可以顺藤摸瓜地找到该文件系统中的任何对象。4.动态可扩展性的实现要实现系统动态可扩展性,系统必须可以自动处理节点的任意参加和分开的事件,保证系统的稳定,而不用人为地重新进展配置。(1)节点参加当新节点参加时,会依次出现以下结果:(1)由自己的ndeip哈希出在keyspae中的位子psha-1(ndeip);(2)对外组播自己参加的消息;(3)接收自己负责的keyrange【k2,k2);(4)客户端收到节点参加的消息后,更新自己的glbalkeyrangetable。(2)节点分开节点

6、正常分开时,需要向其它节点发送组播消息,通知客户端更新glbalkeyrangetable,释放自己所管理的那局部keyrange【k2,k2)。(3)节点失效节点的突然实现属于无通知的节点分开行为,如何及时的检测到没个节点的失效,如何快速的到达新的稳定状态将是本系统的关键。笔者初步采取的是用ping的方式对各个节点进展周期性检测,其间隔时间有待研究。(4)进展故障屏蔽当有节点参加或分开时,系统会有一段时间处于不稳定状态,客户端假如访问已失效节点就会无响应,笔者为每个操作设置超时时间,假如在该时间内仍无响应,客户端就向该节点的前续节点重发恳求。三、总结本系统大大降低了硬件系统损坏对集群的影响;一次写入,永不改变,大大降低了程序的复杂度;同时增大了blk的长度,效率更高;且具有高冗余和高性能的特性,为数据中心的开展奠定了基矗参考文献:yifengzhu,hngjiang,xiaqin,danfeng.iprvedreadperfraneinast-effetive,fault-tlerantparal

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论