分布式文件管理课件

第5章分布式文件管理

中国科技大学软件学院丁箐第5章分布式文件管理中国科技大学软件学院主要内容5.1分布式文件设计5.2分布式文件系统的实现5.3分布式文件系统的趋势主要内容5.1分布式文件设计主要内容5.1分布式文件设计5.2分布式文件系统的实现5.3分布式文件系统的趋势主要内容5.1分布式文件设计分布式文件系统设计

文件服务单个文件上的操作，例如读，写和追加目录服务创建和管理目录，在目录中增加和删除文件等分布式文件系统设计文件服务5.1文件模型文件：信息在磁盘或其它持久介质上的存储单位文件名：文件的标识，由字串组成（8-255）文件属性：描述信息,如大小、创建时间、授权目录：保存文件系统的结构路径：目录树上的一段路经5.1文件模型文件：信息在磁盘或其它持久介质上的存储单位文件结构1、二进制序列；2、记录序列；3、树文件结构1、二进制序列；2、记录序列；3、树文件类型举例1、可执行文件2、归档文件不可变的（immutable）文件类型举例1、可执行文件典型的文件扩展名典型的文件扩展名文件的属性文件的属性文件基本操作CreateDeleteOpenCloseReadWriteAppendSeekGetattributesSetAttributesRename文件基本操作CreateAppend文件操作举例文件操作举例文件操作举例文件操作举例文件服务接口

文件服务：文件系统为客户提供的功能，如读、写文件服务器：实现文件服务的进程文件的保护：权能：用户对文件的访问权限存取控制表：每个文件上可访问它的用户列表如：UNIX的mode,Windows的属性文件服务接口文件服务：文件系统为客户提供的功能，如读、写远程文件服务上载/下载模式c2.在客户端进行访问客户机服务器老文件新文件1.文件移动到客户端3.当客户端工作完毕后，文件又移回服务器远程文件服务上载/下载模式c2.在客户端进行访问客户机服务器远程文件服务远程访问模式服务器客户机客户请求访问远程服务器上的文件文件保存在服务器上远程文件服务远程访问模式服务器客户机客户请求访问远程文件保存目录服务器接口

目录服务创建、删除命名，重命名文件移动文件分层文件系统子目录，目录树目录服务器接口目录服务分层文件系统

(a)包含在一台机器中的目录树(b)在两台机器中的目录图分层文件系统(a)包含在一台机器中的目录树目录图目录的维护：引用计数：指向该目录的连接数仅当目录为空时或引用计数>1时，才能删除指向该目录的连接。

目录图文件服务器方式相同系统不同系统(a)两文件服务器。方框是目录，圆圈是文件；(b)一个所有用户有同样文件系统图的系统；(c)一个不同的客户有不同的文件系统的系统文件服务器方式相同系统命名透明性位置透明性：文件路径名与存储位置无关例：/server/dir1/dir2/x位置独立性：文件可移动到其它场地，而无需改变名字/server1/dir1/dir2/x变为/server2/dir1/dir2/x分布式系统中文件和目录的命名方法：机器名+路径名，如/machine/path将远地文件安装到本地目录中全局统一的命名空间命名透明性位置透明性：文件路径名与存储位置无关两级命名法符号名字：外部名字，供用户使用二进制名字：内部名字，供系统使用名字映射：由目录完成符号链接：一个路径名，映射到（服务器，文件名）字串上的目录项两级命名法符号名字：外部名字，供用户使用文件共享的语义UNIX语义会话语义在单处理机中，当READ操作紧跟WRITE操作执行时，READ操作返回刚刚写入的值；在分布式系统中，可能返回已过时的值

文件共享的语义UNIX语义在单处理机中，当READ操作紧跟W共享文件的处理方式方法说明UNIX语义文件上的每个操作对所有进程来说，立即可见会话语义在文件关闭之前，对文件的修改对其它进程是不可见的

不可更改文件不能修改。简化了共享和复制控制事务所有的更改要么都完成，要么都不能完成

共享文件的处理方式方法说明UNIX语义文件上的每个操作对所有主要内容5.1分布式文件设计5.2分布式文件系统的实现5.3分布式文件系统的趋势主要内容5.1分布式文件设计文件的使用大多数文件比较小（小于10k）对文件的读操作多于对文件的写操作对文件的读写是顺序进行的，随机访问非常少大多数文件寿命比较短文件共享非常少一般进程只是使用某几个文件用不同的属性区分文件类型文件的使用大多数文件比较小（小于10k）对文件的读操作多于对系统结构客户和服务器不同吗？文件和目录服务怎样构造？两者合并保持独立系统结构客户和服务器不同吗？UNIX文件系统结构举例UNIX文件系统结构举例查找a/b/c迭代查找自动查找文件文件客户客户abcabc服务器1上的目录服务器2上的目录服务器3上的目录查找a/b/c查找b/c查找c带着c响应查找a/b/c查找b/c查找c带着c响应（a)（b）查找a/b/c迭代查找文件文件客户客户abcabc服务器1上是否应该保留客户的状态信息？无状态服务器当客户发送一个请求给服务器，服务器完成请求，发送一个应答，然后从内部表中移出关于该请求的所有信息。在请求之间，服务器不保存具体客户的信息。请求必须是独立的，为了使服务器能够工作，它必须包含全文件名和文件中的偏移量。不需要OPEN和CLOSE调用。有状态服务器服务器保存两个请求之间的客户的状态信息。可以预读。是否应该保留客户的状态信息？无状态服务器无状态服务器与有状态服务器无状态服务器优点有状态服务器优点容错短小的请求消息无需open/close调用好的性能不浪费服务器空间可以预读无打开文件个数限制容易有等幂性客户崩溃不会导致问题可对文件加锁无状态服务器与有状态服务器无状态服务器优点有状态服务器优点容高速缓存（caching）存储文件的四个位置3241网络客户内存客户磁盘（可选）服务器内存服务器磁盘高速缓存（caching）存储文件的四个位置3241网络客Cache位置–Diskvs.MainMemory磁盘缓存的优点更可靠恢复时不需要再取

主内存缓存的优点可以采用无盘工作站数据存取更快Cache位置–Diskvs.MainMemory在客户存储器中进行超高速高速缓存的不同方法没有超高速缓存每个进程都有超高速缓存内核中有速高速缓存超高速缓存管理作为一个用户进程

在客户存储器中进行超高速高速缓存的不同方法没有超高速缓存缓存的一致性直接写（write_through）延迟写关闭时写（write_on_close）方法描述直接写有效，但不影响写流量延迟写效率较高，但可能语义关闭时写与会话语义相配集中控制UNIX语义，但不健壮，不能规模化缓存的一致性直接写（write_through）方法文件复制管理复制透明性复制方式显性复制惰性复制组复制文件prog.c1.141.212.162.433.193.41符号名S1，S2，S3地址(a)S1S2S3C123S1S2S3C组(c)S1S2S3C客户服务器现在以后以后(b)文件复制管理复制透明性文件prog.c1.141.212.1文件更新协议主拷贝复制法：主服务器：指定的一个服务器从服务器：除主服务器之外的其它服务器所有更新操作首先在主服务器上进行主服务器更新后，再更新各从服务器文件更新协议主拷贝复制法：文件更新协议版本号：记录文件更新的版本表决法（voting）

：读/写一个复制文件时需一定数量服务器的同意读法定数Nr：读一个已有N个复制存在时，客户需要获得一个读法定数（readquorum）,它是任何Nr个或更多服务器的任意集合。写法定数Nw：修改一个文件需要一个至少Nw个服务器的写法定数（writequorum）.满足约束条件：Nr+Nw>N文件更新协议版本号：记录文件更新的版本表决算法举例读锁半数，写锁半数加1读锁一个，写锁全体表决算法举例读锁半数，写锁半数加1SUNNFS系统虚拟文件系统（VFS）V-节点（虚拟i节点）远程安装程序

系统调用层虚拟文件系统层本地操作系统NFS客户发往服务器的消息本地磁盘虚拟文件系统层本地操作系统NFS服务器客户端发来的消息本地磁盘网络客户服务器SUNNFS系统虚拟文件系统（VFS）系统调用层虚拟文件系SUNNFS系统NFS协议客户协议处理安装（mounting）关于目录和文件访问NFS实现SUNNFS系统NFS协议分布式文件系统设计原则尽可能利用工作站处理能力使用缓存技术利用文件使用特性

减少全局知识和变化，使用分层控制信任最少的实体，提高安全性

尽可能运用批处理方式

分布式文件系统设计原则尽可能利用工作站处理能力使用缓存技术利主要内容5.1分布式文件设计5.2分布式文件系统的实现5.3分布式文件系统的趋势主要内容5.1分布式文件设计分布式文件系统的趋势新的硬件

更新共享文件的硬件方案分布式文件系统的趋势新的硬件更新共享文件的硬件方案分布式文件系统的趋势规模

广域网

移动用户

容错多媒体分布式文件系统的趋势规模第5章分布式文件管理

中国科技大学软件学院丁箐第5章分布式文件管理中国科技大学软件学院主要内容5.1分布式文件设计5.2分布式文件系统的实现5.3分布式文件系统的趋势主要内容5.1分布式文件设计主要内容5.1分布式文件设计5.2分布式文件系统的实现5.3分布式文件系统的趋势主要内容5.1分布式文件设计分布式文件系统设计

文件服务单个文件上的操作，例如读，写和追加目录服务创建和管理目录，在目录中增加和删除文件等分布式文件系统设计文件服务5.1文件模型文件：信息在磁盘或其它持久介质上的存储单位文件名：文件的标识，由字串组成（8-255）文件属性：描述信息,如大小、创建时间、授权目录：保存文件系统的结构路径：目录树上的一段路经5.1文件模型文件：信息在磁盘或其它持久介质上的存储单位文件结构1、二进制序列；2、记录序列；3、树文件结构1、二进制序列；2、记录序列；3、树文件类型举例1、可执行文件2、归档文件不可变的（immutable）文件类型举例1、可执行文件典型的文件扩展名典型的文件扩展名文件的属性文件的属性文件基本操作CreateDeleteOpenCloseReadWriteAppendSeekGetattributesSetAttributesRename文件基本操作CreateAppend文件操作举例文件操作举例文件操作举例文件操作举例文件服务接口

文件服务：文件系统为客户提供的功能，如读、写文件服务器：实现文件服务的进程文件的保护：权能：用户对文件的访问权限存取控制表：每个文件上可访问它的用户列表如：UNIX的mode,Windows的属性文件服务接口文件服务：文件系统为客户提供的功能，如读、写远程文件服务上载/下载模式c2.在客户端进行访问客户机服务器老文件新文件1.文件移动到客户端3.当客户端工作完毕后，文件又移回服务器远程文件服务上载/下载模式c2.在客户端进行访问客户机服务器远程文件服务远程访问模式服务器客户机客户请求访问远程服务器上的文件文件保存在服务器上远程文件服务远程访问模式服务器客户机客户请求访问远程文件保存目录服务器接口

目录服务创建、删除命名，重命名文件移动文件分层文件系统子目录，目录树目录服务器接口目录服务分层文件系统

(a)包含在一台机器中的目录树(b)在两台机器中的目录图分层文件系统(a)包含在一台机器中的目录树目录图目录的维护：引用计数：指向该目录的连接数仅当目录为空时或引用计数>1时，才能删除指向该目录的连接。

目录图文件服务器方式相同系统不同系统(a)两文件服务器。方框是目录，圆圈是文件；(b)一个所有用户有同样文件系统图的系统；(c)一个不同的客户有不同的文件系统的系统文件服务器方式相同系统命名透明性位置透明性：文件路径名与存储位置无关例：/server/dir1/dir2/x位置独立性：文件可移动到其它场地，而无需改变名字/server1/dir1/dir2/x变为/server2/dir1/dir2/x分布式系统中文件和目录的命名方法：机器名+路径名，如/machine/path将远地文件安装到本地目录中全局统一的命名空间命名透明性位置透明性：文件路径名与存储位置无关两级命名法符号名字：外部名字，供用户使用二进制名字：内部名字，供系统使用名字映射：由目录完成符号链接：一个路径名，映射到（服务器，文件名）字串上的目录项两级命名法符号名字：外部名字，供用户使用文件共享的语义UNIX语义会话语义在单处理机中，当READ操作紧跟WRITE操作执行时，READ操作返回刚刚写入的值；在分布式系统中，可能返回已过时的值

文件共享的语义UNIX语义在单处理机中，当READ操作紧跟W共享文件的处理方式方法说明UNIX语义文件上的每个操作对所有进程来说，立即可见会话语义在文件关闭之前，对文件的修改对其它进程是不可见的

不可更改文件不能修改。简化了共享和复制控制事务所有的更改要么都完成，要么都不能完成

共享文件的处理方式方法说明UNIX语义文件上的每个操作对所有主要内容5.1分布式文件设计5.2分布式文件系统的实现5.3分布式文件系统的趋势主要内容5.1分布式文件设计文件的使用大多数文件比较小（小于10k）对文件的读操作多于对文件的写操作对文件的读写是顺序进行的，随机访问非常少大多数文件寿命比较短文件共享非常少一般进程只是使用某几个文件用不同的属性区分文件类型文件的使用大多数文件比较小（小于10k）对文件的读操作多于对系统结构客户和服务器不同吗？文件和目录服务怎样构造？两者合并保持独立系统结构客户和服务器不同吗？UNIX文件系统结构举例UNIX文件系统结构举例查找a/b/c迭代查找自动查找文件文件客户客户abcabc服务器1上的目录服务器2上的目录服务器3上的目录查找a/b/c查找b/c查找c带着c响应查找a/b/c查找b/c查找c带着c响应（a)（b）查找a/b/c迭代查找文件文件客户客户abcabc服务器1上是否应该保留客户的状态信息？无状态服务器当客户发送一个请求给服务器，服务器完成请求，发送一个应答，然后从内部表中移出关于该请求的所有信息。在请求之间，服务器不保存具体客户的信息。请求必须是独立的，为了使服务器能够工作，它必须包含全文件名和文件中的偏移量。不需要OPEN和CLOSE调用。有状态服务器服务器保存两个请求之间的客户的状态信息。可以预读。是否应该保留客户的状态信息？无状态服务器无状态服务器与有状态服务器无状态服务器优点有状态服务器优点容错短小的请求消息无需open/close调用好的性能不浪费服务器空间可以预读无打开文件个数限制容易有等幂性客户崩溃不会导致问题可对文件加锁无状态服务器与有状态服务器无状态服务器优点有状态服务器优点容高速缓存（caching）存储文件的四个位置3241网络客户内存客户磁盘（可选）服务器内存服务器磁盘高速缓存（caching）存储文件的四个位置3241网络客Cache位置–Diskvs.MainMemory磁盘缓存的优点更可靠恢复时不需要再取

主内存缓存的优点可以采用无盘工作站数据存取更快Cache位置–Diskvs.MainMemory在客户存储器中进行超高速高速缓存的不同方法没有超高速缓存每个进程都有超高速缓存内核中有速高速缓存超高速缓存管理作为一个用户进程

在客户存储器中进行超高速高速缓存的不同方法没有超高速缓存缓存的一致性直接写（write_through）延迟写关闭时写（write_on_close）方法描述直接写有效，但不影响写流量延迟写效率较高，但可能语义关闭时写与会话语义相配集中控制UNIX语义，但不健壮，不能规模化缓存的一致性直接写（write_through）方法文件复制管理复制透明性复制方式显性复制惰性复制组复制文件prog.c1.141.212.162.433.193.41符号名S1，S2，S3地址(a)S1S2S3C123S1S2S3C组(c)S1S2S3C客户服务器现在以后以后(b)文件复制管理复制透明性文件prog.c1.141.212.1文件更新协议主拷贝复制法：主服务器：指定的一个服务器从服务器：除主服务器之外的其它服务器所有