FASTDFS文件服务器架构方案

FastDFS原理概述和介绍文件效劳器架构方案摘要分布式文件系统的使命FastDFS如何应对FastDFS基础应用总结：优缺点其他文件系统的对比分布式文件系统的使命冗余备份；负载均衡；线性扩容等机制；大量请求中高可用、高性能；容灾和可拓展性。FastDFS如何应对FastDFS的根本架构特征轻量级；分组方式；对等结构。轻量级效劳端只有两角色：跟踪效劳器〔tracker〕和存储效劳器〔storage〕responserequest分组方式Trackerservers对等结构FastDFS基础应用根底操作，数据流程网络拓扑，实际应用容灾，优化，版本升级文件上传操作文件下载操作文件索引解析文件的存储方式和返回文件名解析文件名包含：源头storageIP地址和文件创立时间戳、文件大小、随机数、文件拓展名。网络拓扑--实施部署方案说明：tracker1+squid-1+storage1使用一台效劳器，共2台效劳器2台效劳器配置：centOS6.3x64位2核+4GB内存+1TB存储到达目标：扩充空间只需要再增加一组效劳器2台效劳器可以均衡负荷访问2台效劳器的数据一致，解决了实时备份以HTTP方式下载文件FastDFS分组存储方式，为HTTP方式下载提供了便利FastDFS支持HTTP方式下载文件，可以使用内置webserver或者外部webserver需要解决文件同步延迟的问题可以采取如下两种方式：tracker跳转方式：通过Trackerserver跳转非tracker跳转方式：Storageserver直接提供文件下载HTTP下载方式一〔tracker跳转〕HTTP下载方式一流程解读通过Trackerserver解决文件同步延迟的问题Trackerserver上需使用内置webserverStorageserver可以使用内置webserver，也可以使用外部webserver。推荐使用外部webserver，如apache或nginxHTTP下方式二〔非tracker跳转〕可以分为两种方式：跳转方式〔redirect〕代理方式〔proxy〕HTTP下载方式二〔redirect〕HTTP下载方式二〔proxy〕HTTP下载方式二流程解读使用扩展模块来解决文件同步延迟问题如果请求文件在当前storage上不存在，通过文件ID反解出源storage，直接请求源storagetrackerserver上不需要任何webserver在每台storageserver上部署webserver，直接对外提供HTTP效劳目前已提供apache和nginx扩展模块推荐使用扩展模块方式总结：优缺点优缺点〔特性〕适用业务场景特性不记录文件索引信息对等结构，组内所有storage存储一致采用异步方式将源数据效劳器主动push到其他数据库效劳器文件不进行分片处理客户端访问时需通过tracker指定storage优点支持同一文件只保存一份，节约磁盘空间下载文件支持HTTP协议，可以使用内置WebServer，也可以和其他WebServer配合使用支持在线扩容，支持主从文件storage上可以保存文件属性〔meta-data〕文件不分块存储，上传的文件和OS文件系统中的文件一一对应〔实现了软件RAID〕缺点自带的server端支持缺乏，storage扩展建议使用nginx；没有支持python的接口；在效劳器配置不统一时不能很好的调节磁盘空间负载压力〔非动态〕；需要客户端自行记录存储信息，增加了客户端的信息管理量。适用的业务场景某大型网盘〔有200个group，存储容量到达了3PB，文件数近1亿〕UC〔，存储容量超过10TB〕支付宝〔〕飞信〔〕赶集网〔〕淘米网〔〕其他文件系统的对比mogileFS特点mooseFS特点TFS特点Hadoop特点MogileFS特点有三个角色：tracker、storage和存储文件信息的mysqldb；使用mysql来存储文件索引等信息，文件同步通过tracker调度和中转；动态冗余，灵活性一般；不支持文件附加属性〔metadata〕；不支持文件偏移下载。MooseFS特点MooseFS文件系统结构包括以下四种角色：管理效劳器(master)，元数据日志效劳器〔Metalogger〕，数据存储效劳器(chunkservers)，客户端〔client〕；文件分片〔64Mb〕；多点备份，动态冗余备份；可以自定义文件存储路径；需要保持文件索引，内存消耗较大；对小于64Kb的数据的存储性能不高。TFS〔TaobaoFS〕特点完全扁平化的数据组织结构，抛弃了传统文件系统的目录结构。在块设备根底上建立自有的文件系统，减少EXT3等文件系统数据碎片带来的性能损耗。单进程管理单块磁盘的方式，摒除RAID5机制。带有HA机制的中央控制节点，在平安稳定和性能复杂度之间取得平衡。尽量缩减元数据大小，将元数据全部加载入内存，提升访问速度。跨机架和IDC的负载均衡和冗余平安策略。完全平滑扩容。HDFS特点1扩容能力〔Scalable〕：能可靠地〔reliably〕存储和处理千兆字节〔PB〕数据。2本钱低〔Economical〕：可以通过普通机器组成的效劳器群来分发以及处理数据。这些效劳器群总计可达数千个节点。3高效率〔Efficient〕：通过分发数据，hadoop可以在数据所在的节点上并行地〔