常见分布式文件系统比较

1、 名称条目CephClusterFSMooseFS(MFS)系统类型块存储&对象存储块存储块存储Metadata server多个MDS，不存在单点故障和瓶颈。MDS可以扩展，不存在瓶颈。无，不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。单个MDS。存在单点故障和瓶颈。FUSE支持支持支持数据可靠性由数据的多副本提供可靠性。由镜像提供可靠性。由数据的多副本提供可靠性。故障恢复当节点失效时，自动迁移数据、重新复制副本当节点、硬件、磁盘、网络发生故障时，系统会自动处理这些故障，管理员不需介入。手动恢复扩展性可以增加元数据服务器和存储节点。容量可

2、扩展。文件操作性能可扩展。元数据操作性能可扩展。容量可扩展增加存储服务器，可以提高容量和文件操作性能。但是由于不能增加MDS，因此元数据操作性能不能提高，是整个系统的瓶颈。冗余保护多副本镜像多副本数据分布由数据的多副本提供可靠性。由镜像提供可靠性文件被分片，数据块保存在不同的存储服务器上访问接口POSIXPOSIXPOSIX常见分布式文件系统对比默认块大小64KB128kb64KB性能小文件性能好大文件性能好小文件性能好部署简单简单简单开发语言C+Cperl适合场景小文件适合大文件。对于小文件，无元数据服务设计解决了元数据的问题。但GlusterFS并没有在I/O方面作优化，在存储服务器底层文

3、件系统上仍然是大量小文件，本地文件系统元数据访问是瓶颈，数据分布和并行性也无法充分发挥作用。因此，GlusterFS的小文件性能还存在很大优化空间。大量小文件读写应用较多用户使用较多用户使用国内较多LustreHDFSSheepdog对象存储块存储块存储双MDS(互相备份)。MDS不可以扩展，存在瓶颈。单个MDS。存在单点故障和瓶颈无支持支持支持由存储节点上的RAID1或RAID5/6提供可靠性。假如存储节点失效，则数据不可用。由数据的多副本提供可靠性。由数据的多副本提供可靠性。无心跳信号检测机制。每个Datanode节点周期性地向Namenode发送心跳信号。Namenode是HDFS集群中

4、的单点故障所在。节点故障时,数据可自动恢复可增加存储节点，提高容量可文件操作性能，但是由于不能增加MDS，因此元数据操作性能不能提高，是整个系统的瓶颈。在一个集群里可扩展到数百个节点。一个单一的HDFS实例应该能支撑数以千万计的文件。容量可扩展无多副本多副本可以把大文件分片并以类似RAID0的方式分散存储在多个存储节点上文件被分片，数据块保存在不同的存储服务器上文件被分片，数据块保存在不同的存储服务器上POSIX/MPI不完全。为了实现对文件的流式读取，放宽了对POSIX的要求POSIX64kb64MB4MB大文件性能好大文件性能好小文件性能好复杂。而且Lustre严重依赖内核，需要重新编译内核。简单简单CjavaC大文件读写大文件读写大文件读写HPC领域。国内较多较多用户使用Swift对象存储多个MDS，不存在单点故障和瓶颈。MDS可以扩展，不存在瓶颈。不支持由数据的多副本提供可靠性。节点故障时,数据可自动恢