3.2 存储虚拟化-分布式存储

存储虚拟化-分布式存储分布式文件系统网络文件系统网络文件系统（NetworkFileSystem，NFS）是个分布式的客户机/服务器文件系统，NFS的实质在于用户间计算机的共享，它允许网络中的计算机之间通过TCP/IP网络共享资源。分布式文件系统分布式文件系统分布式文件系统把大量数据分散到不同的节点上存储，大大减小了数据丢失的风险。分布式文件系统具有冗余性，部分节点的故障并不影响整体的正常运行，而且即使出现故障的计算机存储的数据已经损坏，也可以由其它节点将损坏的数据恢复出来。因此，安全性是分布式文件系统最主要的特征。分布式文件系统分布式存储根据其架构分为（1）中间控制节点架构：以HDFS为代表，NameNode节点存放管理数据，DataNode节点存放业务数据。（2）完全无中心架构--计算模式：以Ceph为代表，客户端通过设备映射关系的CRUSH数据分布算法（CRUSH数据分布算法和一致性哈希算法思想相同），明确写入的位置，从而达到客户端与存储节点的直接通信。（3）完全无中心架构--一致性哈希：以Swift为代表，通过将设备制定为哈希环，然后通过数据名称计算出对应的哈希值，从而映射到哈希环的某个位置实现数据定位。分布式文件系统HDFS是Master和Slave的主从结构。将设备分为主设备和从设备，主设备负责分配工作并整合结果，或作为指令的来源；从设备负责完成工作，一般只能和主设备通信）。（1）NameNode:分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等；（2）SecondaryNameNode：辅助NameNode，分担其工作，紧急情况可以辅助恢复；

(3)DataNode：Slave节点，实际存储数据、执行数据块的读写并汇报存储信息给NameNode。分布式文件系统HDFS分布式文件系统分布式文件系统Ceph分布式文件系统

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。同时支持对象存储RGW(radosgateway)、块存储RBD(Radosblockdevice)和文件存储（CephFS）3种存储访问接口，Ceph在存储的时候充分利用存储节点的计算能力，将数据存储均衡分布，被广泛应用于云计算框架OpenStack或CoudStack整个存储后端，为云计算平台提供虚拟机存储和对象访问能力。当然Ceph也可以单独作为存储，例如部署一个集群作为对象存储、SAN存储、NAS存储等。分布式文件系统分布式文件系统

Ceph可以提供对象存储、块设备存储和文件系统服务，其对象存储可以对接网盘应用业务等，其块设备存储可以对接当前主流的IaaS平台软件，如：OpenStack、CloudStack、Zstack、Eucalyptus等。分布式对象存储由于文件系统空间组织的特点，当我们访问一个文件的时候，首先需要找到文件对应的元数据，然后根据元数据信息找到数据的位置，并读取数据。这个过程可能要涉及到多次次的磁盘访问。对于互联网应用来说，多次磁盘访问会显著降低性能，影响用户的体验。比如国内的今日头条，淘宝、京东等互联网应用会产生海量的图片访问，文件系统很难满足性能和扩展性需求，为了保证横向扩展能力、降低访问延时，对象存储应运而生。对象存储在数据处理层面的特点是将待处理的数据看作一个整体。分布式对象存储Swift对象存储

Swift特点是存储大对象，典型的应用如网盘类的存储引擎、存储虚拟机镜像、图片存储、邮件存储、存档备份和日志文件存储等数据。因为没有中心单元或主控结点，Swift提供了无限扩展能力、冗余和持久性。分布式对象存储Swift总体架构分布式对象存储Haystack对象存储

Facebook的业务场景是大量图片只写一次，从不更新，不定期会读，