云计算与大数据（第二版）云存储

云计算与大数据第2版云存储4.1认识云存储4.2云存储技术4.3云存储的应用及面临的问题重点：云存储技术云存储的运用本章重点云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。4.1认识云存储当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。图4-1云存储的简易结构与传统的存储设备相比，云存储是一个网络设备、存储设备、服务器、应用软件、公用访问接口、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。4.2云存储技术4.2.1云存储结构

存储层存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。2.基础管理基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。3.应用接口应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。1）服务模式2）HW模式3）SW模式4.访问层4.2.2云存储技术的两种架构紧耦合对称架构松弛耦合非对称架构4.2.3云存储的种类云存储可分成两类：块存储（BlockStorage）与文件存储（FileStorage）。1.块存储块存储会把单笔的数据写到不同的硬盘，借以得到较大的单笔读写带宽，适合用在数据库或是需要单笔数据快速读写的应用。它的优点是对单笔数据读写很快，缺点是成本较高，并且无法解决真正海量文件的储存，快速更改的单一文件系统，如数据库、共享的电子表单等，由于有好几个人共享一个文件，文件需要经常性地、频繁地更改。为了达到这样的目的，系统必须具备很大的内存、很快的硬盘及快照等功能，此时可以采用块存储类型。文件存储文件存储是基于文件级别的存储，它是把一个文件放在一个硬盘上，即使文件太大拆分时，也放在同一个硬盘上。它的缺点是对单一文件的读写会受到单一硬盘效能的限制，优点是对一个多文件、多人使用的系统，总带宽可以随着存储节点的增加而扩展，它的架构可以无限制的扩容，并且成本低廉.当应用存在文件需并发读取、文件及文件系统本身较大、文件使用期较长和对成本控制要求较高等情况下，采用文件存储是一个较好的选择，如以下应用场合。网站或IPTV应用，此时往往读取文件较大，总读取带宽要求较高。监控应用，此时往往会有多个文件的同时写入。文件备份、存放或搜寻需要访问长时间存放的文件。4.3.1云存储的应用领域1．备份2.归档3．分配4．共享协作4.3云存储的应用及面临的问题4.3.2云存储对大数据存储的支持1.数据的海量化和快增长特征是大数据对存储技术提出的首要挑战。大数据存储要求底层硬件架构和文件系统在性价比上要大大高于传统技术，并能够弹性扩展存储容量。但以往网络附着存储系统（NAS）和存储区域网络（SAN）等体系，存储和计算的物理设备分离，它们之间要通过网络接口连接，这导致在进行数据密集型计算（DataIntensiveComputing）时I/O容易成为瓶颈。同时，传统的单机文件系统（如NTFS）和网络文件系统（如NFS）要求一个文件系统的数据必须存储在一台物理机器上，且不提供数据冗余性，可扩展性、容错能力和并发读写能力难以满足大数据需求。图4-3大数据存储架构的变化2.大数据对存储技术提出的另一个挑战是多种数据格式的适应能力格式多样