《大数据存储技术与应用》 课件 项目三-任务二 浅析云存储基础技术

《大数据存储技术与应用》大数据存储技术与应用项目三浅析云存储服务任务二浅谈云存储基础技术文件系统的作用？硬盘接口的种类？RAID存储的类型？典型的数据备份策略？回顾任务描述:本节任务阐述了存储空间管理、数据使用及存储、存储高可用技术、数据备份和数据一致性处理问题，同时，对云存储基础技术问题进行了剖析。任务教学目标：掌握云存储基础技术任务概要任务引入-云存储技术随着计算机技术、互联网技术的发展，以及近些年全球数据爆发式地增长，催生了云计算技术。而云存储就是脱胎于云计算技术的新型存储方式，由于它廉价、便捷等优势，备受青睐，在短短几年便得到了充分的发展与应用。教学内容存储空间管理数据使用及存储存储高可用技术一二三四五

数据备份数据一致性处理存储空间管理知识点一（一）存储空间管理存储空间就是存储的物理空间主要有卷、RAID技术及LUN3种。

（二）卷简单卷是物理磁盘的一部分，通过将卷扩展到相同或不同磁盘上的未分配空间上，以增加现有简单卷的大小。跨区卷是一种和简单卷结构相似的动态卷，其将来自多个磁盘的未分配空间合并到一个逻辑卷中。带区卷由两块或两块以上的硬盘组成，也是一种动态卷。当文件存到带区卷时，系统会将数据分散存于各块硬盘的空间。镜像卷是具有容错能力的动态卷。（三）RAID0（四）RAID1（五）RAID5（六）RAID10（七）RAID技术级别特征原理单元冗余性能利用率最多坏用途缺陷RAID0条带分片分散存入2块硬盘2否读写速度2倍100%0/2SWAP/TMP不冗余，数据难恢复RAID1镜像相同数据存入2块硬盘2是写速度不变读速度2倍50%1/2数据备份读写速度没加，利用率低RAID4校验分片分散存入2块硬盘校验码存入第3块硬盘3是读写速度2倍2/3=66%1/3用的很少1.坏盘时另外2块需要重新计算还原坏盘数据2.校验码盘压力大成为瓶颈RAID5校验分片和校验码混合存储3是读写速度2倍2/3=66%1/3用的不多坏盘时另外2块需要重新计算还原坏盘数据RAID101+02块硬盘1组先做RAID1多组RAID1再做RAID04是读写速度N倍N为组数2/42/41∈2用的最多-数据使用及存储知识点二（一）早期存储设备——纸带（二）早期存储设备——卡片（三）早期存储设备——磁鼓IBM650计算机上的16英寸长磁鼓，有40个磁道，容量10KB，每分钟12,500转。（四）磁盘驱动器（五）存储角色的演变数据的增涨导致了以“计算”为中心到以“数据存储”为中心的的观念革新。存储领域的两个重要转折点：并行存储：比如磁盘阵列技术（RAID）。网络存储：NAS,SAN存储高可用技术知识点三（一）存储高可用技术在高可用技术中，根据不同的应用环境，从性能、经济等方面考虑，主要有双机热备、双机互备、集群并发存取3种。（二）双机热备份方式（三）双机互备方式（四）群集并发存取方式（五）对存储系统的要求双机热备份方式：系统运行时，只有主服务器与存储系统进行数据交换。当发生主机故障切换时，要求存储系统能与备份服务器快速建立数据通道，以支持业务的快速切换。双机互备份方式：系统运行时，两台主机需要同时对磁盘阵列进行读写操作，这要求存储系统具备良好的并发读取能力和一定的负载均衡功能。（五）对存储系统的要求群集并发存取方式：并发处理能力数据共享能力大规模与可扩展性可管理性高可用性（六）数据备份数据备份一般是指利用备份软件把数据从磁盘备份到磁带进行离线保存（最新的备份技术也支持磁盘到磁盘的备份，也就是把磁盘作为备份数据的存放介质，以加快数据的备份和恢复速度）。（六）数据备份数据备份在一定程度上是可以保证数据安全的，但应用于容灾系统时却面临众多问题。备份窗口恢复时间备份间隔数据的可恢复性介质的保管和运送备份的成本数据备份知识点三（一）常规备份实现方式010302备份方式增量备份完全备份差量备份（二）增量备份只有那些在上次完全制定的备份策略自动或手动将数据备份到磁带上。（三）差异备份备份那些从上次完全备份后被修改过的文件。数据一致性处理知识点四（一）数据一致性处理数据一致性是指关联数据之间的逻辑关系是否正确和完整。可以理解为应用程序自己认为的数据状态与最终写入到磁盘中的数据状态是否一致。数据一致性问题文件共享中的数据一致性问题时间不同步引起的数据一致性冋题Cache引起的数据一致性问题任务小结云存储基础技术包括：存储空间管理（卷、RAID技术、LUN技术）数据存储技术存储高可用技术数据备份数据一致性处理拓展训练Xena独立学习OpenStack社区正式发布第24个版本Xena，OpenStack作为广泛部署的开源云基础设施软件，其新版本增加了对新型硬件功能的支持，优化了各类组件间的集成，通过减少技术债务来维护OpenStack软件的稳定可靠性。OpenStack作为全球最活跃的开源项目之一，开发者积极参与并由此构建了一个充满活力的社区，在Xena版本为期25周的开发中，来自125个组织/机构的680多位开发者累计提交了15000项修改。1.阅读