存储知识点培训

1、存储知识点培训湖南安存科技有限公司软件定义存储软件定义存储 我们知道软件是用户与硬件之间的接口界面。用户主要是通过软件与硬件进行交流。早期为了大规模制造，降低制造的复杂度和成本。许多功能都固化在硬件里，我们可以称之为硬件定义。随着人民日益增长的多样化、个性化定制的需求，以及更加智能、更加灵活所需的自动化的需求，出现了软件定义。 就是要将特定的硬件与软件进行解耦，将硬件的可操控成分按需求，分阶段的，通过编程接口或者以服务的方式逐步暴露给前端应用，分阶段地满足应用对资源的不同程度、不同方面的灵活调用。全局统一命名空间全局统一命名空间 全局统一命名空间将磁盘和内存资源聚集成一个单一的虚拟存储池，对上

2、层用户和应用屏蔽了底层的物理硬件。存储资源可以根据需要在虚拟存储池中进行弹性扩展，比如扩容或收缩。 消除了SAN环境中经常发生的访问热点和性能瓶颈问题。基于基于标准标准协议协议存储服务支持NFS, SAMBA, 以及原生协议，完全与POSIX标准兼容。现有应用程序不需要作任何修改或使用专用API，就可以对存储服务器中的数据进行访问。负载均衡负载均衡 其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。 在云存储中主要包含2层意思：一是原有负载的均摊，二是扩容后的自动均衡。 根据空间利用和动态负载情况进行自适应负

3、载均衡、数据自动迁移。可靠性可靠性 容错容错能力可达能力可达99.9999%99.9999%可靠性容错可靠性容错能力可达能力可达99.9999%99.9999% 6个9的存储系统，表示系统在连续运行1年时间里，非人为故障可保持业务中断时间不超过31秒。 与产品的工作模式相关。元数据智能分布元数据智能分布元数据智能分布元数据智能分布服务器计算资源池虚拟化SAN集群存储系统无缝支持虚拟化、主流大数据平台存储虚拟层文件访问(File)资源池各种通用存储池统一集合管理物理主机蓝宝石云存储系统.聚合带宽纠删码冗余技术超融合巨大容量智能存储节点智能存储节点智能存储节点智能存储节点智能存储节点智能存储节点.

4、物理主机OSOSOSHyper-V/ESX物理主机OSOSOSKVM/ESX块设备访问(Block Device）低功耗设计吞吐量系统实测吞吐量系统实测200200万万IOPSIOPS；聚合带宽系统实测；聚合带宽系统实测100100万万GB/SGB/S 吞吐量和聚合带宽是衡量存储系统两个性能指标。 吞吐量：指单位时间内进行读写（I/O）操作的次数。 聚合带宽：指由并行文件系统中各台服务器的带宽聚合所形成的对外统一的带宽值，可根据服务器规模和配置方式进行扩展。冷热冷热数据数据管理管理 根据数据冷热程度自动在不同性能和可靠性的存储介质中迁移数据，对外提供统一服务接口。 支持两种冷热数据管理模式：

5、分层存储，即热数据存储在快卷，达到性能的极致；冷数据存储在慢卷，达到可靠性的极致；这种模式存储空间利用率高，但热数据的可靠性低于冷数据。 另外一种模式是缓存模式，即热数据同时会存储在慢卷和快卷，这种模式下全系统数据的可靠性达到一致。容错性能容错性能 1+N多副本指写一份数据存储同时复制N份数据存储（N=1、2、3、N）。 K+M(原N+M)纠删码指K个原始数据数据块加上M个校验数据块的结构，其中数据块K和校验块M值都能够按照一定的规则设定。存储系统支持此特性时，可做到系统中任意M个数据块丢失或损坏的情况下，数据可恢复，保持完好。 将文件按照一定的规则分为K份，使用预先定义的算法生成M份冗余码，

6、其中数据块K和校验块M的值能够按照一定的规则设定。在1M个数据块（数据或校验都行）损坏的情况下，整体数据仍可以通过计算剩余数据块上面的数据得出，整体数据不会丢失，存储仍然是可用的。我们实现时充分考虑原始数据和冗余码的分布，从而实现了对节点的容错。节点当机时，正常业务不受影响，等结点修复上线后，存储系统会自动进行修复。纠删码原理如图：6+3纠删码组合，最大可容忍3个数据块同时损坏纠删码与RAIDp纠删码和大家熟悉的RAID技术看起来是有些类似的，一条数据是由多个数据块构成，分为数据块和校验块。但与RAID5/RAID6不同的是，纠删码功能上来看最大的区分特点是校验和数据的比例按K+M可调整，并且

7、校验块数量不再受限于两个，典型的如12+4，6+3等等。p具备了跨节点容错能力。数据恢复快p数据恢复速度快，踢盘或者替换故障硬盘最小恢复时间低于1分钟。p采用传统RAID技术的存储系统在踢盘或替换故障磁盘后通常需要长达十几小时的恢复时间。在线替盘p支持在线替换故障磁盘和存储服务器，数据在新插入的磁盘和存储服务器上自动修复，支持跨节点数据恢复。p任一节点的磁盘损坏后，可在任一其它盘位恢复数据，且业务不中断。存储系统常见故障我们的处理方式p 坏道坏道 指硬盘上的某些区域发生故障，写到其上的数据可能丢失。p 引发原因：自身质量的问题硬盘维护不当突然断电用户使用的原因，使用上不能善待硬盘，比如内存太少

8、以致应用软件对硬盘频繁访问，对硬盘过分频繁地整理碎片，不适当的超频，电源质量不好，温度过高，防尘不良，震动等。老化p 解决方案：蓝宝石云存储在服务端可以定期自动检测坏道的出现，在底层文件系统屏蔽坏道，在客户端通过数据恢复技术确保在坏道存在情况下正常读写数据，并将恢复后的数据块写到健康位置。存储系统常见故障我们的处理方式p 坏盘坏盘磁盘是存储系统中的易损部件，平均每年的故障率超过1%，在大规模存储系统中将每天发生多个硬盘故障事件。p 解决方案： 蓝宝石云存储首创了业界唯一的乱序热拔插技术，管理员可以一种轻松的方式处理坏盘故障。 一般的硬盘故障可简单将故障盘拔出，然后插入新盘即可，无须其它任何人工

9、操作，存储系统会在后台自动识别新盘并恢复数据。 如果是硬盘背板故障，可在存储系统中任意位置找到空闲盘位插入数据盘，硬盘上原有的数据将自动被识别，将传统的十几个小时的恢复时间缩短到分钟级。存储系统常见故障我们的处理方式p 踢盘踢盘指由于软硬件故障导致RAID卡将硬盘踢出阵列组合。在RAID存储系统中，一旦发生踢盘故障，即使硬盘完好无损马上重新插入，该硬盘将作为新硬盘识别并进行格式化，需要十几个小时的时间进行数据恢复。p 解决方案： 蓝宝石云存储通过硬盘的唯一标识和历史数据自动识别，彻底消除了踢盘故障。 如果由于各种原因硬盘被弹出存储系统，只要重新插入旧盘，硬盘上原有的数据将自动被识别，将传统的十

10、几个小时的恢复时间缩短到分钟级。存储系统常见故障我们的处理方式p存储存储节点节点故障故障指整台存储服务器发生故障离线，结点故障是传统RAID存储系统的死穴。p解决方案： 云存储通过纠删码数据切片技术将数据分散到K+M个节点上，可以在故障存储节点不大于M个的情况下保持数据的可靠性和可用性。备份 数据备份是将数据以某种方式加以保留，以便在系统遭受破坏或其他特定情况下重新加以利用的一个过程。 数据备份的核心是恢复，数据备份的意义不仅在于防范意外事件的破坏，而且还是历史数据保存归档的最佳方式。 备份几种类型：全备份、增量备份、差量备份、按需备份。 备份目的：灾难恢复、业务性恢复、归档。容灾 是指在相隔较远的异地，建立两套或多套功能相同的IT系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外（如火灾、地震等）停止工作时，整个应用系统可以切换到另