零存储h3c onestor产品介绍v1

1、H3C分布式存储系统ONEStor简介目录 存储业务需求概要 ONEStor的技术特点 ONEStor应用场景简介传统企业存储场景实现业务连续可用（备用）数据保护的最后一道防线数据长期保留内容检索生产系统可用需求层次Direct-AttachedBusiness-UsersApplications生产系统应用系统存储系统磁带库磁盘库虚拟磁盘库保护系统备用备份服务器高性能，高可靠，冗余技术集群RAID复制容灾备份归档特点：实时存、取相关设备：磁盘阵列(FC、SAS)特点：短时间存、取相关设备：磁盘阵列(SATA)、VTL、进行在线备份或在线归档特点：长时间存、取相关设备：磁带库、光盘库进行离线归

2、档归档系统存储数据类型存储接口存储系统优点缺点块级存储块块存储设备如: SAN , 提供高性能的随机I/O和数据吞吐率可扩展性和可管理性较差、价格较高、不能满足成千上万CPU 规模的系统文件储存文件块存储设备文件系统如:NAS, 扩展性好、易于管理、价格便宜开销高、带宽低、延迟大,不利于高性能集群中应用对象存储对象块存储设备文件系统定位逻辑应用程序支持高并行性、可伸缩的数据访问, 管理性好、安全性高、适合高性能集群使用处于发展阶段,相应的硬件、软件支持有待进一步完善表存储表块存储设备或者块+文件系统支持标准SQL、多表Join、索引，适合处理强关联的，需要准确处理的数据设计数据库表结构等异常复

3、杂，当数据量较大时对内存有较多依赖云计算、虚拟化带来的变化计算虚拟化平台VMVMVMVMVM计算虚拟化需要共享存储池，业务增长以及虚拟机的增加要求存储资源可平滑线性扩展虚拟化环境要求存储易使用、管理简单并可快速部署要面向虚拟机提供的存储服务，并实现类似VM的迁移性和灵活性大型云计算中心带来更高性能以及更大容量的需求，需要保障存储最佳的性价比存储场景需求的变化传统存储需求云计算、互联网需求数据内容以关系型数据库为主，重在业务数据搜索、电子商务、社交；虚拟计算后端（VDI等），虚拟机镜像管理，虚拟机硬盘扩展。多媒体数据为主、弱关系型文件共享以文档、软件安装包为主；NFS、SAMBA共享云网盘，企业

4、、个人多种媒体数据；HTTP共享数据备份传统备份软件，按天备份，数据量较少大量数据备份，对备份容量、速度要求较高数据量级业务数据为主，数据处理资源要求少海量数据存储，且多实时读取处理大量数据，以及非结构化数据的出现，虚拟化后的大量数据迁移，促使客户寻找价格更便宜、能够按需横向弹性扩展，且具有更灵活的使用接口的存储产品。TitleTitleTitleTitleServer SANSSD超融合架构SDS存储系统的演进存储系统正在经历从集中式专用架构到分布式通用架构的演进不断激增的数据量和数据新业务的发展，让传统存储在基础架构、数据存储方法、数据分析等方面在客户不断变化的新业务面前面临挑战。市场亟需

5、一种性能更高、更灵活、扩展性更好的全新存储方式来应对这种变化。Server SAN架构、SSD闪存、超融合架构以及SDS等技术正在成为分布式通用架构的关键技术和方法，并在5-10年内逐步取代传统存储。存储技术演进趋势SDS & Server SANSDS(软件定义存储): 将硬件控制器的功能抽象出来放到软件上。存储虚拟化开放式API软件硬件分离统一存储横向扩展Server SAN：wikibon对Server SAN的定义：Server SAN是有多个独立的服务器带的存储组成的一个存储资源池。按照这个定义，wikibon把现在的存储的架构分成如右图几个部分：代表：HP VSAMDSVMware

6、 VSANEMC ScaleIOServer SAN需求总结通用的商业硬件（CPU/HDD/SSD）软件定义存储具备线性扩展能力易于和计算虚拟化的结合和云的结合支持多种存储需求（块、文件、对象）易运维管理？ONEStor目录 存储业务需求概要 ONEStor的技术特点 ONEStor应用场景简介ONEStor的设计目标线性扩展能力(Scale-out)所有部件都可以线性扩展横向扩展数量无理论限制可靠性任何节点、部件的时效是常态组件无单点故障性能性能随节点线性增长智能数据的自动均衡能力数据的自我修复能力统一存储业务统一支持块、对象、文件易用性运维部署场景化配置ONEStor系统对外提供统一存储服

7、务底层存储服务集群由分布式、可智能负载分担、自适应节点组成，提供系统级别的高可靠、高性能、高可用性库函数接口应用可通过 C, C+, Java, Python, Ruby, PHP等接口访问底层存储集群对象服务通过S3/Swift接口为用户提供对象存储服务块设备服务以内核模式或QEMU模式为物理机或虚拟机提供分布式块设备服务文件服务为客户提供兼容POXIS语义的分布式文件系统服务应用应用主机/虚拟机客户端ONEStor系统的软件逻辑分层： 底层存储服务集群，这一层是一个对象存储系统，RADOS采用C+开发。库函数接口 ：这一层的功能是对底层存储服务进行抽象和封装，并向上层提供API（包括C和C

8、+、Java、Python、Ruby和PHP的支持。高层应用接口 ：这一层包括了三个部分：对象服务、块设备服务、文件服务等三部分应用层 ：这一层就是不同场景下对于ONEStor各个应用接口的各种应用方式。 ONEStor系统领先的分布式架构Failure reporting, map distributionObject I/OOSDsClientsMonitors高扩展性：-支持容量的动态扩展，PB级, EB级高可靠性：-没有单点故障，多数据副本，自动管理，自动修复高性能：-数据分布均衡，并行化，对于对象存储和块存储,不需要元数据服务器ONEStor高扩展性的基础：基于算法的数据放置策略将文

9、件分割成若干对象单元。将每个对象单元映射到一个确定的PG(放置组)。利用CRUSH算法，将每个PG映射到一组OSD集合。对CRUSH算法的要求是什么？ONEStor分布式算法的特点分布式存储算法的基本要求:1，数据的放置位置是Client计算出来的，而不是向Server查出来的2，数据在存储体上满足概率均匀分布3，存储体动态变化时数据重分布时引入较小的数据迁移量好的算法还应该满足:1，可以基于指定的策略放置副本: 用于故障域隔离或其它要求2，在存储体引入权”weight”的概念,以便对磁盘容量/速度等进行区分一致性哈希(Consistent Hash)算法CRUSH (Controlled R

10、eplication Under Scalable Hashing)算法ONEStor分布式算法的基本流程ONEStor中在对象和设备之间有两个概念: Pool和PG (Placement Group)，每个对象要先计算对应的Pool，然后计算对应的PG，通过PG可得到该对象对应的多个副本的位置，这些副本中第一个是Primary，其余被称为replcas。假设一个对象foo，其所在的pool是bar，计算device的方式如下：1. 计算foo (object)的hash值得到0 x3F4AE3232. 计算bar (pool)的pool id得到33. pool bar中的PG数量为256，

11、0 x3F4AE323 mod 256 = 23，所以PG的id为3.23 （PG的数量需要达到满足在PG中均衡的目的）4. 通过PG的映射表计算(CRUSH)该PG对应的OSD为24, 3, 12，其中24为primary，3,12为replica其中第四步是CRUSH算法的核心，CRUSH 算法通过每个设备的权重来计算数据对象的分布。对象分布是由cluster map和data distribution policy决定的。cluster map描述了可用存储资源和层级结构(比如有多少个机架，每个机架上有多少个服务器，每个服务器上有多少个磁盘)。data distribution poli

12、cy由placement rules组成。rule决定了每个数据对象有多少个副本，这些副本存储的限制条件(比如3个副本放在不同的机架中)。CRUSH根据cluster, rule和pgid算出x到一组OSD集合(OSD是对象存储设备)：(osd0, osd1, osd2 osdn) = CRUSH(cluster map, rule, pgid)带来的好处：任何组件都可以独立计算出每个object所在的位置(去中心化)。 只需要很少的元数据(cluster map)，只要当删除添加设备时，这些元数据才需要改变。ONEStor实现高可靠性基本方法1，多副本技术 假定某个副本在一段时间内的失效率是

13、P，则N的副本在这段时间内同时时效的概率是（1-P）N，从而副本的可靠性就是：1- （1-P）N 举例：P=0.9 N=3, 计算得整体可靠性为：0.9992，纠删码技术（ erasure coding ） 将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。 n = k + m。变量“k”代表原始数据或符号的值。变量“m”代表故障后添加的提供保护的额外或冗余符号的值。如k=3，m=2，以计算换空间ONEStor系统对副本可靠性的优化副本位置的选择：故障域的考虑利用Copyset分组进一步提升可靠性File如何减小恢复时间：数据的恢复机制数据放

14、置的分布式算法：人多力量大Domain1Domain2数据丢失的充要条件：所有副本在磁盘数据恢复时间内同时损坏。思考角度：副本位置的选择恢复时间的影响因素在一定条件下，ONEStor的可靠性可以达到11个9（同Amazon）ONEStor支持纠删码存储实现高效的存储空间利用率纠删码的技术特点：以同样的初始容量存储更多的数据相对副本，需要更多的时间存储/恢复数据主要应用场景：冷数据存储，如备份数据：一次写多次读追求性价比的多数据中心存储典型参数：默认：k=2， m=1推荐：k=12，m=2ONEStor实现最高的数据一致性：强一致性clientPrimary OSDSecondary OSDTe

15、rtiary OSDWrite (1)Ack (6)Write (2)Ack (4)Ack (5)Write (3)数据一致性：分布式系统通过副本控制协议，使得从系统外部读取系统内部各个副本的数据在一定的约束条件下相同，称之为副本一致性(consistency)。副本一致性是针对分布式系统而言的，不是针对某一个副本而言。 ONEStor对元数据的一致性保证Paxos算法：是莱斯利兰伯特于1990年提出的一种基于消息传递的一致性算法。Paxos算法解决的问题是一个分布式系统如何就某个值（决议）达成一致。这个算法被认为是类似算法中最有效的。一个典型的场景是，在一个分布式数据库系统中，如果各节点的初

16、始状态一致，每个节点都执行相同的操作序列，那么他们最后能得到一个一致的状态。为保证每个节点执行相同的命令序列，需要在每一条指令上执行一个“一致性算法”以保证每个节点看到的指令一致。节点通信存在两种模型：共享内存（Sharedmemory）和消息传递（Messagespassing）。Paxos算法就是一种基于消息传递模型的一致性算法。Paxos + Lease 机制保证了monitor中map信息的数据一致性ONEStor支持灵活的数据分层以及Cache功能ClientCache Tier对客户端透明数据分层存储：为提升读/写入性能，热数据保存在SSD组成的Cache Tier中SSD做主副本

17、：在多份本情况下，将主副本放在SSD，其余副本放在HDD，提升读写性能。ClientONEStor系统的智能集群维护方法Failure detection如果一个OSD发现和自己共同承载一个PG的另一个OSD无法联通，则会将这一情况上报monitor。如果一个OSD demon发现自身工作状态异常，也将把异常情况主动上报给monitor。Monitor 通过 Heartbeat 来得知 OSD 下线。Failure recovery一个新的OSD上线后，计算出自己所承载的PG，以及和自己承载同一个PG的其他OSD。新OSD将与这些OSD取得联系。如果这个PG目前处于降级状态（即承载该PG的OS

18、D个数少于正常值），则其他OSD将把这个PG内的所有对象和元数据复制给新OSD。如果没有新的OSD加入，降级的PG也将计算出其他OSD，完成数据复制。如果是已有故障OSD恢复，会从维护的相同PG的OSD完成数据复制。Re-balancing如果该PG目前一切正常，新增加OSD将替换掉现有OSD中的一个（PG内将重新选出Primary OSD），并承担其数据。在数据复制完成后，被替换的OSD将退出该PG集群维护信息扩散何时认为信息改变：若干个monitor共同负责整个ONEStor集群中所有OSD状态的发现与记录，然后扩散至全体OSD以及Client。常见的上报有两种情况：一是新的OSD被加入集群二是某个OSD发现自身或者其他OSD发生异常。如何扩散：首先，cluster map信息是以增量形式扩散的。其次，cluster map信息是以异步且lazy的形式扩散的。ONEStor存储管理系统：Handy目录 存储业务需求概要 ONEStor的技术特点 ONEStor应用场景简介ONEStor和虚拟计算融合ONEStor 和CAS/KVM融合基础服务架构类应用：FTP、DNS、PROXY、AD、DHCP server、防病毒软件、补丁软件等。WEB类应用（B/S架构）