vsan6.2新特性是纠删码还是raid

1、VSAN 6.2 新特性是纠删码还是 RAID ？春节去韩国转了转，可惜没有看到千颂伊。韩国还是蛮 发达的，街道也很干净。是否二战后跟美国走的地区都比较 发达呢？好像是的，比如日本、韩国和台湾。但好像也不全 是，比如菲律宾好像就差一些。 今天，我们的公众号在猴年正式开工。昨天把春节的存储新 闻都看了一遍，好像没有发生特别事情。可能稍微值得一提 的就是 VMWare 推出了第四代 VSAN ，即 VSAN 6.2 ，里面 增加了几个特性，令人印象比较深刻的只有3 个。1、支持在线重删和压缩。重删和压缩是整个 cluster 粒度使 能的，只支持全闪存配置。重删的粒度是定长的4K ，而且只在一个

2、disk group 里进行。 重删在 cache 层进行， 写到容 量层才开始压缩。也就是先重删后压缩。 VSAN 只有在压缩 率大于 2X 的情况下才进行压缩，否则就不压缩，这样速度 可以更快。也就是压缩可以自适应。2、支持基于 VM 粒度的 QoS 。 这个功能还是比较有用，可以避免坏邻居的干扰，限制其 IOPS 。 QoS 策略可以通过 SPBM 进行配置。3、支持纠删码，但其实只实现了 RAID 5/6 。 说是纠删码， 其实和我们理解的纠删码不同， 目前 VSAN 只 是实现了 RAID 5/6 ，限制还比较多， 首先还是只支持 flash ， 第二是只支持 FFT=1 或 2 这

3、两种情况，如果需要更高级别 的容错，如 FTT>=3 ，还需要采用两副本的方式。不过， 数据容错方式也是基于 VM 的，也就是说不同 VM 可以选择 不同的方式，灵活性还是不错的。为什么实现的是 RAID 5/6 ，但 VMware 却宣传是纠删码？ 我想可能有以下几个原因吧： 1）、 VSAN 的主要竞争对手 Nutanix 宣传已经支持纠删码； 2）、RAID 5/6 其实也是纠删 码的最简单的形式，说是纠删码也无可非议；3）、估计以后也会实现真正的 N （数据）M （校验）的方式，。当M>2 , 就是我们常说的纠删码； 4 ） 、 RAID 一般不跨节点，纠删码 一般是跨节点

4、的， 用纠删码一词来强调 VSAN 支持节点容错， 可靠性更高。纠删码其实还是蛮复杂的，有网友建议我写篇文章介绍介绍， 但西瓜哥数学不太好，只能按照我的理解来写几句。纠删码其实已经有 50多年的历史，比RAID技术要早得多。 纠删码这种编码方式来自通讯领域，最近在存储领域得到大 量采用。我们知道 RAID 5 的算法是 XOR ，对吧，计算机算起来非常 简单。但 RAID 5 是 N 1 的形式，只能支持恢复一份数据。 后来，发展到 N 2 的方式，也就是 RAID 6 ，支持恢复两份 数据。 RAID 6 的第一份校验也是采用 XOR 算法，但第二份 数据引进了一个复杂的 GF（Galois

5、 Field） 变换， GF 西瓜哥一 般解释为女朋友( Girl Friend )。可以理解每份数据有且只有 一个唯一的女朋友，原始数据 XOR 产生第一个校验块 P ， 它们对应的女朋友再 XOR产生第二个校验块 Q,由于有两 份校验数据，因此支持恢复两份数据。由于数据的女朋友是 GF 变换算出来的， 因此，需要比较复杂的计算。 但由于 RAID 5 和 RAID 6 比较常用， 现在在 INTEL CPU 的指令集里面有 指令集支持了， 因此速度还是比较快的， 如中国常见的 EMC 和华为的阵列都直接采用 CPU 实现 RAID 6 ，而没有采用 ASIC 。N M ，当 M>2

6、就算法就比较复杂了。不过，不管采用哪 种方式，都叫纠删码。开源的产品一般采用 RS(Reed-Solomon) 编码，但这种算法 当N和M值比较大时计算消耗很大，在有些场合就不适合。 比如华为在自研的 SSD 盘的纠错方面，就采用 LDPC ( Low-Density Parity-Check )编码，减低对 SSD 控制器的 计算能力要求，也就减低 SSD 盘的功耗。 现在针对纠删码的编码方式有很多的研究和实践，一般来说， 研究重点有三个方向：1 )、减少恢复时磁盘的I/O。比如采 用一种叫 Array Code 的编码方式，可以大大减少需要从残 存硬盘读取数据的数量。2)、 减少恢复时对网

7、络的影响。比如微软的 Azure 蓝云的 Windows Azure Storage (WAS) ， 其纠删码编码采用 Local Reconstruction Codes (LRC) ，主 要原理是把校验数据分成两部分，一部分是本地校验码，一 部分是全局校验码。测试数据表明，大部分情况下， LRC 编 码对网络 I/O 和带宽的占用都要好于 RS 编码。这种情况对 跨 WAN 网的公有云非常有价值。开源的 Hadoop 有一个类 似 LRC 的实现， IBM 贡献的 Partial-MDS 编码。 3）减少计算消耗。 LDPC 相比 RS ，对计算的要求更低。还 有一种叫 Flat XOR

8、的编码不需要做复杂的 GF 变换，也可 以减低对 CPU 的计算要求。总之，纠删码是一个笼统的概念， 只要支持 N M 形式的编码， 都可以叫纠删码。 RAID 5/6 算是比较特殊的纠删码， RAID 5 各家都是采用 XOR 实现，但 RAID 6 各家实现就差距很大了， 比如 NetApp 的 RAID DP 就有别用于其他厂商 RAID 6 的实 现方式。到 M>2 以后，各家实现差距更大了，编码方式 也多种多样，HP的LeftHand的网络 RAID （比如RAID10 2 ）, 可能不同于 EMC ISILON 或者华为 OceanStor 9000 的实现， 也不同于 Azure 的 LRC ，和 SSD 盘里有的 LDPC 差距就更 大了。各家根据自己产