ViPR和DJ领跑软件定义存储

1、 ViPR和DJ领跑软件定义存储 针对软件定义存储(SDS)，各厂商基于在某一领域优势和技术积累都有自己的定义和理解，类似云计算概念，众说风云。但个人认为，无论厂商提出怎样差异化的定义都应该靠近SDS可编程、策略驱动、资源池虚拟化，数据面与控制面分离、以服务自动化等的SDS要求。实际上这些要求也是IDC对SDS的定义。 IDC对SDS定义与ONF对软件定义网络SDN (OpenFlow)思想不谋而合。SND的核心思想就是数据面和控制面分离，支持异构、业务编排和服务自动化。因为这样才能通过软件层服务目录和策略做到存储自动化、模板化和数据智能化。 上个月我在文章大数据时代下数据重删的考虑中做了技术

2、兴趣问卷，从仅有的反馈结果来看，大家还是比较关心存储和云计算，非常感谢大家的反馈和建议，我会进行相应调整。 今天给大家写一篇关于存储的文章。文章以VMware SDDC为引线，对比分析下业界两款已经有商业交付经验、真正意义上实现控制数据分离的SDS纯软件存储产品，EMC VIPR和华为OceanStor DJ。SDDC参考架构 SDDC参考架构也是采用类似控制和数据面的划分思想，目前SDDC已经集成VIPR和NSX产品。其中管理层作为一个独立的平面掌管整个数据中心，类似于存储网管软件。基础架构层包含各种物理基础设施，承载数据业务流。 控制层面类似SDN控制面，向下对应计算、网络、存储进行虚拟化

3、(虚拟化框架)，向上提供统一的抽象层制定控制策略。应用层包括VMware的各种应用、其他服务以及用户的应用程序。 2013年EMC发布了ViPR，接着在ViPR2.0纳入ScaleIO、并提供OpenStack的Cinder支持异构存储、打包软件ViPR和ECS采用商业硬件部署；今年在EMC World大会上发布ViPR3.0增强云集成和第三方存储接管能力。相比之下，华为DJ发布要晚一些，但是目前DJ在金融、运营商和汽车制造业已经有商业应用，结合企业网管软件eSight实现统一管理和服务自动化能力。下面我们从系统架构、生态合作、技术优势和解决方案等方面对这两个产品进行分析。系统逻辑架构 ViP

4、R将所有存储(包括第三方)集成一个存储池中，将虚拟存储阵列作为系统管理对象，同时又保留底层物理存储的特性。可以跨越多个地点和数据中心分布式部署，对外提供统一的块存储、文件存储以及对象等存储服务，同时，ViPR基于多租户提供了统一的元数据服务和自助式的部署、计量和监控服务。 控制平面负责发现、设置和管理存储设备，包括多租户、自助式门户、计量和调配等。ViPR将发现的物理存储或存储池划分为多个虚拟存储阵列，按需提供存储服务。基于虚拟存储池，实现卷、NFS/CIFS文件系统及高级保护服务(如快照、克隆和复制容灾等)，并且提供接口实现了和云平台的集成。 数据平面负责实际数据的读写。控制平面只提供服务目

5、录视图和管理，真正的数据流通过数据平面直接与底层存储硬件交互。所以ViPR不会成为性能瓶颈，目前支持NAS和Object的转换协议(文件中对象数据服务，Isilon对象和文件互通)、支持Amazon S3、OpenStack Swift、Atmos对象API、EMC VNX、Isilon、NetApp文件存储访问、HDFS数据服务等。 OceanStor DJ基于X86硬件架构实现，支持文件、块、对象(计划中)等存储服务，并实现和第三方数据保护、容灾等软件和增值特性集成。架构类似于了ViPR，基于策略和可定制模板实现调度、编排和自动化。通过对企业级存储的异构接管(呈现成华为的存储卷)和提供Op

6、enStack存储标准接口实现资源池化、统一管理存储和SAN交换机等设备。 EMC VIPR和华为OceanStor DJ产品在架构上比较相似，采用数据平面和控制平面分离架构。基于虚拟存储池，实现卷、NFS/CIFS文件系统及高级保护服务(如快照、克隆、复制容灾和备份等)，并且提供OpenAPI接口实现了和云平台的集成。 DJ支持华为存储、FusionStorage和第三方存储设备(HDS、EMC和HP等)。相比ViPR区别主要在于DJ完全遵循OpenStack架构，包括对第三方存储管理都是完全采用Cinder、Malina等接口实现，没有类似ViPR的私有接口。ViPR架构和主要功能 ViP

7、R是部署在VMware虚拟机纯软件产品，并运行在3-5个服务器虚拟机上组成的ESX集群，由多个虚拟机组成的ViPR实例vApp。用户在ViPR中基于虚拟阵列创建Virtual Storage Pools(VSP)，为每一个VSP指定存储属性(如软件特性、RAID、路径数量等)，ViPR根据VSP属性的匹配来聚集所有物理存储阵列，根据租户的请求对应到VSP找到正确的阵列和Pool来满足资源请求。 ViPR可以自动发现物理存储阵列以及其中的物理存储池和端口，将这些物理存储池按照能力的不同分到各个虚拟存储池。同一个物理存储阵列产品上的多个物理存储池可以配到多个虚拟存储池。 一个ViPR实例可以扩展管

8、理位于不同城市的多个物理数据中心，处于不同地理位置并且由同一个ViPR管理的物理存储集合成一个虚拟存储中心。 ViPR可以提供存储DR的自动化，EMCViPR(虚拟)块控制器与 VPLEX 和 RecoverPoint(物理)块数据节点相结合，不同位置的虚拟存储阵列之间可以通过ContinuousRemote Replication(CRR)技术可以提供数据容灾功能。DJ架构和主要功能 OceanStor DJ也是纯软件产品，支持物理部署和虚拟机部署、单节点和多节点HA部署(3节点及以上)方式。DJ在架构上分为存储功能虚拟化(SFV)架构和SDS架构。 SFV架构支持通用物理硬件、X86服务器

9、和Hypervisor虚拟化服务器等资源。OceanStor存储平台和特性可以运行在虚拟机中，基于虚拟机提供定制化和模块化存储服务(HDFS、NAS、SAN等)。SDS架构是DJ的核心，把底层的物理存储和基于SFV虚拟化存储统一管理，最终池化、自动化和模板化按需自动分配给用户。 存储功能虚拟化(SFV)类似于NFV功能，OceanStor OS存储平台软件类似与NFV的管道OS，提供硬件抽象和资源池化；存储基本功能和增值特性(如NAS、对象、复制、备份、容灾等)如同NFV中的网元EPC、IMS、DPI等，DJ SDS平台就如同NFV中的MANO或Amazon公有云中的Marketplace。

10、DJ提供了数据容灾功能，需要提供至少两台主备的存储阵列，分别部署到两个站点，但两个站点存储可以被同一个DJ云平台管理。 主备复制的灾备卷由DJ扩展OpenStack Cinder模块负责创建，DJ根据被保护的LUN大小、能力、AZ等信息，创建与之对应的灾备卷。DPS调用OM服务实现复制关系的创建、启动、取消等接口转换，把命令下发对应的Cinder接口，对应的Cinder驱动找到相应的阵列并执行的灾备任务。 OceanStor DJ提供了强大的数据保护服务模块DPS，每个租户登陆系统提交数据保护(备份和容灾等)需求之后，DPS引擎就自动匹配所需资源完成用户请求，完全向租户屏蔽了底层数据交互细节。

11、 租户通过ManageOne服务中心提交备份服务请求，由DPS完成匹配和任务调度(选择匹配的备份存储、备份策略、网络等)，备份驱动调用备份软件实现基于快照的备份。业务自动化发放流程 ViPR采用基于服务目录和策略的存储分配方式，当用户登录ViPR portal并请求相关存储时，首先用户提交服务要求(如High Performance)，接着ViPR查看与该VSP关联的策略，找到最合适的存储阵列和阵列池。 然后自动基于性能选择存储端口，按照需求建立zone；将设备放置在一个存储组中并且指定FAST策略；在这个存储阵列上执行输出工作流；确认主机到物理存储的连接。 主机将这些设备视为High Per

12、formance设备并直接读写这些设备；当用户想要做数据保护和数据容灾、扩容或删除等操作，则可直接登录ViPR portal根据用户选项来执行这些任务。 OceanStor DJ采用服务目录实现定义了各种存储服务或特性（如资源池、是否Thin分配、是否使用分层存储、分层存储的迁移策略、QoS设定等），用户可以自定义这些信息。 当租户提交存储资源请求时，调度层根据要求的服务类型寻找合适的存储设备提供服务。调度算法根据底层存储设备的能力自动匹配这些要求，并找到最合适的存储设备。 系统管理员根据存储的类型、用途、容量等属性，规划存储池。同时根据设计并配置服务目录。租户查看OceanStor DJ系统

13、中的存储服务目录，租户通过目录选取并预定所需的存储服务。OceanStorDJ系统根据租户选取的服务种类实现存储资源的自动配置和发放，支持存储挂载到主机。接口开放能力 ViPR提供了Restful API南向、北向接口，可以很好的与第三方应用（如AppSync）和管理软件进行集成。通过OpenStack接口、SMI-S、XML、存储接管私有接口、REST等API发现和管理物理存储，兼容第三方阵列实现自动连接、发现阵列和主机和SAN交换机。 ViPR可以与VMware、Hyper-V以及OpenStack进行集成。此外ViPR对VASA，vCenterOrchestrator和vCenter O

14、perations都提供了良好支持。例如vCenter 管理员可以获得从虚拟机到物理存储的端到端可见性。 DJ完全融入OpenStack架构，无缝对接OpenStack云平台，对原来的存储能力进行了增强。在技术上完全可以替换OpenStack的存储模块，并提供更强的存储能力、业务自动化能力和数据保护能力。 DJ提供了Restful/Open API北向接口实现和OpenStack、VMware VASA、ManageOne、eSight和第三方管理软件(CA、vCenter等)对接，提供Restful(OpenStack API)、SMI-S南向接口实现和第三方存储对接。 DJ和Veritas

15、、CV等主流备份厂商合作，实现了Data Protection Engine(Smaug)数据保护服务模块，通过Restful接口与第三方备份软件集成，租户可以实现数据自助备份和恢复。可视化管理能力 ViPR版本集成了SRM(Storage Resource Management)和SAS(ServiceAssurance Suites)软件管理整个ViPR数据中心。 SRM提供资源利用率和容量规划，变更管理和性能分析和报告等功能。支持VNXE3200, XtremIO, HDS, HP, IBM XIV以及NetApp等存储管理。SAS提供端到端的服务等级保障；ViPR管理虚拟存储。 DJ主

16、要用于存储资源管理、调度，它在数据中心是被数据中心ManageOne服务中心调度的。eSight则是作为运维中心的部件被集成。ManageOne是云数据中心管理软件，包括服务自动化SC部件，服务保障OC部件、设备管理eSight部件。 eSight完成数据中心统一管理和监控，兼容异构设备，提供统一运维。作为监控组件被ManageOne集成。OceanStorDJ专注于存储虚拟化和服务化，可独立销售，也可被华为云管理平台集成在FusionSphere云计算平台里。简单总结： 目前虽有不少厂商把存储软硬件解耦、平台X86化、新硬件、存储异构接管能力等同于SDS，但是真正基于控制平面和数据平面的SD

17、S才更贴近软件定义的思想，直接接入而不需改动现网结构，基于非网关形态从而避免成为性能瓶颈。向上通过北向接口开放存储能力，在整体SDS方案中保留异构存储的高级特性。下面简单对ViPR和DJ进行总结。架构对比 ViPR和DJ都是数据和控制平面分离架构，实现了服务目录和业务自动化发放；但是部署方式和架构实现还是存储在很大区别。ViPR采用一般虚拟化部署，采用OpenStack(Cinder、Malina、Swift等)和私有接口实现对第三方存储进行管理；DJ支持单节点和HA物理部署和虚拟化部署，对部署虚拟化平台没要求，比较灵活。对第三方存储管理全部采用OpenStack接口，所以主要异构存储支持Op

18、enStack接口就可以实现和DJ对接，但是支持度依赖于第三方存储对接口的实现程度。第三方阵列管理 ViPR和NetApp合作通过私有接口实现对FAS存储管理，私有接口在通信效率和特性展示上具有优势，但是产品升级和换代需要重新定制适配，成本比较高。DJ依赖OpenStack和阵列异构接管第三方存储(当作华为设备管理)，技术比较开放，但是目前支持的异构阵列还没有ViPR多。数据保护能力 ViPR集成VPLEX，AppSync、RecoveryPoint和存储增值特性，在双活和DCP方面优势比较明显。DJ基础数据保护套件，如eBackup、存储复制、第三方备份软件(CV)和存储增值特性，所以在数据备份领域具有一定优势，尤其是集成并增强FusionSphere OpenStack版本存储能力，可以实现云平台的数据备份和容灾等能力。自动化能力 ViPR和DJ在业务模板、服务目录和资源管理方面能力基本差不多，但是ViPR在资源自动挂载上具有优势，目前支持AIX、AIX VIO、Linux、Windows、ESXi等服务器自动挂载，但是DJ目前只限于Linux和ESXi服务器。开放能力 ViPR和DJ都是比较开放的平台，开放接口支持第三方运维、管理平台。但是ViPR目前主要还是与VMware