FusionSphere虚拟化套件SSD直通技术白皮书

1、 DOCPROPERTY DocumentName SSD直通技术白皮书华为专有和保密信息 版权所有 华为技术有限公司文档版本 DOCPROPERTY DocumentVersion V1.0 ( DOCPROPERTY ReleaseDate 2019-03-15) DOCPROPERTY Product Project Name 华为FusionSphere虚拟化套件 DOCPROPERTY DocumentName SSD直通技术白皮书目 录 TOC o 1-3 h z u HYPERLINK l _Toc2959867 1NVMe SSD直通 PAGEREF _Toc2959867 h

2、 1 HYPERLINK l _Toc2959868 1.1概述 PAGEREF _Toc2959868 h 1 HYPERLINK l _Toc2959869 1.2原理 PAGEREF _Toc2959869 h 1 HYPERLINK l _Toc2959870 1.2.1 PCI直通 PAGEREF _Toc2959870 h 1 HYPERLINK l _Toc2959871 1.2.2 NVMe SSD PAGEREF _Toc2959871 h 3 HYPERLINK l _Toc2959872 2华为方案 PAGEREF _Toc2959872 h 4 HYPERLINK l

3、_Toc2959873 2.1方案简介 PAGEREF _Toc2959873 h 4 HYPERLINK l _Toc2959874 2.2方案特点 PAGEREF _Toc2959874 h 4 HYPERLINK l _Toc2959875 2.3方案约束 PAGEREF _Toc2959875 h 4 HYPERLINK l _Toc2959876 3NVMe SSD直通应用场景 PAGEREF _Toc2959876 h 5 HYPERLINK l _Toc2959877 4缩略语表 PAGEREF _Toc2959877 h 6NVMe SSD直通概述存储虚拟化让IT管理员可以通过

4、一种便利的方式管理数据中心的存储设备，简化管理。通过精简卷提高了资源利用率，但虚拟化技术增加了虚拟机IO访问路径长度、主机上用户态与内核态切换次数，同一设备上的资源竞争，导致IO性能有所损失。设备直通技术为虚拟机提供了一种机制来直接访问物理设备，以减小虚拟化带来的开销，使虚拟机有接近物理设备的性能。随着计算机能力的不断增强，存储技术也在不断的发生变化，SSD的出现，摆脱了传统HDD的磁头、盘片及电机等机械部件，不会出现任何机械故障，相对于HDD而言，SSD在性能、可靠性、能耗方面都有着绝对的优势，基于NVME协议标准的SSD相比使用SATA接口与AHCI标准的SSD大幅的降低了延迟、提升了IO

5、PS，使得SSD的随机性能得到了极大的提升。虚拟化环境下在对IO性能有极致需求的场景下面临着极大的挑战，基于普通存储设备提供的存储虚拟化能力根本无法满足诉求，NVMe SSD直通可以完美的解决这一问题，直通技术解决了虚拟化带来的开销，NVMe SSD提供最强的硬件能力。原理PCI直通SSD直通是将SSD设备作为PCI设备通过PCI直通技术完成，当前有两种直通设备实现方式：kvm pci-assign和VFIO。在虚拟机看来，直通设备是物理上连接在PCI或者PCI-E总线上的，虚拟机对该设备的I/O交互操作和实际的物理设备操作完全一样。PCI-ASSIGN使用pci-assign方式时，通过硬件

6、虚拟化技术将宿主机中的物理 PCI 设备直接分配给虚拟机，虚拟机以独占方式访问宿主机的 PCI/PCI-E 设备，这种方式存在一些缺陷, KVM 是hypervisor并不是设备驱动，资源访问方式与安全启动并不兼容，仅支持PCI设备、X86平台、KVM虚拟化引擎。 pci-assign直通图VFIO & IOMMUVFIO是一种新的设备直通技术，很好的解决了pci-assign存在的问题，VFIO是一套用户态驱动框架，可以安全的把设备I/O、中断、DMA等暴露到用户空间，在用户空间完成设备驱动的框架。用户空间直接访问设备，虚拟机设备分配可以获得更高的IO性能。VFIO实现用户空间设备驱动时通过

7、IOMMU可以将DMA以安全可控的方式暴露到用户空间，IOMMU的引入对设备进行了限制，设备I/O地址需要经过IOMMU重映射为内存物理地址，恶意的或存在错误的设备不能读写没有被明确映射过的内存，运行在cpu上的操作系统以互斥的方式管理MMU与IOMMU，物理设备不能绕行或污染可配置的内存管理表项。 VFIO内核组件图vfio interface: vfio通过设备文件向用户空间提供统一访问接口。vfio_iommu_driver:为vfio提供了IOMMU重映射驱动，即向用户空间暴露DMA操作。vfio-pci：vfio支持pci设备pass-through,vfio-pci作为pci dr

8、iver挂载到pci总线,提供将pci设备io、interrupt暴露到用户空间实现。NVMe SSD传统机械硬盘和固态硬盘均属于非易失存储器。传统的机械硬盘采用的是磁介质，通过磁记录的原理来实现数据的存储。SSD则摒弃传统磁介质，采用电子存储介质进行数据存储和读取的一种技术。常见的SSD都是基于闪存的，可移动且数据保护不受电源控制；目前主流的SSD还是SATA、SAS接口和PCIe接口。SATA接口与SAS接口的固态盘数据速率多在百兆级别，离SSD的最大性能还很远。PCIe接口的固态盘为了更好的发挥闪存的性能也各自有不同的软件接口，性能在2GB/s左右。为了最大化SSD的性能，同时为统一基于

9、原生PCIe接口的固态盘的软件接口标准的情况下诞生了NVMe。NVMe是一个可扩展的主控器芯片接口标准，主要为企业、数据中心以及客户端系统中应用PCIe接口的SSD设备设计，它的目标是最大限度的释放闪存的潜能。NVMe为基于PCIe的SSD带来了较低的时延，较高的IOPS和较低能耗的优势。NVMe有以下一些关键属性：在命令提交或完成的路径上不需要读取相关寄存器；支持最多可达64K 的I/O 队列，每个队列支持64K的未处理命令；每个队列的的优先级拥有明确的仲裁机制；高效且流线型的指令集；支持MSI/MSI-X中断和中断聚合；支持多个命名空间；有效支持IO虚拟化架构，如SR-IOV；支持多路径I

10、O和命名空间共享华为方案方案简介华为虚拟化套件为满足用户极致IO性能的应用场景，使用VFIO的方式提供了NVMe SSD直通的能力，实现原理请参考1.2章节。虚拟机关机时可以绑定、解绑定SSD设备，为保护用户数据安全解绑时支持格式化SSD设备。平台使用统一的框架管理所有PCI直通设备，平台支持的设备通过白名单的方式配置。方案特点集中管理所有PCI直通设备，用户可以用统一的方式管理GPU、SSD、网卡等设备，简化了用户操作。使用VFIO直通方式，充分利用和继承了开源社区先进的方案及经验且对可靠性、安全做了增强。方案约束SSD直通存在以下约束：需提前在主机的BIOS中开启CPU的VT-d和VT-x

11、支持。不同厂家服务器开启方式会有区别，请参考具体服务器的帮助文档SSD直通虚拟机不支持热迁移、休眠、唤醒功能SSD直通虚拟机不支持创建和恢复内存快照SSD直通设备需要在虚拟机关闭状态下绑定及解绑定，不支持热插拔一个SSD设备仅允许绑定给一个虚拟机虚拟机GuestOS中需要安装SSD的磁盘驱动，以使SSD在虚拟机内部正常工作不允许在绑定/解绑定SSD设备过程中启动虚拟机需要进行SSD直通的虚拟机的内存必须全部预留需要进行SSD格式化时主机必须安装对应的驱动。需要进行SSD直通的虚拟机需要与SSD设备所在的主机绑定NVMe SSD直通应用场景NVMe SSD直通适用于所有对IO有极致要求的场景，比如视频、CDN、科学计算等。缩略语表缩略语清单英文缩写英文全名SSDSolid State DrivesVFIOVirtual Function I/ONVMeNon-Volatile Memory ExpressBIOSBasic Input Output SystemSR-IOVSingle-Root I/O VirtualizationCDNContent Delivery NetworkIOPSInput/Output