分布式系统_虚拟化技术

1、分布式系统 Distributed Systems第 9 讲 虚拟化LECTURE 9 VIRTUALIZATION王晓阳、张 奇复旦大学 计算机科学技术学院1目录 7.1 虚拟化介绍 7.2 处理器虚拟化 7.3 内存虚拟化 7.4 I/O虚拟化 7.5 实例2虚拟化技术的历史资源池IBM推出虚拟化技术，提高了昂贵的大型机的利用率；VMware公司解决了X86虚拟化问题，推出了X86平台的虚拟机软件，使虚拟化技术开始走向普通用户。开源虚拟化技术Xen推出，使虚拟化技术的研究和应用更加普及；Intel和AMD推出支持虚拟化技术的处理器和芯片组，实现了硬件辅助虚拟化技术；1960s1999200

2、32005Amazon采用虚拟化技术提供云计算平台，取得了商业上的成功，虚拟化技术成为云计算的基石；2006虚拟化技术将物理资源转化为便于切分的资源池，符合云计算的基本条件；虚拟化给资源以动态调配的能力，符合云计算按需分配的要求；来源: ZTE中兴 虚拟化技术3虚拟化前虚拟化后虚拟化将硬件、操作系统和应用程序一同封装封装一个可迁移的虚拟机档案文件中 软件必须与硬件相结合 每台机器只能 运行单一的操作系统 每个操作系统有一个或多个应用程序负载（通常只有一个） 增加虚拟化层 裸金属架构 每台机器上有多个操作系统和多个应用负载未更改过的应用未更改过的应用未更改过的未更改过的OS虚拟硬件虚拟硬件服务器

3、虚拟化的基础概念来源: ZTE中兴 虚拟化技术4虚拟化计算系统体系结构虚拟机管理器VMM单计算系统虚拟化多计算系统虚拟化操作系统应用程序VMMVMMVMM应用系统传统计算系统计算模式虚拟化计算系统计算模式应用系统应用系统应用系统操作系统操作系统操作系统操作系统来源: ZTE中兴 虚拟化技术5虚拟技术: 四大特性相对于硬件独立相对于硬件独立无需修改即可在任何服务器上运行虚拟机分区分区在单一物理服务器上同时运行多个虚拟机隔离隔离在同一服务器上的虚拟机之间相互隔离封装封装整个虚拟机都保存在文件中，而且可以通过移动和复制这些文件的方式来移动和复制该虚拟机来源: ZTE中兴 虚拟化技术6虚拟化益处：实现

4、资源最优利用通过虚拟化进行服务器整合优势：n 大大提高硬件利用率n 增加系统的可管理性n 简化服务器安装过程，节约时间50%70%n 减少10倍或更多的硬件购买需求，节约一半的购买和维护成本HypervisorHypervisorHypervisorHypervisor虚拟机来源: ZTE中兴 虚拟化技术7虚拟化益处：动态负载均衡资源 当VMM监测到某个计算节点的负载过高时，可以在不中断业务的情况下，将其迁移到其它负载较轻的节点或者在节点内通过重新分配计算资源 执行紧迫计算任务的虚拟机得到更多的计算资源，保证关键任务的响应能力HypervisorHypervisorHypervisor利用虚拟

5、机与硬件无关的特性的虚拟机迁移技术，按需分配资源来源: ZTE中兴 虚拟化技术8虚拟化益处：系统自愈功能提升可靠性 系统服务器硬件故障时，可自动重启虚拟机 消除在不同硬件上恢复操作系统和应用程序安装所带来的困难，其中任何物理服务器均可作为虚拟服务器的恢复目标 减少硬件成本和维护成本HypervisorHypervisorHypervisor实现经济高效、独立于硬件和操作系统的应用程序高可用性来源: ZTE中兴 虚拟化技术9虚拟化益处：提升系统节能减排能力 与服务器管理硬件配合实现智能电源管理 优化虚拟机资源的实际运行位置，达到耗电最小化 可为运营商节省大量电力资源，减少供电成本，节能减排Hyp

6、ervisorHypervisorHypervisor休眠来源: ZTE中兴 虚拟化技术10虚拟化技术的驱动力IT成本的消减 虚拟化技术能够显著提高硬件平台的利用率，节省50%以上的IT投资； 硬件服务器的减少同时能够节省机房电力、空间和制冷方面的投入；IDC统计的每用户年度花费11虚拟化技术的驱动力管理和可用性的提升 虚拟机与物理服务器的隔离，使物理服务器的变化不波及虚拟机，简化了管理难度； 虚拟机间能够提供对上层透明灾难恢复机制，灾难恢复过程简单灵活，能显著提高系统可用性；物理设备虚拟机OSApp虚拟机OSApp故障升级维护来源: ZTE中兴 虚拟化技术12数据中心整合案例整合之前整合之后

7、服务器1,000 台80 台存储270 TB DAS140 TB SAN 和 NAS网络3,000 个电缆/端口300 个电缆/端口设备200 个服务器机架400 个电源开关10 个服务器机架20 个电源开关客户示例：领先的北美公共设施公司客户示例：领先的北美公共设施公司VMware 对其产生的影响对其产生的影响硬件成本节省硬件成本节省数据中心空间、电力和制冷成本节省 70-80%2 年节省 800 万美元运营效率运营效率服务器重建和应用程序载入时间从 20-40 小时缩短到 15-30 分钟每年节省 10,000 工时来源: ZTE中兴 虚拟化技术13认识虚拟化指令仿真全虚拟化半虚拟化操作系

8、统虚拟化LIB库仿真低高性能QEMUKVM/VmwareXenVServerWine计算机系统硬件操作系统程序库应用程序指令集合ISA系统调用SysCall应用编程接口API来源: ZTE中兴 虚拟化技术14X86平台虚拟化的三种方式全虚拟化全虚拟化客户操作系统运行在Ring 1级，VMM运行在Ring 0级，对于不能虚拟化的特权指令，通过二进制转换方式转换为同等效果的指令序列运行，而用户级指令可直接运行。不需要修改操作系统，虚拟机具有较好的隔离性和安全性。半虚拟化半虚拟化需要修改操作系统内核，将不能虚拟化的指令替换为hypercall，hypercall直接与虚拟层通信；显著减少了虚拟化开销

9、，性能较高，但是由于需要修改操作系统内核，对于非开放的操作系统，如windows 2000/xp，则无法支持。硬件辅助虚拟化硬件辅助虚拟化CPU在Ring 0级之下还提供了一个Root Mode，VMM运行在Root Mode下。特权指令自动被VMM捕获，不需要进行二进制转换或调用Hypercall；效率较高，无需修改操作系统。ZTE最新的刀片支持硬件辅助虚拟化。来源: ZTE中兴 虚拟化技术15X86平台 Full virtualization虚拟化技术 客户操作系统运行在Ring 1级，VMM运行在Ring 0级，VMM提供给操作系统各种虚拟资源（虚拟BIOS、虚拟设备和虚拟内存管理等）。

10、对于不能虚拟化的特权指令，通过二进制转换方式转换为同等效果的指令序列运行，而用户级指令可直接运行。 客户操作系统与底层硬件资源完全隔离，操作系统不感知运行在虚拟机上，也不需要修改操作系统，虚拟机具有较好的隔离性和安全性。AppRing 3Ring 2Guest OSRing 1VMMRing 0X86 硬件平台对特权指令进行二进制转换用户指令直接执行来源: ZTE中兴 虚拟化技术16X86平台 Para-virtualization虚拟化技术 这种方式需要修改操作系统内核，将不能虚拟化的指令替换为hypercall，hypercall直接与虚拟层通信，虚拟层提供内核操作的关键接口，如内存管理、

11、中断处理和时间管理等。 这样显著减少了虚拟化开销，性能较高，但是由于需要修改操作系统内核，对于非开放的操作系统，如windows 2000/xp，则无法支持。VMMAppRing 3Ring 2Ring 1Guest OSRing 0X86 硬件平台通过Hypercall调用虚拟层操作用户指令直接执行来源: ZTE中兴 虚拟化技术17X86平台 硬件辅助虚拟化 在Intel的VT-x技术中，CPU在Ring 0级之下还提供了一个Root Mode，VMM运行在Root Mode下。特权指令自动被VMM捕获，不需要进行二进制转换或调用Hypercall。 Intel还对外设提供了VT-d和VT-

12、c等技术，提供对外设虚拟化的支持。VMMAppRing 3Ring 2Ring 1Guest OSRing 0X86 硬件平台特权指令被VMM捕获，不需要二进制转换用户指令直接执行非Root modeRoot mode来源: ZTE中兴 虚拟化技术18VMM作为一个应用程序运行在主机操作系统上，兼容性好但效率低。虚拟化技术的关键组件VMM组织架构Host OSVMMAPP Guest OS1AppGuest OS2Service OSVMMAPPGuest OS1APPGuest OS2HardwareHardwareOS-Hosted OS-Hosted 模式模式VMMAPPGuest OS

13、1APPGuest OS2HardwareVMM又称为Hypervisor，负责为虚拟机统一分配CPU、内存和外设，调度虚拟资源；VMM直接运行在物理硬件上，效率更高，但硬件兼容性差。Stand-alone HypervisorStand-alone Hypervisor 模式模式前两种方式的综合，VMM直接运行在物理硬件上，但驱动程序由Service OS提供。HybridHybrid模式模式来源: ZTE中兴 虚拟化技术197.2 处理器虚拟化 CPU 背景 处理器虚拟化技术 系统ISA虚拟化 指令解释 陷入模拟 二进制翻译 混合模型20计算机系统组成CPUMMU内存内存控制器控制器本地总

14、线本地总线I接口接口高速高速I/O总线总线NIC控制器控制器桥桥帧缓存帧缓存LAN低速低速I/O总线总线USBCD-ROM21CPU 组成 指令系统结构(ISA)定义: 对编程人员可见的状态 寄存器和内存 在这些状态上进行的操作指令 典型ISA划分为2部分 用户 ISA 主要用来计算 系统 ISA 主要用来管理系统资源22用户 ISA 状态用户虚拟内存用户虚拟内存程序计数器程序计数器条件码寄存器条件码寄存器Reg 0Reg 1Reg n-1FP 0FP 1FP n-1专用寄存器通用一般寄存器浮点寄存器23用户 ISA 指令加减与比较载入字节载入字多路存储压栈跳转相等跳转调用返回单精度加双精度乘

15、双精度开根号整数整数内存内存控制流控制流图图浮点数浮点数取指取指寄存器操作寄存器操作发射发射IntegerIntegerMemoryFP典型指令流水线典型指令流水线译码译码指令集指令集24系统 ISA 特权级别 控制寄存器 陷入和中断 硬编码向量 分派表 系统时钟 内存管理单元MMU 页表 TLB I/O 设备访问SystemUserUserExtensionKernelLevel 0Level 1Level 225Isomorphism形式上讲，虚拟化就是从客户机状态到宿主机状态的同构构造GuestSiSjHostSiSje(Si)e(Si)V(Si)V(Sj)26系统指令体系结构的虚拟化

16、监视器需要的硬件支持 例如: 监视器必须能够控制实际的硬件中断 访问硬件使得虚拟机（VM）破坏隔离性 例如: 访问MMU使得VM能够写任何页 因此 客户机所有对虚拟系统ISA访问的操作必须由监视器软件模拟实现。 系统的状态保存在内存中。 系统指令都由虚拟机监视器的相关函数实现相关函数实现在监视器中27示例：CPU状态static struct uint32 GPR16; uint32 LR; uint32 PC; int IE; int IRQ; CPUState;void CPU_CLI(void) CPUState.IE = 0;void CPU_STI(void) CPUState.IE

17、 = 1; CPU虚拟化技术的目标 能够尽可能快的处理一般指令 特权指令转交给模拟例程28指令解释 模拟 取指/译码/执行 软件流水线 优点 容易实现 复杂度最低 缺点 慢!29实例: 虚拟化中断标识w/ 指令解释器void CPU_Run(void) while (1) inst = Fetch(CPUState.PC); CPUState.PC += 4; switch (inst) case ADD: CPUState.GPRrd = GPRrn + GPRrm; break; case CLI: CPU_CLI(); break; case STI: CPU_STI(); break;

18、 if (CPUState.IRQ & CPUState.IE) CPUState.IE = 0; CPU_Vector(EXC_INT); void CPU_CLI(void) CPUState.IE = 0;void CPU_STI(void) CPUState.IE = 1;void CPU_Vector(int exc) CPUState.LR = CPUState.PC; CPUState.PC = disTabexc;30陷入和模拟客户操作系统客户操作系统+ 应用应用虚拟机监视器虚拟机监视器缺页缺页未定未定义指义指令令虚拟虚拟中断中断MMU模拟模拟CPU模拟模拟I/O模拟模拟非特权

19、态非特权态特权态特权态31陷入模拟的问题 并不是所有的体系结构都支持 陷入的代价比较高 监视器在特权级别 需要虚拟化保护级别32二进制翻译翻译器客户代码翻译缓存调出翻译缓存TC索引CPU 模拟例程33基本块vPCmov ebx, eaxcliand ebx, 0 xfffmov ebx, cr3stiret客户代码客户代码Straight-line code控制流图控制流图基本块基本块34二进制翻译vPCmov ebx, eaxcliand ebx, 0 xfffmov ebx, cr3stiretmov ebx, eaxcall HANDLE_CLIand ebx, 0 xfffmov CO

20、_ARG, ebxcall HANDLE_CR3call HANDLE_STIjmp HANDLE_RET开始开始客户代码客户代码翻译缓存翻译缓存35二进制翻译vPCmov ebx, eaxcliand ebx, 0 xfffmov ebx, cr3stiretmov ebx, eaxmov CPU_IE, 0and ebx, 0 xfffmov CO_ARG, ebxcall HANDLE_CR3mov CPU_IE, 1test CPU_IRQ, 1jnecall HANDLE_INTSjmp HANDLE_RETstart客户代码客户代码翻译缓存翻译缓存36基本二进制翻译器void BT

21、_Run(void) CPUState.PC = _start; BT_Continue();void BT_Continue(void) void *tcpc; tcpc = BTFindBB(CPUState.PC); if (!tcpc) tcpc = BTTranslate(CPUState.PC); RestoreRegsAndJump(tcpc);void *BTTranslate(uint32 pc) void *start = TCTop; uint32 TCPC = pc; while (1) inst = Fetch(TCPC); TCPC += 4; if (IsPriv

22、ileged(inst) EmitCallout(); else if (IsControlFlow(inst) EmitEndBB(); break; else /* ident translation */ EmitInst(inst); return start;37基本二进制翻译器 第二部分void BT_CalloutSTI(BTSavedRegs regs) CPUState.PC = BTFindPC(regs.tcpc); CPUState.GPR = regs.GPR; CPU_STI(); CPUState.PC += 4; if (CPUState.IRQ & CPUSt

23、ate.IE) CPUVector(); BT_Continue(); /* NOT_REACHED */ return;38控制流的控制vEPCtest eax, 1jeq add ebx, 18mov ecx, ebxmov ecx, eaxtest eax, 1jeqcall END_BBcall END_BB开始开始客户代码客户代码翻译缓存翻译缓存ret39控制流的控制vEPCtest eax, 1jeq add ebx, 18mov ecx, ebxmov ecx, eaxtest eax, 1jeqcall END_BBcall END_BB客户代码客户代码翻译缓存翻译缓存reta

24、dd ebx, 18mov ecx, ebxmov ecx, eaxcall HANDLE_RETeax = 0查找查找下一下一个个40控制流的控制vEPCtest eax, 1jeq add ebx, 18mov ecx, ebxmov ecx, eaxtest eax, 1jeqjmpcall END_BB客户代码客户代码翻译缓存翻译缓存retadd ebx, 18mov ecx, ebxmov ecx, eaxcall HANDLE_RETeax = 041控制流的控制vEPCtest eax, 1jeq add ebx, 18mov ecx, ebxmov ecx, eaxtest e

25、ax, 1jeqjmpcall END_BB客户代码客户代码翻译缓存翻译缓存retadd ebx, 18mov ecx, ebxmov ecx, eaxcall HANDLE_RETeax = 1查找查找下一下一步步mov ecx, eaxcall HANDLE_RET42控制流的控制vEPCtest eax, 1jeq add ebx, 18mov ecx, ebxmov ecx, eaxtest eax, 1jeqjmpjmpGuest CodeTranslation Cacheretadd ebx, 18mov ecx, ebxmov ecx, eaxcall HANDLE_RETeax

26、 = 1mov ecx, eaxcall HANDLE_RET43二进制翻译存在的问题 翻译缓存索引数据结构 PC（程序计数器） 在中断上的同步 自我修改（Self-modifying ）的代码 将写操作转给翻译后的客户机代码在翻译好的客户代码的写通知44二进制翻译的其他使用 ISA交叉翻译器 Digital FX!32 优化翻译器 H.P. Dynamo 高级语言字节码翻译器 Java .NET/CLI45混合方式 内核代码为内核的二进制翻译 用户代码为用户的直接执行（陷入模拟） U.S. Patent 6,397,242直接执行直接执行OK?直接执行跳转到客直接执行跳转到客户机户机PCYe

27、s在在TC中执行中执行TC 验证验证处理特权指处理特权指令令No调出陷入46Translation Cache（TC） 背景 虚拟化技术 TLB仿真 影子页表 页面保护 内存追踪 隐藏监视器 硬件支持的内存虚拟化 嵌套页表7.3 内存虚拟化47CPUMMUMemoryController本地本地 总线总线Interface高速高速I/O 总线总线NICControllerBridgeFrame BufferLAN低速低速I/O 总线总线USBCD-ROM计算机系统结构48传统地址空间04GB物理地址空间物理地址空间RAMROM设备帧缓冲器49传统地址空间04GB当前进程04GB操作系统虚拟地址

28、空间虚拟地址空间物理地址空间物理地址空间RAMROM设备帧缓冲器50Process Virtual Address Space04GB传统地址空间04GBBackground ProcessOperating System当前进程04GB操作系统虚拟地址空间虚拟地址空间物理地址空间物理地址空间RAMROM设备帧缓冲器背景进程操作系统51内存管理单元(MMU) 虚拟地址到物理地址的转换虚拟地址到物理地址的转换 使用固定大小的页面 页保护 旁路转换缓冲器旁路转换缓冲器 TLB 缓存了最近的虚拟地址到物理地址的映射 控制寄存器控制寄存器 页表位置 当前ASID（地址空间标识符） 对齐检查52MMUs

29、的类型 硬件架构的页表硬件架构的页表 x86, x86-64, ARM, IBM System/370, PowerPC 硬件定义页表布局 发生TLB失效时硬件遍历页表 硬件架构的硬件架构的 TLB MIPS, SPARC, Alpha 硬件定义 TLB的接口 TLB失效时由软件重新装入TLB 软件定义页表布局 分段分段/ 无无MMU 低端 ARM处理器, 微控制器 需要半虚拟化53传统地址转换 基于硬件架构的页表虚拟地址虚拟地址物理地址物理地址进程进程页表页表122345TLB操作系统的页面失操作系统的页面失效处理程序效处理程序54虚拟化的地址空间04GB当前的客户进程04GB客户操作系统虚

30、拟地址空间虚拟地址空间物理地址空间物理地址空间虚拟 RAM虚拟ROM虚拟设备虚拟帧缓冲器55虚拟化的地址空间04GB当前的客户进程04GB客户操作系统虚拟地址空间虚拟地址空间物理地址空间物理地址空间虚拟RAM虚拟ROM虚拟设备虚拟帧缓冲器04GB机器地址空间机器地址空间RAMROM设备帧缓冲器56虚拟化的地址空间基于硬件架构的TLB虚拟地址空间04GB物理地址空间0机器地址空间0客户机页表VMM PhysMap4GB4GB硬件架构的硬件架构的 TLB页表页表57虚拟化的地址转换基于 硬件架构的 TLB虚拟地址虚拟地址机器地址机器地址Emulated TLBPage TableGuestPage

31、 TablePMap12234536TLBA58TLB仿真的问题 虚拟机页表一致性 根据虚拟机的需要使TLB无效 监视器引起虚拟机TLB失效 性能 虚拟机上下文切换冲洗整个软件TLB59影子页表GuestPage TableShadowPage TableGuestPage TableGuestPage TableShadowPage TableShadowPage Table虚拟虚拟 CR3真实真实 CR360客户写CR3GuestPage TableShadowPage TableGuestPage TableGuestPage TableShadowPage TableShadowPag

32、e Table虚拟虚拟CR3真实真实CR361客户写CR3GuestPage TableShadowPage TableGuestPage TableGuestPage TableShadowPage TableShadowPage Table虚拟虚拟 CR3真实真实 CR362未发现的客户页表GuestPage TableShadowPage TableGuestPage TableGuestPage TableShadowPage TableShadowPage Table虚拟虚拟CR3真实真实CR3GuestPage Table63未发现的客户页表GuestPage TableShado

33、wPage TableGuestPage TableGuestPage TableShadowPage TableShadowPage Table虚拟虚拟CR3真实真实 CR3GuestPage TableShadowPage Table64使用影子页表的问题 好处 使用和硬件架构的TLB相同的方式处理页面失效 快速的客户进程上下文切换 页表一致性 客户机在写离线页表时不需要使TLB无效 需要记录使页表项失效的对影子页表的写操作 内存膨胀 缓存客户页表消耗内存 需要确定客户什么时候重用内存657.4 I/O 虚拟化 设备虚拟化的类型 直接访问 仿真 半虚拟化 存储虚拟化贮存虚拟化 写时复制磁盘

34、（ Copy-on-Write ）66计算机系统组织结构CPUMMU内存内存控制器控制器本地总线本地总线接口接口高速高速I/O总线总线NIC控制器控制器Bridge帧帧缓存缓存缓缓冲器冲器局域局域网网低速低速I/O 总线总线USBCD-ROM67设备虚拟化 目标 隔离 多路技术 速度 移动性 干涉 设备虚拟化策略 直接访问 仿真 半虚拟化68直接访问设备CPUMMU内存内存控制器控制器本地总线本地总线接口接口高速高速I/O 总线总线NIC控制器控制器Bridge帧缓冲器帧缓冲器局域局域网网低速低速I/O 总线总线USBCD-ROMVMGuest OS69内存隔离 w/ 直接访问设备CPUMMU

35、内存内存控制器控制器本地总线本地总线接口接口 IOMMU高速高速I/O 总线总线NIC控制器控制器Bridge帧缓冲器帧缓冲器局域局域网网低速低速I/O 总线总线USBCD-ROMVMGuest OS70 已启用虚拟化的设备设备的虚拟化CPUMMU内存内存控制器控制器本地总线本地总线接口接口 IOMMU高速高速I/O 总线总线NIC控制器控制器Bridge帧缓冲器帧缓冲器局域局域网网低速低速I/O 总线总线USBCD-ROMVM1Guest OSvNIC 1VM2Guest OSvNIC 271直接访问设备虚拟化 允许客户操作系统直接访问底层设备 优点 速度快 简化了监视器 只需要有限的设备驱

36、动程序 缺点 安全性(IOMMU)需要硬件支持 多路需要硬件支持 硬件接口对客户机可见 限制了VM的迁移性 根据定义很难干涉72仿真的设备 仿真设备 仿真寄存器 内存映射的 I/O 或者 可编程的I/O 转换 中间表示 每个真实设备的后端73串口示例监视器宿主 操作系统串口串口芯片芯片 XYZ局域局域网网用户应用客户机串口芯片串口芯片ABC驱动程序驱动程序串口芯片串口芯片ABC仿真仿真通用串口层通用串口层74仿真的设备 优点 平台稳定 允许干涉 不需要特定的硬件支持 由虚拟机监视器实现隔离和多路 缺点 速度慢 需要虚拟机监视器或宿主机中的驱动程序75半虚拟化的设备 客户操作系统在更高的抽象层把

37、请求传递给监视器 发起请求时进行监视器调用 客户机和虚拟机监视器共享缓冲器 优点 简化了虚拟机监视器 速度快 缺点 虚拟机监视器需要提供客户操作系统相关特定的驱动 (客户操作系统)自举引导问题76传统体系结构硬件硬件虚拟机监视器虚拟机监视器LinuxLinux (devel)XPVistaMacOS77基于宿主机的监视器的体系结构硬件硬件虚拟机监视器虚拟机监视器客户操作系统客户操作系统 (Linux)宿主操作系统宿主操作系统(Window XP)用户应用用户应用内核模块内核模块78VMware ESX 2.0Source: http:/ Ex 2 - Xen 3.0 半虚拟化 Linux 客户

38、机 硬件支持的虚拟化 未修改的Windows 隔离的硬件驱动程序Source: Ottawa Linux Symposium 2006 presentation. http:/www.cl.cam.ac.uk/netos/papers/80Hypervisor 硬件支持的单用监视器 特征 轻量级 运行在一个专门的硬件模式 客户操作系统运行在正常特权级 用途 安全性 系统管理 容错硬件硬件Hypervisor操作系统操作系统内核模式内核模式监视器模式监视器模式用户模式用户模式81虚拟磁盘 文件系统中的文件 宿主机文件系统 Hypervisor 文件系统 文件的元数据 把磁盘块映射成到文件偏移量 平面文件 索引文件 允许磁盘根据需要