面向虚拟化云平台的全局存储系统优化研究

面向虚拟化云平台的全局存储系统优化研究

1基于主机的主机优化云计算的繁荣逐渐改变了计算机行业和学术界。这种计算机作为效率工具，软件作为服务，这为计算机软件和硬件设计带来了巨大挑战。在软件建设和分发模式上，soa（服务的软件结构）和sa（软件即服务）已成为云计算模式下软件建设和分发的核心方法。然而，在支持服务运营的基本计算基础设施方面，挑战主要集中在两个方面：软件和硬件。其中，自适应资源配置是软件园面临的最大挑战。如何分配云层资源是这个挑战的核心问题。由于公共资源的严重浪费，静态分配是资源的严重浪费。据统计，在当前的数据处理模式中，cpu资源利用率为5%-20%之间，内存资源利用率为60%。显然，云数据的分配模式具有高资源浪费，这增加了用户的总功耗（rco）。静态分配资源的平均颗粒率降低了用户的总功耗（tco）。虚拟化技术的引入带来了如下几个方面的好处:更细粒度的资源共享、安全隔离、高可靠性等.通过以虚拟机(VM)为粒度的分时复用技术,虚拟化平台可以有效地进行服务器整合(serverconsolidation)以提升资源利用率,并最终提高云计算基础设施的整体资源利用率.但是,现在的虚拟化技术主要关注在一台物理服务器内的资源优化,通过资源的复用技术来提高单台服务器的资源利用率.而对于全局资源优化来说,由于缺乏访问远程资源的虚拟化支撑技术,全局优化的研究更多地从操作系统的角度进行相关研究,如分布式共享内存系统(DSM)以及网络内存等.这些工作都需要修改操作系统的源代码或插入对应的驱动来利用远程资源,对于部署多种操作系统平台的云数据中心来说增加了部署的成本.总的来说,利用虚拟化技术来构建对操作系统透明的云数据中心面临如下两大挑战:(1)如何构建更有弹性的、可靠的全局资源空间,并建立资源流动框架,实现跨越物理机边界的资源优化;(2)如何动态地识别闲置资源,为资源优化提供可以流动的资源空间.针对这两个问题,本文引入了一个基于双层地址空间映射的虚拟化内存优化方案,通过双层地址空间映射机制提供跨越物理服务器资源边界、按需流动的内存资源抽象,同时提供高可靠性保证.由逻辑扩展地址空间和全局扩展地址空间构成的双层空间映射可以动态地收集云平台内的空闲内存资源,并通过内存资源流动技术实现跨物理服务器的内存按需供应.由于内存资源具有独占性的使用特点,它很难能够像CPU上下文切换和磁盘控制器的调度执行那样被分时复用.并且随着多核时代的来临,由于能耗的限制,使得每个处理器核的平均内存空间越来越小.在内存资源的优化上,本文尝试通过资源流动的方式来优化其配置,提高内存利用率.由于半虚拟化情况下,利用气球驱动(balloondriver)能够实现对于虚拟机内存的调节,本文主要关注全虚拟化场景下如何实现对虚拟机透明地进行内存优化等相关技术的研究.本文的主要贡献主要有三点:(1)针对虚拟化云计算平台下的内存优化需要,本文构建了一种利用虚拟化技术来无缝聚合闲置内存资源的机制;通过跨越物理平台的寻址技术,实现对于远程空闲内存资源的访问;(2)在虚拟化云计算基础设施之上,引入了一种基于逻辑扩展地址空间和全局扩展地址空间的双层地址空间映射机制;利用该机制,重构了虚拟化云平台下内存层次结构,构建了基于冗余备份机制的高可靠性的扩展内存区来优化内存利用;(3)通过扩展虚拟机监控器,实现了一种对虚拟机透明的闲置(及利用率不高的)页面回收机制,该机制对于不适合修改操作系统代码而进行空闲内存回收的情形具有特别的意义.本文第2节简要介绍与本文相关的研究工作,并分析它们与我们研究工作的异同;第3节重点介绍基于双层地址空间映射机制的远程空闲内存访问机制,并详细介绍其中的关键技术;第4节介绍基于Xen虚拟机监控器的实现技术;第5节给出实验平台配置和初步实验结果;最后,对全文进行总结并对未来工作给出展望.2相关研究在本节,我们将介绍在虚拟化平台下的内存优化的相关研究工作,并与我们的工作进行对比.2.1基于内容的页面共享机制虚拟化平台下内存复用(MemoryMultiplexing)研究主要的研究方向包括:(1)增加内存的共享度,提升单位页面的数据量,如基于内容的页面共享技术、页面压缩、页面补丁技术等;(2)通过释放空闲内存资源来达到资源优化部署的目的,包括气球驱动技术和页面交换(swap)技术.VMWareESXServer首先引入了一种基于内容的页面共享机制——通过共享同一虚拟机或不同虚拟机间存储同样内容的页面来达到节约内存的目的.实验表明,该机制大部分情况下能够回收10%～15%的内存.然而,这种技术的最大化效果依赖于虚拟机的配置情况,只有在部署同构服务(包括操作系统和应用)的虚拟机整合到同一个物理服务器上时才能达到节约内存的最大效果.为了更加充分地提高页面的利用率,文献除了利用基于内容的页共享技术外,还把页面压缩和页面补丁技术引入到Xen虚拟机监控器中,通过复合多种技术来大幅度地提高内存资源的利用率.文献和文献则采用通过在虚拟机监控器层构建共享的磁盘Cache系统来调节内存在各个虚拟机之间的分配和流动.文献和文献研究了基于缺页率曲线(missratecurve)的虚拟机内存实际需求大小估计方法,并通过“气球”机制来动态调节虚拟机间的内存分配.上述的研究工作主要关注一台物理服务器内不同的虚拟机之间的内存分配优化问题,本文的研究工作定位在云计算平台下多机间内存优化问题,重点解决虚拟化场景下的空闲内存页面再利用问题.2.2主机资源的访问问题—多机场景下的内存优化多机环境下的内存优化技术基本思路就是把空闲的内存资源重新利用,主要技术包括分布式共享内存(DSM)技术,如IVY、JIAJIA、TreadMarks等和网络内存技术,如Anemone、Nswap等.DSM系统由于要维护复杂的缓存一致性协议,使得扩展性差,最终导致开销很大.网络内存技术则提供了一种粗粒度的内存共享机制,协议简单,具有很好的可扩展性,是典型的网络内存系统.然而,传统上的网络内存技术需要在操作系统中插入相应的驱动来访问远程内存资源,资源的使用方式虽然能够对应用程序保持透明,但操作系统往往需要修改或定制才能高效地使用远程内存.在虚拟化场景下,内存管理机制发生了改变.由操作系统独占内存资源管理,演变成了由虚拟机监控器和虚拟机内操作系统共同控制的协作机制.其中,虚拟机监控器负责内存页面的分配,而操作系统负责响应应用对内存的请求、分配页面给应用程序.由于虚拟机创建的动态性和可定制性,基于操作系统的远程内存技术在虚拟化环境下缺乏相应的弹性.比如,当云用户的操作系统因为不开源或兼容性原因无法插入新的驱动时,都会使得传统的基于操作系统的方式无法正常工作.文献的工作实现了在一个共享内存的多处理器系统中的内存资源管理系统,通过页面交换和请求调页机制等机制来优化内存的使用.与这些研究工作相比,我们的工作主要面向商业的cluster机群系统.由于没有直接访问远程内存的硬件支撑机制,所以最大的挑战在于访存延迟和可靠性挑战以及由于虚拟化平台带来的特殊性挑战,如Xen虚拟机监控器中的网络协议栈问题.3基于双层地址空间的映射机制在我们的设计中,系统中的服务器根据其内存的使用情况分为内存服务器和内存客户端,其中,内存服务器向外提供基于空闲内存的存储服务,而内存客户端则利用远程内存调节其内部内存分配以加速关键应用.整个系统的示意图如图1所示.如图1所示,分布在各个物理平台中的虚拟机(VM)由于其负载的动态变化,其内存利用率在一定的时间内会随负载变化产生波动.所以,每台物理服务器内部及不同物理机之间内存的利用率就呈现不均衡性,并且这种不均衡性随时间而动态变化.这种不均衡性使得平台上的应用性能受到一定的限制.因此,通过一种基于双层地址空间的映射机制,本文引入了一种分布式空闲内存池来调节内存在各个虚拟机内的分配.低负载压力的虚拟机释放空闲内存进入空闲内存池,高负载压力的虚拟机从空闲内存池中申请内存来降低其内存压力.下面,我们首先介绍基于双层地址空间映射机制的远程空闲内存的管理和访问机制,随后介绍高效高可靠性访存协议以及空闲页面回收机制.3.1基于地址映射组件的远程高效地址存储为了能够利用分布在整个平台各个物理服务器上的空闲内存资源,考虑到分布式平台的特性,本文引入了一个由双层地址空间映射构成的分布式内存池.双层地址空间的构建兼顾了效率和可靠性,提供最大程度的内存资源抽象.图2给出了双层地址空间构造图.双层地址空间由两个逻辑部分和一个映射组件构成.其中,全局扩展地址空间用于管理所有映射到本地扩展地址空间的远程空闲内存,逻辑扩展地址空间则用于扩展本地物理地址空间.最终,由映射组件根据一定的规则完成从全局扩展地址空间到逻辑扩展地址空间的映射.全局扩展地址空间用来管理所有被本地虚拟机监控器所使用的远程内存空间,由〈服务器ID,地址段〉来标示其地址构成.每个远程内存服务器可以包含多个地址段,这样的设计可以根据空闲内存变化动态地调整可共享的地址空间.为了支持远程空间的退出,地址映射组件实现了数据同步方法来迁移数据、保证数据的有效性.远程服务器的空闲内存通过地址映射组件被映射到逻辑扩展空间,通过多个服务器空间映射到一个空间的方法可以实现数据的冗余存储,提高远程内存的可靠性.系统引入如下接口来操作全局扩展地址空间:(1)Gsm_addr_space_add(server_id,start_addr,size).添加一段远程内存到全局扩展地址空间,返回该内存段在地址空间中的起始地址.(2)Gsm_addr_space_del(server_id,start_addr,size).删除一段全局地址空间.(3)Gsm_addr_space_map(start_addr,size).影射一段全局地址空间到逻辑扩展地址空间,返回其在逻辑扩展地址空间中的起始地址.(4)Gsm_addr_space_unmap(start_addr,size).释放从逻辑扩展地址空间中start_addr开始size大小的空间映射.逻辑扩展地址空间位于虚拟机监控器中,由一个从零开始的独立地址空间和一个标识其空间的全局唯一标识符构成.通过〈地址,标识符〉对来对空间进行寻址,并在地址映射组件的翻译下最终确定要访问的远程内存页面.逻辑扩展地址空间的申请和回收都是由虚拟机监控器来控制,这样可以提供更为弹性的空间使用模式,比如既可以用作RAMDisk,也可以用作Swap设备.地址映射组件地址映射组件的核心功能是提供全局扩展地址空间和逻辑扩展地址空间之间的双向映射,通过维护相关的映射关系来提供高效可靠的远程内存存储抽象.地址映射组件支持两类基本的数据操作:数据存取和数据同步.其中,数据存取是基本的远程内存操作,实现对于远程数据的读取和写入.数据同步操作为远程内存服务的退出提供支持,通过从退出服务器到其它备份服务器同步数据可以实现数据存储的高可靠性.3.2逻辑扩展地址空间远程内存系统的设计需要考虑两个方面的要求:(1)尽量缩短访存延迟,提高效率;(2)分布式系统的可靠性问题,提供可靠稳定的基于内存的存储服务.本文充分考虑了这两个方面的要求,通过全局扩展地址空间到逻辑扩展地址空间的多对一映射机制和效率优先的访存协议来达到高效可靠的目的.图3描绘了映射过程及访存的路径:如图所示,两个内存服务器和本地磁盘一起构成了三个不同的全局扩展地址空间地址段,它们被映射到同一段逻辑扩展地址空间上.当系统触发对于逻辑扩展地址空间的寻址时,地址映射组件会把寻址分别发送到三段地址段上,并最终驱动相关的服务器完成数据读写操作.下面就可靠性、高效性及对服务器退出机制的支持进行详细介绍:可靠性设计.通过从全局扩展地址空间到逻辑扩展地址空间的多对一的映射来达到数据冗余、提高可靠性的目的.高效性设计.高效性的保证源自基于平均延迟优先级的访存协议.在我们的设计中,根据服务器平均延迟来确定的远程服务器访问优先级可以最大程度地提高系统效率.以数据读操作为例,读操作会根据平均读延迟依次发送给远程服务器,当数据返回时优先处理先返回的数据.在数据传输不出错的前提下,随后到来的数据都会被丢弃,这样可以减少因为冗余带来的数据处理开销,提供读取效率.服务器退出机制支持.当一个服务器因为自身负载增加需要收回共享的内存或者服务器无法正常提供服务时,系统会主动或被动地启动数据同步操作来迁移数据备份到其它内存服务器上.数据同步操作会逐页地复制数据到新的服务器,同时新的远程服务器开始加入全局扩展地址空间并被映射到同一段逻辑扩展地址空间上.由于数据同步过程中中间状态的出现,服务器端页数据的状态被分为如下3种:未初始化、页面脏和页面空闲.在支持的两类操作数据读写和数据同步的驱动下,其状态转化关系如图4所示.3.3基于主机的系统扩展除了未被分配的内存或虚拟机主动共享的内存外,由于数据访问模式的限制,虚拟机内部还有部分已经分配使用但访问频率极低的内存空间.为了最大程度地增加内存的共享度,本文引入了一种对虚拟机透明的空闲页面回收技术.为了实现对于页面的透明回收,本文扩展Xen虚拟机监控器以实现基于内存页面访问信息的动态“偷取”运行时系统.图5是扩展后的Xen结构图.如图所示,本文对Xen的扩展主要包括两个部分,分别是位于Xen内核中的核心运行时系统和管理虚拟机Domain-0中的支撑模块组.下面分模块介绍各部分的功能以及其核心作用:(1)逻辑扩展地址空间模块xen逻辑地址空间管理模块,负责管理逻辑扩展地址空间,并对外提供操作逻辑扩展地址空间的接口服务,比如空间申请、回收、删除等操作.(2)特殊虚拟机技术SwapDomain是一个位于Xen中的特殊虚拟机,是一系列资源的聚合,但不参与CPU的调度执行.在本文中,它主要的功能是提供一层缓存机制来减少由于访问远程内存带来的开销.(3)确定文本执行页面的存储收回空闲页面的核心部件.通过监控页面访问信息来确定空闲页面,一旦确定了要收回的页面后就可以通过页面交换引擎来存储数据到磁盘或远程内存以及更新页表等操作.(4)基于主机的主机的访问支持全虚拟化虚拟机的空闲页面回收,和异常重播机制配合来支持对于不在内存中的页面的访问.当Xen访问一个被换出的页面时,通常发生在Xen模拟特权指令执行时.这时,指令的模拟过程会被暂停,虚拟机状态被回退到可以安全暂停的时刻,以等待页面被重新装载进内存.(5)异常备份机制支持全虚拟化虚拟机的空闲页面回收,和指令运行回滚运行时系统配合来支持对于不在本地内存中的页面的访问.当虚拟机访问的页面被重新装载进内存后,异常重播机制会恢复虚拟机到发生访问被换出页面之前的状态,并调度执行.(6)api接口的实现负责管理全局扩展地址空间,提供远程空闲内存区间的注册、映射、同步、删除等API接口.通过从逻辑扩展地址空间到全局扩展地址空间的一对多的映射,可以实现数据的冗余备份,提高系统的可靠性.(7)swap设备驱动程序domain-0提供对远程空闲内存地址空间和本地磁盘的访问接口.(8)swap维护进程domain-0处理从Xen空间发送过来的对远程内存空间的读写请求,通过驱动Swap设备来访问相关的存储空间.(9)基于主机的地址空间映射机制图5中圆环所代表的是一个基于共享内存的消息传递通道.共享的内存来自于SwapDomain管理的内存空间,通过虚拟机间页面映射机制被映射到Domain-0的地址空间.Xen对于逻辑扩展地址空间的操作,如读取和写入,都以消息传递的方式通过共享空间传递给Domain-0中的组件进行地址翻译和执行具体操作.3.4tilized高效性能分析由于“语义鸿沟”的存在,如何确定哪些页面是空闲页面是一项重要的技术挑战.尝试用固定的算法去匹配各种操作系统或应用的话,往往会产生算法之间的不匹配.一种可配置的Under-Utilized页面确定算法选择框架被引入到系统中.系统可以根据不同的虚拟机选择不同的Under-Utilized内存选择算法,算法选择框架接口如下:get_swap_page.核心接口——选择需要被回收的Under-Utilized内存页面,返回页面在Xen中的page_info数据结构;ack_swap_page.页面回收成功或失败时调用,对页面状态进行ack确认;add_swap_page.把一个新的页面加入算法管理的页面集合中;mark_page_accessed,mark_page_locality.当页面被访问到时调用前者,当一个页面的“附近”页面被访问到时调用后者;get_prefetch_pfns.得到需要被预取的页面的pfn(s);set_page_attr.设置页面的属性,比如锁定(lock)一个页面使得不能够被回收时调用.本文中,采用Multi-Queue算法去判定虚拟机内的冷页面集合的分布和大小.Multi-Queue算法能够在局部性信息缺失的情况下具有很好的性能.4半辅助的程序的实现本文的研究工作在Xen平台上实现,基于Xen-3.3.1系统开发.Xen虚拟机监控器原始的设计通过修改操作系统的代码来完成虚拟化任务,通过在操作系统内核中调用超级调用(Hypercall)实现对于敏感指令的模拟执行,这种虚拟化方式被称作半虚拟化(para-virtualization).在Intel公司的VT-x和AMD公司的SVM技术支持下,Xen虚拟机监控器也支持不修改操作系统源代码的全虚拟化方案.我们的实现对于这两种情况都是适用的.4.1逻辑扩展地址空间的监控机制我们扩展了Xen虚拟机监控器来完成两个核心功能:(1)引入了逻辑扩展地址空间以支持远程内存访问;(2)对不在本地内存的页面提供透明寻址支持.为了支持逻辑扩展地址空间,我们修改了Xen虚拟机监控器中从虚假物理地址到机器地址的映射(p2m机制)部分,增加了新的地址类型来标示逻辑扩展地址空间.当虚拟机访问逻辑扩展地址空间时,要么会触发一次缺页异常,要么触发逻辑扩展地址空间寻址机制.通过缺页异常处理和指令运行回滚运行时,虚拟机被暂停执行以等待页面重新被装入本地内存.当页面被重新装入内存时,p2m被重新设置以指向新装入的内存页面.如果是半虚拟化情况,缺页异常的处理流程会继续.而在全虚拟化时,异常重播机制将发挥作用以重新调度虚拟机执行,恢复异常的处理过程.指令运行回滚运行时系统截取在指令模拟执行过程中对逻辑扩展地址空间的访问,触发逻辑扩展地址空间访问异常并逐级往上层函数传递,直到执行逻辑到达虚拟机陷入到Xen的入口点.在那里,虚拟机被暂停,对逻辑扩展地址空间的操作命令通过共享内存空间传递给Domain-0.当数据返回后,指令模拟操作或异常处理操作被继续执行,虚拟机重新被调度.对远程内存进行读写的命令通过Xen和Domain-0之间的共享缓冲区由Xen发出,Domain-0中的Swap守护进程负责具体处理.这样做的原因在于Xen本身缺乏网络协议栈,且这样的设计可以很大程度地提高系统弹性.4.2地址空间映射机制Domain-0作为Xen架构下的特殊虚拟机,除了提供虚拟机创建、查看、删除等控制功能外,其本身就运行着一个完整的操作系统.因此,我们充分利用Domain-0种的网络通信、磁盘驱动等核心功能实现对于远程内存或本地磁盘的访问,并且通过模块的形式构建更富有弹性的地址空间映射机制.在Domain-0中,我们实现了弹性的全局扩展地址空间管理机制.其中,每段连续的地址空间由一个地址空间描述符和空间范围来表示,每个内存服务器可以有一个或多个地址空间构成.通过映射多个地址空间到同一段逻辑扩展地址空间上,可以实现数据的冗余存储.通过模块的形式,我们支持两种形式的外部存储:远程空闲内存和本地磁盘.把本地磁盘和远程内存的叠加映射,可以获取具有高可靠性、高性能的附加存储系统.我们通过mmap的方式实现基于共享页的、与Xen之间的信息通信,Xen通过共享的消息通道传递请求给Domain-0.在Domain-0中,守护进程KXenSwap内核线程被创建以相应从Xen中发出的控制命令,如远程内存的读写操作.当KXenSwap通过驱动完成了相关命令后,一个新的Hypercall被调用通知Xen完成后续的p2m表修改、页表更新等过程以恢复虚拟机的调度执行.5实验分析本文从两个方面来验证我们的工作:可靠性测试和性能测试.5.1主机资源环境本测试用来评估基于双层地址空间映射机制的可靠性保障.在本次测试中,我们通过人为的关闭提供远程内存服务的服务器来测试系统的可靠性.我们选用SPECWeb2005作为我们的基准测试程序,在一台配制AMDOpteron四核处理器(2.0GHz)、8GB内存的曙光服务器上运行SPECWeb2005基准测试程序,使用一台同样配置的物理服务器用作远程内存服务器.同时,我们选用了多台其它服务器作为SPECWeb的负载产生器,服务器的数量保证客户端不成为影响系统性能的瓶颈.实验1.我们创建了一个配置一个虚拟机CPU和1024MB内存的虚拟机来运行SPECWeb2005,内存的具体配置是本地896MB加上远程128MB.通过运行连续9轮测试来评估其可靠性,在进行到第7轮时,人为地关闭用作远程内存服务器的物理机.图6(a)是实验的结果,从图中我们可以看到第7轮的实验由于远程服务器的关机而使得实验性能大幅度下降,第8、9轮由于虚拟机崩溃而无法继续.实验2.这次实验我们选择两台服务器作为空闲内存服务器,并且两台服务器的空闲内存空间被映射到同一段逻辑扩展地址空间上.同样进行了9轮的测试,结果如图6(b)示.同样的,也是第7轮时关闭一台内存服务器,实验结果表明,虚拟机提供的Web服务依然可用且没有出现性能下降,系统仍然继续工作,顺利完成9轮测试.5.2高效运行基于高效技术的挑战性能测试从两个方面进行:首先,我们通过实验来验证释放空闲内存对于虚拟机性能带来的影响;其次,我们测试了一种利用远程内存来加速虚拟机的场景,通过具体的场景验证本文工作的实际效用.5.2.1高效性能测试平台在这组实验中,我们选择了SPECWeb2005和Linpack来作为基准测试程序.我们的实验采用两台由AMD的Opteron四核处理器(2.0GHz)、8GB内存构成的曙光服务器来构建我们的试验平台,其中,一台用作内存服务器,一台用作内存客户端.同时,为了驱动SPECWeb,我们还配置了多台作为该基准测试需要的负载发生器的机器,机器的数量保证了这些客户端不成为影响系统性能的瓶颈因素.(1)电池应用性能测试我们选择了Linpack作为计算密集型应用,来研究通过透明方法回收其空闲内存时对其性能的影响.在这组实验中,我们选择了一台物理服务器,在该平台上创建一个配置两个虚拟CPU和2GB内存的虚拟机来进行Linpack测试.通过不断地释放其空闲内存,我们来观察透明释放空闲内存对计算密集型应用的影响.如图7所示,我们通过不断地释放虚拟机的空闲内存来研究释放不同大小的空闲内存对Linpack性能的影响.从实验结果中,我们可以看到在0～1024MB的范围内不断地释放空闲的内存对Linpack的性能影响基本可以忽略不计.(2)应用性能测试在这一组的实验中,我们选择了SpecWeb2005作为我们这组实验的Benchmark.一个主要的原因是现在的云计算平台越来越多地通过Web的形式对外提供服务,通过对Web服务的验证可以更加贴近真实的场景.在这组实验中,我们同样在一台服务器上运行了一个具有两个虚拟CPU的虚拟机,分别观察在释放一定量的内存时对Web性能的影响以及在一定的负载压力下测试释放不同大小的空闲内存对Web性能的影响.首先,我们测试了释放一定量的内存时性能随负载的变化关系.在这组实验中,我们研究了总内存大小为1024MB的虚拟机在其被释放了128MB的空闲内存后性能随负载的变化情况.测试结果如图8所示.从测试结果中我们可以看出,在负载压力不大的时候(小于每秒200个会话),释放128MB的空闲内存基本上对性能没有影响.随着每秒会话数的增加,性能曲线开始下降,但释放了空闲内存的虚拟机和没有释放的情况下相比性能相差依然不大.实验结果进一步表明,在释放空闲内存的时候对性能带来的影响基本上可以忽略不计.我们又测试了在负载压力一定的情况下性能随释放的内存数的变化曲线,其结果如图9所示.从图中我们可以看出