中期考核final服务质量驱动虚拟化资源

中中期报博士生 黄涛(研究员、博导 间 中国院博 中期考二．工作进展四．已取得的成1公共基础课：英语，政专业课程：分布式系统与中间件，工程前沿技核高基重大专项：国产中间件平台与参考实现纵向课工信部重大专项：面向移动互联网的业务能力开放平台申请纵向课中国移动重点项目：OMP应用运行和开发引擎产品研发（一期、二期）横向课题基于虚拟化的Web应用宿主平台研发组内工2二．工作进展3研究背景Web应用是Internet重要组成部分之一，已成为信息制服务质量（QualityofService,简称QoS）是Web应用一个重要属性，它的主要度量指标之一是系统对及时性[1].基于Web应用系统的性能测试技术研究[C]西安电子科技大学ISO/IEC9126-1Standard:Softwareengineering-Productquality-Part1:Qualitymodel,Int.StandardOrganizatio, 研究背景-虚拟机替换物理机成为Web应用宿主平点。随着虚拟化技术的发展，虚拟机（VM）逐渐替代虚拟机是指 实现的计算机将物理资源划的计算机,它是虚拟化资源载 过

操作

操作虚拟虚拟硬件虚拟虚拟硬件虚拟

操作

虚拟Z.Wang,Y.Chen,D.Gmach,S.Singhal,B.Watson,W.Rivera,X.Zhu,andC.Hyser.AppRAISE:ApplicationlevelPerformanceManagementinVirtualizedServerEnvironment.IEEETransactionsonNetworkingandServiceManagement,Vol.6,No.4,pp.240-254,2009./server-研究背景-服务质量驱动的虚拟化资源管理成为学术界和产业界关注重现有的基于虚拟化的Web应用宿主平台只能提供可用性保障，而无法提供服务.[Jung@middleware09]NSDI、OSDI、ICDCS、Middleware、ICAC基于虚拟化技术(Xen,VMWare等)实现Web应用服务质量保障是未来Web应用宿主平台竞争力之一.IBMNEDC将实现自动化的[1]GueyoungJung,KaustubhR.Joshi. sitiveAdaptationEngineforServerConsolidationofMultitierApplication.Middleware[2]/news/2010/061511-gartner-private-研究路线-服务质量驱动的虚拟化资源管负 Web应

…服务器 服务器 服务器服务质量驱动的虚拟化资源管理研根据虚拟化环境下运行时应用性能的监测与分析结果，实现虚拟化资源的按需提供，保障Web应用服务质量，提高虚拟化环境下Web应用容量规划技虚拟化环境下Web应用放置优化技8一、虚拟化环境下Web应性能分析技9负

响应时虚拟化环境：物理资源共享，（服务质量度量指虚拟化环境：物理资源共享，研究背景-物理资源分时复用的本质是VM干 的Web应用性能抖动[1][1]GueyoungJung,KaustubhR.Joshi. sitiveAdaptationEngineforServerConsolidationofMultitierApplication.Middleware基于监测的方基于监测的方[Bratanov@SIGOPS09,Nikolaev@VEE11,分析方刻画VM干分析方基于模型的方

基于仿真的方

[Buyya@AINA09,Calheiros@Cloud09,基于人工神经网络ANN模型[Kundu@HPCA以用户期望的性能和性能实测之间误差为收敛目标,选取CPU、内存、磁盘IO和网络IO四个参数，采用迭代方法基于Fuzzy模型[Xu@ICAC基于历史数据采用减聚类方法构建负载,虚拟化资源消耗与划分Web应型CPU利用率区间,采用分位数回归方法建立Web应用响应时间与概率分布的关系.[Bodik@EuroSys09,McCullough@USENIX11,Padala@EuroSys09,负负响应时研究思路——虚拟化环境下Web应用性能分析方负负响应时分析影响分析——基于离线测试分析VM干扰要实验条件1:VCPU资源需求总和小条件2:VCPU资源需求总和大

分析-VM干扰影响服务时间最终导致Web应用性能抖实验服务时间改变是导致 用

transmissionHttp响应Http响应时间改变本质是服务时间的改变引起参 配VMM绑定参将两个Web应用JEEServer数 组件绑定到不同物理 数 JEEServer组件绑定到不物理并发 Service

ProcessProcessWaitWeb量化——服务时间相对于VM无干扰状态，Web应用相同负载在无干

Web应用物理资源期望，

TsTsb

本质上是计算获取期望物理资源变慢量化——可用物理资源计AU(Web)的计CPU资源竞争判定：Useage(CPU)>VM干扰判定AU(Web)计算公式0123 量化——物理资源期望的计EU(Web)的计无干扰下CPUEU

*U(Tsb期望误差为终止条件，采用 近法训响应时间计算-基于M/G/1性能模

Err队 服务构

基于M/G/1排队论模rt(JEE)

E[SA]Tt

Ts(JEE)Tw(JEE)Tt(JEE),w实验—实验内容与环VM干扰要素对性能分析准确性影本方法性能分析的准确VM干扰分布改变条件下本方法性能分析的准确 宇航局(NASA)和环保负载要求泊松分布的约实验—VM干扰要素对性能分析准确性影最大性能分析误差最大性能分析误差不考不考虑CPU上下文开不考虑CPU资源竞最大性能分析误差实验-本方法性能分析的准确服务时间估算准确性实实验-VM干扰改变条件下本方法性能分析的准确 测试时间为100分钟,其中在第50分钟执行新启虚拟WhiteboxApproach二、虚拟化环境下Web应容量规划技负 虚拟化资源需资源资源成本：虚拟机使用价[1]GueyoungJung,MattiA.Hiltunen,KaustubhR.Joshi,RichardD.Schlichting,CaltonPu.Mistral:DynamicallyManagingPower,Perfomance,andAdaptionCostinCloudInfrastructures.InternationalConferenceonDistributedComputingSystems.2010操作耗时操作耗时性能衰减可达水平扩展转换成本转换成本是指资源供给耗时长并伴随性能衰减的代价[1][15]UpendraSharma,PrashantShenoy,SambitSahu,AneesShaikh.ACost-awareElasticityProvisioningSystemfortheCloud.InProc:InternationalConferenceonDistributedComputingSystems2011[Xu@ICAC排队论模型建立当前负载下应用的虚拟化资源需求；容器控[Clark@NSDI05,Rolia@NOSM06,Cherkasova@ICAC07,转换成本敏感的容量规划方法[Upser@ICDCS容量规划时考虑获取虚拟机资源操作的转换成本，并按转换成本从下到大排序，在最小成本约束下采用贪婪算法实现最换周期为1分钟，那么稳定周期99分钟为资源成本最小化频繁服务质量违关系，导致负载突变模式下出现频繁服 量违研究思路——Web应用容量规划方在该过程中分服 的满意转换周稳定周整体周

𝑇𝑡𝑎𝑛𝑠𝑖𝑡𝑖𝑜𝑛=ApplicationMiddlewareApplicationMiddleware

𝑇𝑡𝑎𝑛𝑠𝑖𝑡𝑖𝑜𝑛

+

∗例位置，内存迁移开迁移：仅更改VM整体周期𝑇𝑡𝑜𝑡𝑎𝑙的估算（基于历史数据分析的方法Web负载变化具有相关性、自相似性特点，而第j次𝑇𝑡𝑜𝑡𝑎𝑙(1E第j次𝑇𝑡𝑜𝑡𝑎𝑙(1Emjk1EP

) ik1Emj

jj

1EE EE

11

k1 1

j 具有收益和成本两个采用归约法转换成“最优解即“收益/成本实验—实验内容与环整体周期准确性实本方法与Infrastructure-cost-aware方法对比实本方法与Transition-cost-aware方法对比实Time-of-day负载:来源于1998年flashcrowds模式:来自于惠普公

Table4VMpriceBalloonCloud1core,1GBBalloonCloud1core,1GB2core,2GB4core,4GB实验一整体周 的准确资源重配置整体周期的准确性验平均误差不到 最大误差超过40%，但快速收 FlashCrowds负载模实验-与Infrastructure-cost-aware方法对比实Benefit-aware方法和Infrastructure-cost-aware方法对比实

多支付5%左右的成Workload(requestrateperSWorkload(requestrateperSSSSSSSSSS

SSSSSSSSSSS

SSSSSSWorkloadWorkload(requestrateper

SS

SSSSS

SSSSSS

BA

S

LS

SS

LS

SS

SSSSSSSSSSBA

能有效减少服务质量违约次数22%左 FlashC7ds负载模工作进展-与Transition-cost-aware方法对比实服 基本一LSLSS

能减少15%的资源成WorkloadWorkload(requestrateper

S

SSSSS

LSSS$0

SSSS

TCALSSBALSS

SS

LS SSSSS SSS

SSSS

SS

TCABAS

FlashCrowds负载模二．工作进展Web应用放置优化方法：假设物理机最大容积是3台虚拟虚拟

最优放置策略[Zhang@ICAC07,Urgaonkar@ACMTrans08,Jung@Middleware09,Web应用放置优化方法：假设物理机最大容积是物理机放置优化不应以峰值资源Web应用放置（不）相容模基于（不）相容模型的效用评基于效用最大化的放置优化算学术成果：完成高质量的学术2-3篇，申请发明专利2工程成果：实现具有虚拟化资源管理能力的Web应用宿主平二．工作进展已HengW,WenboZ,JunW,Tao,H.Benefit-awareOn-demandProvisioningApproachforCloudComputing[J]FrontiersofComputerScienceinChina（Accepeted）(SCIHengW,WenboZ,JunW,Tao,H.Benefit-awareOn-demandProvisioningApproachforCloudComputing[C].Internetware2011.(ACM),,.云计算技术研究综述,NCSCJianhuaZhang,WenboZhang,HengWu,TaoHuang.VMFDF:AVirtualization-basedMulti-LevelFau etectionFramewo