ESXi性能系列之二 虚拟机CPU优化指南

1、 2014 VMware Inc. All rights reserved.ESXi性能系列之二性能系列之二 虚拟机虚拟机CPU优化指南优化指南万翀VMware大中华区三线技术支持2014.11.27前言前言CONFIDENTIAL2应用应用操作系统（操作系统（GuestOS+ToolsGuestOS+Tools）虚拟机（虚拟机（VMX/VMMVMX/VMM）Hypervisor Hypervisor vmkernelvmkernel硬件硬件CONFIDENTIAL3应用应用操作系统（操作系统（GuestOS+ToolsGuestOS+Tools）虚拟机（虚拟机（VMX/VMMVMX/VMM）

2、Hypervisor Hypervisor vmkernelvmkernel硬件硬件处处理理器器内内存存Network网网络络Storage存存储储前言前言CONFIDENTIAL44分析分析工具工具EsxtopvmkstatsvProbevscsistatsvstracetop,free,netstat,iostat, vmstat, systemtap,oprofileLog,sed,awk,grep,rrdPerfmonHALPowerPolicyC-stat,P-statx2apicclockddSuper_piiperf应用应用操作系统（操作系统（GuestOS+ToolsGuest

3、OS+Tools）虚拟机（虚拟机（VMX/VMMVMX/VMM）Hypervisor Hypervisor vmkernelvmkernel硬件硬件 处处理理器器 内内存存Network 网网络络Storage 存存储储前言前言CONFIDENTIAL5BIOSvmkernelVMguestOSCPU性能性能优化优化议题议题内存内存性能调试性能调试网络网络性能调试性能调试存储存储性能调试性能调试硬件优化硬件优化电源模式pCPU虚拟化开关x2apic硬件硬件优化优化#1#1CONFIDENTIAL7pBIOS中打开CPU虚拟化技术选项Intel VT-XAMD AMD-VCPU的虚拟化技术直接影

4、响虚拟机指令执行模块VMM的执行性能硬件硬件优化优化#2#2CONFIDENTIAL8p电源模式选项 关闭节电高性能策略OS Control模式节电使物理CPU在低频下运行虚拟机，对虚拟机内的操作系统透明CONFIDENTIAL9硬硬件优化件优化#2#2硬件硬件优化优化#3#3CONFIDENTIAL10px2APICAuto/enable wikipedia/wiki/X2APICIntel spechttp:/ -参考资料参考资料 知识库文章：处知识库文章：处理理器电源管理设置导致虚拟机应用性能问题器电源管理设置导致虚拟机应用性能问题Poor v

5、irtual machine application performance may be caused by processor power management settings (1018206) http:/ 技术白皮书之性能学习：技术白皮书之性能学习： ESXi5.1ESXi5.1及及ESXi5.5ESXi5.5电源管理与性能电源管理与性能http:/ 官方博客：官方博客： ESXi5.1ESXi5.1电源管理与性能测试对比电源管理与性能测试对比http:/ vmkernelmkernel CPUCPU关键指标关键指标CPU Pool就绪时间Ready利用率Used&Run同

6、步时间cstop资源限制MLimit绑定Affinity资源池限制LAT_CCONFIDENTIAL13VmkernelVmkernel-CPU-CPU指标指标#1 (CPU#1 (CPU利用率利用率) )CPU利用率计算方法有两种，根据时间和根据频率来计算使用情况。如果没有打开CPU超线程技术，只会显示PCPU USED和PCPU UTIL。在这种情况下，红蓝色方框针对一个虚拟机的值基本一样，或者相差甚少。如果开启了超线程，会多显示CORE UTIL记录，即黄色方框部分，这时红蓝方框的值大约相差一倍。如果红色方框的值相差很多，比如蓝色方框的对比相差约8倍，说明物理CPU在节电模式下运行，导致

7、虚拟机性能慢。配置电源管理交由ESXi控制。CONFIDENTIAL14下面这幅图是没有开启超线程的情景， PCPU USED和PCPU UTIL相差1倍，说明主机在BIOS级别有开启CPU节电功能。虚拟机开机启动会比较慢。VmkernelVmkernel-CPU-CPU指标指标#1 (#1 (CPUCPU利用率利用率) )CONFIDENTIAL15虚拟机vCPU就绪时间（%RDY）反映了vmkernel是否能够及时调度虚拟机到物理CPU上。如果vmkernel需要较长时间完成该调度工作，则虚拟机在相同时间里获得物理CPU的机会就会减少，虚拟机性能会受到明显影响。如果虚拟机vCPU数量多，v

8、mkernel调度该虚拟机的难度就会加大，因为必须在同一时刻有和vCPU相同数量的物理CPU空闲该虚拟机才能被调度成功。图例显示物理CPU利用率较高，多台虚拟机RDY值较高(10)，说明主机负荷较重，虚拟机之间存在CPU竞争。迁移部分虚拟机是快速简单而又有效的方法。VmkernelVmkernel-CPU-CPU指标指标#2 (CPU#2 (CPU就绪时间就绪时间) )CONFIDENTIAL16VmkernelVmkernel-CPU-CPU指标指标#3 (CPU#3 (CPU同步时间同步时间) )虚拟机vCPU同步停止时间（%CSTP）是虚拟机在多处理器环境下需要处理器的速度一样。如果某个

9、CPU速度快了，该CPU需要跑慢点等待运行速度慢的CPU跟上。CSTP反映虚拟机内部vCPU之间的速度一致性，或者内部竞争关系。如果同步停止时间长，虚拟机vCPU速度会变慢从而带来性能问题。如果该值较高，说明该虚拟机有可能不需要这么多vCPU，也有可能说明有的vCPU在处理等待慢速IO操作结束,比如磁盘读写。由于虚拟机快照对vmdk文件访问的特殊性，有可能造成CSTP值偏高而导致虚拟机性能问题。CONFIDENTIAL17VMkernelVMkernel-CPU-CPU指标指标#4 (#4 (资源限制资源限制) )如果设置了vCPU资源限制不适当，也会导致虚拟机性能低。图例中该虚拟机仅仅分配了

10、10MHz的CPU频率。CONFIDENTIAL18VMkernelVMkernel-CPU-CPU指标指标#4 (#4 (资源限制资源限制) )该虚拟机CPU利用率低，但Ready时间高，说明该虚拟机被调度到物理虚拟机的机会少；而不管主机的物理CPU利用率还是虚拟机的CPU利用率都低说明不是由CPU计算资源竞争或者过度消耗造成。MLMTD的值高并导致了Ready值高，说明该虚拟机是由于资源限制的配置不当造成的。VMkernelVMkernel-CPU-CPU指标指标#4 (#4 (资源限制续资源限制续) )CONFIDENTIAL20VmkernelVmkernel-CPU-CPU指标指标#

11、5 (#5 (资源池限制资源池限制) )CONFIDENTIAL21VmkernelVmkernel-CPU-CPU指标指标#6 (#6 (绑定绑定- -Affinity)Affinity)虚拟机配置虚拟机配置虚拟机调度VMM选项滞后时间敏感CONFIDENTIAL23虚虚拟机拟机配置配置#1 (VMM#1 (VMM选项选项) )使用不同类型的虚拟化技术，对虚拟机性能影响很大BT软件虚拟化对Java类型的应用支持较好硬件虚拟化适用于大多数的情况使用BT：CPU使用软件虚拟化技术，内存使用软件虚拟化技术CPU使用硬件虚拟化技术，内存使用软件虚拟化技术CPU使用硬件虚拟化技术，内存使用硬件虚拟化技

12、术自动选择指令和寻址的VMM，通常都是使用硬件虚拟化技术CONFIDENTIAL24虚拟机配置虚拟机配置#1 (VMM#1 (VMM配置记录配置记录) )如如果使用默认自动选择果使用默认自动选择VMMVMM，可以打开虚拟机目录下的，可以打开虚拟机目录下的vmware.logvmware.log文件来确定实际使用的是硬件虚拟机还是软文件来确定实际使用的是硬件虚拟机还是软件虚拟化。使用件虚拟化。使用vivi命令打开该日志文件。命令打开该日志文件。查查找关键字找关键字“HV SettingsHV Settings”。下面红色部分显示该虚拟机运行态实际使用的虚拟化技术是硬件；黄色部分显。下面红色部分显

13、示该虚拟机运行态实际使用的虚拟化技术是硬件；黄色部分显示该物理示该物理CPUCPU以及客户机操作系统能够支持的虚拟化技术。以及客户机操作系统能够支持的虚拟化技术。BTBT是使用软件翻译指令和寻址，是使用软件翻译指令和寻址，HVHV是硬件翻译指令是硬件翻译指令，HWMMUHWMMU是采用硬件寻址。是采用硬件寻址。CONFIDENTIAL25虚拟机配置虚拟机配置#1” (VMM#1” (VMM实际实际记录记录) )查查找关键字找关键字“HV SettingsHV Settings”。下面红色部分显示该虚拟机运行态实际使用的虚拟化技术是。下面红色部分显示该虚拟机运行态实际使用的虚拟化技术是BTBT，

14、即软件虚拟化，即软件虚拟化；该虚拟机加电装载的配置文件也显示使用了软件方式翻译指令和寻址该虚拟机加电装载的配置文件也显示使用了软件方式翻译指令和寻址CONFIDENTIAL26虚拟机配虚拟机配置置#2 (#2 (调度调度参参数数1)1)Vmx: monitor_control.halt_desched=FALSE手工添加该参数到手工添加该参数到虚拟虚拟机配置文件机配置文件vmxvmx里。启动里。启动虚拟机后，虚拟机将独占已经绑定的物理虚拟机后，虚拟机将独占已经绑定的物理CPUCPU，及时虚拟机处于及时虚拟机处于idleidle状态也不会被置换出状态也不会被置换出物理物理CPUCPU，从而保证虚

15、拟机的，从而保证虚拟机的CPUCPU计算资源。计算资源。 该参数该参数用于测试、调优排查等场景，不用于生产环境。用于测试、调优排查等场景，不用于生产环境。使用参数后在使用参数后在esxtopesxtop里虚拟机占用里虚拟机占用CPUCPU会一直处会一直处于高位，是正常预期。于高位，是正常预期。旧版本旧版本ESXiESXi也可使用参数也可使用参数monitor.idleLoopSpinUS = -1CONFIDENTIAL27虚拟机配置虚拟机配置#2 #2 ( (调调度参数度参数2)2)参考：KB# 1018276 monitor.idleLoopSpinBeforeHalthttp:/ 白皮书

16、：http:/ (#2” (调度参数调度参数3-3-滞后时间敏感滞后时间敏感) )在 VMware vSphere 5.5 中部署对延迟极度敏感的应用：性能研究 PDFhttp:/ = highCONFIDENTIAL29虚拟机配置虚拟机配置#2” #2” ( (调度参调度参数数4)4)客户机操作系统客户机操作系统Linux Linux 内核配置启动参数内核配置启动参数 idle=pollidle=poll， LinuxLinux操作系统在操作系统在idleidle的时候不再向的时候不再向CPUCPU发送发送HALTHALT指令，而是发送指令，而是发送PAUSEPAUSE指令，这样在唤起指令，

17、这样在唤起CPUCPU的时候速度更快。的时候速度更快。 VMXVMX添加参数：添加参数：monitor_control.disable_pause_loop_exitingmonitor_control.disable_pause_loop_exiting = = truetrue该参数可以捕获客户机操作系统该参数可以捕获客户机操作系统LinuxLinux发出的发出的PAUSEPAUSE指令并识别后仍然让该虚拟机绑定在物理指令并识别后仍然让该虚拟机绑定在物理CPUCPU上运行。上运行。虚拟化性能数据采集虚拟化性能数据采集虚拟机统计数据主机性能esxtopCPU性能计数器vPMCESXiESXi

18、 基本性能收集基本性能收集 KB: Collecting performance snapshots using KB: Collecting performance snapshots using vmvm-support (-support (19671967) )KB: Collecting performance data for ESXi5.x hosts via the KB: Collecting performance data for ESXi5.x hosts via the vSpherevSphere client ( client (20091242009124) )

19、20s5s虚虚拟化性能数据采集拟化性能数据采集#1 (#1 (主机性能数据主机性能数据) )注注意：意：须选择主机或者以上对象须选择主机或者以上对象ESXi 基本性能收集 虚虚拟化性能数据采集拟化性能数据采集#1 (#1 (主机性能数据主机性能数据) )CONFIDENTIAL33虚拟虚拟机机配置配置#2 (#2 (虚拟虚拟机统计数据机统计数据GUI)GUI)KB: 2009512KB: 2009512http:/ )命命令行操作参考令行操作参考 KB: 2009512KB: 2009512http:/ # 1. # # 1. 获取虚拟机名称信息获取虚拟机名称信息# vim-cmd vmsvc

20、/getallvms# # 2. # # 2. 打开数据收集开关打开数据收集开关# /bin/vmx-buildtype -vmname= -server localhost -buildType stats ssr# # 3. # # 3. 检查并确认开关状态检查并确认开关状态# head n1 /vmfs/volumes/vmware.log# # 4. # # 4. 开始压力测试开始压力测试# # 5. # # 5. 关闭收集开关关闭收集开关# /bin/vmx-buildtype -vmname= -server localhost -buildType release -ssr# #

21、 3. # # 3. 检查并确认开关状态检查并确认开关状态# head n1 /vmfs/volumes/vmware.logCONFIDENTIAL35虚拟机配置虚拟机配置#2”(#2”(虚拟虚拟机统机统计数计数据据分析分析) )举例分析：配置2颗vCPU的虚拟机运行Super-PI压力测试，采样周期5分钟CONFIDENTIAL36虚虚拟化性能数据采集拟化性能数据采集#3 (CPU#3 (CPU性能计数器性能计数器vPMCvPMC) )Compatibility pCPU Intel Xeon Core i7AMD Greyhound VT-X or AMD-V enabled ESXi

22、5.1 and later VM HW v9 and later EVC disabled enable vPMC in vSphere Web Client常常用用分析分析工具工具vtopESXiesxtopPerfmonWindowsxPerfoProfileLinuxSystemTapCONFIDENTIAL38常用工常用工具具#1 (#1 (esxtopesxtop) )Vtop http:/ (#2 (vtopvtop) )Windows Perfmonhttps:/ (How-To Steps)https:/ (Illustration) 常用工常用工具具#3 (#3 (perfm

23、onperfmon - windows)- windows)Xperf http:/ (download) http:/ (How-To)常用工常用工具具#4 (#4 (xperfxperf - windows) - windows)CONFIDENTIAL42Oprofile主页http:/常用工常用工具具#5 (#5 (oProfileoProfile - Linux) - Linux)参考资料参考资料3-13-1Gathering esxtop performance data at specific times using crontab http:/ Exporting esxtop

24、 performance data as a CSV file and manipulating it from the command-linehttp:/ High CPU utilization of inactive Windows virtual machines (HAL)http:/ Interpreting esxtop Statistics https:/ 参考资料参考资料3-23-2How to analyze and compare 2+ ESXTOP logs with Windows Perfmonhttp:/www.viktorious.nl/2012/11/01/

25、how-to-analyze-and-compare-two-or-more-esxtop-logs-with-perfmon/Using Perfmon For Accurate, ESX Performance Counters https:/ Time to Learn Windows Performance Analyzer!http:/ Xperf for Excess CPU Consumption: WPA editionhttp:/ 参考资料参考资料3-33-3PR# 944276 srVM display refreshes very slow when user stock application is receive real time data(network receives packets 300400