企业端点防护性能基准测试SEP121对比测试

1、企业端点防护性能基准测试 SEP12 1对比测试企业端点防护性能基准测试(Windows 7)-Symantec Endpoint Protection 12.1防护性能对比测试摘要PassMark Software于2010年9月至2011年1月期间对五款公开上市的企业端点防护产品以及Symantec Endpoint Protection 12预测试版在Windows 7上进行了目标性能测试。该报告列出了这些性能测试的结果。测试的软件产品如下：Kaspersky Business Space Security；McAfee Total Protection for Endpoint；Mic

2、rosoft Forefront Endpoint Protection 2010；Trend Micro OfficeScan；Sophos Endpoint Security；Symantec Endpoint Protection。我们使用十三项性能标准对上述产品进行了基准测试，以评估产品性能以及对端点或客户端计算机的系统影响。测试中使用的标准如下：Word文档启动和打开时间；Internet Explorer启动时间；启动时间；按需扫描时间；计划扫描时间；扫描期间的CPU使用率；浏览时间；文件复制、移动和删除；文件压缩和解压缩；文件写入、打开和关闭；系统空闲时的内存使用量；扫描时的内存

3、使用量；以及系统空闲时的CPU使用量。得分和排名PassMark Software根据每款产品在各个标准中的排名指定了相应的分数。每款产品的得分依据的是六款产品在每个测试中的排名。下表列出了每款产品在标准中的排名与其所获分数的对应关系：我们将每款产品在每项标准中获得的分数相加得出总分和排名。假定一款产品在各项标准中均排名第一，那么这款产品在测试中可能获得的最高分数是78分。下表按排名顺序列出了每款产品在我们的测试中获得的总分和最终结果：产品与版本在本报告中，我们测试了以下版本的企业安全解决方案：性能标准摘要我们选择了一组客观标准，这些标准全面而客观地反映了端点防护产品可能会在哪些方面影响最终用

4、户的系统性能。我们的标准用于测试软件对最终用户日常执行的常见任务的影响。第三方可复制PassMark Software的所有测试方法，使用同样的环境获得相似的基准结果。本报告中附录2方法介绍详细介绍了我们测试中所使用的方法。基准测试1 Word文档启动和打开时间该标准用于衡量安全软件对端点系统的响应性和性能产生的影响。此次测试之所以选择Microsoft Word，是因为office软件在商业计算机中比较常用。为了测试产品在这项标准中表现出来的性能，我们测量了从Microsoft Word启动一个大型混合媒体文档所需的时间。鉴于操作系统的缓存影响，我们对首次启动时间和后续启动时间都进行了评估。

5、最终结果是这两次评估时间的平均值。基准测试2 Internet Explorer启动时间与Word文档启动和打开时间标准一样，此标准只是众多客观衡量产品对系统响应性所产生影响的方法之一。该标准用于评估启动Internet Explorer 8的用户界面所需的时间。鉴于操作系统的缓存影响，我们对首次启动时间和后续启动时间都进行了评估。最终结果是这两次评估时间的平均值。基准测试3启动时间该标准用于评估计算机启动到操作系统所需的时间。安全软件一般是在Windows启动时启动的，这就增加了操作系统的启动时间，延迟了操作系统的启动。如果启动时间越短，则表明应用程序对计算机正常操作的影响越小。基准测试4按

6、需扫描时间所有端点防护解决方案的功能都旨在通过扫描系统上的文件检测病毒和其他各种恶意软件。该标准用于评估扫描一组干净文件所需的时间。我们的样本文件集总大小为5.42 GB，由最终用户计算机上的常见文件组成，例如媒体文件、系统文件和Microsoft Office文档。基准测试5计划扫描时间该测试是一项针对上述基准测试4按需扫描时间中使用的测试文件副本执行的扫描，但是，我们通过客户端用户界面或管理控制台(如果客户端上不存在该选项)设置了该扫描执行的特定时间。基准测试6扫描时的CPU使用率安全软件在执行恶意软件扫描时，CPU上的负载量可能会妨碍对端点计算机的正常使用，直至扫描完成。此标准衡量了端点

7、防护软件在执行扫描时的CPU使用百分比。基准测试7浏览时间通常情况下，端点防护产品会对从互联网或内部网下载的数据执行恶意软件扫描。这项操作可能会对浏览速度产生不利影响，因为产品要对Web内容执行恶意软件扫描。该标准用于评估浏览一组流行网站以从本地服务器持续下载到用户浏览器窗口所需的时间。基准测试8文件复制、移动和删除此标准用于衡量移动、复制和删除一组样本文件所需的时间。该组样本文件包含Windows用户日常使用的几种文件格式。这些格式包括文档(例如Microsoft Office文档、Adobe PDF、Zip文件等)、媒体格式(例如图像、电影和音乐)以及系统文件(例如可执行文件、库等)。基准

8、测试9文件压缩和解压缩此标准用于衡量压缩和解压缩不同类型文件所需的时间。这项测试中使用的文件格式包括文档、电影和图像。基准测试10-文件写入、打开和关闭此基准测试源于上的Oli Warner文件I/O测试(请参见参考资料#1：导致Windows速度降低的真正原因)。此标准用于衡量写入、然后打开并关闭一个文件所需的时间。基准测试11系统空闲时的内存使用量计算机空闲时的内存使用量可以很好地说明端点防护软件长期消耗的系统资源。此标准用于衡量计算机和端点防护软件在空闲时所使用的内存(RAM)量。内存使用总量的计算方式为确定所有端点防护软件进程以及各进程使用的内存量。基准测试12-扫描时的内存使用量此标

9、准用于衡量防病毒扫描期间产品使用的内存(RAM)量。内存使用总量的计算方式为确定防病毒扫描期间所有端点防护软件进程以及各进程使用的内存量。基准测试13系统空闲时的CPU使用量此标准用于衡量防病毒软件在系统空闲时向CPU加载的平均负载量。测试结果在下面的图表中，我们用黄色突出显示了Symantec Endpoint Protection的测试结果。为了便于比较，我们用还用灰色突出显示了平均值。基准测试1 Word文档启动和打开时间(毫秒)下面的图表对启动Microsoft Word和打开一个10MB文档所用的平均时间进行了比较。在这类测试中，启动用时越短，表明产品性能越好。基准测试2 Inter

10、net Explorer启动时间(毫秒)下面的图表对Internet Explorer持续加载所需的平均时间进行了比较。在这类测试中，加载用时越短，表明产品性能越好。基准测试3启动时间(秒)下面的图表针对每款测试产品的系统启动(以五次启动为一个样本)所需的平均时间进行了比较。在这类测试中，启动用时越短，表明产品性能越好。基准测试4按需扫描时间(秒)下面的图表对扫描一组总计5.42 GB的媒体文件、系统文件和Microsoft Office文档所需平均时间进行了比较。我们的最终结果以五次扫描的平均时间来进行计算，每次扫描拥有相同的权重。在这类测试中，扫描用时越短，表明产品性能越好。基准测试5-计

11、划扫描时间(秒)下面的图表对扫描一组总计5.42 GB的媒体文件、系统文件和Microsoft Office文档所需平均时间进行了比较。我们的最终结果以五次扫描的平均时间来进行计算，每次扫描拥有相同的权重。在这类测试中，扫描用时越短，表明产品性能越好。基准测试6扫描时的CPU使用率(百分比)下面的图表对扫描一组总计5.42 GB的媒体文件、系统文件和Microsoft Office文档期间CPU的平均使用率进行了比较。在这类测试中，CPU使用率越低，表明产品性能越好。基准测试7浏览时间(秒)下面的图表对使用Internet Explorer通过局域网从本地服务器上持续加载一组流行网站所需的平均

12、时间进行了比较。在这类标准中，浏览时间越短，表明产品性能越好。基准测试8文件复制、移动和删除(秒)下面的图表针对各测试产品对复制、移动和删除多组样本文件所需的平均时间进行了比较。在这类测试中，用时越短，表明产品性能越好。基准测试9文件压缩和解压缩(秒)下面的图表针对各测试产品对压缩和解压缩样本文件所需的平均时间进行了比较。在这类测试中，用时越短，表明产品性能越好。基准测试10-文件写入、打开和关闭(秒)下面的图表针对测试的每款互联网安全产品将一个文件写入到硬盘，然后打开并关闭180,000次所需的平均时间进行了比较。在这类测试中，用时越短，表明产品性能越好。基准测试11系统空闲时的内存使用量(

13、MB)下面的图表对各产品在系统空闲时使用的平均内存量进行了比较。该平均值是通过系统重新启动约60秒后捕获的十个内存快照样本得出的。在这类测试中，空闲期间内存使用量越少，表明产品性能越好。基准测试12扫描时的内存使用量(MB)下面的图表对各产品在防病毒扫描期间使用的平均内存量进行了比较。此平均值的依据是对软件以前没有扫描过的样本文件进行一次扫描，在此期间每5秒拍摄十个内存快照样本，由此计算得出。在这类测试中，扫描期间内存使用量越少，表明产品性能越好。基准测试13系统空闲时的CPU使用率(百分比)下面的图表对系统空闲时的CPU平均使用率进行了比较。在这类测试中，CPU使用率越低，表明产品性能越好。

14、下载位置本报告的电子版可以在以下位置找到：Protection 2011-Performance Testing-Enterprise-Report 2.pdf附录1测试环境端点计算机 Windows 7(64位)在此次测试中，PassMark Software使用了Windows 7旗舰版(64位)测试环境和以下规格的硬件：CPU：Intel Core i5 显卡：ATI Radeon 4350 1GB主板：ASUS V-P7H55E、LGA1156内存：4GB DDR3内存，1333Mhz硬盘：三星1.5TB 7200RPM网卡：千兆位(1GB/s)Web页面和文件服务器 Windows

15、2008(32位)未直接对Web和文件服务器进行基准测试，但性能测试期间将Web页面和文件由端点计算机进行处理。CPU：Pentium 43200 MHz显卡：集成显卡主板：Intel D865PERL内存：1GB硬盘：Seagate ST 380023AS 80GB网卡：千兆位(1GB/s)管理控制台虚拟机服务器 Windows 7(64位)没有直接对该服务器进行基准测试，但将其用作虚拟机的主机，用于安装软件的企业组件。安装完毕后，将该管理控制台服务器用于向客户端部署端点软件和计划扫描。CPU：AMD Phenom II x4 940(四核)显卡：ASUS GeForce 9400GT主板：

16、Gigabyte GA-MA790XT-UD4P内存：16GB PC3-10600 1333MHz DDR3内存硬盘：Western Digital Caviar Green WD10EADS 1TB Serial ATA-II网卡：千兆位(1GB/s)附录2方法介绍基准测试1 Word文档启动和打开时间Word界面的平均启动时间是使用AppTimer(v 1.0.1008)得到的。其中包括启动Word 2007应用程序和打开一个10MB的文档所需的时间。这项测试实际上与用户界面启动时间测试相同。对于接受测试的每项产品，我们总共获得了15个样本，即分为5组，每组执行3次Word启动操作。执行每

17、组测试之前，我们都会重新启动，以清除操作系统带来的缓存影响。计算结果时，我们会将每组测试的第一次启动时间分离出来，这样，就可以得出一组系统重新启动后的首次启动时间值与一组后续启动时间值。我们可以求后续启动时间的平均值，以此获得后续启动平均时间。该测试的最终结果是后续启动平均时间与首次启动时间的平均值。AppTimer是一款公开发布的工具，可以从PassMark Website下载。基准测试2 Internet Explorer启动时间Internet Explorer界面的平均启动时间是通过AppTimer来得到的。对于接受测试的每项产品，我们总共获得了15个样本，即分为5组，每组执行3次In

18、ternet Explorer启动操作。执行每组测试之前，我们都会重新启动，以清除操作系统带来的缓存影响。计算结果时，我们会将每组测试的第一次启动时间分离出来，这样，就可以得出一组系统重新启动后的首次启动时间值与一组后续启动时间值。在该测试中，我们使用了Internet Explorer 8(Version 8.0.6001.18783)作为测试浏览器。我们可以求后续启动时间的平均值，以此获得后续启动平均时间。该测试的最终结果是后续启动平均时间与首次启动时间的平均值。基准测试3启动时间为了在Windows 7平台上获取更精确、一致的启动时间值，PassMark Software使用了Micro

19、soft Windows 7SDK(可从Microsoft Website下载)Windows Performance Toolkit 4.6版中带视图的工具。我们首先通过xbootmgr.exe使用准备系统测试的xbootmgr.exe-trace boot prepSystem命令优化了6次启动流程。同时，丢弃了优化流程中获取的启动结果信息。完成启动优化后，使用xbootmgr.exe-trace boot-numruns 5命令执行该项基准测试。该命令可以连续启动5次系统，能够为我们记录下每个启动周期的详细启动信息。最后，使用后处理工具分析启动结果信息并获得BootTimeViaPost

20、Boot值。该值就是系统完成所有(和仅有)启动流程所用的时间。我们最终结果是5个启动结果的平均值。基准测试4按需扫描时间按需扫描时间用于衡量每款端点产品通过在Windows Explorer中右键单击上下文菜单的方式扫描一组样本文件所需的时间。所用的样本文件在任何情况下都是相同的，由系统文件和Office文件组成。其中总共包含8502个文件，总大小为5.42 GB。这些文件大多数来自Windows系统文件夹。由于文件类型会影响扫描速度，因此，我们对这组样本文件中的主要文件类型、文件数和文件总大小做了细分。.avi 247 1024MB.dll 773 25MB.exe 730 198MB.gi

21、f 681 63MB.doc 160 60MB.docx 267 81MB.jpg 2904 318MB.mp3 333 2048MB.png 451 27MB.ppt 97 148MB.sys 501 80MB.wav 430 260MB.wma 585 925MB.xls 329 126MB.zip 14 177MB如有可能，在执行这类扫描任务时，不要启动产品的用户界面，而是右键单击测试文件夹，选择立即扫描选项，即便一些产品要求进入用户界面才能扫描文件夹也是如此。为了记录扫描时间，我们使用了产品的内置扫描计时器或报告系统。对于无法实现这种方式的情况，我们会通过秒表手动来记录扫描时间。对于每

22、个产品，我们会为其记录5个样本值。在此期间，会在记录了每个样本值后重新启动计算机，以消除操作系统带来的缓存影响。我们的最终结果以五次扫描的平均时间来进行计算，每次扫描拥有相同的权重。基准测试5计划扫描时间该测试所用的数据集与按需扫描时间衡量标准(上述)所用的相同，但扫描操作是通过用户界面按计划来执行的。如果不能选择这样的扫描方法，我们会通过管理控制台(如有)来安排扫描计划。我们的最终结果以五次扫描的平均时间来进行计算，每次扫描拥有相同的权重。基准测试6扫描时的CPU使用率CPUAvg是一个命令行工具，它每秒大约对CPU的负载取样两次。据此，CPUAvg可以计算并显示它活动间隔时间的平均CPU负

23、载。对于这项标准中，CPUAvg用于衡量执行扫描时间测试期间系统的平均CPU负载(百分比)。最终结果由五组三十个CPU负载样本的平均值计算得出。基准测试7浏览时间我们使用HTTPWatch(Basic Edition 6.1版)和一个脚本记录从本地服务器上连续加载106个流行网站所用的时间。我们会先用该脚本将大量URL载入HTTPWatch，然后再用该工具来引导浏览器按顺序加载页面，监控浏览器在一个页面上加载所有项目所用的时间。在该测试中，我们使用了Internet Explorer 8(Version 8.0.6001.18783)作为测试浏览器。该测试中所用的网站集都包含了高流量的首页。其

24、中包括购物、社交、新闻、财经和咨询网站。我们会对浏览时间测试5次，然后会选择这5个测试结果的平均值作为最终结果。我们会在测试不同的产品时重启本地服务器，并且还会在系统执行Adobe Flash(大多数流行网站所用的插件)安装检测前执行首次测试。基准测试8文件复制、移动和删除该测试用于评估系统复制、移动和删除各种样本文件所需的时间。该样本由809文件组成，大小在683,410,115字节以上，可以分为文档总文件的28%、媒体文件总文件的60%和PE文件(如系统文件)总文件的12%。对于该测试，我们执行了五次。同时会在每次测试之间重新启动测试计算机以消除可能存在的缓存影响。最后计算出了复制、移动和

25、删除这组样本文件所需的平均时间。基准测试9文件压缩和解压缩该测试用于评估压缩和解压缩一组样本文件所需的时间。在该测试中，我们使用了部分文件复制、移动和删除测试中用过的媒体文件和文档。CommandTimer.exe会记录7zip.exe以*.zip格式压缩文件和解压缩所创的*.zip文件所需的时间。这部分文件有404个，大小在277,346,661字节以上。下表显示了这组样本文件中的文件类型、文件数和总大小的细分情况：对于该测试，我们执行了五次。同时会在每次测试之间重新启动测试计算机以消除可能存在的缓存影响。最后计算出了压缩和解压缩这组样本文件所需的平均时间。基准测试10-文件写入、打开和关闭此基准测试源于上的Oli Warner文件I/O测试(请参见参考资料#1：导致Windows速度降低的真正原因)。针对此项测试，我们开发了OpenClose.exe，这是一个可以将一个小文件循环写入硬盘，然后打开并关闭该文件的应用程序。CommandTimer.exe用于计算执行180,000个周期的流程所需的时间。对于该测试，我们执行了五次。同时会在每次测试之间重新启动测试计算机以消除可能存在的缓存影响。最后计算出了文件写入、打开并关闭所需的平均时间。基准测试11系统空闲时的内存使用量在该测试中，我们使用PerfLog+实用工具记录了进