（教育技术学专业论文）多媒体网络教学系统中的组合模块性能测试研究.pdf

独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论文与资料若有不实之处， 本人签名：抽政砬 本人承担一切相关责任。 日期：卫垒：l 乏 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北 京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编 学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： e t 期： 丝：i ：l 至 日期：1 业五业一 北京邮电大学硕士学位论文 多媒体网络教学系统中的组合模块性能测试研究 摘要 随着社会的不断进步和计算机科学技术的不断发展，w e b 系统正 以交互性、广泛性、快捷性和安全性等特点越来越受到青睐，并且在 商业、工业、金融、教育等各个领域产生了深远影响。w e b 应用程序 日益复杂，规模也逐渐增大，w e b 系统的质量和性能日益成为人们关 注的焦点。 软件测试是保证软件质量和可靠性的重要手段。在w e b 系统的开 发过程当中，w e b 系统测试尤其是软件性i i i i 试已经成为一个必不可 少的重要环节。软件测试不仅可以保证软件的正确性，它还从软件性 能方面对w e b 系统进行测试，确保为用户提供一个功能和性能都健硕 的系统。 、 本文基于对性能测试理论、方法的综合研究，构建了一种w e b 系 统组合模块性i i i i 试的过程模型，对性i i i i 试各阶段工作和关键步骤 作科学定义和准确描述，将各环节之间的有机联系，层层推进的有效 性、合理性，从理论层面和实验的角度进行归纳和实证，为软件企业 性z h , 匕l - , 伙。l i l q l l 试的实践过程提供了参考和指导。本文还根据该过程模型的建 立策略，具体设计了多媒体网络教学系统的组合模块性i i i i 试方案并 应用于实践，在原先单一模块的性能测试方法基础之上，提出了针对 多个模块按照实际比例进行组合的基于组合模块的性能测试方法。结 合系统模块的功能特点，引入性能测试工具l o a d r u n n e r ，重点描述 了测试计划、测试设计与开发、测试执行和测试分析阶段的过程，有 效实现了基于组合模块的测试脚本的开发以及针对不同条件下不同 性能指标的大量测试数据进行的综合性能分析等等关键技术活动。通 过对测试结果的综合分析，找到了系统存在的主要性能问题及瓶颈， 给出了有效的优化建议。整个应用过程表明所提供的w e b 系统性能测 试过程模型具有适用性，也验证了改进后的基于组合模块的多媒体网 络教学系统性i i i i i 试方法的有效性。 北京邮电人学硕_ 上学位论文 关键词：性能测试组合模块多媒体网络教学系统 l l 北京邮电大学硕士学位论文 p e r f o r m 渔n c et e s t i n gf o rc o m b i n a t i o no f m o d e li nt h e t i m e d i an e t w o r k e d u c 棚o ns y s t e m a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rs c i e n c ea n dt e c h n o l o g y , t h e w e bi sw i d e l yu s e df o ri t se x t e n s i v e ，i n t e r a c t i v e ，f a s ta n ds a f ef e a t u r e s ，a n d t h ew e bt e c h n o l o g yh a sh a daf a rr e a c h i n gi m p a c to nt h et r a d ，t h e i n d u s t r y , t h ef i n a n c i a l ，e d u c a t i o na n do t h e rf i e l d s w e ba p p l i c a t i o n a r e b e c o m i n gm o r ea n dm o r ec o m p l e x ，t h es c a l ei sg r a d u a l l yi n c r e a s i n g ，a n d p e o p l e a r em o r ec o n c e r n e da b o u tw e ba p p l i c a t i o n s q u a l i t y a n d p e r f o r m a n c e t h es o f t - w a r et e s t i n gi sa ni m p o r t a n tm e a n st og u a r a n t e et h a tt h e i s s u eo fs o f t w a r e q u a l i t y a n d r e l i a b i l i t y i nt h ed e v e l o p m e n tp r o c e s s o fw e ba p p l i c a t i o ns y s t e m ，aw e bt e s t i n ge s p e c i a l l yt h ep e r f o r m e n c e t e s t i n g i sa n i m p o r t a n tp a r t f o rt h e p u r s u i t o ft h ew e b s a c c u r a t e ，e f f i c i e n c ya n dr o b u s t i no r d e rt op r o d u c et h em o s tr o b u s ta n d a c c u r a t ew e b s y s t e m ，w e bt e s t i n gn o to n l yn e e dt oc h e c ka n dv a l i d a t ei f t h es y s t e mi sr u n n i n gr i g h t ，b u ta l s on e e dt ot e s ti t sp e r f o r m a n c e b a s e do n t h et e s to ft h et e s t i n gt h e o r ya n dt e s t i n gm e t h o d ，t h i sp a p e rc o n s t m c t ea p r o c e s sm o d u l eo fc o m b i n a t i o n a lm o d e lp e r f o r m a n c et e s t ，w h i c hd e t a i l e d d e s c r i b et h ek e yo p e r a t i o no fe a c hs t e p ，a n dp r o v i d ear e f e r e n c ea n d g u i d a n c ef o rt h ep r a c t i c e o fs o f t w a r ec o m p a n i e s a n da l s o ，t h i sp a p e r s p e c i f i c a l l yd e s i g nt h ep r o g r a mf o r m u l t i m e d i an e t w o r ke d u c a t i o n s y s t e ma n da p p l yt ot h ea p p l i c a t i o na c c o r d i n gt os t r a t e g y o nt h eb a s i so f s i n g l e m o d u l ep e r f o r m a n c e t e s t i n g ，t h i sp a p e r c o n s t r u c t ean e w p e r f o r m a n c et e s t i n gm e t h o d ew h i c hi sb a s e do nt h ep r o p o r t i o no fa c t u a l u s e ro fe a c hm o d u l e a c c o r d i n gt ot h ef e a t u r e so ft h es y s t e m ，w em a k eu s e 北京邮电人学硕上学位论文 o ft h ep e r f o r m a n c et e s t i n gt o o ll o a d r u n n e r , w ef o c u so nt h es t 印o f t e s tp l a n ，t e s td e s i g n ，t e s te x e c u t ea n dt e s tr e s u l t sa n a l y s i s ，a n da c c o m p l i s h t h ek e ys t e d st h a ta n a l y z et h ep e r f o r m a n c eo fd i f f e r e n tp e r f o r m a n c e e v a l u a t i o n t h r o u g ht h ea n a l y s i so ft h et e s tr e s u l t s ，w ec a nf i n do u tt h e p o t e n t i a lb o t t l e n e c ko ft h es y s t e m ，a n do f f e rs o m es u g g e s t i o nt oo p t i m i z e t h es y s t e m a l lo ft h ep r o c e s si n d i c a t et h ew e bp r o c e s so fs y s t e mi s a p p l i c a b a la n dt h ei m p r o v e dp e r f o r m a n c et e s tm e t h o d eo f m u l t i m e d i a n e t w o r ke d u c a t i o ns y s t e mi sp r o d u c i n gt h ed e s i r e dr e s u l t k e yw o r d s ：p e r f o r m a n c et e s t i n g ，c o m b i n a t i o no fm o d e l ，m u l t i m e d i a n e t w o r ke d u c a t i o ns y s t e m 北京邮电大学硕二t ：学位论文 目录 第一章绪论。1 1 1课题背景1 1 2 课题内容及研究意义2 1 3国内外研究动态4 1 4 本文的主要工作及组织结构6 第二章w e b 系统性能测试综述。8 2 1w e b 系统的特点对w e b 测试的新要求8 2 2w e b 系统性能测试的必要性和重要性9 2 3w e b 系统性能测试的主要内容1 0 第三章w e b 系统性能测试过程模型的建构。1 2 3 1建构w e b 系统性能测试过程模型的依据1 2 3 1 1w e b 系统性日 匕l a 伙, , t h q l 试的特征与要求1 2 3 1 2 基于w e b 系统的性能指标集定义13 3 2w r e b 系统性能日匕t ! l ：, l i h q l 试过程模型的结构1 6 3 2 1 测试前期准备1 7 3 2 2 测试工具规划l8 3 2 3 测试计划19 3 2 4 测试设计与开发2 4 3 2 5 测试执行2 7 3 2 6 测试分析2 8 3 3w e b 系统性能测试过程模型的特点2 9 北京邮电大学硕：l ：学位论文 3 3 1完整性和可控性2 9 3 3 2 测试工具无关性2 9 3 3 3动态灵活性2 9 第四章基于多媒体网络教学系统性能测试过程模型的方案设计。3 0 4 1多媒体网络教学系统分析及其性能测试的要求3 0 4 2 运用过程模型具体制定多媒体网络教学系统性能测试的改 进方案3 3 4 2 1组建测试团队和性能预备测试3 4 4 2 2l o a d r u n n e r 工具的引入3 4 4 2 3 确定l o a d r u n n e r 工具的应用范围3 6 4 2 4 性能测试领域分析及性能目标的确定3 7 4 2 5 多媒体网络教学系统业务模块与用户活动分析_ 3 8 4 2 6 测试策略的制定。3 9 4 2 7 测试时间计划和执行标准的制定4 4 第五章基于多媒体网络教学系统性能测试过程模型的关键实现。4 5 5 1 测试场景和用例设计4 5 5 2 测试及监测结果分析5 4 5 3 基于过程模型的多媒体网络教学系统性目匕1 - , 伙；i i l u i l 试方法的改进 之处6 0 结论。6 3 参考文献6 5 驾【谢。6 7 l i 北京邮电大学硕士学位论文 第一章绪论 1 1 课题背景 近年来，世界各国的教育信息化发展迅速，促进了基础教育和高等教育的发 展。在这场轰轰烈烈的数字化浪潮中，大学逐渐为信息技术所渗透和包围，大学 的教学、科研和管理越来越倚重于计算机和网络技术。以美国为例，几乎所有的 大学和科研机构纷纷开发或者购买商用的教学管理系统来实现教学和教务管理， 根据e d u c a u s ec o r ed a t as e r v i c e2 0 0 6 年调查报告，已经有超过9 0 的美国大学 开始部署或者已经完成了w e b 服务。而且美国的中小学也开始利用网上课堂的 形式来开展教学。据北美网络学习理事会的统计结果，目前全美有1 0 0 万名从幼 儿园到高中的学生在虚拟课堂注册上课，入学人数在过去7 年里增加了2 0 多倍。 该事一理会预计，这一人数将继续以每年3 0 的比率增加。与此同时，中国的 教育信息化也发展迅速，从教育环境、教育模式到教育理念、教育目标，都在这 场冲击中发生着变革。随着全国中小学“校校通工程和“农村中小学现代远 程教育工程”的开展，许多中小学都可以方便的接入因特网。 各级教育部门为了实现优质的教育资源共享和管理也纷纷引进各种城域网 或校，园网的教学管理系统、教学资源库系统等等，这些系统也在一定程度上帮 助了当地的教育信息化建设，取得了明显的社会和经济效应。而且许多大学纷纷 制定数字化校园的发展规划，已经取得了很大进展，它不仅实现教学、科研、管 理及服务手段的现代化，更重要的是带来了人才培养的观念和教育理念的异常深 刻变革。由于网络教学平台在教育信息化中发挥着基础性的支撑作用，近几年获 得了广泛的应用。多媒体网络教学已成为已具备现代化教学条件的中小学、高校 信息技术与教学课程整合最普遍的应用环境。计世资讯( c c wr e s e a r c h ) 分析数据 显示，利用多媒体网络教室进行教学的学校占3 6 7 。自从国内第一个网络教 学平台4 a 出现之后，涌现了十几个类似的软件产品；国外的网络教学支持系统 也大举进入中国市场，比如b l a c k b o a r d 和w e b c t 等。这些网络教学平台的使用 促进了优质教育资源的共享，为学生的学习提供了一个良好的支持环境，促进了 教育的整体发展。 北京邮电大学硕士学位论文 然而，根据美国近十年的实践证明，美国高校依靠商业软件产品的做法带来 了许多难以解决的问题。最近的研究显示，在美国大学中“绝大多数院校的校长 和教务长都对他们当前正在使用的教育管理软件表示强烈不满意。对于那些最近 刚经历过某种校园管理系统建设的大学来说则更是如此。他们的不满主要集中 在三个方面：日益增长的软件成本无法令人满意的软件性能和r 益受制于人的 压力”由此可见，网络教学平台发展中的诸多问题已经严重制约了它在教育中的 应用和巨大潜力。 在这些问题中，尤以教育软件的性能问题最受关注，同一机构的网络教学平 台不能为需要服务的用户提供大并发量的、性能稳定的服务，并且随着用户数量 的增加会导致服务器的负载、用户的平均响应时间都会成倍增加，成为学校为学 生提供更好服务的最大障碍。它导致学校需要重新投资建设系统，造成人力和财 力的浪费，还进一步阻碍了教育资源整体优势的发挥。 由此可见，网络教学平台发展中的软件性能问题已经严重制约了它在教育中 的应用和巨大潜力。如何研究网络教学平台软件的性能，找到软件系统的性能瓶 颈并有针对性的对其进行优化以提高其提供服务的性能成为教育软件开发者需 要迫切解决的一个问题。 目前，对于网络教学平台软件的性能研究，国外已取得一定成果，提出了一 些理论、方法和策略，并且还有一些研究机构和组织开发了相关的性能测试工具。 但作为w e b 应用局部解决方案的组成部分，并没有建立起十分成熟完备的理论 体系；国内在w e b 性能测试，尤其是网络教学平台软件性能测试方面的研究和 开发才刚刚起步，还没有比较完善的测试模型和良好的测试工具，还有很长的路 要走。国内的部分网络教学平台研究机构已经逐渐展开了性能测试的相关工作， 因为没有成熟的理论体系来指导实践，基本上还处于初级摸索阶段。 1 2 课题内容及研究意义 本课题主要进行性能测试的理论研究及实践应用，旨在对性能测试的相关理 论、方法和策略进行应用性的深入研究，从而为基于w e b 应用系统的软件建立 一种性能测试的过程模型，并根据此模型的建立策略制定一套相应的实践方案， 具体应用到中国移动客服系统的性能测试中去，通过测试结果证明该方案的可行 性以及该性能测试过程模型的实用性。 课题项目介绍：多媒体网络教学系统是一个基于国产基础软硬件的产品。该 系统整合我国先进的网络教育关键技术的研究成果，重点突破运行在w i n d o w s 2 北京邮电大学硕士学位论文 上的网络教学系统向l i n u x 操作系统上移植的关键技术，服务器和桌面操作系统 均支持l i n u x 。 多媒体远程教学系统软件提供了丰富的学习资源和交流工具，实现了师生之 间和教师学生之间的及时交互，提供个性化的界面和指导，实现在线答疑，提高 学生的学习效率，同时还能满足教学及其管理的需要，可以向中小学提供教学资 源和技术支持。本系统是一种实用、易用、可靠、成本低廉的中小学网络教学系 统。 多媒体网络教学系统技术架构：如图1 1 所示。最底层为j 2 e e 平台，考虑 到移植性、可扩展性以及成本等因素，我们拟采用开源的j a v a 应用服务器 g l u e e o d e 作为中间件平台；中间层为业务逻辑；最上层是w e b 网站入口，用于 对w e b 网站进行集成与封装，并提供了统一的认证接口。 教学与管理网站 主要工具+ r i 多媒体交互 用户认证 课堂录制及课 中小学校面向1 2 所中海量教 l j 、 件自动生成 内教学管小学教学资 育资源 广1 。_ 。_ _ 。一 理 源共享 管理 课件播放 课件编辑 j 2 e e ( g l u e c o d e ) 资源转换 7 多媒体网络教学系统的支捧平台 l i n u xo s 、d b 2 c l o u d s c a p e 终端 服务软件、w e b 服务器等 n c 终端、n c 服务器、p c 图1 1多媒体网络教学系统的体系结构 多媒体网络教学系统的运行环境由校内运行环境与公共环境组成。校内运行 环境包括n c 教室以及终端服务器：w e b 服务器、资源管理服务器等构成的服 务器群。公共运行环境由w e b 服务器、f t p 服务器以及流媒体服务器等构成， 用于面向1 2 所中小学，乃至全国的中小学网络提供教学资源共享服务。 对于产品有如此大的应用范围来说，对于性能将会有较高的要求。针对目前 国内外w e b 系统性能测试的研究和实践现状，存在着以下的不足： ( 1 ) 在性能测试理论方面，大多是针对w e b 服务器的性能评测的研究，对基 于w e b 应用系统的性能测试理论研究较少，现有的研究多数也仅限于某一种局 部的测试方法，还没有形成成熟的理论体系。 3 北京邮电大学硕士学位论文 ( 2 ) 虽然有一些比较成熟的商业性能测试工具，但如何有效进行w e b 系统性 能测试，目前并没有一个系统和完整的回答，几乎很少有对于完整的w 曲系统 性能测试过程模型的研究和描述。性能测试中的难点仍然在于测什么、怎么测以 及如何分析测试结果，因此对w e b 系统性能测试进行科学的设计和控制，尤为 重要这就涉及到性能测试过程中各阶段关键括动的定义和描述( 尤其重要的是 设计阶段和分析阶段) 。 ( 3 ) 对于真正进行生产实践的大多数软件企业来说，由于紧凑的开发计划和 复杂的系统架构，w e b 系统的性能测试经常是被忽视的，再加上对性能测试还存 在不少认识上的误区，不能充分意识到其必要性和重要性，导致性能测试的设计、 组织和实施一直不容易开展，只是作为系统或是验收测试的部分活动来体现，甚 至有时仅以走形式的方式进行，这也是国内很多软件产品处于“亚健康”状态的 根本原因之一，由此可见，许多软件企业也迫切需要w e b 系统性能测试的相关 理论方法来指导应用实践。 本文的研究正是基于这种广泛的实践需求，从以上w e b 系统性能测试研究 的不足之处入手，站在全局的角度上，重点讨论了w e b 系统性能测试的过程， 结合其特点和要求建立起一种w e b 系统性能测试过程模型，对整个测试过程进 行科学有效的规划和控制，从而保证测试结果的客观性，针对性和有效性。 最后，运用建立的w e b 系统性能测试过程模型，针对多媒体网络教学系统 性能测试的特定要求，对测试工具规划、测试计划、测试设计阶段的主要活动进 行了实践描述，在测试开发和执行阶段重点结合性能测试工具l o a d r u n n e r 完成 关键活动的具体实现，在测试分析阶段采用适当的性能测试分析理论和方法。重 点关注基于复杂业务逻辑和流程的用户活动剖析、基于混合测试场景的测试用例 集合的设置，具有良好适应性的测试脚本的开发以及针对表征不同性能指标的大 量测试数据进行的综合性能分析。 本课题的研究意义有两层：一方面，对国内w e b 系统性能测试的理论方法 体系进行完善和补充；另一方面，在实践中为软件企业的性能测试提供方法指导。 改善其性能测试工作的现状，从而使w e b 性能测试工作更加合理、高效率的开 展，以此进一步保证软件产品的质量和可靠性【l 】。 1 3 国内外研究动态 国外对w e b 系统性能测试的研究已经取得不少成果，提出了一些性能测试的 4 北京邮电大学硕士学位论文 模型和方法，也开发了相应的测试工具。 针对不同的应用类型和侧重点，目前w e b 系统性能测试方法主要有虚拟用户 方法、w u s 方法和对象驱动方法3 种。虚拟用户方法通过模拟真实用户的行为来 对应用程序施加负载，以测量其性能指标值，如事务的响应时间、服务器的吞吐 量等，该方法有成熟的性能测试工具支持，可以用较少的硬件资源模拟成千上万 个虚拟用户同时访问应用程序并重现测试过程，但确定负载的信息要靠人工收 集，准确性不高。w u s 方法的提出是为了衡量测试负载和真实负载之间的接近程 度，它用基于“网站使用签名的概念来设计测试场景，强调建立真实的负载， 该方法的优点是测试负载来源于网站实际的运行数据，因此能反映和代表实际的 负载情况，缺点足太依赖于日志文件，不适用于测试新开发的环境。对象驱动方 法通过将应用程序的行为分解为可测试的对象，使测试结构化程度高、可重用性 好、结果清晰，适合页面组件类型较丰富、业务复杂的应用程序，但过于强调局 部组件的性能难以反映用户对性能的实际感受。也有的研究者从用户的角度提出 了使用p e p p e r 模型来设计性能测试【1 6 】，把用户所感知到的网站性能进行系统的 分析。设计成可量化的的指标，建立性能模型预测站点是否能够满足用户感知到 的性能【l o 】。 商业性能测试工具主要有m e r c u r yi n t e r a c t i v e 的l o a d e r r u r m e r ，微软公 司的w a s ，r a d v i e w 公司的w e b l o a d ，c o m p u w a r e 公司的q a l o a d 等，此外还有一些 免费的开源性能测试工具，如o p e n s t a 、t h eg r i n d e r 等。l o a d e r r u n n e r 是一种 预测系统行为和性能的工业标准级负载测试工具，它使用有限的硬件资源，通过 模拟上千万用户实施并发负载及实时性能检测的方式来确认和查找问题，能够对 整个企业架构进行测试，并支持广泛的协议和技术。w e b l o a d 提供巡航控制器 c r u i s ec o n t r o l 的功能，可以预定义w e b 应用程序应该满足的性能指标。o p e n s t a 是用c + + 语言开发的软件，可以执行分布式测试，通过简单的图标形式和分布的 测试，对于h t t p 测试提供了很好的性能。 国内在w e b 性能测试方面的研究和开发虽然刚刚开始，也已经在这方面有了 一些工作。研究者在现有w e b 服务器的评测方法和技术基础上定义了一套基于 w e b 应用系统的术语和性能指标集，并提出了性能测试的总体方案。还有人提出 了模拟驱动的自动负载测试方法，并对w e b 应用程序运行响应时间进行了研究， 发现w e b 事务的响应时间和用户数量之间呈线性关系，测试的时间和测试配置对 响应时间也有一定的影响。还有提出了一种基于转导推理的预测算法，目的主要 5 北京邮电人学硕士学位论文 是解决在测试资源有限的情况下，估计系统运行的可能行为和性能表现。文献 9 提出了一种基于联合压力测试性能预测方法，即在客户端对w e b 应用程序进行负 载测试的同时，对运行w e b 应用程序的服务器进行资源消耗，再根据测试结果建 立性能模型并做出性能预测。还有的研究者提出了基于多a g e n t 的w e b 负载测试 框架，采用一种可扩展的b d i 代理模型，显著提高了w e b 测试的包容性和可扩展 性。在理论性的研究方面，有研究者按应用端，中间网络和服务端三个方面对性 能测试内容进行总结，抽象出了三层结构的性能测试模型。 对于组合模块的性能测试研究，国内外研究人员提出了很多用于分配各个模 块数量的具体算法，在软件测试领域应用最为广泛的有正交实验设计方法和两两 组合覆盖测试方法 本文提出的p e r t 技术方法是对多媒体网络教学系统进行性能测试的一种 全新的、有意义的尝试，为我们对软件系统进行优化提供了实际的帮助和指导作 用。 1 4 本文的主要工作及组织结构， 在全面分析了w e b 系统的特点对w e b 测试的新要求、w e b 系统性能测试的 重要性以及研究现状的不足的基础上，本文着重研究了w e b 系统性能测试的基 本理论和方法，建构了一个完整的w e b 系统性能测试过程模型，在模型的框架 性指导下结合多媒体网络教学系统性能测试的要求制定了具体的性能测试方案， 并应用到实际的测试工作中去，完善了整个测试流程，适当的将1 a a a d r u n n e r 工 具的引入与该过程模型的具体化应用相结合，较好地改进了原先多媒体网络教学 系统性能测试的方法，保证了测试结果的有效性，证明了该过程模型的适用性。 本文的组织结构安排如下： 本文共分为五章。 第l 章主要介绍课题的背景、研究内容及研究意义、以及国内外研究动态， 并对作者的主要工作和本文的组织结构作了说明，为以后各章节的论述展开奠定 了基础； 第2 章介绍了w e b 系统的新特点对w e b 测试提出的更高要求，从而引出 w e b 系统性能测试的必要性和重要性，在对w e b 系统性能测试的主要内容和研 究现状进行综述后，引出本文的研究方向； 第3 章是对w e b 系统性能测试过程模型的建构，首先充分阐述了建构该过 程模型的依据，然后基于自动化测试生命周期方法a t l m ，参考已有的性能测试 6 北京邮电大学硕： 学位论文 方法论的内容，建立了w e b 系统性能测试的过程模型，详细描述了过程模型的 结构，并总结了该过程模型的特点，为后续实践章节的论述也提供了理论依据和 支持； 第4 章是对多媒体网络教学系统性能测试的整体方案设计，运用第三章建构 的w e b 系统性能测试过程模型，针对多媒体网络教学系统性能测试的特别和要 求，制定并实施相应的性能测试改进方案。 第5 章展现了多媒体网络教学系统性能测试的关键实践过程，运用第三章建 构的w e b 系统性能测试过程模型，详细描述了测试实施过程中关键步骤的具体 实现，给出测试和监测结果的详细分析，最后对多媒体网络教学系统性能测试方 法的改进之处进行了总结，体现了理论与实践的紧密结合。 最后一章对本文研究成果进行总结，并展望未来工作中的新课题。 7 北京邮电大学硕i ：学位论文 第二章w e b 系统性能测试综述 2 1w e b 系统的特点对w e b 测试的新要求 w 曲应用从早期基于静态页面的单一发布模式到现在采用多种动态网页技 术的综合交互模式，其动态性和交互能力大大提高，促使w e b 系统的体系结构 也在发生巨大的变化。从本质上讲，w e b 是一种基于客户机，服务器( c l i e n t s e r v e r ， 简称c s ) 的体系结构。w e b 的内容保存在w e b 服务器中，客户机向服务器发送 请求，要求执行某项任务，而服务器执行此项任务，并向客户机返回响应。w e b 客户程序叫做浏览器( b r o w s e r ) ，而浏览器程序基本上都是标准化的【2 】。 因此，w e b 体系结构可以称为浏览器服务器( b r o w s e r s e r v e r ) 结构，w 曲系 统就是在其上建立的。在客户端，用户使用浏览器发送h t t p 请求，而服务端一 般是由三层或多层逻辑结构组成，即业务表示层( 演示层) 、业务逻辑层( 业务层) 、 数据存储层( 数据层) ，实现为w e b 服务器、应用服务器和数据库服务器。w e b 系统可能包含多个物理服务器，每个可以做一种或多种服务器类型，因此一个 w e b 系统可能包括多个w 曲服务器、应用服务器和数据库服务器。我们可以把 w e b 看成是一个使用方便、接受全局访问、具有图形化界面的大的数据库的前端， 其结构示意图，如图2 1 所示。 图2 1w e b 系统结构示意图 与传统软件相比，w e b 系统所具有的一些特性也对w e b 测试提出了新的要 北京邮电大学硕士学位论文 求，主要表现为以下几点： 用户数量巨大，并要求能提供对w e b 资源的跨平台全局访问，需要有并 发处理事务的能力，对运行的实时性要求较高，因而需要进行多用户的 性能测试； 使用环境不尽相同，即硬件设备、网络连接、操作系统、中间件、服务 端支持、浏览器等都有所不同，形成了异构、自治的工作环境，这就需 要考虑兼容性测试； 着重于信息的发布。大多数传统软件强调的是运算的功能，而在w e b 上， 信息的搜索和获取占了很大的一部分，需要通过测试来保证信息的正确 显示。 总之，w e b 系统具有的分布、异构、并发和多用户等特点使传统的测试方法 已经不能完全胜任对w e b 的测试，因此必须为测试和评估复杂的w e b 系统研究 新的方法和技术。 2 2w e b 系统性能测试的必要性和重要性 性能测试是软件质量保证的重要元素，是理解软件系统对不同负载反应能力 的方法。w e b 系统的基本特征就是服务器同时为成千上万的用户提供服务，其对 并发服务性能的严格要求尤其凸显了进行w e b 系统性能测试的必要性。当一个 w e b 系统被开发并展现在用户、供应商或合作伙伴的面前时，尤其是即将被部署 到实际运行环境之前，用户往往会疑问：这套w e b 系统能否承受大量并发用户的 同时访问? 系统对用户的请求响应情况如何? 在长时间的使用下系统是否运行稳 定? 系统的整体性能状况如何? 如果存在性能瓶颈，那么是什么约束了系统的性能? 而这些正是w e b 系统性能测试解决的问题。 w e b 系统的性能问题直接影响到企业的盈利和对外提供服务的质量。不管一 个w e b 系统的设计开发是为了个人消费者、商业客户、企业合作伙伴或内部用 户，都必须提供可靠、快速的性能，这是在评价一个w e b 系统是否满足用户需求 和期望的关键指标。性能问题是相当复杂的，因为现实性能指标难以收集。页面 加载缓慢或失败，页面和事物处理出错，以及图形加载缓慢或不完全等都是不良 性能的表现形式，这对于维持客户关系而言将是灾难性的。如果w e b 站点是公司 和客户之间交流的主要渠道，那么评测w e b 性能就显得尤为重要，因此竞争就在 鼠标点击之间，如果一个w e b 应用的性能不能被用户所接受，用户就会放弃这个 应用，这对公司或企业的声誉和经济都会带来巨大损失。 9 北京邮电人学硕：匕学位论文 针对多媒体网络教学系统，性能测试能够测试并暴露出系统的性能问题，并 提供一定的数据来帮助诊断和查明问题所在。多媒体网络教学系统性能测试能够 在软件投入使用以前或软件负载达到极限以前，通过执行可重复的负载测试，预 先分析出软件可承受的并发用户极限值和性能瓶颈，以帮助研发人员优化自己的 程序，经济的规划系统配置，避免无谓的硬件投入，同时还可以减少系统的宕机 时间和因此带来的经济损失f 3 1 。 因此，近年来w e b 性能测试越来越引起重视，成为w e b 系统必不可少的重要 测试内容，w e b 系统性能测试的理论研究和工具开发j 下逐步成为国内外学者专家 们争相关注的焦点。 2 3 w e b 系统性能测试的主要内容 w e b 系统的性能测试主要是在正常和大量使用的情况下评估系统的性能，它 考察在不同的用户和大数据景的负载情况下，w e b 系统对用户请求做出的响应情 况、服务器资源的使用情况，检测瓶颈可能发生的位置，为维护系统的性能找到 有效的改善策略，以确保系统运行的安全性、可靠性和执行效率。在w e b 应用程 序测试中，性能测试通过模拟大最用户操作，对服务器发出请求，增加服务器的 负载，同时监控数据库服务器、应用服务器及网络资源的使用情况，考察系统业 务的响应时间和这些资源之间的关系，旨在验证系统能力和找出系统瓶颈。 在通常的w e b 系统性能测试工作中，涉及的性能测试类型主要有以下几种【9 】： 压力测试：通过增加访问压力使应用系统的资源使用达到并保持一定的饱和 状态，以检验此时系统的运行表现，重点在于是否有错误信息产生、系统对应用 的响应时间等。压力测试的目标就是发现在高负载的条件下应用系统的缺陷。 负载测试：通过在被测系统上不断增加压力，直到性能指标达到极限，例如 响应时间超过预定指标或者某种资源使用已经达到饱和状态。这种测试方法可以 找到系统的处理极限，为系统调优提供依据。 强度测试：主要是为了检查程序对异常情况的抵抗能力。强度测试总是迫使 系统在异常的资源配置下运行，它对测试系统的稳定性以及系统未来的扩展空间 均具有重要的意义。 并发测试：通过模拟用户的并发访问，测试多用户并发访问同一个应用程序、 同一个模块或者数据记录时是否存在死锁、内存泄露或其他性能问题，该测试方 法需要相关测试工具的配合和支持。几乎所有的性能测试都会涉及一些并发测 试。 1 0 北京邮电大学硕士学位论文 可靠性测试：通过给系统加载一定的业务压力的情况下，使系统持续运行 段时间，以检测系统在这种条件下是否能够稳定运行。 狭义性能测试：主要用于描述常规的性能测试，通过模拟生产运行的业务压 力量和使用场景组合来测试系统的性能是否满足生产性能要求。这是一种最常见 的测试方法，主要目的是测试系统正常使用时是否满足性能要求，从而验证系统 的能力状况。 组合模块性能测试：主要用于测试由多个模块组成的大型应用软件的性能。 它是在单个模块性能测试的基础上提出的用于测试各个模块组合起来的情况下 的性能指标情况。组合模块性能测试比单个模块的性能测试更能全面、真实的反 映系统的实际情况。 以上这些类型的性能测试大多是密切相关的。它们或者单独实施，或者结合 起来实施，由于彼此之间往往相互包含，因此没有必要进行严格的区分。例如： 在多媒体网络教学系统中，运行7 2 小时来测试系统是否可靠，而这个测试极有 可能包含了可靠性测试、强度测试、并发测试、负载测试、狭义性能测试等等。 因此，在实施性能测试时决不能割裂它们的内部联系去进行，而应该分析它们之 间的关系，以一种高效率的方式来设计性能测试【4 1 。 北京邮电大学硕： ：学位论文 第三章w e b 系统性能测试过程模型的建构 3 1 建构w e b 系统性能测试过程模型的依据 3 l 1w e b 系统性能测试的特征与要求 我们将w e b 系统的性能测试和w e b 服务器性能测试进行比较，可以看到它们 之间存在本质的区别： 被测对象不同 w e b 服务器的性能测试中被测对象是w e b 服务器，测试点在浏览器和w e b 服 务器之间，性能指标是对于每一个h t t p 请求而言的；w e b 系统的性能测试中被 测对象则是整个w e b 系统，测试点在人机接口之间，性能指标是对于每一个用户 请求而言的。 性能指标集意义不同 w e b 服务器的性能测试指标反映w e b 服务器性能及其对应用系统提供的最大 支撑能力，而不能反映应用系统是否充分利用了w e b 服务器对它的服务支撑能 力；w e b 系统的性能测试指标指的是用户关心的系统整体性能指标，反映了系统 中不同组成部分之间的协同工作能力。 工作负载不同 首先，工作负载的级别不同。w e b 服务器测试的工作负载处在h t t p 请求级 别，而w e b 系统测试的工作负载处在用户请求级别，包含了一个或多个h t t p 请 求。另外，工作负载的适用范围不同。w e b 服务器的工作负载通用性强，而w e b 系统功能各异，工作负载通用性差。 由此可见，w e b 系统的性能测试需要模拟多个客户端与单个服务器应用程序 之间进行交互的环境，性能指标的定义要针对用户请求，并且能够反映在大量并 发负载下w e b 系统的整体性能表现。 对于多媒体网络教学系统这种典型的8 s 架构的w e b 应用系统来讲，使用性 能测试工具进行自动化测试是性能测试方式的首选，同时也是必然的选择。按照 事先已经设计好的测试方案，依据测试计划，执行测试脚本中包含的各个测试用 例，自动产生大量的虚拟网络用户，模拟真实用户的访问行为，发出业务请求， 1 2 北京邮电大学硕士学位论文 使服务端有如在真实情形下对大量的业务请求进行处理，从而形成真正意义上的 压力测试、负载测试等。由于测试过程所产生的测试结果数据量是巨大的，通过 利用测试软件的分析模块进行快速、准确、有效的数据记录和报表统计，从而更 容易分析出系统中存在的性能问题，更准确的定位出性能的瓶颈点，提出合理化 的性能优化建议。 w e b 系统性能测试的特征与要求决定了科学规范和有效控制整个测试过程 的必要性，因此需要过程模型的有效指导，实现测试方案的制定、测试内容的整 体规划与科学安排。采用良好的过程模型是整个性能测试过程能否达到预期效果 的前提和基础，起着方向性和指导性的作用【5 】。 3 1 2 基于w e b 系统的性能指标集定义 既然w e b 系统与w e b 服务器的性能特征存在着明显的差异，那么在对w e b 系统