《软件质量保证与测试》13 基于开发过程的软件测试 -系统测试

基于开发过程的软件测试

--系统测试

系统测试系统测试是为了检查系统是否能完成需求说明书的内容，系统是否能正常、完整的运行。这其中包括软件、硬件和相关联的设备、测试时所应用的数据。系统测试的目的在集成测试之后，在“真实”系统工作环境下通过与系统的规格说明作比较：检验完整的软件配置项能否和系统正确连接；检检验软件是否符合同要求；发现系统/子系统设计文档是否符合合同要求系统测试的必要性系统测试的环境是软件真实运行环境的最逼真模拟；集成测试主要是以开发者的角度看待产品；系统测试主要是以用户的角度看待产品；系统的许多功能和特性只有在整个系统存在的情况下，才能观察并测试；系统测试的类型系统测试通常由一系列不同的测试组成。包括系统功能性测试和系统非功能性测试。系统功能性测试：系统非功能性测试：性能测试压力测试负载测试容量测试安全性测试用户界面测试配置测试安装测试恢复测试非功能性测试的简要说明性能(performance)测试：系统运行时的各种能力的表现情况。细分如基准(比较)测试、竞争测试等恢复测试：检查各种导致系统失效的条件，验证系统在失效情况下的恢复过程。安装测试：测试在不同软件和硬件环境下，系统安装的情况。安全测试：检查系统的保护机制，包括利用系统漏洞入侵、密码破解、非授权访问等。压力测试：在正常运行资源下，却有异常访问量、访问频率或数据量下，系统的执行情况。负载测试：在正常运行情况下的系统的执行情况。系统测试的方法系统测试方法人工系统测试自动化系统测试复查走查会审多任务测试临界测试中断测试人工系统测试方法复查:对完成集成测试的工作后，根据相关的文档，对系统进行分析、检验，检验程序中是否有错误的过程。走查:随着“走”的进程中不断从程序中发现错误。会审:是根据错误类型清单（从以往经验看一般容易发生的错误），填写检测表，列出根据错误类型要提问的问题。系统测试结果的评估分析反应时间的性能测试CPU、Memory的性能测试可靠性测试：MTBF(MeanTimeBetweenFailures)MTTR(MeanTimeToRepair)MTTF(MeanTimeToFailure)网络性能测试:流量、采样数、延迟安全性测试：安全机制、保密措施、预防能力强度测试(压力/负载)：响应时间、处理速度、吞吐量、精度安装测试：操作性、配置文件、产生目录/文件、数据库功能性测试功能性测试(场景法)根据需求规格说明书，给出真实用户的各种使用场景分析出基本流和备选流根据重要性、频度、风险等，针对每个流设计测试用例(每个流至少一个用例)自动化测试工具介绍QTP性能测试性能测试:通常是指通过自动化工具模拟多种正常、峰值以及异常负载等条件来测试系统的各项性能指标。目的：评估系统的能力识别体系中的弱点系统调优验证稳定性及可靠性性能测试的分类应用在客户端性能的测试应用在网络上性能的测试应用在服务器端性能的测试性能测试的方法性能的业务测试基准测试负载测试峰谷测试压力测试并发性测试容量测试渗入测试配置测试性能测试的环境测试环境规划测试环境创建测试环境配置应用程序部署测试环境的使用测试环境回收性能测试中的调优一个标准的性能调优过程是：确定基准环境、基准负载和基准性能指标；调整系统运行环境和实现方法，执行测试。（包括硬件环境的调优、Weblogic调优、Oracle调优）；记录测试结果、进行分析。性能测试的自动化工具LoadRunner是一种预测系统行为和性能的工业标准级负载测试工具。通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题。使用LoadRunner可有效地缩短测试时间，优化性能和加速应用系统的发布周期。LoadRunner：地址验收测试

验收测试：是一个过程，是一个以用户为主的测试。一般，验收测试是在软件系统测试结束以及软件配置审查之后开始的，验收测试应由用户、测试人员、软件开发人员和质量保证人员一起参与，验证软件系统的功能和性能及其它特性是否与用户的要求一致。验收测试目的产品是否是按照用户需求开发的，体验该产品是否能够满足用户使用要求、有没有达到原设计水平、完成的功能怎样；对照合同的需求进行验收测试，是否符合双方达成的共识；产品的可靠性和可维护性好不好？产品通过运行的结果表明，对业务处理的能力验收测试的主要内容前提:

新建系统产品已通过单元测试、功能测试、网络测试、软件安装测试、性能测试、集成测试、系统测试的测试阶段。在验收测试这一阶段主要内容是：软件是否满足合同规定的所有功能和性能？文档资料是否完整？对功能测试、网络测试、软件安装测试、性能测试、集成测试、系统测试的测试用例进行回归测试；验收测试的要点对文档进行审核对源代码进行审核对配置进行审核对测试程序或脚本进行审核对可执行程序进行测试按照需求说明书对系统进行评审验收测试的分类验收测试非正式验收测试正式验收测试Alpha测试Beta测试非正式验收测试分为α（Alpha）测试和β（Beta）测试。执行测试过程的限定不象正式验收测试中那样严格，方法不像正式验收测试那样组织有序，而且更为主观。α测试(Alpha测试)α测试是用户在开发环境下的测试，或者是开发公司组织内部人员模拟各类用户行为对即将面市软件产品进行的测试，由开发人员或测试人员进行的测试。α测试没有正式验收测试那样严格，在α测试中，主要是对使用的功能和任务进行确认，测试的内容由用户需求说明书决定。α测试试图发现软件产品的错误。β

测试(Beta)经过α测试调整后的软件产品称为β（Beta）版本。β版本的产品是典型用户在日常工作中实际试用的版本。要求典型用户报告异常情况、提出批评意见。然后软件开发公司再对β版本进行改错和完善（一般包括功能、性能、可靠性、易用性、可扩充性、兼容性、效率、资源占用率、人机界面、用户文档方面）。对β版本进行改错和完善后进行的测试正式验收测试正式验收测试是系统测试的后续，也就是说正式测试的测试工作和系统测试差不多。测试计划和测试用例设计都应很详细，在这个测试过程中应用的测试用例应是系统测试的用例的子集，不能对系统的测试方向有所偏离。在很多测试过程中，正式验收是自动进行测试的回归测试(RegressionTesting)回归测试：是一种重复测试，要求使用相同的方法，使用相同的测试用例和数据，在相同的环境下进行测试。目的：确认软件经过一些小的变更或修改后是否仍满足所有的需求。回归测试的范围测试所有修改或修正过的功能模块；测试与被修改的模块相关的模块；测试所有新增加的功能模块；测试整个系统。(1)、(2)和(3)中只进行了部分的回归测试，这样的测试是不充分的，因为在软件系统中，对本地代码的修改可能导致整个系统产生副作用；回归测试基本过程回归测试用例库的维护删除过时的测试用例改进不受控制的测试用例删除冗余的测试用例增添新的测试用例回归测试的方法再测试全部用例基于风险进行测试基于操作进行测试仅测试修改部分回归测试结果分析以前测试结果回归测试结果结论说明通过未通过未通过通过通过通过未通过通过通过最好的预期未通过通过(迂回)通过定为通过回归测试，但未通过系统测试。需认真评审。未通过未通过未通过4.8配置测试

测试和验证被测软件在不同软件和硬件配置环境中的运行情况，覆盖各种软、硬件环境。配置测试的主要内容分为软件配置测试和硬件配置测试。通常习惯采用表格统计方式来进行数据统计，最后统计得出结论。硬件环境配置测试不同主机的配置测试不同固件的配置测试不同外设的配置测试不同硬件接口的配置测试可选项的配置测试软件环境的配置测试不同操作系统平台兼容性测试同一操作系统平台的不同版本兼容性测试软件本身向前、向后兼容性测试软件本身与其他软件的兼容性测试数据兼容性测试4.9.其他软件测试技术

不属于基本过程的测试技术，是一种辅助的测试，可用于软件测试过程中。可用性测试压力测试确认测试容错性测试易用性测试安全性测试需求检查测试可靠性测试风险测试缺陷测试Web测试接口测试安装和反安装测试可用性测试1.可用性是产品的一个基本的自然属性，是最终用户使用产品的可用的程度。2.可用性测试是依照可用性标准对GUI的系统评估。3.可用性是在产品和用户的相互作用中体现出来。4.可用性测试是用户在和系统（网站，软件应用程序，移动技术或任何用户操作的设备）5.交互时对用户体验质量的度量。6.可用性的基本评价指标是效率、满意和安全（容错，无错）。压力测试压力测试（StressTest）是一种强度测试，压力测试是指模拟巨大的工作负荷来测试应用程序在峰值情况下如何执行操作。压力测试的条件短时间的极端负载测试；在过量用户下的负载测试；连续执行所有能做的操作压力测试的标准及方法标准检验应用的表现，重点在于有无出错信息产生，系统对应用的响应时间等使系统的资源使用达到较高的水平。一般情况下，CPU的使用率要达到75％以上、内存使用率要达到70％以上方法重复并发大数据量有效性测试(确认测试)

有效性测试是在模拟的环境下，运用黑盒测试的方法，验证被测软件是否满足需求说明书，功能说明书，性能说明书列出的需求。容错性测试

容错性测试是检查软件在异常条件下自身是否具有防护性的措施或某种灾难性恢复的手段。当系统出大错时，能否在指定时间间隔内修正错误并重新启动系统。当系统出现非关性错误时能否保证系统继续运行。输入异常数据或进行异常操作：灾难恢复性测试：易用性测试易用性（Useability）是交互的适应性、功能性和有效性的集中体现。

易用性一般分为两个层次，即用户界面的易用性和操作系统的易用性。易用性测试包括针对应用程序的测试，同时还包括对用户手册系统文档的测试。通常采用质量外部模型来评价易用性。安全性测试安全性测试(SecurityTesting)是指验证应用程序的安全级别和识别潜在安全性缺陷的过程。安全性测试在单元测试、集成测试、系统测试里均涉及。包括：应用程序的安全性操作系统的安全性Web测试Web的功能测试Web的性能测试Web的用户界面测试Web兼容性测试Web的安全性测试日志文件测试Web的功能测试（1）链接测试（2）表单测试（3）数据校验测试（4）Cookies测试（5）数据库测试（6）权限测试（7）应用程序特定的功能需求测试Web的性能测试Web的性能测试主要用用于考察web系统在不同负载条件下网站的行为，随着多媒体技术的发展以及网络的发展，Web性能已经成为一个重要的问题，并已成为Web成功的关键因素。Web性能测试主要有以下几点基准性能测试负载测试稳定性测试压力测试Web的用户界面测试Web的用户界面主要讨论页面、页面元素和容错性。我们讨论以下几点：（1）站在用户的角度进行测试；（2）页面元素应注意的内容；（3）容错性应注意的内容；（4）Web用户界面测试的内容；（5）表格测试；（6）整体界面测试。Web兼容性测试Web的兼容性包括操作系统兼容和应用软件兼容，可能还包括硬件兼容。

Web的兼容性测试主要讨论：（1）系统平台测试.。（2）浏览器测试。