客户端黑盒测试指南

1、客户端黑盒测试指南-客户端修订记录版本发布人发布时间修改说明V0.1胡兆云2011-2-12初稿1 简介1.1 目的1.2 简介1.3 定义前台请求前台请求为用户主动触发，并且返回符合用户期望结果的操作；后台请求后台请求为软件或功能需要，在后台自动触发的和服务器端交互的行为；基准平台需求中适配机型中对应机型最多的平台版本，或程序对应用户群较多的平台版本；可根据该基准平台来选择合适的模拟器或测试机；例如：S60v3平台下的MR、FP1、FP2版本；基准分辨率需求中适配机型中同一平台下对应机型最多的分辨率，或该平台市场上最常见的分辨率；例如:S60v3平台分辨率：240*320、320*240、1

2、76*208、416*352；适配基准机型根据基准机型和基准分辨率在适配机型列表中选择符合条件，并且硬件条件比较突出的机型；用来在前期客户端系统测试阶段进行真机测试；也可以是用户指定适配的特定机型；2 测试指南2.1 功能功能主要以产品需求规格说明书为标准，需要达到以下目标：一.功能点覆盖；二.业务流程覆盖；三.数据支撑；四.控件五.UI界面；六.用户体验；2.2 稳定性一. 可持续稳定运行12-24小时（无用户操作），并且在长时间运行后使用，不会因系统资源占用升高出现运行缓慢、手机异常崩溃卡死、重启现象；二. 可持续使用1小时；无法重现的异常退出频率最高为2次/1小时；并且在长时间使用中，不

3、会因系统资源占用升高出现运行缓慢、手机异常崩溃卡死、重启现象；2.3 系统兼容性一.与其它应用软件按键冲突时，不能导致用户手机无法正常使用；二.系统事件响应：在程序运行时，可以响应如下系统事件，当事件发生时应中断程序运行，事件结束后程序继续正常工作； 系统锁语音来电SMS/MMS闹铃通知事件电量不足/外部充电 切换UI模式（重力感应）快捷启动照相机功能 隐藏后台，使用系统日历、拍照等功能三.系统按键响应：部分系统按键程序不能更改，必须响应系统事件，注意各平台机型按键响应不一致；标准系统按键响应点击菜单键S60快捷返回到系统菜单，程序隐藏在后台运行；WM弹出“开始”任务菜单；Android弹出程

4、序对应的菜单选项，没有菜单选项则无响应；J2ME：弹出任务列表；长按菜单键S60弹出任务选项菜单Android弹出输入法界面WM无长按菜单响应；J2ME点击返回键Android响应程序“返回”操作；长按返回键Android响应返回系统桌面首屏，程序隐藏后台运行；J2ME响应隐藏后台运行；点击拨号键S60响应隐藏程序后台运行，进入系统通话记录界面；Android响应和S60一致；WM和S60一致；S40在程序运行界面不响应拨号键；J2ME在程序运行界面不响应拨号键；点击挂机键S60响应关闭程序返回到系统桌面；（程序可以特殊处理为隐藏后台运行）Andorid响应隐藏程序后台运行，返回到当前系统桌面

5、；WM关闭程序返回到系统桌面；S40关闭程序返回到系统桌面；J2ME关闭程序返回到系统桌面长按挂机键部分手机响应开机、关机点击Home键IPhone响应隐藏程序后台运行，返回到系统桌面；长按Home键IPhone响应强制返回系统桌面首屏；点击关机键S60弹出关机菜单键；S40弹出关机菜单键；Android为锁屏键；WM弹出关机菜单；IPhone响应锁屏；J2ME响应弹出关机菜单；长按关机键所有版本都响应开/关机；注：部分S60v3后期部分手机点击挂机键会弹出关机选项菜单，需要特殊处理；四.确定获得系统认可，可以在对应系统版本下正常运行，例如：S60认证签名、JAVA数字签名等；五.安装、卸载，

6、用户可以选择将程序资源文件安装在系统存储或外部存储上，并支持在不同介质间覆盖安装，用户选择卸载应删除除用户生成的存储目录外所有资源、缓存文件，在用户没有生成存储目录的情况下卸载后应和安装前大小差别在100k以内；2.4 健壮性一.HTTP状态码处理：处理常见HTTP状态码，并返回给用户合理提示，不会引起程序异常崩溃； 二.本地网络异常处理：本地网络异常、网络连接无法建立或建立失败应立即提示用户；联网超时最长应在30秒内给出合理提示；三.联网重发机制仅对前台请求生效，并且所有前台请求触发后要有等待界面，联网失败要有提示；后台请求不支持重发，也不需要等待界面，失败不需要提示；四.需要处理联网获取数

7、据的类型、大小、格式、内容等方面的边界，出现越界的情况不能导致手机异常或程序异常退出；例如：联网获取的XML文件中返回的图片URL为空或长度超过开发定义的长度；五.联网引擎和数据解析应对特殊字符“！!#$%&*():”|?,./;”，还有空格、&apos、>等做处理，都可以正常显示；六.文件、内容异常处理：资源文件被删除、文件内容格式错误、文件编码格式错误、文件存储格式错误、文件存储空间较大、内容边界的处理：例如：松散结构字段、多余字段、缺失部分字段、每个字段中内容长度控制（空或大于客户端开发处理定义的长度）；七.系统资源占用：每个程序因开发或业务需要可能所需要占用的系统资源都不一样，暂不

8、做明确要求，最低要求程序在开启另外2个其他应用的时候，依然可以正常运行，不会引起程序异常崩溃、死机、运行缓慢等情况；八.在存储空间不足的情况下启动、运行程序，必须保证应用程序或者可以正常运行，或者向用户提供恰当的警告信息解释不能运行的原因后恰当的退出；2.5 用户体验一.按键/触屏响应：用户点击按键后应快速响应对应的操作，正常响应延迟不能超过0.5秒；触屏响应效率和按键一样，不能超过0.5秒；触摸响应区域应符合界面规范；二.等待响应：所有的等待响应状态不应超过30秒，需要在30秒内返回处理结果；搜索等待、数据获取等待尽量使用进度条显示，此不受30秒时间限制；所有等待状态都可以手动取消；三.界面

9、切换响应：界面切换响应应流畅，切换动画速度要适中，保持在0.5-1.5秒之间，动画中不能有停顿、重影、闪烁的情况出现；无切换动画的界面则应该立即响应并覆盖之前界面显示；四.用户交互：执行动作要提示，当用户在软件中执行新增、修改未保存退出、删除操作应给出相应的提示； 五.按键、触屏边界限制，不能将焦点移出屏幕或固定区域，点击目标外的区域，不会发生错误响应，点击触发程序事件或系统事件外的按键，不会对系统或程序产生任何影响；2.6 UI界面2.6.1 界面布局1.所有布局正常显示，没有超出屏幕或屏幕空白、错位显示；2.配色的一致性，同时尽量少的使用不同类型颜色在同一个界面；3.固定显示区域大小和尺寸

10、，区域排列行与行、列与列之间间距相同并且合理；4.所有图片、文字、控件等内容正常在界面中固定区域显示，下面情况需要特殊处理，具体处理方式需要设计统一规范：a.文字为空或超长；b.资源图片为空或过大或格式不正确；2.6.2 控件1.使用统一风格控件（尽量使用标准控件或系统控件）;2.同一类型的控件操作方式相同，例如一个控件双击可以执行某个动作，而同样的控件，在其他平台或其它界面双击却没有任何响应；3.一个控件只做单一功能，不复用；（例如：更改主题颜色的设置，使用数值来表示不同颜色，导致只有熟练用户才能使用） Edit控件1.类型判断：整型、浮点型的数据输入框中，不允许输入非数据的其

11、它字符串；（如：abc或其它字符）2.大小判断：数据类型的数据如有大小范围限制的，要对输入大小进行判断（如：表示月份的输入框中，只能输入1-12的数字）3.长度判断：如果是程序处理的字符串有长度限制，但是输入框中没有对输入的数据长度进行限制，将会造成程序错误，或者处理后的结果和输入的不相符；4.正确性判断：表示路径的或者文件名全路径的输入框，要对输入路径是否为有效路径进行判断；（如：输入aaaa或C:/等不正确的输入） Button控件和触屏响应区域在用户界面应该有明确的位置标识显示操作按钮；明确按钮区域，按钮的显示区域对应键盘按键，触摸屏的按钮响应和显示区域对应，点击按钮显示区

12、域外应无法响应按钮操作；例外：打开选项菜单后，点击选项菜单外的区域，响应关闭选项菜单； 提示对话框1.文字描述的正确性和提示图标显示的正确性，需要设计规范；A.程序错误、操作错误、禁止操作等提示语： 程序错误、操作错误、禁止操作等提示图标：B.询问提示语： 询问提示图：C感叹、警告的提示语： 感叹、警告的提示图：D.普通信息提示语： 普通信息的提示图： 滚动条滚动条是否正常显示，并且可以正常拖动，滚动条的长度要根据显示信息的长度或宽度及时变换，便于用户了解显示信息的位置和百分比；2.6.3 文字1.文字描述的正确性；a文字的描述和所对应的功能是否一致；b错别字、错误

13、标点；c.特殊字符集“！!#$%&*():”|?,./;”，还有空格可以显示；2.文字用语、名称的一致性,例如选项菜单，应统一名称，如用“选项”，都用“选项”，不要有的地方用“选项”，有的地方用“菜单”；3.所有窗体、控件使用大小统一的字体，除非特殊信息处理、加强显示等例外情况；注：为了全面的检查所有的文字，应该检查程序中的所有文字资源，因为一些对话框可能比较难在黑盒测试的时候全部出现；2.6.4 界面的传递与嵌套1.同级窗体只能在界面上显示一个，不能重叠、重复显示多个同级窗体；2.父窗体与子窗体存在同样的操作时，父窗体的操作必须带入到子窗体；3.当子窗体的任何操作影响了父窗体的数据时，子窗体关闭返回时必须刷新父窗体的数据；4.关闭父窗体必须连同子窗体一起关闭；5.多层窗体嵌套，要保证内容可以正常显示，关闭