网络测试离岸外包经验谈.ppt

1、如何做好网络设备测试离岸外包经验谈,高亮 杰华测试项目总监,Agenda （7个方面）,资质 - 杰华网络测试离岸外包现状 网络测试离岸外包的类型 万丈高楼平地起：网络带宽，知识产权安全和远程设备管理 如何把乙方融进自己的测试流程和版本发布流程 离岸方式的发包方项目管理 做好interview和预培训:以人为本 预定义KPI，与领导沟通好项目绩效管理,硅谷的测试在中国,杰华： 中国最大的网络设备测试服务商， 向世界绝大多数网络设备供应商提供高质量的网络设备和软件的测试服务 所有美国项目和部分国内项目均为离岸外包 与美国十余家网络设备公司建立长期的网络设备和软件的测试服务关系 四年内，由50人发

2、展到300人,本资料作者：高亮,杰华网络测试项目总监 2000 2006年服务于美国思科 2006 2010 在杰华为思科，Juniper和美国硅谷等多家网络设备商提供离岸测试外包服务 2008-2010 在杰华为国内多家大型网络设备公司提供测试体系咨询服务,Agenda （7个方面）,资质 - 杰华网络测试离岸外包现状 网络测试离岸外包的类型 万丈高楼平地起：网络带宽，知识产权安全和远程设备管理 如何把乙方融进自己的测试流程和版本发布流程 离岸方式的发包方项目管理 做好interview和预培训:以人为本 预定义KPI，与领导沟通好项目绩效管理,成熟的开发外包模式,明确的交付件：代码 明确的

3、验收标准：通过甲方内部的测试 （预置测试条件） 明确的项目管理流程：预估代码量 + 每人天生产率,不成熟的离岸测试外包：发包方的困惑,相对于开发的外包，测试项目如何打包 以特性打包？以测试用例打包？以产品打包？ 如何制定验收标准 Bug数目不确定！ 产品发布后才知道质量的好坏（用户反馈） 如何衡量乙方的工作状况 我怎么知道他们测了没有？！ 远程设备如何管理 本来自己的设备就不够用，还要借给他们！ 如何向管理层沟通乙方的工作质量和合作效果 领导对测试外包效果如何总没有清晰的认识，如何沟通？,发包项目经理应熟悉,公司产品的发布流程和测试在其中的角色 不同测试类型在测试过程中的应用 理解什么是功能测

4、试（测新） 理解什么是回归测试（测旧） 理解什么是系统和解决方案测试（测客户）,产品发布流程中测试的角色,MRD/PRD,Functional Specification,Code Development,Bug Fixes,Test Plan,Test Case,Code Release to Test,Daily/Frequent Code Drops,Various Testing,Scripting,Dev,Test,Golden Week,产品发布流程中不同的测试类型,产品发布流程中不同的测试类型,新特性测试,老特性测试,新老特性交互测试,根据SRS 编写功能测试用例,手动执行 用例

5、,提单 （新特性Bug）,自动化脚本 开发,自动化脚本 执行,出错脚本 原因分析,提单 （老特性Bug）回归Bug,填写测试报告,填写测试报告,根据SRS 编写系统和 解决方案测试用例,手动或者 半自动 执行 用例,提单 （新特性Bug）,填写测试报告,测试外包的建议打包6种类型,产品新特性新功能测试 产品老特性老功能手动回归测试 系统与解决方案验收测试 自动化测试脚本开发 自动化测试脚本维护 自动化回归测试,产品新特性新功能测试,打包方式：正在开发的新特性的测试和质量保证任务 输入： 产品使用手册，新特性软件功能开发规格说明书（Software Func Spec) 期望输出：测试用例，手动

6、执行Log，Bug，自动化脚本 质量保证： 测试用例评审标准 Bug 验收标准 特性讲评答辩会 自动化脚本验收标准 生产率协商,产品新特性新功能测试,外包,验收,验收,验收,验收,验收,产品老特性老功能手动回归测试,打包方式：已经开发好的测试用例，需要在目前版本上进行手工验证 输入： 已开发好的，可机械化重复的测试用例文档 期望输出：测试报告，bug 质量保证： Bug 验收标准 测试特性答辩 测试报告 （覆盖率等） 生产率的协商,系统与解决方案验收测试,打包方式：版本发布之前的第三方验收测试 （需要乙方有较高的测试能力和完备的测试硬件环境） 输入： 产品使用说明书和解决方案文档 期望输出：

7、P1和P2的Bug 质量保证： Bug 优先级定义标准 Bug 质量标准,自动化测试脚本开发,打包方式：以开发好的测试用例，需要把它们变成自动化脚本 输入： 机械可重复的测试用例文档 期望输出： 自动化脚本 维护文档 脚本执行Log 质量保证： 自动化脚本验收标准 生产率的协商,自动化测试脚本开发,在过去的一年里。总的自动化脚本数目 不断增加。 而总的自动化率略有提高 在脚本增加的情况下，自动化测试周期 有所缩短 总的自动化开展的效果好,自动化测试脚本维护,打包方式：所有自动化脚本的代码维护工作，需要在每个大版本上进行验证和修复 输入： 已开发好的自动化脚本 期望输出：所有脚本在新的版本上都能

8、够运行 质量保证： 自动化脚本验收标准 脚本维护响应时间 生产率的协商,自动化回归测试,打包方式：所有已经开发好的自动化脚本的批量执行工作 输入： 需要测试的版本 期望输出：完整的版本测试报告，回归Bug 质量保证： 版本测试报告质量要求 回归Bug质量要求 对失败脚本分析的生产率的协商,自动化回归测试,版本经理,脚本开发,脚本,脚本,脚本,脚本,脚本,脚本,脚本,脚本,脚本,版本,版本,版本,版本,版本,版本,自动化执行组 专人负责执行,版本,版本,版本,自动化执行报告,自动化测试回归火车,周期固定,Agenda （7个方面）,资质 - 杰华网络测试离岸外包现状 网络测试离岸外包的类型 万丈

9、高楼平地起：网络带宽，知识产权安全和远程设备管理 如何把乙方融进自己的测试流程和版本发布流程 离岸方式的发包方项目管理 做好interview和预培训:以人为本 预定义KPI，与领导沟通好项目绩效管理,万丈高楼平地起 基础设施的准备,网络带宽 知识产权保护 远程设备的管理,网络带宽,和远程乙方的网络连接方式 IPSec VPN tunnel (推荐） GRE Tunnel （推荐） SSL VPN （Big Overhead） 带宽管理 提醒乙方需要设置QoS对甲方流量提高优先级 注意不同的运行商 乙方的网络运营商最好和甲方的一致 （电信与网通的连接有问题） 软件的使用 远程登录最好使用Web

10、与SSH 桌面共享，视频等高网络带宽应用慎用,知识产权安全,乙方是否有完整的知识产权保护体系 实地考察乙方的测试环境，是否符合甲方信息安全需要 人员物理隔离 网络物理隔离 PC物理隔离（无硬盘，CD启动） 24小时摄像头：定期抽查和回放,远程设备管理,设备在甲方 乙方远程登录设备，可以与甲方共享 对网络带宽要求高 需要甲方提供一定的Lab支持（断电，插拔网线等物理操作） 设备在乙方 确保在商务上和法律上没有问题：是否进口设备，是否对所在地有限制 乙方效率比较高，自主性强,昂贵设备的共享,昂贵设备 甲方昂贵被测设备 （核心路由器等） 甲方昂贵测试工具（Ixia， Smartbit等） 共享 良好

11、的网络连接是基础 Equipment Reservation System 寻找具有自己测试设备的有资质乙方 非性能测试时候廉价工具（基于Linux等)的替代（有经验的乙方会提供支持）,Agenda （7个方面）,资质 - 杰华网络测试离岸外包现状 网络测试离岸外包的类型 万丈高楼平地起：网络带宽，知识产权安全和远程设备管理 如何把乙方融进自己的测试流程和版本发布流程 离岸方式的发包方项目管理 做好interview和预培训:以人为本 预定义KPI，与领导沟通好项目绩效管理,把乙方融进自己的测试流程和版本发布流程,沟通好测试中版本更新的频率 版本更新 接收测试 Bug验证 继续测试 管理好离岸

12、测试人员和本地开发人员的交互（主要就是Bug的交互） Bug报告的质量要求 Bug的复现 不可复现Bug的管理,开发项目交流,测试项目交流,Defects Quality Control Process,Agenda （7个方面）,资质 - 杰华网络测试离岸外包现状 网络测试离岸外包的类型 万丈高楼平地起：网络带宽，知识产权安全和远程设备管理 如何把乙方融进自己的测试流程和版本发布流程 离岸方式的发包方项目管理 做好interview和预培训:以人为本 预定义KPI，与领导沟通好项目绩效管理,项目管理,同一个乙方，以小做起 3-5人，3个月为一周期 到期评估，逐步扩大 周报的管理 要求乙方进度

13、详细到每人每天 要求乙方Bug按照优先级和当前状态排序 要求乙方提供Clean Report 周例会的沟通 Action Items 跟踪 （dont drop the ball) 定期从开发出得到Bug质量和交流的反馈,定期答辩制度,对乙方员工进行定期答辩，评估技术水平，检验沟通能力,Agenda （7个方面）,资质 - 杰华网络测试离岸外包现状 网络测试离岸外包的类型 万丈高楼平地起：网络带宽，知识产权安全和远程设备管理 如何把乙方融进自己的测试流程和版本发布流程 离岸方式的发包方项目管理 做好interview和预培训:以人为本 预定义KPI，与领导沟通好项目绩效管理,做好intervi

14、ew和预培训:以人为本,Interview： 业务为主， 测试为辅 人品为主，技术为辅 预培训 相关技术培训 产品特性的熟悉,Agenda （7个方面）,资质 - 杰华网络测试离岸外包现状 网络测试离岸外包的类型 万丈高楼平地起：网络带宽，知识产权安全和远程设备管理 如何把乙方融进自己的测试流程和版本发布流程 离岸方式的发包方项目管理 做好interview和预培训:以人为本 预定义KPI，与领导沟通好项目绩效管理,做好和领导的沟通,沟通好6种打包方式打包（可量化的验收标准），领导层认可打包方式 沟通好测试的不确定性 （Bug数目的多少影响测试周期） 根据历史数据估算此次外包测试的期望值 沟通好Release Criteria作为验收的标准之一（而不是Bug数目）,定义好Checklist,Bug Quality Checklist Test case quali