质量提升大会战操作手册（手机邮箱企业版）

1、数据业务产品质量提升大会战操作手册手机邮箱业务分册1. 总则1.1 产品质量评测目标为提升手机邮箱产品质量，全面提高移动客户对于数据业务的使用体验，提高产品竞争力，特进行质量评测1.2 产品质量评测方法评测方法采取业务拨测、用户调研及业务平台查询的方法。业务测试时需在现有集团客户账户内部增加测试账号。1.3 测试样本量要求1.要求覆盖以下6类数据业务热点区域：写字楼（除移动公司办公楼、营业厅），大学/中学校园及周边休闲场所，中高档住宅小区，机场/地铁/三星级以上酒店/度假村，会展中心/IT卖场/大型商业区和其他TD用户投诉热点区域。2.各省公司需先分析本省/地市的数据业务热点区域，按覆盖用户情

2、况、用户使用行为等进行分类，优先测试覆盖用户多、用户投诉多的热点区域。3.要求使用2G和TD号段进行测试。2. 操作手册2.1 可用性测试2.2.1 数据统计准确率指标定义BOSS订购用户数/业务平台订购数* 100% （BOSS订购数含计费和未计费用户数）指标来源BOSS、业务平台测试记录指业务平台订购数与BOSS订购用户数的一致性。数据统计准确率=BOSS订购用户数/业务平台订购数* 100%备注平台订购用户数每月15日前通过邮件下发省产品经理。2.2.2 计费准确率指标定义集团客户数/总开通集团客户数指标来源BOSS测试记录统计周期内，已开通集团客户中的话单与其订产品价格一致的集团客户数

3、/总开通集团客户数备注2.2.3 业务开通时长（s）指标定义功能开通时间指标来源BOSS测试记录从BOSS受理到功能开通历时时间（秒）（对于全网业务，从省BOSS提交订单到收到BBOSS反馈的成功归档信息；对于本省业务，从业务提交订单到功能开通的时间）备注2.2.4 订单成功率指标定义业务成功受理的订单数量/提交的总订单数量*100%指标来源BOSS测试记录业务成功受理的订单数量/提交的总订单数量*100%备注2.2.5 证书申请下载时长指标定义证书申请总时长指标来源BOSS测试记录PushEmail 同CA 间的证书申请、制作、下载总时长备注2.2.6 邮件发送成功率指标定义发送成功次数/总

4、发送次数指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且保持网络畅通预置条件测试步骤测试步骤：1、新建一封邮件，分别用手动输入和选取地址薄的方式编辑收件人、抄送以及密送2、编辑邮件正文3、点击发送4、在PC打开目标邮箱查看测试记录用户记录数据：1） 发送成功次数2） 计算发送成功率=发送成功次数/总发送次数如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2.7 邮件接收成功率指标定义接收成功次数/总接收次数指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且保持网络畅通预置条件测试步骤1） 通过PC邮件客户端软件向终端

5、发送一封邮件；测试记录用户记录数据：1） 接收邮件成功次数2） 计算接收成功率=接收成功次数/总接收次数如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2.8 附件发送成功率指标定义发送成功次数/总发送次数指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且保持网络畅通预置条件测试步骤测试步骤：1、新建一封邮件，分别用手动输入和选取地址薄的方式编辑收件人、抄送以及密送，添加附件2、编辑邮件正文3、点击发送4、在PC打开目标邮箱查看测试记录用户记录数据：1） 发送成功次数2） 计算发送成功率=发送成功次数/总发送次数如测试中发生失败，需在备注

6、项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2.9 附件下载成功率指标定义下载成功次数/总下载次数指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且保持网络畅通预置条件测试步骤1） 通过PC邮件客户端软件向终端发送一封带附件的邮件；2） 通过终端客户端下载该附件测试记录用户记录数据：1） 下载附件成功次数2） 计算下载成功率=下载成功次数/总下载次数如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2.10 邮件到达通知短信下发时延（s）指标定义短信下发时延指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且

7、保持网络畅通预置条件1）手机上不要安装PushEmail客户端，如已安装，先卸载在测试测试步骤1） 通过PC邮件客户端软件向终端发送一封带附件的邮件；2） 通过终端看记录收到乱码短信的时延测试记录用户记录数据：1） 计算短信下发时延如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2.11 通过配置信息进行业务帐号同步时延（s）指标定义短信下发时延指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且保持网络畅通预置条件1）手机上不要安装PushEmail客户端，如已安装，先卸载在测试测试步骤1） 通过邮件代理网关发送测试帐户配置信息的时长2）

8、 通过终端看记录收到乱码短信的时延测试记录用户记录数据：1） 计算短信下发时延如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2.12 通过获取参数进行业务帐号同步时延（s）指标定义短信下发时延指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且保持网络畅通预置条件1）手机上不要安装PushEmail客户端，如已安装，先卸载在测试测试步骤1） 通过客户端点击获取参数按钮的时长2） 通过终端看记录收到乱码短信的时延测试记录用户记录数据：1） 计算短信下发时延如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2

9、.13 客户端完成账户鉴权时延（s）指标定义短信下发时延指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且保持网络畅通预置条件测试步骤1） 客户端软件自动鉴权获取setting消息的时长2） 通过终端记录帐号配置成功的时延测试记录用户记录数据：1） 计算帐号配置成功时延如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2.14 客户端获取邮件过滤规则时延（s）指标定义过滤规则获取时延指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且保持网络畅通预置条件测试步骤1） 客户端获取邮件过滤2） 通过终端记录收到过滤规则时延测试

10、记录用户记录数据：1） 计算获取过滤规则下发时延如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2.15 用户申请发送炸弹信息的时延（s）指标定义短信下发时延指标来源业务拨测测试环境所有技术指标都应在GSM和TD网络环境下，并且保持网络畅通预置条件测试步骤1） 用户登录代理网关发送炸弹信息的时延2） 记录收到时延测试记录用户记录数据：1） 计算发送炸弹信息的时延如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2 易用性测试2.2.1 界面友好度指标定义评价手机邮箱客户端界面体验友好度指标来源用户调研测试环境所有技术指标都应

11、在GSM和TD网络环境下，网络通畅预置条件测试步骤1） 客户端：点击手机邮箱客户端图标、进入客户端首页，进入栏目页观察和体验2） 让用户对结果进行评测3） 对抽取的样本进行统计，取平均分测试记录用户记录数据：非常优秀为5分,优秀为4分,良好为3分,差为2分,非常差为1分平均分=总分数/调研用户数备注2.2.2 操作便捷性指标定义评价手机邮箱客户端界面体验友好度指标来源用户调研测试环境所有技术指标都应在GSM和TD网络环境下，网络通畅预置条件测试步骤1） 对抽取的样本进行统计，取平均分测试记录用户记录数据：非常准确易懂为5分,准确易懂为4分,一般3分,差为2分,非常差为1分平均分=总分数/调研用

12、户数备注2.3 可靠性测试2.2.3 业务中断频次指标定义统计当月每集团客户终端次数指标来源投诉处理工单测试环境所有技术指标都应在GSM和TD网络环境下，网络通畅预置条件测试步骤业务中断指由我公司系统或我公司人员原因造成客户业务主要功能不可用。统计当月平均每集团客户业务中断次数（当月所有客户终端次数总和/所有集团客户数量）测试记录记录数据统计：备注2.2.4 业务恢复时长指标定义统计当月业务恢复时长指标来源投诉处理工单测试环境所有技术指标都应在GSM和TD网络环境下，网络通畅预置条件测试步骤业务恢复时长指主要功能从不可用到可用的时长。取当月业务恢复时长的平均值；测试记录记录数据统计：备注2.2

13、.5 设备返修率指标定义设备返修次数/设备返修总次数*100%指标来源投诉处理工单测试环境所有技术指标都应在GSM和TD网络环境下，网络通畅预置条件测试步骤测试记录记录数据统计：设备返修次数/设备返修总次数*100%备注2.4 可服务性测试2.2.6 业务办理申请渠道的丰富性指标定义评价手机邮箱业务办理申请渠道指标来源用户调研测试环境所有技术指标都应在GSM和TD网络环境下，网络通畅预置条件测试步骤1） 对抽取的样本进行统计，取平均分测试记录用户记录数据：非常丰富为5分,丰富为4分,一般3分,差为2分,非常差为1分平均分=总分数/调研用户数备注2.2.7 投诉处理渠道的丰富性指标定义评价手机邮箱投诉处理渠道指标来源用户调研测试环境所有技术指标都应在GSM和TD网络环境下，网络通畅预置条件测试步骤1） 对抽取的样本进行