竞品分析测试方案资料

1、精品文档竞品分析测试方案1 测试哪些竞品？将 RCS的业务进行划分， 各自选择 12款当前最流行的 APP应用作为竞争产品进行分析， 其中：视频业务区分 ios平台和 android 平台，分别选择 FaceTime和微信作为分析对象； 消息类业务区分国内外的流行软件，国内主要是微信，海外主要是whatsapp业务，分析过程中同时拿两款 app作为分析对象； 呈现类业务，目前做的最好的软件微信作为分析对象；综合指标部分选择和 RCS业务最相似的微信和 skype作为分析对象。对比项RCS微信SkypeWhatsappFaceTime音频业务视频业务消息类业务登录注销呈现类业务性能指标2 测试哪

2、些维度？测试维度功能完备性Qos主观评价静音、外放、 DTMF 、音量控在不同网络质量下的结合主观概念制方式、 业务触发入口、 其它通话质量、最优质量进行综合评价音频业务特色功能、编解码、拨号盘、的网络要求历史记录视频业务静音、外放、 DTMF 、音量控在不同网络质量下的结合主观概念精品文档精品文档制方式、 摄像头切换、 音视频 互换、 窗口隐藏、 业务触发入 口、编解码、其它特色功能通话质量、最优质量的网络要求进行综合评价消息类业务回执、 输入状态、 表情、 共享内容、群聊、业务触发入口在不同网络质量下的 业务成功率 .时延等结合主观概念进行综合评价登录注销自动登陆、 静默登陆、 网络状态提

3、示、其它特殊业务对网络状态的敏感程度、登陆耗时结合主观概念进行综合评价呈现类业务呈现信息的内容、内容大小，图片质量各种呈现信息更新的成功率和时延结合主观概念进行综合评价性能指标业务场景下的流量、 电量、内 存、 CPU 、安装包大小不涉及结合主观概念进行综合评价用例体验评估 RCS的用户体验以及对比分析竞品之间的差异Qos测试基于网络有一定网络话务模型下进行竞品测试。根据QoS&话务模型 & 性能规格(2013-7-22 刷新)中的定义，典型网络 QoS模型如下：注：1、 其中WIFI/宽带接入为必选场景， 3G接入 /2G接入为可选场景。2、 “丢包率、时延、抖动”等数值均指一侧的数据，即指

4、UE-SBC-IMS(AS) 的数据。需要注意的是，在测试部分场景时，需要在两个 UE侧加扰，比如在测试音频的“ WIFI: 较 差”场景时， 需要在 UE1-SBC-IMS(AS) 一侧按照 丢包：11.5%，时延： 215ms，抖动： 100ms 加扰，同时需要在 UE2-SBC 一侧也按照 丢包： 11.5%，时延： 215ms，抖动： 100ms加扰。精品文档精品文档3 测试哪些项？3.1 音频业务3.1.1 功能完备性针对音频呼叫的功能完备性，进行如下维度的功能完备性测试类型功能点测试点描述音频呼叫业务发起入口来电铃声大小控制来电铃声的大小控制， 在各种手机情景模式下的来电 铃声接听

5、方式包括锁屏状态下的接听、正常下的接通界面呈现信息在振铃态通话态各自能够呈现多少信息？静音功能是否支持外放功能是否支持DTMF信息查询在通话态能够并行操作多少业务转CS呼叫编解码支持哪些编解码切换视频呼叫补充业务与呼叫的冲突包括 PS业务的冲突和 CS呼叫的冲突通话记录通话记录查询通话记录删除功能通话记录详情界面信息呈现拨号盘拨号盘搜索拨号盘删除功能精品文档精品文档其它其它特色功能3.1.2 Qos 质量在对比测试过程中，各个影响参数的设置如下：设置项RCSSkype组网RCS的主流组网（内置 SVN ）默认配置（安装后默认配置）编解码使用默认编解码 opus2198冗余支持（按照默认配置支持

6、二级冗余）针对语音呼叫的 Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCSSkype接通率连续测试 10次，计算接通率连续测试 10次，计算接通率接续时长从日志中获取接续时长通过外部计时的方式实现（秒表）语音时延以DSLA 的测试数据为准以DSLA 的测试数据为准MOS以DSLA 的测试数据为准以DSLA 的测试数据为准3.2 视频业务3.2.1 功能完备性针对视频频呼叫的功能完备性，进行如下维度的功能完备性测试类型功能点测试点描述视频呼叫业务发起入口来电铃声大小控制来电铃声的大小控制， 在各种手机情景模式下的来电 铃声精品文档精品文档接听方式包括锁屏状态下的接听、正常下的接通

7、界面呈现信息在振铃态通话态各自能够呈现多少信息？静音功能是否支持外放功能是否支持DTMF摄像头切换窗口切换窗口隐藏信息查询在通话态能够并行操作多少业务编解码支持哪些编解码切换音频呼叫补充业务与呼叫的冲突包括 PS业务的冲突和 CS呼叫的冲突其它其它特色功能3.2.2 Qos 质量在对比测试过程中，各个影响业务的参数设置如下：设置项RCSFaceTime/ 微信组网RCS的主流组网（内置 SVN ）默认配置（安装后默认配置）编解码音频编解码视频 opus；视频编解码使用H.2642198冗余支持（按照默认配置支持二级冗余）针对视频呼叫的 Qos分析，需要测试的关键指标如下（包括统计方法）关键指标

8、RCSSkype接通率连续测试 10次，计算接通率连续测试 10次，计算接通率接续时长从日志中获取接续时长通过外部计时的方式实现（秒表）精品文档精品文档视频质量ICT工具评测（工具正在调试，如果 不能完成测试，则采用视频主观判 断）视频主观判断 （只针对主观感受对比）音频质量以DSLA 的测试数据为准以DSLA 的测试数据为准MOS以DSLA 的测试数据为准以DSLA 的测试数据为准3.3 消息类业务3.3.1 功能完备性类型功能点测试点描述单聊业务发起入口草稿保存状态显示输入状态显示表情消息分页加载来电提示方式界面呈现信息消息置顶单聊支持的内容消息同源其它特色功能群聊群聊发起入口群聊支持的内

9、容群聊人数限制群聊的参数其它特色功能图片共享图片共享入口照片墙精品文档精品文档点击下载其它特色功能位置位置共享入口其它特色功能PTT共享入口PTT时长PTT取消PTT信息显示PTT播放模式其它特性功能名片共享共享入口共享的信息项其它特色功能视频文件共享共享入口支持的格式文件大小限制点击下载其它特色功能3.3.2 Qos 质量IM 业务】在IM 业务的对比测试过程中，各个影响业务的参数设置如下：设置项RCS微信消息模式Session模式（ RCS默认模式）默认配置（安装后默认配置）组网MSRP over TCP消息内容根据 Qos测试要求设置根据Qos测试要求设置针对 IM 业务的 Qos分析，

10、需要测试的关键指标如下（包括统计方法）精品文档精品文档关键指标RCS微信成功率连续测试 10次，计算接通率连续测试 10次，计算接通率时延从日志中获取接续时长通过外部计时的方式实现（秒表）【位置业务】位置业务使用 IM 消息发送，测试结果以 IM业务的测试结果为准，不针对位置业务进行独立的Qos测试。图片共享】在图片共享的对比测试过程中，各个影响业务的参数设置如下设置项RCS微信消息模式Session模式（ RCS默认模式）默认配置（安装后默认配置）组网MSRP over TCP共享内容根据 Qos测试要求设置根据Qos测试要求设置针对图片共享的 Qos分析，需要测试的关键指标如下（包括统计方

11、法）关键指标RCS微信成功率连续测试 10次，计算接通率连续测试 10次，计算接通率时延从日志中获取接续时长 （时延从何时开始？何时结束？）通过外部计时的方式实现（秒表）速率文件大小 /发送时长（指端到端的？还 是单向？双向？）【名片共享】名片共享业务使用 IM消息发送，测试结果以 IM 业务的测试结果为准，不针对名片共享进行 独立的 Qos测试。【视频文件共享】 在视频文件共享的对比测试过程中，各个影响业务的参数设置如下精品文档精品文档设置项RCS微信消息模式Session模式（ RCS默认模式）默认配置（安装后默认配置）组网MSRP over TCP共享内容根据 Qos测试要求设置（是否可

12、以采根据Qos测试要求设置用自身的录制时间为准， 录制画面如何处理）针对视频文件共享的 Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信成功率连续测试 10次，计算接通率连续测试 10次，计算接通率时延从日志中获取接续时长 （时延从何时开始？何时结束？）通过外部计时的方式实现（秒表）速率文件大小 /发送时长（指端到端的？还 是单向？双向？）PTT共享】在PTT共享的对比测试过程中，各个影响业务的参数设置如下设置项RCS微信消息模式Session模式（ RCS默认模式）默认配置（安装后默认配置）组网MSRP over TCP共享内容根据 Qos测试要求设置（是否可以采根据Qo

13、s测试要求设置用自身的录制时间为准， 录制画面如何处理）针对PTT共享的 Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信成功率连续测试 10次，计算接通率连续测试 10次，计算接通率时延 从日志中获取接续时长 （时延从何时 通过外部计时的方式实现（秒表）开始？何时结束？）精品文档精品文档速率 文件大小 /发送时长（指端到端的？还是单向？双向？）3.4 登陆注销（包括断网重连）3.4.1 功能完备性类型功能点测试点描述登陆注销开机自动登陆后台运行开销户失败原因提醒断网重连终端状态的检测IM 下的断网重连音视频下的断网重连内容共享的断网重连3.4.2 Qos 质量测试 RCS

14、和竞争产品在现网 WiFi 网络上的注册时长和成功率， 每种场景测试 10次，取其平均 值作为测试结果。3.5 呈现类业务3.5.1 功能完备性类型功能点测试点描述呈现类呈现的内容内容刷新周期Presence信息的显示好友发现的方式精品文档精品文档3.5.2 Qos 质量RCS和微信在 Presence业务上的实现存在一定的差异。测试策略如下：呈现内容RCS微信测试分析登录状态有“离线”和“在线状态”实时呈现在联系人列表没有登录状态的呈现不进行 Qos测试签名刷新好友更新签名后，自动更新在联系人列表中不自动更新，点击好友签名时更新业务时延： 微信从手动 刷新开始， rcs已好友更 新时间开始

15、成功率：正常统计头像更新好友更新头像后，自动更新在联系人列表中不自动更新，点击好友头像时更新业务时延： 微信从手动 刷新开始， rcs已好友更 新时间开始 成功率：正常统计好友发现自动发现好友， 周期可以配置不自动发现，手动发起 好友检测（根据 QQ 联系 人/手机联系人），检测 到好友后，需要手动发 起增加为好友的操作。不进行 Qos测试3.6 性能指标性能测试指标是除业务完备度和用户体验外， 最直接的竞争力体现。 本测试方案针对安装包 大小 CPU、内存、流量、电量、流畅度进行对比测试。3.6.1 安装包大小比较软件的安装包大小。精品文档精品文档3.6.2 CPU对于APP来讲， CPU测

16、试和内存测试根据如下几点考虑测试场景。在相对稳定的状态进行 CPU 的测试和对比；说明：对 APP的稳定状态进行测试，因为用户一般不会感受到CPU 的飙高， CPU 的对外呈现是终端的发热量、 app的使用流畅度。对于操作过程瞬时状态用户较难察觉，因此 竞品测试过程中基于如下两个原则设计场景：针对场景进行的通用性。说明： 由于软件的业务和架构不同， 无法做到很细节场景的对比， 因此测试过程中关注 业务场景， 对应的配置以默认配置为准。 某些业务独有的特性在业务实现完备性章节进行测 试，不在性能指标中作为专项测试。基于以上原则，抽象出以下几种测试场景：1、后台运行场景构造：空联系人，同一款终端，

17、登陆10分钟后在后台运行。测试方法：观察 CPU 的占用持续 5分钟。2、前台运行场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。测试方法： 在被测系统运行在前台， 按照正常使用速度且在 “1级”页面切换， 观察 CPU 的占用持续 5分钟。3、IM 聊天过程中场景构造：每个终端 1个联系人。两个终端之间互发进行操作。测试方法： 按照如下顺序循环发送， 若不支持则跳过。 A 发送消息给 B；B 发送消息给 A ；A发送表情给 B；B发送表情给 A ；A 发送照片给 B；B发送照片给 A；A发送名片给 B；B 发送名片给 A ；循环操作，持续 5分钟观察 cpu变化。业务结束后须持观察

18、 CPU5分钟。4、音视频呼叫过程中场景构造：每个终端 1个联系人。测试方法：从呼叫开始前 30s开始到呼叫接触后持续观察 5分钟。呼叫持续 5分钟。3.6.3 内存同CPU测试场景，抽象出以下几种测试场景： 精品文档精品文档1、后台运行 场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。测试方法：观察 CPU 的占用持续 5分钟。2、前台运行 场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。测试方法：在被测系统运行在前台，按照正常使用速度且在“1级”页面切换，观察内存的占用持续 5分钟。3、IM 聊天过程中 场景构造：每个终端 1个联系人。两个终端之间互发进行操作。 测试方

19、法： 按照如下顺序循环发送， 若不支持则跳过。 A 发送消息给 B；B 发送消息给 A ； A发送表情给 B；B发送表情给 A ；A 发送照片给 B；B发送照片给 A；A发送名片给 B；B 发送名片给 A ；循环操作，持续 5分钟观察 cpu变化。业务结束后须持观察 CPU5分钟。4、音视频呼叫过程中 场景构造：每个终端 1个联系人。 测试方法：从呼叫开始前 30s开始到呼叫接触后持续观察 5分钟。呼叫持续 5分钟。3.6.4 流量流量测试采用第三方软件进行统计。采用 瓦力流量仪 作为测试工具预置条件：区分 android 和 ios平台， Android 使用防火墙屏蔽其他 APP访问网络，

20、 ios 在后台删除 掉非被测软件和统计工具外的其它 APP应用。软件的设置项采用 APP应用的默认设置。测试场景：1、空跑一轮 不安装被测软件，只安装统计工具，目的是将测试结果作为参考基线，减少测试过程中 误差2、登陆被测软件均统计在安装软件后首次登陆消耗的流量。由于当前RCS做成自动发现好友。在和不同软件时间进行对比时，需要完成的流程如下：被测对象操作步骤后台完成动作精品文档精品文档RCS1、 使用老号码；1、 登陆流程2、 进行首次登陆；2、 自动匹配联系人中好友3、 启动 CAB之后，进行一轮 CAB 好友发3、 下载好友信息现微信1、 使用老号码；1、 登陆流程2、 进行首次登陆；2

21、、 下载好友信息3、 进行一轮号码本匹配3、 自动匹配联系人中好友说明：得到测试数据后，需要结合好友数量才能比对产品之间的测试数据。3、后台运行 1个小时 登陆成功后在后台运行 1个小时。4、前台运行 1个小时 登陆成功后在前台运行 1个小时。被测软件停留在登陆后的默认页面， 关闭系统锁屏功能。5、IM 发送文本 50条（测试 3组数据） 终端A和终端 B登陆后，互发 IM文本消息，互发 30分钟，文本内容固定为“ 1”-“50” 依次增加 1.6、音频 10分钟 以默认编解码进行测试7、视频 10分钟 以默认编解码进行测试3.6.5 电量电量测试继承使用版本测试的方法，使用如下几种测试场景进

22、行和竞品的分析。1、后台运行 12个小时；2、视频呼叫 1个小时；3、音频呼叫 1个小时；说明： iOS 平台直接读取 iPhone自身电量显示。 Android 平台采用第 3方电量测试工具（金山电池医生）显示电量。测试时通过杀死后台程序的方式仅保留被测软件和测量工具。精品文档精品文档3.6.6 发热量本方案暂时不关注3.6.7 流畅度流畅度的测试在本版本首次执行， 作为一个独立的测试项， 需要输入单独的文档， 本文 档不进行描述，具体测试方案请参考RCS Client V100R005C00 流畅度测试方案3.7 用户体验评估3.7.1 测试思路将 RCS的业务抽象成各种任务，这些任务的集

23、合能够覆盖RCS的主要功能场景（超过90%）。测试人员在执行这些任务的过程中评估用户的体验效果。3.7.2 任务划分测试任务划分如下，所有测试任务的其实页面均从登陆后的默认页面开始。任务编号任务名称任务描述任务 01音频呼叫从拨号盘发起音频呼叫任务 02视频呼叫从联系人详情中发起视频呼叫任务 03删除呼叫记录删除某个联系人的所有通话记录任务 04发起 IM从联系人详情中发起 1-1聊天业务任务 05接收 IM被测软件在后台运行，收到 IM 消息后，查看 IM 消息，且回复任务 06发送图片从联系人详情中发起图片共享业务（即时拍）任务 07发送视频从联系人详情中发起视频文件共享业务 （被测系统进行录制）任务 08发送名片从联系人详情中发起名片共享业务（从联系人中选择）任务 09发送 PTT从联系人详情中发起 PTT文件共享业务任务 10发送位置从联系人详情中发起位置共享业务任务11接收图片在登陆后的默认页面，收到好友发送过来的图片，浏览后保存到本地任务12接收视频在登陆后的默认页面，收