7-1-移动测试体系-佟明来

移动测试体系华为电信软件平台中间件2016-4-232016-4-23移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试112233445566移动终端多样化测测试工具门槛高快快速交付的尴尬功能体验兼容性安全性稳定性性§快速/时延§流畅/帧率§流量性§快速/时延§流畅/帧率§流量§木马§病毒§账号窃取§广告植入§§自动测试§快速交付§§内核§分辨率§ROM§硬件平台§§资源/CPU§频繁操作§长时间移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试112233445566KVM租户关联组网)升级任务版本包、个人构建包KVM租户关联组网)升级任务版本包、个人构建包一线团队研发团队外包团队合作伙伴解决方案X1CI自动化工CI计算云(KVM、Xen)通用(KVM计算云(KVM、Xen)………跨平台环境一键获取用例多屏执行效果APP自动化方案跨平台环境一键获取用例多屏执行效果APP自动化方案海海量用例并发执行ICP+TICCTMSSAppium-Client手机AVD调度层管理层实现层ICP+TICCTMSSAppium-Client手机AVDAppium-Server发调度发调度 … …BaseonJunitBaseonAutoSpacendroidATAEATAEBladeacMinirAV1AVDN开源的开源的App测试架构种用例实现语言支持Android和iOS设备Web环环境管理&任务调度虚拟虚拟APP用例执行环境执行机执行机执行机执行机AndroidAndroid虚拟执行环境x86Image&ARMLibAndroidEmulatorATAEBlade+SUSELinux 真机自动化的问题ll需要较多的手机，自动化成本高l真机环境不支持动态扩展，维护管理成本高l真机使用无线网络，无线路由器稳定性要求高l大量用例自动化执行，真机发烫有火灾风险VDVD环境带来的价值l一块单板16个VD，节省大量真机l动态扩展执行环境，维护成本低lLinux版本AndroidSDK，运行更稳定l定制化x86的IMAGE，性能跟真机相仿移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试1122334455661、手机资源监控手段低效2、时延统计方式不准确3、成功率统计方式低效4、数据分析和报告导出低效周期长，无法逐版本开展1、手机资源监控手段低效2、时延统计方式不准确3、成功率统计方式低效4、数据分析和报告导出低效周期长，无法逐版本开展长2、测试执行周期长■KPI测试在功能测试中自动进行■有问题实时告警，没有问题不关注■KPI数据自动搜集，自动生成报告成功率帧率时延客观数据可测可量系统KPICPU流量流畅美观稳定快速省电易用主观感受无法量化KKPI业务KPI用用户体验效果云端工具平台成功率检测时延检测 效率提升插件 手机抓包系统资源(CPU/内存)效果云端工具平台成功率检测时延检测 效率提升插件 手机抓包系统资源(CPU/内存)弱网测试插件测试报告性能调测数据度量任务管理AIDL调用工具管理告警管理被测对象hotDogSDK业务APP1①工具工具App：实现测试移动化② 工具插件化：多工具集中化管理③开开放SDK：不同产品集成hotDog架构图hotDog架构图端：集中化工具App问题分析 问题分析业务业务APPn选择监控对象选择监控对象启动监控任务AppApp正常测试期间，KPI过阀值自动告警点点击告警，查看实时详情正正常测试App异常自动告警历史指标数据以便问题定位移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试112233445566提供Android平台下的兼容性测试(安装、卸载、启动、登录)提供Android平台下的兼容性测试(安装、卸载、启动、登录)、稳定性测试、Monkey测试，支持测试脚本录制回放。适用范围：适合简单兼容性测试、及脚本录制回放自动化执行提供Android、iOS平台下的兼容性测试(安装、卸载、启动)及Android平台下的功能、CPU和内存检测，支持基于Robotium(及淘宝Athrun框架)测试脚本执行适用范围：可利用其云上的终端做基本的安装卸载测试提供Android、iOS平台下的兼容性(安装、卸载、启动、Monkey)、稳定性、功能性(支持Appium框架)、安全性测试适用范围：适合简单兼容性测试，和深度安全扫描百百度阿里阿里hotCat组网图AppiumClientnAppiumClient1…..AppiumServerAppiumClientnAppiumClient1…..AppiumServer1AppiumServern…...管理控制台……hotCat管理控制台管理区管理区场景和参数设置区过程/结果展示区移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试112233445566合法合规防合法合规防止非法监听个人数据保护禁止未公开接口(后门)基础要求操作系统加固与防病毒数据库加固口令安全WEB应用安全安全资料协议防攻击自自证清白访问通道控制日志审计敏感数据处理软件完整性保护取证工具开发工具静态分析工具动态分析工具反编译工具取证工具开发工具静态分析工具动态分析工具反编译工具Hooking工具ICSL工具AndroidAndroidForensics等ApkAnalyserApkAnalyser、APKinspector等AndroguardAndroguard、ApkTool、JDgui等ADBIADBIFramework、CydiaSubstrate等移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试移动测试的挑战功能测试体验测试兼容性测试安全性测试稳定性测试112233445566测测试场景选择①频繁操作，长时间使用②长时间运行后唤醒③运算量大④不同配置机型⑤多用户操作策略一策略一：自动化循环执行分析App中频繁使用的场景，通过xDevice自动化工具的图形化用例设计方式，可设计成循环执行同一步骤策略策略二：Monkey随机流测试通通过Monkey模拟用户触摸屏幕、滑动Trackball、按键等操作对程序进行不同的压力测试，检测程序是否异常 策略三：云测试平台通过公司云测试平台，覆盖不同机型的稳定性测试未覆盖代码行进行批注未覆盖代码行进行批注全全量行覆盖率统计结果(本地查看)各个JS文件行覆盖率统计结果1、常见的APK的开发代码层为APK、Framework为主，涉及到的Java代码覆盖方案是基于emma.jar进行二次开发的CI插件，通过对apk的重编译实