手机客户端多级发布体系及云分析测试系统

1、移动客户端多级发布体系及云分析测试系统目录? 移动应用现状? 移动应用质量保障的挑战? 赶集网移动应用质量保障体系? 整体架构及应用流程? 关键系统介绍移动设备碎片化操作系统多重长尾来自于赶集的数据3401厂商20370型号416分辨率烧钱的时代用户获取成本高昂质量关键指标62%遭遇过crash47%遇到过加载慢26%因质量问题差评79%首次使用卸载O2O产品特性地理位置支付快速发布流程场景开发代码提交手工打包测试发布?代码及工程缺陷?前后端联调困局传统的质量保障流程?开发成为流程关键路径?开发资源占用?人为缺陷?流程效率瓶颈?测试方法低效单一?非功能质量缺陷?人工发布?线上监控缺失?用户反馈

2、收集成本较高移动应用质量保障的挑战节奏变快，压力变大需求及市场运营层面对研发体系提出了更高的要求 难度及成本增加剧增的终端设备、系统类型，使得非功能测试的成本及难度都成倍增加 复杂度增加相对于传统的移动应用，O2O 的应用场景使得功能测试的复杂度增加项目功能非功能无线质量保障分层体系测试流程自动化线上质量服务接口自动化API AUTOMATION核心功能自动化UI AUTOMATION灰度数据分析GRAY RELEASED稳定性测试STABILITY性能测试PERFORMANCE兼容性测试COMPATIBILITY第三方服务CLOUD3rdPartyService Provider非功能性自动

3、化线上质量分析QUALITY ANALYSIS BigDataService线上缺陷监控ONLINE MONITORCloudMonitor Service功能性自动化构建中心持续集成测试打包缺陷检测渠道打包流程控制渠道包校验敏捷支持自动发布缺陷管理架构拓扑图Svn/gitcheck indaily buildbuild静态扫描负载均衡&任务队列Android集群ios集群渠道&证书维护测试包处理渠道包校验Device masterApi提交集群dbhadoop集群实时统计离线统计反解混淆分析平台任务调度Case中心测试回归线上监控Open api订阅服务策略服务分析服务报警服务接口维护&订阅

4、接口测试框架在线调试Case维护线上监控线上监控测试回归jira度量分析接口自动化平台编译配置sdk植入编译打包信息存储构建中心持续集成质量跟踪离线聚合线上监控平台SDK平台功能&非功能自动化平台缺陷报告设备中心稳定性报告性能报告功能报告包验证报告质量&效率报告平台间数据流平台内数据流线下bug数据流线上问题数据流质量报告数据流 30% 1 /5 600% 90 21%功能性bug分层体系下的流程实践 开发 Story测试 集成测试 内测/灰度 发布 一键内测/灰度 灰度质量报告 自动发布 接口 自动化 接口测试前置 服务端bug 缺陷扫描 bug 次构建 准入测试(70%自动化)45%提测质

5、量提升 测试包推送效率提升 STORY功能验证73%功能性bug专项自动化测试89%非功能性bugUI 自动化 核心功能自动化回归 min1次提测 集成功能验证 4%功能性bug11%非功能性bug线上监控95%质量报告线上问题构建中心?测试包推送?灰度、渠道包自动验证流程支持编译?混淆文件关联?代码版本信息关联?SDK套件植入及状态配置?测试包推送自动化测试平台SDK测试套件2.13人天/版本?工程缺陷检测?释放打包人力?一键内测/灰度?iOS内测解决方案500%效率提升?渠道维护?自动发布存储400%效果提升40+小时/版本非功能自动化方案 稳定性提升82%兼容问题减少30%性能提升75%SDKStory测试集成测试灰度发布线上tag开关功能功能 monkey用户用户非功能自动化之crash分析服务(1)混淆文件代码信息构建中心分析平台Story测试报告集成测试报告灰度监控、标准判断、报告线上监控、报告Bug系统监控系统? 线上监控实时? 线上概览实时实时计算非线上数据指标统计数据列表数据? 问题宏观统计? 问题定位效率? 问题发展趋势离线计算混淆堆栈反解堆栈特征聚合指标数据趋势场景统计聚合? 性能&数据均衡分析平台控制系统数据项开关用户精准控制非功能自动化之crash分析服务(2)