2023微软下一代跨平台软件测试基础设施+Hydra+Lab

利用大模型打造更聪明的猴子：下一代跨平台软件测试基础设施HydraLab2023ek支持三星和荣耀手机的深度连接集成体验跨平台应用的端到端测试解决方案Agenda从手动到工程化创新HydraLab和测试工程化智能涌现：更聪明的猴子大模型时代：智能测试和测试智能化01软件测试的时代印记：从手动到byAlanPage

byJames 2010国内的“测开”在国外一般叫：软件测试工程师（SoftwareTestEngineer,STE）或软件开发测试工程师（SoftwareDevelopmentEngineeringinTesting,SDE/T） ” 自动化测试并不自动，依然需要维护 ？ 义 工具多、选哪个？测试解决方案的多元化软件质量保障测试解决方案的多元化自动化的挑战软件测试自动化的挑战工程化解决方案自动化测试工程化解决方案51%,aTheStateofTestingReport,PractiTest,2023测试金字塔集成度提高、接近用户视角更“生动”、“保真”和完整运行慢、成本更高、脆弱更“黑盒“调试和归因难度提高

手工测试性能测试I测试

兼容性兼容性无障碍随机测试集成测试单元测试测试工程化持续集成系统测试管理系统报告和问题追踪代码仓库构建任务和执行系统构建任务流水线测试设备管理测试任务分发和管理测试结果分析系统持续集成系统测试管理系统报告和问题追踪代码仓库构建任务和执行系统构建任务流水线测试设备管理测试任务分发和管理测试结果分析系统测试设备和环境控制测试任务执行器测试记录系统问题发现和分析e测试设备和环境控制测试任务执行器测试记录系统问题发现和分析nt设备测试驱动日志收集录屏截屏设备测试驱动日志收集录屏截屏et为什么需要测试工程化开源方案为什么不选择Fr或者其他第三方云平台？定制化

免费可信使用三方平台潜在问题：把公司的包含调试信息的内测应用开发包上传到第三方平台架构解析架构解析架构解析eIe

HydraLab管理中心

HydraLab监控系统用户和权限管理设备和代理管理

rafaaProetesProetes网关Pushmetricsgix架构解析测试管理性能测试服务运行环境能力发现

设备驱动层

Monkey

ydrab中心通信层

测试中心通信管理数据诊断和上报

SmartTest�

droidClit本地数据库

MaestroAzueOpenAISevce架构解析群RESTulAPI群RESTulAPI群RESTulAPI群RESTulAPI群RESTulAPI群RESTulAPI内部落地情况每月运行5~8万测试任务管理全球设备覆盖单元测试、UI测试、Monkey测试、智能测试、端到端测试和性能测试告数据分析和可视化03智能涌现ChaosMonkey FaultInjection最”受欢迎”的自动化测试24一百万只猴子在一百万个键盘前敲一百万年DALL-E2->莎士比亚作品三个盒子输入 逻辑处理 出C1B1输入 A B2

输出1输出2输出3灰盒测试白盒视角的LLM测试应用：TestPilot我对选中的代码生成单元测试，要求验证边界情况和异常情况… ”272828• 理解程序界面• 理解程序界面• • 进行交互黑盒视角的测试理解程序界面找到可交互元素进行交互RulebasedRulebasedModelbased智能探索SEE模型StartStart初始化En提取元素n理解转化nEn评估反馈Action执行动作Modelbased的探索：强化学习将应用看做“状态机”观察（提取）理解观察（提取）理解决策行动评估（反馈）进入了新界面发生了异常到达了目的状态理解Comprehension 页面张量 元素特征向量 多层感知机页面分类

Output页面和元素特征预处理

Bert{"position":[0,322,

位置信息元素类型

Class …576],"clickable":true,"element_type":“input","textfeature“:Enteryour

文本类特征元素截图

Token

Icon Text Button特征提取email",}

"image":array

SentenceTansomer编码理解ComprehensionCosine页面向量相似度Cosine页面向量相似度CosineSimilarity=0.4579

CosineSimilarity=0.9954这两个页面不(<0.5)

这两个页面很(>0.9)04广义自动化测试视角下，大语言模型如何发挥作用?测试智能化中LLM面对的问题 如何理解用户的测试需求？

如何智能探索一款应用？理解和交互？

如何整合测试信息？ 分析测试结果？长处 弱项 应用思路LLM的

补充码任务

变、漂移

必要信息缩、分段摘要

文限制

PromptSkills不同量级工程的规模GPT4代码理解或生成(2,000

一般5-10年开发规模项目(1,000,000lines)

nrodSP(12,000,000

nows10(50,000,000lines)ByVsualCaptalst源代码不同测试问题的上下文的规模源代码运行时调试信息SRC SRC运行时调试信息 编译产物编译产物白盒测试生成：单元测试WARNERRORLOGWARNERROR

白盒测试生成：集成测试 EXE36运行时交互信息测试结果分析36运行时交互信息

探索测试

黑盒测试生成SourceCoderSourceCoderdTwrtddnNdt?ttePassNrerrr?errrIodrdTknteIrCodeRepoScannerddxxhlerntrcTnMg-:单步探索特征提取：可交互元素的关键特征页面上下文应用上下文相关原理

面对这样一个界面，你会如何向GPT描述？你想点哪里？38三个盒子输入 逻辑处理 出C1B1输入 A B2

输出1输出2输出3灰盒测试黑盒测试的生成App StructuredDataLLM-based:黑盒用例生成AppiumPythonJUnit+Mockito基于Maestro的UI试用例：<应用解析数据><功能状态转换图描述>”“LLM-basedAppiumPythonJUnit+Mockito基于Maestro的UI试用例：<应用解析数据><功能状态转换图描述>”“AppiumJavaAppiumJava这是应用的解析数据和状态转换图的文本表示，基于这些生成[New]Maestro[New]Maestro应用解析数据

GeneatedTestCases性能数据的自然语言解读分析HydraLabCenterTestTriggerHydraLabCenterPerfDataADOPipelineAnalysisADOPipelineAnalysisPerfDataAgentAnalysisAgent4545LLM赋能下的全面测试智能化路径决策路径决策页面元素理解用例生成测试结果分析探索理解生成执行分析数据生成状态图分析测试日志分析测试环境的模拟生成测试数据生成智能探索型测试测试用例生成和优化测试环境的模拟生成测试数据生成智能探索型测试测试用例生成和优化测试结果分析解读测试智能分析调度基于测试结果的诊断建议智能测试与测试智能化egdt.abooeeTgRESTulAPINPU/GPUCapabilityRunModelEvaluationTasksTsEvaluatingLL