人工智能技术在UI自动化测试中的应用

1、人工智能技术在UI自动化测试中的应用资深质量保证工程师 CA, Technology摘要起源/设计思路技术未来实践 1.1视频演示工具的工作过程,大约5分钟,在演示过程中讲解具体的工作内容,听众对于工作过程有直观的认识起源 语音识别: Siri, Google Voice 体感交互: Kinect, Leap Motion, MYO 穿戴式设备: Google Glass, Jawbone 一个全新的交互时代即将到来设计思路VS. 思考:创造性的开展工作 7*24 小时工作 技术水平可以量化 一周40小时工作 技术水平难以量化 严格按代码工作设计思路Driver.get(url);Driver

2、.findelement.click;Driver.findelement.typeKeys(xxx);Driver.findelement.typeKeys(xxx);执行思考1. Open URL: xxxx2. Input xxx in username input filed4. Click on Login button3. Input xxx in password input field设计思路实践 总图点击页面 #n 第1个元素是否是新页面? 是i18n测试Test Case #1登陆产品退出产品点击页面 #n 第2个元素是否是新页面? 否Test Case #2登陆产品退出产

3、品点击页面 #n 第N个元素是否是新页面? 是i18n测试Test Case #n登陆产品退出产品广度优先搜索深度优先搜索感知哈希算法界面元素截断检测脚本翻译器字符串Hard Code检测数据/日期格式验证Etc.,自然语言- 分析器-解释器- 编码实践 核心模块工作流程 质量保证应该做哪些工作?怎样更高效的组织测试工作?具体的测试步骤是什么?.Open URL: xxxxDriver.get(URL);解释器解释器Input “test_user” in input field “Name”Parser: /text()=Name /././input实践 解释器登陆进入用户管理验证用户是否

4、存在Test Case #3测试单元#nTest Case #2Test Suit测试单元 #1进入Dashboards添加新Dashboard验证新DashboardTest Case #1登陆Input admin in UsernameInput admin in PasswordClick Log InClick AdminClick UsersVerify “user” exists.实践 核心模块的测试用例组织 Page Vector:530, 12, 11, 31, 8, 10, 27, 21, 34, 36, 27, 39, 42, 55, 48, 26, 26, 24, 10

5、, 14, 3, 5, 5, 4, 12 is NOT equal to page #1: 54, 2, 3, 8, 7, 7, 11, 9, 7 node_id 感知哈希算法广度优先搜索深度优先搜索实践 部分核心模块算法实践 核心功能的可延展性 界面元素截断检测脚本翻译器字符串Hard Code检测数据/日期格式验证Etc.,未来添加声控模块控制测试执行: 例如调用Google Voice和缺陷跟踪系统进行交互: 自然语言提交缺陷报告 自动跟踪缺陷状态 自动重现/验证缺陷案例ROI分析投入: 90%的脚本开发维护工作由机器人程序代替,在测试自动化上的时间投入大幅度减少.产出: 平均每个项目发现100+的国际化和本地化问题回归测试由机器自动执行, 无需人工干预案例启示1. 突破思维定势: 想要测试自动化,代码不是必须的工作,用自然语言就可以完成!2. 契合人机交互的发展趋势: 更加自然流畅的测试开发过程,人和机器人程序合理的分工合作可以让工作效率大幅提升3. 便于测试的维护与升级免去代码的维护调试