《RPA财务机器人应用教程》 课件-项目六 用户界面自动化

RPA财务机器人应用教程项目六用户界面自动化

目录

学习任务

6–1使用录制器

学习任务6–2选择目标元素和进行键操作

学习任务6

–3创建和使用用户界面库

工作情境6

–1对记账系统的收支自动记账RPA知识目标能力目标了解“应用程序/网页录制器”功能，熟悉录制功能的使用场景。掌握录制器操作，能够使用录制器生成不同界面的自动化流程。学习任务6-1使用录制器学习案例使用“应用程序/网页录制器”录制打开“个人理财记账软件.exe”文件并登录的流程，双击“个人理财记账软件.exe”文件即可登录。该文件在“个人理财记账程序”文件夹内，登录的用户名为“admin”，密码为“123”。学习任务6-1使用录制器操作步骤创建一个流程，将流程命名为“学习任务1使用录制器”。打开“主工作流”，同时打开“个人理财记账程序”文件夹。在设计器功能区单击“设计”一“应用程序/网页录制器”（如图6-1所示，启动录制器。）学习任务6-1使用录制器操作步骤4）在“应用程序/网页录制器”窗口单击暂停图标（如图6-2所示）或按Esc键，暂停录制；在“个人理财记账程序”文件夹找到“个人理财记账软件.exe”文件后，单击录制图标（如图6-3所示）进行录制。学习任务6-1使用录制器

（5）当光标指向“个人理财记账软件.exe”文件时，页面会出现高亮框和相应图标（如图6-4所示）显示目标元素的选取状态。单击图标选择操作，在“选择操作”选项选择“双击”（如图6-5所示）录制器自动录制双击“个人理财记账软件.exe”文件的动作。双击光标动作录制完成后，录制器窗口会显示录制的步骤；打开“个人理财记账软件.exe”文件，页面出现"用户登录”窗口。操作步骤学习任务6-1使用录制器:ZhCun.Framework.WinAdvancedSear...2015/1/2316:42

*^Cun.Framework.WinCommon.dll

2015/1/2316:42'点|个人理财记账软件.exe

2015/1/2216:13应用程序扩展就展应用程序操作步骤学习任务6-1使用录制器（6）在“用户登录”窗口，将光标指向“登录名”输入框，页面会出现高亮框和相应图标，显示目标元素的选取状态（如图6-6所示）。单击图标选择操作，在“选择操作”选项选择“输入信息”（如图6-5所示）。录制器在确定目标元素后会自动确定锚点元素并弹出输入信息窗口。在输入框输入“admin”（如图6-7所示），单击“确认”按钮后完成“登录名”输入的录制。

操作步骤将光标指向“密码”输入框并单击，录制器会自动确定目标元素和锚点元素并弹出输入信息窗口。在输入框输入“123”（如图6-8所示），单击“确认”按钮后完成密码输入的录制。学习任务6-1使用录制器操作步骤（8）单击“用户登录”界面的“确定”按钮，录制器会自动录制单击操作；当录制完成后，软件登录进入操作界面。（9）“应用程序/网页录制器”窗口列示了录制的每个步骤，单击每步操作的

图标可以撤销该操作的录制；当流程录制完成后，单击录制器的 图标保存录制内容并返回设计器。（10）当录制器保存后，返回设计器，主工作流会自动生成整个操作的自动化流程。关闭个人记账软件和输入法，选择“调试文件”→“运行文件”（或者按Ctrl+F6键），查看流程执行过程。学习任务6-1使用录制器附加内容用户界面（userinterface，UI）是系统和用户之间进行交互和信息交换的媒介，用户界面定义广泛，包含了人机交互与图形用户界面，凡参与人类与机械的信息交流的领域都存在着用户界面。本学习任务的用户登录界面以及登录后各项操作界面都属于用户界面。

UI元素是指应用程序的图形用户界的组成部分，这些元素主要用来进行人机信息交互，它们可以是窗口、复选框、文本字段或下拉列表等。本学习任务的用户登录界面有5个元素与用户交互（如图6-9所示），分别是2个输入框元素（“登录名”输入框、“密码”输入框）、3个按钮元素（“确定”按钮、“取消”按钮、关闭按钮）。用户可以使用大多数应用程序的用户界面元素创建自动化，包括通用Windows平台应用程序。了解这些交互元素可以帮助用户更快、更轻松地实现用户界面自动化。

学习任务6-1使用录制器用户界面元素和相关活动属性微课50：介绍用户界面元素和相关活动学习任务6-1使用录制器所有与用户界面的交互都可以分为输入和输出两类操作（如表6-1所示）。了解分类可以帮助用户更好地掌握如何在不同场景中使用不同的操作（活动）、何时使用它们以及它们背后的技术。

UiPath“活动”窗体的“用户界面自动化”活动包提供了各类与用户界面自动化相关的活动。例如，“使用浏览器/应用程序”活动、“单击”活动、“获取文本”活动等，这些活动都有一些共同的属性。

“出错时继续”属性规定活动出现异常抛出错误时，流程是否应该继续。此属性中的默认值为False，如果活动出现异常引发错误，则流程的执行将停止。如果该值设置为True，则无论出现任何错误，流程都会继续执行。“在此之前延迟”和“在此之后延迟”属性分别在活动之前和之后增加一个暂停时间，时间以毫秒为单位。“超时”属性规定活动找到目标元素的时间，超过这个时间活动会引发异常，时间以毫秒为单位，默认值为30000毫秒（30秒）。学习任务6-1使用录制器输入操作输出操作单击次数（单击、双击）获取文本文字输入查找元素和图像键盘键光标悬停……剪贴板操作……知识目标能力目标了解“用户界面自动化”活动、“用户界面自动化”的框架，熟悉“用户界面自动化设计”的操作流程。掌握目标元素的选取方式、键操作活动，能够按要求设计用户界面自动项目。学习任务6-2选择目标元素和进行键操作学习案例设计一个自动化流程，登录该流程后，在“个人记账软件”执行以下操作：单击“记账”→“收入记账”按钮（如图6-10所示），打开“收入记账”窗口；在“收入记账”窗口的“发生日期”输入框内（图6-11中的1、2、3分别表示年、月、日）输入“2021”“11”“8”，即完成后“发生日期”为“2021年11月8日”；在“账户”输入框内按回车键选择“现金”。学习任务6-2选择目标元素和进行键操作操作步骤（1）创建一个流程，将流程命名为“学习任务2选择目标元素和进行键操作”。（2）打开主工作流，将主工作流内的序列更名为“选择目标元素和进行键操作”，同时登录“个人记账软件”。（3）在“活动”窗体内单击“用户界面自动化”→“应用程序”，把“使用应用程序/浏览器”活动拖拽到“目标元素和键操作”序列内。（4）在“使用应用程序/浏览器”活动界面单击“使用应用程序进行自动化(I)”选项，使界面自动跳转到“个人记账软件”登录后的窗口。出现“单击选择应用程序”提示后，单击“个人记账软件”窗口。应用程序对象选定后会自动回到UiPath设计器界面，此时“使用应用程序/浏览器”活动会自动添加信息截图和应用程序的路径，显示名称也自动更改。学习任务6-2选择目标元素和进行键操作微课51：选择目标元素和进行键操作操作步骤（5）在“活动”窗体内单击“用户界面自动化”→“应用程序”，将“单击”活动拖拽到“使用应用程序/浏览器”活动的“执行”序列内。单击活动界面内的“在此应用程序中指定:Apps:个人记账软件”按钮区域，使界面跳转到“个人记账软件”窗口；“选择选项”窗口出现后，在“个人记账软件”窗口选择“记账”按钮作为目标元素（如图6-12所示），不设置锚点元素，直接在“选择选项”窗口单击“确认”按钮返回“单击”活动。

学习任务6-2选择目标元素和进行键操作操作步骤（6）在“个人记账软件”窗口单击“记账”按钮，打开“记账查看”窗口。回到UiPath设计器，在“活动”窗体内单击“用户界面自动化”→“应用程序”，将“单击”活动（位于上一个“单击”活动之后）拖拽到“使用应用程序/浏览器”活动的“执行”序列内。单击活动界面内的“在此应用程序中指定:Apps:个人记账软件”按钮区域，使界面跳转到“个人记账软件”窗口；当弹出“选择选项”窗口后，单击“用户界面框架”按钮（或按F4键）选择“UIA”（如图6-13所示）；设置完成“用户界面框架”后，在“个人记账软件”窗口选择“收入记账”按钮作为目标元素，不设置锚点元素（如图6-14所示）；直接在“选择选项”窗口单击“确认”按钮，返回“单击”活动。

学习任务6-2选择目标元素和进行键操作操作步骤（7）在“个人记账软件”窗口单击“收入记账”按钮，打开“收入记账”窗口。回到UiPath设计器，在“活动”窗体内单击“用户界面自动化”→“应用程序”，将“输入信息”活动（位于“单击”活动之后）拖拽到“使用应用程序/浏览器”活动的“执行”序列内。单击活动界面内的“在此应用程序中指定:Apps:个人记账软件”按钮区域，界面自动跳转到“收入记账”窗口；“选择选项”窗口弹出后，将光标移至“收入记账”窗口的“发生日期”输入框区域，待出现高亮框后，单击输入框自动确定目标元素和锚点元素，目标元素的定位点在输入框的中间区域（如图6-15所示）；学习任务6-2选择目标元素和进行键操作调整目标元素的定位点，将目标元素的定位点由输入框的中间位置拖至年份输入位置（如图6-16所示），确定此区域元素为新的目标元素；在“选择选项”窗口内单击“确认”按钮返回“输入信息”活动；在活动界面的“输入此项”输入框中输入"2021"”，在“在输入前清空字段”中选择“无”，在“单击后再输入”中选择“单个”。操作步骤学习任务6-2选择目标元素和进行键操作操作步骤（8）在“活动”窗体内单击“用户界面自动化”→“应用程序”，将“输入信息”活动（位于上一个“输入信息”活动之后）拖拽到“使用应用程序/浏览器”活动的“执行”序列内。使用步骤（7）的方法确定月份输入区域为新的目标元素，目标元素输入的值为“"11"”。（9）在“活动”窗体内单击“用户界面自动化”→“应用程序”，将“输入信息”活动（位于上一个“输入信息”活动之后）拖拽到“使用应用程序/浏览器”活动的“执行”序列内。使用步骤（7）的方法确定日输入区域为新的目标元素，目标元素输入的值为“"8"”。（10）在“活动”窗体内单击“用户界面自动化”→“应用程序”，将“快捷键方式”活动拖拽到“使用应用程序/浏览器”活动的“执行”序列内。“快捷键方式”活动位于“输入信息”活动之后。学习任务6-2选择目标元素和进行键操作操作步骤在“键盘快捷方式”活动界面选择“手动添加快捷键”，在“发送按键组合”中选择“Enter”，单击“添加”按钮添加发送按键；在活动界面单击图标打开“选项”菜单，选择“在屏幕上指明目标(I)”选项（如图6-17所示）；界面跳转到“收入记账”窗口；弹出“选择选项”窗口后，将光标移至“收入记账”窗口的“账户”输入框区域，当出现高亮框后，单击输入框自动确定目标元素和锚点元素；在“选择选项”窗口单击“确认”按钮，返回“键盘快捷方式”活动。学习任务6-2选择目标元素和进行键操作操作步骤（11）在“收入记账”窗口的“账户”输入框中按回车键，页面弹出“账户名称”和“余额”下拉列表（如图6-18所示）。回到UiPath设计器，在“活动”窗体内单击“用户界面自动化”→“应用程序”，将“单击”活动（位于“快捷键方式”活动之后）拖拽到“使用应用程序/浏览器”活动的“执行”序列内。“单击活动界面内的“在此应用程序中指定:Apps:个人记账软件”按钮区域，界面自动跳转到“收入记账”窗口；“选择选项”窗口弹出后，将光标移至“收入记账”窗口“账户名称”和“余额”下拉列表中的“现金”区域，当“现金”区域出现高亮框后，单击自动确定目标元素；不设定锚点元素，直接单击“选择选项”窗口的“确定”按钮，返回“单击”活动。学习任务6-2选择目标元素和进行键操作操作步骤（12）关闭“个人记账软件”的“收入记账”窗口，退出“记账查看”窗口，程序返回登录后的初始状态。（13）选择“调试文件”→“运行文件”（或者按Ctrl+F6键），查看流程执行过程和结果。学习任务6-2选择目标元素和进行键操作附加内容在用户界面自动化流程设计开发中，目标元素对象或者一段流程经常要被重复使用。例如，在“个人记账软件”记账自动化操作中，“记账”图标按钮经常要被单击；登录输入用户名或密码的流程也经常被使用。我们可以将目标元素对象或者流程添加到对象存储库中，共享给其他使用者或者供以后重复使用。对象存储库包括“描述符”和“UI活动”两个选项。用户在对象存储库“描述符”（如图6-19所示）中，单击图标添加新应用程序；在新应用程序中根据自动化对象的不同屏幕增加不同的屏幕；在屏幕中添加对应的用户界面元素（手工添加新应用程序、屏幕和元素对象）。学习任务6-2选择目标元素和进行键操作了解对象存储库附加内容学习任务6-2选择目标元素和进行键操作另一种生成应用程序、屏幕和元素对象的方式是使用录制器，单击图标录制用户界面自动化的操作。用录制器不会在主工作流中生成一段流程，其只是在对象存储库中记录操作过程对应的屏幕和元素对象。生成的应用程序可被提取为用户界面库，用户界面库发布后，可以在流程中被当成UI库（依赖）使用，UI库可以跨项目使用。在“UI活动”中，用户可以查看当前所有流程的用户界面活动，可以选择把需要的用户界面活动添加到对应的对象存储库中。

对象存储库能有效地提升用户界面自动化开发的效率，我们在后面的内容中将尝试如何创建和使用对象存储库。知识目标能力目标了解对象存储库，理解应用程序、屏幕和元素对象的概念，熟悉用户界面库的作用。掌握用户界面库的创建、发布、安装，能够使用用户界面库添加用户界面活动。学习任务6-3创建和使用用户界面库完成以下3个主要任务：（1）将用户界面元素添加到对象存储库。使用UiPathStudio打开“学习任务1录制器”文件夹里的项目文件“project.json”（或者双击Main.xaml文件），将主工作流中用户界面活动涉及的用户界面元素添加到对象存储库中。在对象存储库中创建的应用程序名称为“个人记账软件”；在应用程序内创建两个屏幕，一个名称为“打开个人记账软件”，用于存储打开个人记账软件时涉及的用户界面元素，另一个名称为“用户登录界面”，用于存储用户登录过程中涉及的用户界面元素。

学习案例学习任务6-3创建和使用用户界面库（2）用户界面库的创建和发布。在对象存储库中把“个人记账软件”应用程序提取为用户界面库，用户界面库名称为“个人记账软件.登录元素”，把用户界面库保存在新建的“学习任务6-3创建和使用用户界面库”文件夹内，打开用户界面库，将其发布到本地计算机的默认位置。

学习案例（3）用户界面库的安装和引用。新建一个流程，将流程命名为“使用用户界面库”，流程文件夹保存在“学习任务3创建和使用用户界面库”文件夹内。在流程里引入发布的库工作包，在主工作流内使用用户界面库里的界面元素重新设计一个打开和登录“个人记账软件”的流程。

学习任务6-3创建和使用用户界面库

（1）在“学习任务1使用录制器”文件夹，使用UiPathStudio打开项目文件“project.json”（或双击Main.xaml文件），打开主工作流。操作步骤

（一）将用户界面元素添加到对象存储库学习任务6-3创建和使用用户界面库操作步骤（2）选择第一个“使用应用程序/浏览器”活动（显示名称“个人理财记账程序文件”），单击活动界面上的图标，选择“将屏幕添加到对象存储库”（如图6-20所示）或者直接单击图标。学习任务6-3创建和使用用户界面库操作步骤在“将屏幕添加到对象存储库”窗口内（如图6-21所示），单击“快速添加”按钮弹出“创建应用程序”窗口。在“创建应用程序”窗口将“应用程序名称”更名为“个人记账软件”，在“应用程序版本”使用默认值；单击“创建应用程序”按钮创建一个应用程序。将“屏幕名称”更改为“打开个人记账软件”，此时，页面会出现警告提示；单击“项目用户界面描述符”下的“个人记账软件1.0.0”应用程序，将更名后的屏幕添加到“个人记账软件1.0.0”应用程序里（如图6-22所示）。单击“完成”按钮添加屏幕。学习任务6-3创建和使用用户界面库操作步骤（3）打开“对象存储库”，在“描述符”项下可以看到新建的应用程序和屏幕（如图6-23所示）。学习任务6-3创建和使用用户界面库操作步骤（4）在主工作流里选择“单击”活动（显示名称为“双击'个人理财记账软件.exe'”），在单击活动界面上的图标中选择“添加到对象存储库”选项（如图6-24所示）或者直接单击图标，将其添加到对象存储库。“将元素添加到对象存储库”窗口（如图6-25所示）的“元素名称”和“类型”使用默认值，该元素默认添加在“打开个人记账软件”屏幕内。单击“完成”按钮完成元素的添加。学习任务6-3创建和使用用户界面库操作步骤（5）选择第二个“使用应用程序/浏览器”活动（显示名称为“用户登录界面”），将该屏幕添加到“个人记账软件1.0.0”应用程序中，屏幕名称为默认名称“用户登录界面”。（6）选择“输入信息”活动（显示名称为“输入信息'登录名'”），将元素添加到“用户登录界面”屏幕中。（7）选择“输入信息”活动（显示名称为“输入信息'密码'”），将元素添加到“用户登录界面”屏幕中。（8）选择“单击”活动（显示名称为“单击'单击'确定''”），将元素添加到“用户登录界面”屏幕中。（9）完成应用程序创建、屏幕和元素添加后，“对象存储库”里会列出各项内容的层次结构（如图6-26所示）。学习任务6-3创建和使用用户界面库操作步骤（二）创建和发布用户界面库（1）新建一个“学习任务6-3创建和使用用户界面库”文件夹。（2）单击对象存储库里“个人记账软件1.0.0”应用程序后的图标（如图6-26所示，作为用户界面库提取），页面弹出“新建用户界面库”窗口（如图6-27所示）。将“新建用户界面库”窗口里的“名称”输入框中内容更改为“个人记账软件.登录元素”，在“位置”中选择“学习任6-3创建和使用用户界面库”文件夹，单击“创建”按钮创建项目。创建完成后，页面会弹出“提取项目成功”对话框，该对话框询问是否立即打开该项目，单击“是”按钮，打开库项目。学习任务6-3创建和使用用户界面库操作步骤（3）在“个人记账软件.登录元素”库项目界面单击“设计”→“管理程序包”→“设置”选项，打开“管理包”窗口（如图6-28所示）。学习任务6-3创建和使用用户界面库操作步骤①在“管理包”窗口单击按钮选择包的来源文件夹，用户既可以自行创建包的自定义来源文件夹，也可以选择计算机系统默认的包文件夹。计算机系统默认的包文件夹地址为“C:\Users\用户名\.nuget\packages”（本机用户名为“1156”），在本学习任务时，我们选择计算机系统默认的包文件夹。②选择包的来源文件夹后，在“名称”输入框输入包的名称“mypackages”，单击“添加”按钮添加用户定义的包来源。学习任务6-3创建和使用用户界面库操作步骤③用户定义的包来源添加后，“管理包”窗口左侧会增加一个“mypackages”选项，“用户定义的包来源”内会列出自定义包来源的名称和地址（如图6-29所示）。学习任务6-3创建和使用用户界面库操作步骤（4）在“个人记账软件.登录元素”库项目界面单击“设计”→“发布”按钮，打开“发布库”窗口，在“包属性”选项中按默认值设置（如图6-30所示），单击“下一步”设置“发布选项”。在“发布至”中选择“自定义”，在“自定义URL”中选择自定义包来源文件夹地址（如图6-31所示）。设置完“发布选项”后，单击“发布”按钮编译库和发布库至自定义包来源地址。学习任务6-3创建和使用用户界面库操作步骤（三）安装和引用用户界面库（1）选择“主页”→“开始”→“流程”，创建一个流程，将流程“名称”更名为“使用用户界面库”，在“位置”中选择“学习任务6-3创建和使用用户界面库”文件夹。（2）在“使用用户界面库”界面，单击“设计”→“管理程序包”按钮，打开“管理包”窗口。在“管理包”窗口选择“mypackages”选项，在顶端搜索栏输入“个人记账软件.登录元素”找到对应的包。选择“个人记账软件.登录元素”包，出现安装提示，单击“安装”按钮后，单击“保存”按钮。学习任务6-3创建和使用用户界面库操作步骤（3）“个人记账软件.登录元素”包安装完成后，在“项目”窗体“依赖项”里会出现“个人记账软件.登录元素”依赖项名称和版本号（如图6-33所示），同时“对象存储库”窗体的“UI库”里会显示引入的依赖项和第1个任务创建的“个人记账软件1.0.0”应用程序（如图6-34所示）。学习任务6-3创建和使用用户界面库操作步骤（4）在“对象存储库”窗体的“UI库”里拖拽“打开个人记账软件”屏幕至“Main”工作流的序列内，序列内会添加一个“使用应用程序/浏览器”活动，显示名称为“打开个人记账软件”（如图6-35所示）。学习任务6-3创建和使用用户界面库操作步骤（5）从“UI库”里拖拽“双击'个人理财记账软件.exe'”元素对象至“使用应用程序/浏览器”活动“执行”序列内，这时“搜索要添加的活动”栏会显示所有可用的用户界面活动（如图6-36所示）。从搜索栏中选择“单击”活动，“执行”序列会添加一个单击活动，将“单击类型”选择为“双边框”。学习任务6-3创建和使用用户