RPA在财经中的应用 课件 chapter7：OCR文字识别自动化

OCR文字识别自动化OCR光学字符识别（OpticalCharacterRecognition，简称OCR），是指对包含文本资料的图像文件进行分析识别处理，获取文字及版面信息的技术。20世纪90年代以来，随着平台式扫描仪的广泛应用以及办公自动化的普及，OCR技术的识别正确率、识别速度不断提高，更好地满足了用户的需求。UiBot不但提供了原生的OCR功能模块，还接入了第三方的OCR服务，更是在MageAI产品中提供了丰富的文字识别功能，极大地方便了用户的选择与使用。12MageAI文字识别命令发票信息登记机器人01MageAI文字识别命令通用文字识别通用表格识别通用多票据识别通用卡证识别验证码识别印章识别自定义模板识别MageAIUiBotMage（智能文档处理平台）基于OCR、NLP等前沿深度学习算法，提供了文档的识别、分类、要素提取、校验、对比、纠错等功能，可帮助企业实现日常文档处理工作的自动化。Mage提供丰富的预训练的AI模型，使用者无需AI经验，开箱即用。Mage的AI能力可分为预训练AI能力和定制化AI能力。预训练AI能力提供了开箱即用的AI能力，能够处理身份证、银行卡、发票、火车票识别等普适场景的识别和抽取需求；定制化AI能力需要用户上传自己的数据，通过无代码的方式，标注、训练、测评、优化AI模型，使模型能够理解专业领域的文档。MageAI定制化程度能力用途预训练AI能力通用文字识别识别图片中所有文字。通用表格识别识别图片中的表外文字和表内文字，并按照单元格的排列顺序，输出表格内容。通用多票据识别识别普通发票、专用发票、电子发票、销货清单、卷式发票、出租车票、火车票、动车票、飞机行程单、定额发票、购车发票等全票种发票，并返回核心字段值。通用卡证识别识别银行卡、身份证、社保卡、驾驶证、行驶证、户口本、护照、结婚证、房产证、不动产证、营业执照、开户许可证、组织机构代码证、车辆合格证、车辆登记证、基本存款账户信息，并返回核心字段值。验证码识别识别由数字和字母组成的验证码。印章识别识别印章的位置、颜色、内容。定制化AI能力自定义模版上传一组版面样式相对固定的图片文件，通过配置规则的方式，依赖位置关系抽取到业务需要的字段值。MageAI在UiBotCreator中使用MageAI文字识别服务，需要进行Mage配置。MageAI服务也是一种付费服务。通用文字识别窗口文字识别“鼠标点击文本”、“鼠标移动到文本上”、“查找文本位置”三个命令使用UiBotMage对窗口范围内进行指定文字识别，其功能与使用与本地“鼠标点击OCR文本”、“鼠标移动到OCR文本上”、“查找OCR文本位置”三个命令类似。通用文字识别屏幕文字识别“屏幕文字识别”使用命令时，需在屏幕上选择目标，并指定识别范围。下图所示命令在识别屏幕窗口指定识别范围内的文字，识别结果为一个JSON对象。通过JSON阅读器，可查看其结构。通用文字识别“图像文字识别”使用命令时，需指定待识别的图像，支持jpeg、jpg、png、bmp、tif、tiff等格式。图片文字识别通用文字识别“PDF文字识别”需指定待识别的PDF文件路径、文件访问密码，是否识别全部页。如果不识别全部页，还需指定页码。页码支持正整数和数组格式，如输入2，则识别第2页；如输入[1,3,5]，则识别第1,3,5页；如输入[1,[6,9],4]，则识别1,4页和第6到第9页。当识别全部页码设为"是"，则识别指定页码的输入失效。超出PDF页码总数的部分会报错，页码重叠部分仅识别1次。PDF文字识别通用文字识别“屏幕文字识别”、“图像文字识别”、“PDF文字识别”命令返回的是一个JSON对象，该对象列出了文本的结构，包括page、paragraph、row。UiBot提供了一系列获取文本信息的命令来获取文本的上述信息：“获取全部文本”命令获取通用文字识别结果的全部文本。“获取段落文本”命令获取通用文字识别结果按段落划分的全部文本。“获取每行文本”命令获取通用文字识别结果按行划分的全部文本。“获取所有文本元素”命令获取文字识别结果按文本元素划分的全部文本。获取文本信息通用表格识别屏幕表格识别通用表格识别命令识别图片中的表外文字和表内文字，并按照单元格的排列顺序，输出表格内容。图像表格识别PDF表格识别“屏幕表格识别”、“图像表格识别”、“PDF表格识别”命令使用UiBotMage，分别识别指定屏幕范围、图像、PDF文档中的多个表格，识别结果返回JSON格式。通用表格识别获取表格信息获取表格信息命令从屏幕、图像、PDF表格识别命令返回的识别结果中获取相关信息。获取非表格文字、获取所有表格、获取表格数、获取指定表格命令执行前，先要通过“屏幕表格识别”、“图像表格识别”、“PDF表格识别”获得表格识别结果。获取表格区域、获取表格行数、获取表格列数、获取表格行、获取表格列、获取表格单元格这几个命令执行前，首先要通过“获取指定表格”命令获取到相关表格。获取表格数、获取表格行数、获取表格列数返回值为数值型，其他命令返回值均为数组。通用表格识别提取表格结果至EXCEL“提取表格结果至EXCEL”命令将“屏幕表格识别”、“图像表格识别”、“PDF表格识别”命令的识别结果直接提取至Excel文件中。该命令有一个特殊属性：“过滤非表格文本”，选择“否”将完整识别结果写入Excel中的Sheet1页，选择“是”则将识别的每个表格按顺序分别写入Excel的多个Sheet页。通用多票据识别屏幕多票据识别通用多票据识别命令可识别普通发票、专用发票、电子发票、销货清单、卷式发票、出租车票、火车票、动车票、飞机行程单、定额发票、购车发票等全票种发票，并返回核心字段值。图像多票据识别PDF多票据识别“屏幕多票据识别”、“图像多票据识别”、“PDF多票据识别”命令使用UiBotMage，分别识别指定屏幕范围、图像、PDF文档中的多种票据，识别结果返回数组。通用多票据识别获取票据类型获取票据内容“获取票据类型”命令获取通用多票据识别结果中的票据类型。获取票据类型命令仅有“票据识别结果”这一必选属性，指向多票据识别命令输出数组的某一个元素，返回一个字符串，表示票据类型。“获取票据内容”命令获取通用多票据识别结果中的票据内容。“票据识别结果”属性与“获取票据类型”命令一致。“提取类型”指定发票的类型，包括增值税专用发票、机动车销售统一发票、增值税普通发票、增值税电子普通发票、增值税普通发票（卷票）、增值税电子普通发票（通行费）、二手车销售统一发票、通用机打发票、通用定额发票、旅客运输普票、公路客运发票、航运客票、出租车发票、停车费发票、过路过桥费发票汽车通行费、医疗费收据、行程单、火车票、增值税销货清单、商户小票等。“提取字段”选择获取票据的字段，不同类型发票的提取字段各不相同。通用卡证识别屏幕卡证识别通用卡证识别命令可识别银行卡、身份证、社保卡、驾驶证、行驶证、户口本、护照、结婚证、房产证、不动产证、营业执照、开户许可证、组织机构代码证、车辆合格证、车辆登记证、基本存款账户信息，并返回核心字段值。图像卡证识别PDF卡证识别“屏幕卡证识别”、“图像卡证识别”、“PDF卡证识别”命令使用UiBotMage分别识别指定屏幕范围、指定图像、指定PDF文件中的卡证，“屏幕卡证识别”、“图像卡证识别”返回的为JSON格式。“PDF卡证识别”返回的是数组。通用卡证识别获取卡证类型获取卡证内容“获取卡证类型”命令获取卡证识别结果中的卡证类型。“获取卡证内容”命令获取卡证识别结果中的卡证内容。“屏幕卡证识别”、“图像卡证识别”的返回结果可直接作为“获取卡证类型”、“获取卡证内容”命令的“卡证识别结果”属性输入；如果是“PDF卡证识别”的返回结果，则需使用遍历数组的值。“获取卡证内容”命令可直接提取内容的卡证类型包括：银行卡、名片、香港身份证、身份证、社保卡、驾驶证、行驶证、户口本、护照、结婚证、离婚证、房产证、不动产证、营业执照、开户许可证、税务登记证、组织机构代码证、车辆合格证、车辆登记证、往来港澳通行证、往来台湾通行证、承兑汇票等。验证码识别屏幕验证码识别验证码识别包括屏幕验证码识别、图像验证码识别，分别使用UiBotMage识别指定屏幕范围、指定图片中的验证码，返回识别结果，为一个字符串。图像验证码识别印章识别印章识别包括屏幕印章识别、图片印章识别、PDF印章识别，分别使用UiBotMage识别指定屏幕范围、指定图片、指定PDF文件中内印章信息，识别结果为JSON格式。屏幕印章识别图片印章识别PDF印章识别“提取印章信息”命令从印章识别结果中提取指定的印章信息，提取结果为数组格式，提取的印章信息内容，包括文字、颜色、形状、位置。提取印章信息自定义模板识别自定义模板识别支持用户自定义模板，并根据这个模板对文档进行识别。这是一项用户定制化的AI能力。通过自定义模板，用户可以根据自己的业务需求，快速定制AI能力，对用户固有的合同、票据、单据等文档进行处理。UiBotMage的自定义模板配置每个步骤都配有引导，可无代码完成数据管理->标注->配置->评测->上线的全流程，手把手的教你如何打造一个可用于生产环境（即准确率符合预期）的机器人。自定义模板识别“屏幕自定义模板识别”、“图像自定义模板识别”、“PDF自定义模板识别”使用UiBotMage识别指定屏幕范围、图像、PDF文档中自定义模板内容。屏幕、图片自定义模板识别，结果返回JSON格式。PDF自定义模板识别返回结果数组，在识别多页过程中如果其中一页失败则整个识别会返回错误，且会消耗配额。屏幕自定义模板识别图像自定义模板识别PDF自定义模板识别“获取自定义模板名称”命令返回自定义模板识别结果中的模板名称。“获取模板的字段列表”命令从UiBotMage接口获取识别器中自定义模板的字段列表。“获取模板识别结果”命令获取自定义模板识别结果中指定字段的结果，返回一个数组。获取自定义模板名称获取模板的字段列表获取模板识别结果02发票信息登记机器人需求分析自动化流程设计自动化流程实现开发步骤需求分析小王是部门的财务秘书，部门员工需要报销时，会通过邮件的形式将电子发票交给小王，由小王对发票进行初审。小王初审时，需要关注发票的开票日期、发票抬头，还需要登录全国增值税发票查验平台对发票进行查验。通过前面的学习，小王了解到可以通过发票验真机器人对每一张发票进行自动验真，但是需要提供“发票信息登记表”（示例如下），以记录发票的相关信息。部门员工通过邮件发来的发票均以图片形式保存，小王已按人名、报销日期分别存放在“发票信息”文件夹中（文件夹的结构如下），并在“发票信息登记表”中录入了前三列。现在，小王希望编写一个机器人来帮助他补充发票信息登记表中剩余列的信息。需求分析发票信息登记业务流程业务流程步骤操作说明步骤1打开“发票信息登记表.xlsx”。步骤2打开发票信息文件夹。步骤3判断发票信息文件夹下所有文件夹是否处理完毕？如果处理完毕，则进入步骤8；否则，继续处理下一个文件夹。步骤4打开某一待处理文件夹。步骤5判断待处理文件夹下所有文件是否处理完毕？如果处理完毕，则进入步骤3；否则，继续处理下一个文件。步骤6阅读发票信息。步骤7在“发票信息登记表.xlsx”中登记发票信息。步骤8关闭“发票信息登记表.xlsx”。发票整理业务流程的操作步骤自动化流程设计根据以上需求分析，设计发票信息登记机器人自动化流程如下图所示。在该流程中，机器人代替人工，逐一访问发票信息文件夹下的每一个文件夹，并识别该文件夹下的每一个电子发票文件，提取发票信息后，在发票信息登记表.xlsx中登记。发票信息登记机器人自动化流程自动化流程实现流程块自动化流程步骤功能描述命令名称发票信息登记步骤11.1打开“发票信息登记表.xlsx”打开EXCEL工作簿1.2读取数据总行数获取行数步骤22.1获取“发票信息”文件夹下的所有文件夹列表获取文件或文件夹列表步骤33.1循环处理“发票信息”文件夹下的每一个文件夹依次读取数组中每个元素步骤44.1获取文件夹路径字符串长度获取长度4.2查找文件夹路径中最后一个”\”位置倒序查找字符串4.3