《人工智能应用基础》 课件-模块十 迎宾机器人

BasisofArtificialIntelligenceApplication人工智能应用基础迎宾机器人项目实战人脸识别之

人脸检测01人脸检测对于公司大厅内的迎宾机器人小胖来讲，它首先需要检测是否有人脸的出现，其次为了同公司员工或客户进行寒暄，需要识别对方的情绪。本次课要进行人脸检测，并对识别出来的人脸进行打框，同时识别对方的表情。让我们一起学一学人脸识别知识，做一做人脸分析项目！迎宾机器人小胖人脸检测网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户1、任务描述在百度平台创建AipFace应用并获取鉴权信息

编写代码检测人脸编码显示加框后的图片编译运行并查看结果2、环境要求3、任务设计本次任务是借助百度AipFace接口，将给定图片中的人脸检测出来并进行打框标记。效果如下所示。｝任务一请扫码完成集成环境&百度平台人脸检测人脸检测与定位人脸识别的常见应用人脸搜索1：N人脸识别的常见应用人脸对比1:1人脸识别的常见应用相似度95%同一个人的可能性极高关键点检测人脸识别的常见应用活体检测人脸识别的常见应用网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户1、任务描述在百度平台创建AipFace应用并获取鉴权信息

编写代码检测人脸编码显示加框后的图片编译运行并查看结果2、环境要求3、任务设计本次任务是借助百度AipFace接口，将给定图片中的人脸检测出来并进行打框标记。效果如下所示。｝任务一请扫码完成集成环境&百度平台人脸检测左侧为参考代码，其中：图片资源应与源代码文件在同一目录下参考代码（检测）4、任务实施人脸检测代码中用到cv2：需要安装OpenCVPrompt中pipinstallopencv-python参考代码（呈现）4、任务实施人脸检测BasisofArtificialIntelligenceApplication人工智能应用基础迎宾机器人项目实战人脸识别之

人脸搜索02对于公司大厅内的迎宾机器人小胖来讲，做好智能考勤是它的重要工作任务。因此它需要在人脸库中搜索，面前站着的人员是哪一位。以便做好考勤记录，并致欢迎词。让我们一起学一学人脸识别知识，做一做人脸搜索项目！迎宾机器人小胖人脸搜索客户X员工Y网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户1、任务描述在百度平台创建人脸库在百度平台创建AipFace应用并获取鉴权信息

编写代码编译运行并查看结果2、环境要求3、任务设计本次任务是借助百度AipFace接口，根据给定的图片，在创建好的人脸库中搜索匹配的图片。效果如下所示。｝任务一请扫码完成集成环境&百度平台人脸搜索人脸检测与定位（已完成）人脸识别的常见应用人脸搜索人脸搜索1：N人脸识别的常见应用人脸搜索人脸对比1:1人脸识别的常见应用相似度95%同一个人的可能性极高人脸搜索关键点检测人脸识别的常见应用人脸搜索活体检测人脸识别的常见应用人脸搜索网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户1、任务描述在百度平台创建人脸库在百度平台创建AipFace应用并获取鉴权信息

编写代码编译运行并查看结果2、环境要求3、任务设计本次任务是借助百度AipFace接口，根据给定的图片，在创建好的人脸库中搜索匹配的图片。效果如下所示。｝任务一请扫码完成集成环境&百度平台人脸搜索用户组为特定人群（班级、部门），如：Group1：user01user02Group2：……Stars：user01user02创建人脸库4、任务实施人脸搜索人脸搜索与人脸检测代码非常相似，仅多了一个groupIdList参数到哪个组别中去匹配？参考代码（搜索匹配）4、任务实施人脸搜索参考代码（优化输出及图片呈现）4、任务实施人脸搜索BasisofArtificialIntelligenceApplication人工智能应用基础迎宾机器人项目实战语音对话之

语音合成03语音合成对于公司大厅内的迎宾机器人小胖来讲，当它检测到人脸的出现、并识别相应的人脸以后，首先要做的就是用语音的方式道一声“欢迎”。鉴于科大讯飞在语音领域的实力，以及它所提供服务的友好性，我们就选用讯飞平台做一做语音合成项目！迎宾机器人小胖语音合成网络通信正常已安装Anaconda集成环境1、任务描述2、环境要求3、任务设计本次任务是借助科大讯飞语音合成模块，将给定文字进行语音合成。效果如下所示。语音合成准备一段文字（或文本文件）在科大讯飞平台注册用户

在讯飞平台创建语音应用并获取鉴权信息

编写代码编译运行并收听结果刘先生早上好！很高兴见到您！语音合成智能语音的常见应用讯飞语音合成流程语音播报手机导航语音识别智能语音的常见应用讯飞语音识别流程智能音箱语音增强智能语音的常见应用处理前处理后网络通信正常已安装Anaconda集成环境1、任务描述2、环境要求3、任务设计本次任务是借助科大讯飞语音合成模块，将给定文字进行语音合成。效果如下所示。语音合成准备一段文字（或文本文件）在科大讯飞平台注册用户

在讯飞平台创建语音应用并获取鉴权信息

编写代码编译运行并收听结果小刘早上好！很高兴见到您！4、任务实施语音合成注册登录

①

/?ch=xfow进入“管理页面”页面右上角

②点击控制台③管理页面④创建新应用平台注册、创建应用②④4、任务实施语音合成创建应用⑤创建应用

⑥填写应用名称（自定义）

⑦填写应用分类

⑧填写应用描述⑨提交创建应用⑥

⑦

⑧

4、任务实施语音合成获取服务接口认证信息（秘钥）SDK调用方式只需APPIDAPIKey或APISecret适用于WebAPI调用方式注意APISecret与APIKey的顺序获取秘钥APPIDAPISecretAPIKey左侧为参考代码，其中：密钥需要从官网上获取tts_helper已经经过简化处理，官网上为tts_api_helper，适用于web端调用处理。请向授课老师索取。需要安装websocket库，否则报错。pipinstallwebsocketpipinstallwebsocket-clientAttributeError:module'websocket'hasnoattribute'enableTrace'参考代码4、任务实施语音合成BasisofArtificialIntelligenceApplication人工智能应用基础迎宾机器人项目实战语音对话之

语音识别04语音合成对于公司大厅内的迎宾机器人小胖来讲，当用语音方式“欢迎小刘”以后，还需要回答客户的问题，比如说客户想了解公司产品信息、人员信息等。因此，小胖子需要听懂客户“小刘的岗位是什么啊”的语音指令（音频转文字）。鉴于科大讯飞在语音领域的实力，以及它所提供服务的友好性，我们选用讯飞平台做一做语音识别项目。迎宾机器人小胖语音识别小刘的岗位是什么网络通信正常已安装Anaconda集成环境1、任务描述2、环境要求3、任务设计本次任务是借助科大讯飞语音识别模块，将给定语音识别成文字。效果如下所示。语音识别准备一个音频文件在科大讯飞平台注册用户

在讯飞平台创建语音应用并获取鉴权信息

编写代码编译运行并查看结果小刘的岗位是什么语音合成智能语音的常见应用讯飞语音合成流程语音播报手机导航语音识别智能语音的常见应用讯飞语音识别流程智能音箱语音增强智能语音的常见应用处理前处理后网络通信正常已安装Anaconda集成环境1、任务描述2、环境要求3、任务设计本次任务是借助科大讯飞语音合成模块，将给定文字进行语音合成。效果如下所示。语音识别准备一个音频文件在科大讯飞平台注册用户

在讯飞平台创建语音应用并获取鉴权信息

编写代码编译运行并查看结果小刘的岗位是什么4、任务实施语音识别注册登录

①

/?ch=xfow进入“管理页面”页面右上角

②点击控制台③管理页面④创建新应用平台注册、创建应用②④4、任务实施语音识别创建应用⑤创建应用

⑥填写应用名称（自定义）

⑦填写应用分类

⑧填写应用描述⑨提交创建应用⑥

⑦

⑧

4、任务实施语音识别获取服务接口认证信息（秘钥）SDK调用方式只需APPIDAPIKey或APISecret适用于WebAPI调用方式注意APISecret与APIKey的顺序获取秘钥APPIDAPISecretAPIKey左侧为参考代码，其中：密钥需要从官网上获取stt_helper已经经过简化处理，官网上为stt_realtime_api_helper，适用于web端调用处理。请向老师索取。需要安装websocket库，否则报错。pipinstallwebsocketpipinstallwebsocket-clientAttributeError:module'websocket'hasnoattribute'enableTrace'参考代码4、任务实施语音识别左侧为优化输出参考代码，其中：密钥需要从官网上获取stt_helper已经经过简化处理，官网上为stt_realtime_api_helper，适用于web端调用处理。请向老师索取。需要安装websocket库，否则报错。pipinstallwebsocketpipinstallwebsocket-clientAttributeError:module'websocket'hasnoattribute'enableTrace'参考代码4、任务实施语音识别BasisofArtificialIntelligenceApplication人工智能应用基础迎宾机器人项目实战知识问答之

公司介绍05公司介绍迎宾机器人小胖公司介绍迎宾机器人小胖发现，了解一些公司的基本情况还是很有必要的，因为所有的访客都会问到诸如“公司有多少人”、“公司年产值是多少”等问题。因此它想构建一个有关公司介绍的知识库，今后再也不怕客人来问这方面的问题啦。由于每个公司情况都不相同，因此需要构建自己的知识库。我们选用百度UNIT平台做一做公司介绍问答项目！公司有多少人？本公司当前员工数为238人。公司年产值是多少？本公司去年产值3亿元，利润5000万元。公司招不招人啊？这个问答难倒我了。1、任务描述3、任务设计本次任务是借助百度UNIT平台，为机器人录入几条公司常见问题，创建FAQ问答技能，以便回答问题。公司介绍准备几段有关公司介绍的问答在百度UNIT平台构建FAQ问答技能创建问答应用并获取鉴权信息

编写代码编译运行并查看结果网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户2、环境要求｝任务一请扫码完成集成环境&百度平台公司有多少人？本公司当前员工数为238人。公司年产值是多少？本公司去年产值3亿元，利润5000万元。问答技能1：FAQ问答知识问答的常见技能问答技能2：

对话式文档问答知识问答的常见技能问答技能3：

表格问答知识问答的常见技能对话技能：意图理解知识问答的常见技能1、任务描述3、任务设计本次任务是借助百度UNIT平台，将一段公司介绍文本进行分析，提取出关键词，以便回答问题。公司介绍准备一段/篇公司介绍文本在百度UNIT平台构建：FAQ问答技能创建问答应用并获取鉴权信息训练技能

编写代码并编译运行网络通信正常已安装Anaconda集成环境已注册百度用户2、环境要求｝任务一请扫码完成集成环境&百度平台公司有多少人？本公司当前员工数为238人。公司年产值是多少？本公司去年产值3亿元，利润5000万元。4、任务实施公司介绍登录

①

点击②“进入平台”页面上方

点击③“我的技能”④点击“新建技能”平台注册、创建应用②③④4、任务实施公司介绍在自建技能中，选择问答技能，点击“下一步”在问答技能类型中，选择FAQ问答，点击“下一步”创建技能4、任务实施公司介绍创建技能填写技能信息，并点击“下一步”在“我的机器人”

“我的技能”中点击新建的“公司介绍FAQ”技能创建技能记下此bot_id4、任务实施公司介绍在“全部问答”选项中，点击“添加问答对”在“新建问答对”选项中，依次添加标准问题、相似问题与答案如果需要，则保存新建下一条保存并退出创建技能4、任务实施公司介绍左侧“技能训练”“训练并部署到研发环境”训练描述（可空缺）确认训练并部署训练完成（下图）训练技能4、任务实施公司介绍获取秘钥序号应用名称AppIDAPIKeySecretKey1我的企业介绍机器人30585842caecxDNNelRbo*********显示左侧“技能发布”点击“调用对话API”点击“获取AK/SK”在“创建新应用”中填写相关信息点击“立即创建”获取AK、SK左侧为参考代码，其中：密钥需要从官网上获取MyRobot中包含两个主要方法，分别是获取获取令牌、提问。学员请向授课老师索取。学员也可以到官网上直接使用参考代码4、任务实施公司介绍BasisofArtificialIntelligenceApplication人工智能应用基础迎宾机器人项目实战知识问答之

员工职责06员工职责迎宾机器人小胖发现，很多年轻访客们都很关心公司员工的就业岗位、工作职责，因此它想构建一个有关心员工岗位职责的知识库，今后再也不怕客人来问这方面的问题啦。由于各个公司情况大不相同，因此需要构建知识库。我们选用百度UNIT平台做一做员工岗位职责问答项目！迎宾机器人小胖员工职责刘小华是做什么的啊刘小华的岗位是程序员程序员是干什么的呢程序员的岗位责任是负责软件项目的详细设计、编码和内部测试的组织实施，对小型软件项目兼任系统分析工作，完成分配项目的实施和技术支持工作1、任务描述3、任务设计本次任务是借助百度UNIT平台，将Excel文件中的员工岗位信息整合给机器人，以便它能回答问题。员工职责准备包含员工岗位、职责的Excel文件在百度UNIT平台构建：表格问答技能创建问答应用并获取鉴权信息训练技能

编写代码并编译运行网络通信正常已安装Anaconda集成环境已注册百度用户2、环境要求｝任务一请扫码完成集成环境&百度平台问答技能1：FAQ问答知识问答的常见技能员工职责问答技能2：

对话式文档问答知识问答的常见技能员工职责问答技能3：

表格问答知识问答的常见技能员工职责对话技能：意图理解知识问答的常见技能员工职责1、任务描述3、任务设计本次任务是借助百度UNIT平台，将Excel文件中的员工岗位信息整合给机器人，以便它能回答问题。员工职责准备包含员工岗位、职责的Excel文件在百度UNIT平台构建：表格问答技能创建问答应用并获取鉴权信息训练技能

编写代码并编译运行网络通信正常已安装Anaconda集成环境已注册百度用户2、环境要求｝任务一请扫码完成集成环境&百度平台4、任务实施员工职责登录

①

点击②“进入平台”页面上方

点击③“我的技能”④点击“新建技能”平台注册、创建应用②③④4、任务实施员工职责在自建技能中，选择问答技能，点击“下一步”在问答技能类型中，选择表格问答，点击“下一步”创建技能4、任务实施员工职责创建技能填写技能信息，并点击“下一步”在“我的机器人”

“我的技能”中点击新建的“员工职责”技能创建技能4、任务实施员工职责按模板准备好文档（需要凝练）点击“上传文档”选项，上传点击“训练”选项创建技能姓名年龄岗位薪资职责张大强35机械工程师7000设备的保养与修理李小红40销售工程师5500产品的推广与销售王小明28操作员5500产线操作刘小娟28售后服务6000与客户交流刘小华34程序员6500软件开发与测试周小燕33财务6000负责应收应付款4、任务实施员工职责技能测试训练完毕，进行测试查询王小明的工作岗位查询王小明的工作内容用户自定义技能预置技能创建机器人我的问答小聪……小胖成语问答笑话智能翻译智能问答企业介绍员工职责APIKeySecretKey配置技能bot_idbot_idbot_idbot_idbot_idbot_id……基于AK、SK获得访问权限（令牌），将问题对应技能的bot_id

作为参数获得回复

提问时需提供：令牌+bot_id+问题机器人

Vs技能多对多关系员工职责4、任务实施复用秘钥左侧为参考代码，其中：密钥需要从官网上获取MyRobot中包含两个主要方法，分别是获取获取令牌、提问。学员请向授课老师索取。学员也可以到官网上直接使用参考代码4、任务实施员工职责BasisofArtificialIntelligenceApplication人工智能应用基础迎宾机器人项目实战系统集成之

寒暄问候07寒暄问候迎宾机器人小胖已经拥有6项技能，但是感觉还是有点零零散散。能否把人脸识别跟语音合成结合起来，直接对客人进行问候呢？本次任务，我们将人脸搜索识别出来的姓名进行语音合成，并加上寒暄语。如果结合人脸检测中的性别、年龄、表情等信息，小胖的寒暄将会更有人情味。迎宾机器人小胖寒暄问候刘小华性别-女士、先生表情-微笑悲伤等刘小洋1、任务描述3、任务设计本次任务是将人脸搜索、语音合成等项目集成起来，直接对客户进行寒暄问候。寒暄问候封装人脸搜索项目封装语音合成项目集成编译运行2、环境要求刘小洋刘小华网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户｝任务一请扫码完成集成环境&百度平台4、任务实施寒暄问候封装人脸搜索项目前置条件：已在平台建好人脸库4、任务实施寒暄问候封装语音合成项目4、任务实施寒暄问候系统集成自定义包结构WelcomeRobot.py#文件名称├──

FaceSearch#人脸识别方法└──

Speech#语音合成方法我想知道性别、表情，以便更