服务机器人应用开发（中级） 课件 项目4 让机器人认识数字

让机器人认识数字项目4CONTENT目录项目导入01项目任务02学习目标03知识链接04项目准备05任务实施06任务评价07任务拓展08项目小结09项目导入01通过OCR技术。OCR按字体分类可分为印刷体识别和手写字体识别。本项目练习手写字体识别中的手写数字识别。机器人是如何识别手写字符的呢？项目导入41CONTENT目录项目导入01项目任务02学习目标03知识链接04项目准备05任务实施06任务评价07任务拓展08项目小结09项目任务02用矩形框框住数字轮廓识别数字并显示数字用矩形框框住数字轮廓；识别数字并显示数字72项目任务CONTENT目录项目导入01项目任务02学习目标03知识链接04项目准备05任务实施06任务评价07任务拓展08项目小结09学习目标03知识目标职业素养目标技能目标1理解MNIST数据集的结构；2理解不同的字节顺序之间的差异；3理解控制格式串的含义；4理解extend和append之间的用法差异；5理解K近邻分类的原理。知识目标：知识目标、技能目标、职业素养目标10学习目标31能够打开二进制文件并读取其中的内容；2能够使用struct包将数据按指定的格式写入缓冲区并读取出来；3掌握图片读取、灰度化、二值化的编程方法；4能够使用knn模型对样本集进行训练。技能目标：1培养学生严谨、细致、规范的职业素质；2培养学生团队协作及表达沟通能力；3培养学生跟踪新技术及创新设计能力;4培养技术标准意识、操作规范意识、服务质量意识等。职业素养目标：CONTENT目录项目导入01项目任务02学习目标03知识链接04项目准备05任务实施06任务评价07任务拓展08项目小结09知识链接04机器学习简介手写数据集MNIST简介认识sklearn机器学习库Python中实现图像文件处理的基本操作机器人识别数字方案设计研究对象：研究怎样使用计算机实现人类学习活动。传统机器学习、大数据环境下的机器学习。传统机器学习：研究学习机制。大数据环境下的机器学习：注重研究从巨量数据中获取隐藏的、有效的、可理解的知识。机器学习简介主要分类知识链接134建立在scipy科学计算库的基础之上，专注于数据建模，常与numpy库和pandas库共用。sklearn库的一些常用模块：聚类交叉验证数据集降维集成方法特征提取参数调整流形学习有监督学习模型认识sklearn机器学习库知识链接144KNN算法即KNearestNeighbor算法。其中的K表示与自己最接近的K个数据样本。在一个样本空间中的样本已被分成多个类型，现在给定一个待分类的新数据，通过计算与自己最接近的K个样本来判断这个待分类的新数据属于哪个分类，即由那些离自己最近的K个点来投票决定待分类的新数据归为哪一类，新数据应归类为得票最多的那一类。如右图，K取值不同时，分类结果可能不一样。KNN算法原理简介知识链接154KNeighborsClassifier分类器简介知识链接164MNIST数据集是美国国家标准与技术研究院收集整理的大型手写数字数据库，包含60,000个示例的训练集以及10,000个示例的测试集。在MNIST数据集中，手写数字一共10种，即0、1、2、3、4、5、6、7、8和9等10种。在60000张训练集图片中，有5923张数字0图片，6742张数字1图片，5958张数字2图片，6131张数字3图片，5842张数字4图片，5421张数字5图片，5918张数字6图片，6265张数字7图片，5851张数字8图片，5948张数字9图片。数据集总体组成：详细构成：MNIST数据集简介（一）知识链接174每张图片的构成：是灰度图，如右图所示是某一张图片0。标记：整数0，或者写成独热标记向量[1,0,0,0,0,0,0,0,0,0]。MNIST数据集简介（二）知识链接184右侧的程序首先创建了一个12字节长的缓冲区buffer，然后使用struct包中的pack_into函数向buffer中写入数据，控制格式为’>BHI5s’，这个格式串包括四部分格式符，相应地被打包的数据也包括四部分（10,18,288,b"hello"）。打包之后，使用binascii包中的hexlify方法将buffer中的数据转换成16进制格式进行展示。最后，使用struct包中的unpack_from函数将真实数据从buffer中解包出来，解包时要提供控制格式串和偏移量。struct包的基本用法：Python中实现图像文件处理的基本操作知识链接194字节序和struct包格式符知识链接204append命令可以添加单个元素，也可以添加可迭代对象，而extend命令只能添加可迭代对象。差异：append和extend的差异知识链接214策略1：在桌面或移动笔记本端进行模型训练，然后把模型训练的结果存为文件，将文件转移到树莓派ARM架构下，在树莓派ARM架构下进行模型测试和应用。策略2：直接在机器人上单步运行调试会非常卡顿，所以采用在PC端计算机先对程序进行编辑、语法和业务功能基本操作调试，最后再移植到机器人端对其进行环境配置和少量功能调试。机器人识别数字方案设计总体业务场景设计流程图如下知识链接224CONTENT目录项目导入01项目任务02知识链接04项目准备05学习目标03任务评价07任务拓展08项目小结09任务实施06项目准备05硬件条件软件条件25项目准备5硬件条件26项目准备5软件条件CONTENT目录项目导入01项目任务02知识链接04任务实施06学习目标03任务评价07任务拓展08项目小结09项目准备05任务实施06在PC端编写调试分类器程序在PC端编写调试主业务程序在命令端显示“Done！”的字符串输出后，即表示下载数据集完成。编写下载数据集的程序任务实施296对所有训练数据集图片和标签进行解析；将解析出来的图片保存在train_image_save文件夹；将解析出来的标签保存在train_label_save的label.txt文件中。功能：编写分类器训练控制管理文件（一）任务实施306读出所有标签；依次读出数字0-9的所有图片和标签，在读出过程中进行预处理；将标签依次加载在current_train_label数组中；将图像依次加载在current_train_image数组中。编写分类器训练控制管理文件（二）功能：任务实施316编写分类器训练控制管理文件（三）任务实施326功能：解析标签数据和图片数据。编写数据集基础操作处理文件任务实施336思考：二值化可以用OpenCV函数cv2.threshold()实现，请大家改写左侧程序中的二值化部分。图片预处理任务实施346测试分类器模型任务实施356测试分类器模型任务实施366测试执行结果任务实施376在PC端编写调试主业务程序任务实施386主业务程序中的预处理（一）任务实施396主业务程序中的预处理（一）任务实施406主业务程序中的预处理（二）任务实施416主业务程序中的分类识别和输出任务实施426主业务程序中的分类识别和输出任务实施436在机器人端移植调试主业务程序任务实施446将文件使用scp命令无线传输到机器人端任务实施456在机器人端运行程序任务实施466CONTENT目录项目导入01项目任务02学习目标03任务评价07项目准备05任务实施06知识链接04任务拓展08项目小结09任务评价07自我评价教师评价小组评价自我评价任务评价7小组与教师评价任务评价7CONTENT目录项目导入01项目任务02学习目标03任务拓展08项目准备05任务实施06任务评价07知识链