《机械臂智能控制》 课件 任务5-1 积木识别

智能产品设计制作综合实训

——机械臂视觉抓取系统合作QQ：243001978CONTENTS目录积木识别与抓取扑克牌识别与抓取合作QQ：243001978Part1积木识别与抓取1.1静态积木识别与定位抓取

OpenCV识别，定位吸取，定位抓取（8）1.2静态积木识别与任意位置抓取

相机标定，坐标系变换，随意位置抓取（8）实训安排Part2扑克牌识别与抓取2.1扑克牌识别（OpenCV）（4）2.2静态扑克牌任意位置吸取（6）2.3撰写实训报告（4）任务5-1积木识别《智能机械臂控制》主讲教师：吴蓬勃知识链接1：积木识别抓取的流程工作流程1.积木识别获取积木中心像素坐标2.坐标变换像素坐标->机械臂坐标3.抓取机械臂运动控制知识链接2：图像预处理OpenCV图像噪声是指存在于图像数据中不必要的或多余的干扰信息，噪声会让图像变得不清楚，妨碍人们对图像进行理解。（1）来源：噪声可能来自于图像获取、传输、处理或存储过程中的各种因素。（2）表现形式：噪声在图像中常表现为一些孤立的像素点或像素块，它们与要研究的对象不相关，以无用的信息形式出现，扰乱图像的可观测信息。积木识别——预备知识：图像的噪声知识链接2：图像预处理OpenCV图像噪声种类：高斯噪声、椒盐噪声、斑点噪声、泊松噪声等。积木识别——预备知识：图像的噪声高斯噪声椒盐噪声每个像素点的噪声服从独立同分布的高斯分布像素值突然变为最大或最小值知识链接2：图像预处理OpenCV图像噪声种类：高斯噪声、椒盐噪声、斑点噪声、泊松噪声等。积木识别——预备知识：图像的噪声高斯噪声产生原因：图像在拍摄时不够明亮、亮度不够均电路各元器件自身噪声和相互影响；传感器长期工作温度过高等。采用高斯滤波器进行处理知识链接2：图像预处理OpenCV图像噪声种类：高斯噪声、椒盐噪声、斑点噪声、泊松噪声等。积木识别——预备知识：图像的噪声椒盐噪声产生原因：一般低光照条件下，图像的噪声多为椒盐噪声而不是高斯噪声，比如矿井下的图像。椒盐噪声通常使用中值滤波器进行处理。知识链接2：图像预处理OpenCVS0:原图S1:高斯模糊减少图像噪声、降低细节层次积木识别：知识链接3：标准的HSV空间视觉识别汽车剐蹭——掉漆知识链接3：标准的HSV空间视觉识别汽车油漆：红？汽车油漆调色是个技术活知识链接3：标准的HSV空间视觉识别【HSV空间】H:色调，色彩信息。角度度量：0~360°S:饱和度，颜色的深度：0%—100%V:色调，色彩的明亮程度：0%—100%RGBHSVRGB颜色空间仅适合于显示系统，HSV空间则更适合于图像处理知识链接3：OpenCV的HSV空间视觉识别H:色调，色彩信息，0-180S:饱和度，颜色的深度，0-255V:色调，色彩的明亮程度，0-255【转换】：Ho=H/360*180;So=S/100*255Vo=V/100*255

黑灰白红橙黄绿青蓝紫hmin000015611263578100125hmax1801801801018025347799124155smin00043434343434343smax2554330255255255255255255255vmin04622146464646464646vmax46220255255255255255255255255典型颜色HSV范围知识链接3：RGB->HSVOpenCVS2:HSV图方便单一颜色的提取S1:高斯模糊减少图像噪声以及降低细节层次知识链接4：腐蚀去噪OpenCVS2:HSV图方便单一颜色的提取S3:腐蚀去除噪声点知识链接5：二值化与轮廓标识OpenCVS4:去除背景部分将图像转化为二值化图像S5:识别结果红色积木轮廓添加黄框获取积木坐标S0:原图S1:高斯模糊S2:RGB->HSVS3:腐蚀S4:二值化S5:轮廓标识知识链接：积木识别流程OpenCV知识链接6：旋转角度OpenCVrect=cv2.minAreaRect(cnt)Rect=((x,y),(w,h),angle)①

rect[0]返回矩形的中心点像素坐标（x,y）②

rect[1]返回矩形的宽和高（w,h）③

rect[2]返回矩形的旋转角度α

。x1轴顺时针旋转最先重合的边为宽度w;α为x1轴顺时针旋转到w的角度，α取值范围为(0°,90°]旋转角度α（OpenCV4.5版本）夹爪（与x1

平行）旋转角度:可以使用宽、高的值来确定。知识链接6：旋转角度OpenCVOpenCV4.5版本旋转角度angle:0-180知识链接7：中心点坐标OpenCV#获取最小外接矩阵rect=cv2.minAreaRect(points)#获取矩形四个顶点坐标，浮点型box=cv2.boxPoints(rect)OpenCV4.5版本注：四个点的顺序，需根据坐标值确定block_angle=77box=[

[331.72372226.27055][396.45773210.82268][426.19125335.42035][361.45724350.86823]]中心点坐标任务实施：积木识别Step01：新建工程积木识别（1）在磁盘根目录下新建文件夹Robot（2）打开Pycharm，新建工程Step01：新建工程积木识别（3）输入Robot文件夹路径、勾选编译器Step01：新建工程积木识别（4）在Conda环境下，选择pp_py37虚拟环境Step01：新建工程积木识别（5）创建工程Step02：创建目录积木识别（1）创建目录（2）输入目录名称：S1_ColorBlockFinderStep02：创建目录积木识别（3）在目录S1_ColorBlockFinder下，创建3个子目录Step03：创建python文件积木识别（1）在目录S11_ColorBlock_Finder下，创建python文件S11_BlockRecognize.pyStep03：拷贝python文件积木识别（2）

将摄像头文件VideoStream.py拷贝到

S11_ColorBlock_Finder目录下，最终文件结构如下图：Step04：

代码文件解析BlockRecognize.py

主函数文件摄像头配置FindBlockPixelLocation积木识别，获取中心坐标PickBlock主函数VideoStream.py摄像头图像捕获相机参数配置相机开启捕获图像已提供源代码任务实施：积木识别OpenCV任务5-1积木识别（python）通过pycharm进行python编程，添加视频采集文件VideoStream.py编写代码S11_BlockRecognize.py