《鸿蒙机器人编程》课件-3-1ROS机器人视觉应用

1.机器视觉初步课程介绍课程安排：介绍ROS下与机器视觉相关的基础包以及彩色和深度相机的使用方法。课程目的：了解ROS下机器视觉入门工具包，并知道如何使用。所需基础：了解摄像头基本原理，掌握ROS编程基础。课程内容：机器视觉概述，获取并显示图像，摄像头的标定，深度摄像头初步©NXROBO20222机器视觉概述机器视觉就是用机器代替人眼来做测量和判断。机器视觉检测系统采用CCD或CMOS照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统根据像素分布和亮度、颜色等信息，转变成数字化信号图像处理系统对这些信号进行各种运算来抽取目标的机器视觉特征，如面积、数量、位置、长度再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格/不合格、有/无等，实现自动识别功能。©NXROBO20223机器视觉概述在ROS系统中，我们常用的视觉传感器是USB摄像头，价格低廉并且大家都很熟悉。但是不同于windows，我们可能需要自己安装驱动程序。在驱动程序搞定之后，我们就可以使用image_view包来显示图像然后进一步提供给其他算法包来做进一步处理。当然了，和其他传感器不同的是，我们在正式使用摄像头的数据之前需要对它进行标定，以获取摄像头的各项参数，在后面的处理中进行校正。©NXROBO20224获取并显示图像当我们把摄像头通过USB与计算机连接之后，下一步便是通过ROS来调取摄像头图像了。不过，在ROS系统中，USB摄像头并不被原生支持，我们需要自己安装驱动包来获取摄像头图像并发布出去，这样image_view包才能够获取图像并显示出来。下载并编译usb_cam包：©NXROBO20225$cd~/<你的工作空间>/src$gitclone/bosch-ros-pkg/usb_cam.git$cd..$catkin_make获取并显示图像©NXROBO20226获取并显示图像运行test脚本：©NXROBO20227$cd~/catkin_make/$roslaunchusb_camusb_cam-test.launchusb_cam-test.launch文件©NXROBO20228<launch><nodename="usb_cam"pkg="usb_cam"type="usb_cam_node"output="screen"><paramname="video_device"value="/dev/video0"/><paramname="image_width"value="640"/><paramname="image_height"value="480"/><paramname="pixel_format"value="yuyv"/><paramname="camera_frame_id"value="usb_cam"/><paramname="io_method"value="mmap"/></node><nodename="image_view"pkg="image_view"type="image_view"respawn="false"output="screen"><remapfrom="image"to="/usb_cam/image_raw"/><paramname="autosize"value="true"/></node></launch>获取并显示图像可以看到，脚本中开启了两个节点一个是usb_cam自身的节点，它附带了几个参数以确定图像的来源及格式；其中，video_device设定图像来源的设备，在Ubuntu中，可以通过以下命令查看当前系统中可用的视频设备另一个是image_view节点，用于显示获取到的图像数据。

©NXROBO20229$ls/dev/|grepvideo标定由于大部分摄像头经过镜头获取图像之后会产生失真，对我们后期的图像处理造成误差所以，我们需要首先对此摄像头进行标定，以此获取摄像头内参。标定方法主要是使用一种已知的标定图案，通过对不同角度的视图进行辨识来实现。在这里我们使用经典的棋盘图案来做标定，当然也有其他的标定图案，不过不在我们本次的讨论范围，大家有兴趣可自行查询。©NXROBO202210标定©NXROBO202211我们使用camera_calibration包进行标定，不过在标定之前我们需要打开摄像头并将图像发布出来，并不需要开启image_view包来显示图像，所以，我们需要精简上一步所使用的launch文件，去掉开启image_view包的脚本。修改如下：<launch><nodename="usb_cam"pkg="usb_cam"type="usb_cam_node"output="screen"><paramname="video_device"value="/dev/video0"/><paramname="image_width"value="640"/><paramname="image_height"value="480"/><paramname="pixel_format"value="yuyv"/><paramname="camera_frame_id"value="usb_cam"/><paramname="io_method"value="mmap"/></node></launch>标定启动上面脚本之后，执行下面的指令：

上面的命令中，传递了几个参数，含义如下：--size 标定使用棋盘大小，棋盘内部角落数量--square 棋盘中每个棋格的边长，以米为单位--image 使用的图像topic--no-service-check 在启动时禁用检查set_camera_info服务©NXROBO202212$rosruncamera_calibrationcameracalibrator.py--size8x6--square0.036image:=/usb_cam/image_rawcamera:=/camera--no-service-check标定启动后，显示界面如下©NXROBO202213标定界面正常出现后，需要手持棋盘板在不同的距离不同的角度位置让程序识别棋盘所以需要确保棋盘全部保持出现在图像中，大致的几个位置如下图（转自官网）显示：©NXROBO202214标定在每个不同位置保持片刻，等棋盘被彩色高亮标示后即可移动。在移动过程中可以看到窗口右上角的几个进度条在增长，同时颜色也渐渐趋向绿色。当右侧的calibration按钮亮起之后，表示我们已经采集够了标定所需数据，点击按钮便会自动计算并显示结果。©NXROBO202215camera_info关于ROScameradriver中最难以理解的一点camera_info：首先我们需要了解camera本身的模型参数，具体分为内参与外参，camera还存在不同程度的畸变，描述这些畸变也有对应的模型及其参数。对于双目相机来说，相机成像平面与等本征矩阵参数也需要记录。这些信息被ROS统一整合到了一起，放在camera_info里面与image资料一起发布。最让人难以上手的地方在于，在ROS系统体系中，一般默认cameradriver负责管理这部分信息但是大部分开源出来的ROScameradriver并没有对这部分做很好的处理原因很简单，因为硬件种类太多了，即使是硬件厂家如Pointgrey的官方ROS驱动，camera_info也需要我们进行手动测定。©NXROBO202216RGB-D摄像头除了常见的色彩摄像头之外，还有深度摄像头也是机器人常用的一种传感器它能在一定的范围内探测前方物体距离摄像头的距离，例如：Kinect、Xtion、realsense等。使用的测距方法也主要是时间飞行（ToF）及结构光等，大家可自行了解下，这里不做过多讨论。以我们spark自带的深度摄像头作为讲解，当插入摄像头，应可以看到ID为2b05:0401的设备。©NXROBO202217RGB-D摄像头我们在/NXROBO/spark.git下载源码并编译，一切就绪后，运行指令：开启astra节点获取并发布图像消息，打开rqt_image_view，通过界面左上角下拉菜单选择topic显示深度信息©NXROBO202218$cd~/spark$sourcedevel/setup.bash$roslaunchastra_launchastra.launch$rqt_image_viewRGB-D摄像头©NXROBO202219RGB-D摄像头至此，我们已经成功驱动深度摄像头并显示其深度数据。当然，我们还可以使用rviz包来查看深度数据：界面启动后，修改GlobalOptions中的FixedFrame为camera_link，之后点击Add添加PointCloud2类型，修改Topic为/camera/depth/points，具体的参数如下图所示。©NXROBO202220$rosrunrvizrvizRGB-D摄像头©NXROBO202221小结这一课我们介绍了部分在ROS下与摄像头相关的包包括摄像头驱动、显示及标定等工具对机器视觉相关的设备有一定的了解，为后面的进阶功能打下基础。©NXROBO2022222.实践课-图像采集与目标识别课程介绍课程安排：介绍开源视觉库OpenCV以及如何将OpenCV在ROS中使用，并完成一个小小的视觉应用。课程目的：掌握使用ROS和OpenCV进行机器视觉应用开发所需基础：了解摄像头基本原理，掌握ROS、OpenCV编程基础。©NXROBO202224OpenCVOpenCV的全称是：OpenSourceComputerVisionLibrary。OpenCV是一个基于BSD许可（开源）发行的跨平台计算器视觉库。实现了图像处理和计算器视觉方面的很多通用算法，轻量而高效在OpenCV2.4之后，其架构改为以C++为主(之前为C)，同时提供了Python、Java等语言的接口。OpenCV的官方网站是/。©NXROBO202225ROSperception一般来说，ROS中已经集成了OpenCV，所以不需要进行额外的安装操作。如果没有安装，推荐安装ROSperception包，perception集成了OpenCV和开源点云处理库PCL以及其他机器人感知相关的包，输入如果想要使用GPU加速等高级功能，那可能就需要自行编译OpenCV库了，ROS集成的OpenCV并不包含这些拓展模块©NXROBO202226$sudoaptinstallros-<你的ROS版本>-perception

首先构建包空间：然后进入功能包的src文件夹，新建一个文件并命名为cv_tutorial.cpp在此文件中，定义了两个类ImageConverter、ImageProcessorImageConverter：负责订阅ROS的topic，并将图像格式进行转换。ImageProcessor：处理目标识别©NXROBO202227$cd~/spark/src$catkin_create_pkgcv_tutorialcv_bridgeimage_transportroscppsensor_msgstd_msg编写一个目标识别的程序ImageConverter类©NXROBO202228ImageConverter类在ROS中图像数据是以Image消息的格式进行传输的，然而OpenCV的图像格式是cv::Mat，所以我们需要使用cv_bridge将消息转换成Mat。这就是ImageConverter类要实现的功能，具体使用Subscriber获取图像，用cv_bridge进行图像格式的转换。其具体实现如下：其中，_it是image_transport::ImageTransport类型，订阅一个Topic，并注册了一个回调函数imageCb，指定其在Topic有信息来到时如何处理消息，其中SUBSCRIBLE_TOPIC可以修改为其他用户需要订阅的Topic名。©NXROBO202229_image_sub=_it.subscribe(SUBSCRIBLE_TOPIC,1,&ImageConverter::imageCb,this);回调函数：©NXROBO202230在回调函数中，首先使用cv_bridge将ROS的image消息转换到OpenCV所能处理的Mat格式sensor_msgs::image_encodings::BGR8说明当前数据我们规定以8位BGR格式转换。voidimageCb(constsensor_msgs::ImageConstPtr&msg){cv_bridge::CvImagePtrcv_ptr;try{cv_ptr=cv_bridge::toCvCopy(msg,sensor_msgs::image_encodings::BGR8);}catch(cv_bridge::Exception&e){ROS_ERROR("cv_bridgeexception:%s",e.what());return;}cess(cv_ptr->image);}ImageProcessor类ImageProcessor主要工作：提取当前获取图像的边缘和预存的模板图像（在这里我们提供的是一个圆）进行模板匹配在匹配度大于阈值的时候认为当前图像中存在与预存模板相同的图像，并将其在窗口中绘出。©NXROBO202231ImageProcessor类©NXROBO202232初始化首先创建了一个120×120的3通道8位图像，并使用cv::circle在其中心画了一个圆作为范本

cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY)转换模板为灰度图像。©NXROBO202233voidinital(){cv::MattemplateImg(120,120,CV_8UC3);cv::circle(templateImg,cv::Point(60,60),50,cv::Scalar(255,255,255));cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY);}主处理函数函数将当前获取的图像转换为灰度图，并进行边缘检测，之后进行模板匹配并输出匹配结果。©NXROBO202234voidprocess(cv::Mat_img){cv::Matgray_img,edges,result;cv::cvtColor(_img,gray_img,CV_BGR2GRAY);cv::Canny(gray_img,edges,30,90);cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR);doubleminValue,maxValue;cv::PointminLoc,maxLoc;cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);}主处理函数cv::cvtColor(_img,gray_img,CV_BGR2GRAY)将当前图像转换为灰度图，便以进行边缘检测。cv::Canny(gray_img,edges,30,90)使用canny操作数对图像进行边缘检测。cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR)进行模板匹配，在本文中我们使用CV_TM_CCORR，即自相关匹配的方式进行匹配，其输出的值越大表示匹配度越高。cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);在图像中寻找匹配结果最小和最大的位置。©NXROBO202235打印结果©NXROBO202236if(maxValue>THRESHOLD){std::cout<<"findacircleatx="<<maxLoc.x<<"y="<<maxLoc.y<<"Valueis:"<<maxValue<<std::endl;cv::rectangle(_img,maxLoc,cvPoint(maxLoc.x+this->_template.cols,maxLoc.y+this->_template.rows),cvScalar(0,0,255),5);}elsestd::cout<<"cannotfindacircle"<<std::endl;图形显示输出当最大匹配结果大于阈值时候，将其位置用方框表示出，并输出其在图像中的位置。方框的原点为范本匹配的最大值点，大小为范本的大小。©NXROBO202237cv::imshow(OPENCV_WINDOW,_img) //将当前处理的图像显示。cv::imshow(TEMPLATE_WINDOW,this->_template)//将当前模板显示。cv::imshow(MATCH_WINDOW,_img);cv::imshow(TEMPLATE_WINDOW,this->_template);if('q'==cv::waitKey(3))exit(0);}编写CmakeLists.txt文件©NXROBO202238cmake_minimum_required(VERSION2.8.3)project(cv_tutorial)

find_package(catkinREQUIREDCOMPONENTSOpenCVREQUIREDcv_bridgeimage_transportroscppsensor_msgs)catkin_package()include_directories(${catkin_INCLUDE_DIRS}${OpenCV_INCLUDE_DIRS})add_executable(cv_tutorialsrc/cv_tutorial.cpp)target_link_libraries(cv_tutorial${catkin_LIBRARIES}${OpenCV_LIBRARIES})${OpenCV_LIBRARIES})编译并运行©NXROBO202239$catkin_make$roslaunchastra_launchastra.launch$rosruncv_tutorialcv_tutorial进阶应用：不同主题的时间同步如果我们想同时使用图像和相机信息怎么办？如何保证时间同步？在/message_filtersmessage_filters是一个用于roscpp和rospy的实用功能库。它包含有常用的消息“过滤”算法。消息过滤器收到一个消息，根据特定条件决定在稍后的时间里是否再将其吐出来。其中一个例子是时间同步器，它接收来自多个源的不同类型的消息，并且仅当在每个源上接收到消息具有相同时间戳的时才输出它们。TimeSynchronizer滤波器通过包含在其报头中的时间戳来同步输入通道，并将它们输出到一个单一的回调中，回调中采用相同数量的通道。C++的实现最多可以9个通道的同步。©NXROBO2022