《鸿蒙机器人编程》课件-15-机器视觉

机器视觉初步课程介绍课程安排：介绍ROS下与机器视觉相关的基础包以及彩色和深度相机的使用方法。课程目的：了解ROS下机器视觉入门工具包，并知道如何使用。所需基础：了解摄像头基本原理，掌握ROS编程基础。课程内容：机器视觉概述，获取并显示图像，摄像头的标定，深度摄像头初步©NXROBO20222机器视觉概述机器视觉就是用机器代替人眼来做测量和判断。机器视觉检测系统采用CCD或CMOS照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统根据像素分布和亮度、颜色等信息，转变成数字化信号图像处理系统对这些信号进行各种运算来抽取目标的机器视觉特征，如面积、数量、位置、长度再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格/不合格、有/无等，实现自动识别功能。©NXROBO20223机器视觉概述在ROS系统中，我们常用的视觉传感器是USB摄像头，价格低廉并且大家都很熟悉。但是不同于windows，我们可能需要自己安装驱动程序。在驱动程序搞定之后，我们就可以使用image_view包来显示图像然后进一步提供给其他算法包来做进一步处理。当然了，和其他传感器不同的是，我们在正式使用摄像头的数据之前需要对它进行标定，以获取摄像头的各项参数，在后面的处理中进行校正。©NXROBO20224获取并显示图像当我们把摄像头通过USB与计算机连接之后，下一步便是通过ROS来调取摄像头图像了。不过，在ROS系统中，USB摄像头并不被原生支持，我们需要自己安装驱动包来获取摄像头图像并发布出去，这样image_view包才能够获取图像并显示出来。下载并编译usb_cam包：©NXROBO20225$cd~/<你的工作空间>/src$gitclone/bosch-ros-pkg/usb_cam.git$cd..$catkin_make获取并显示图像©NXROBO20226获取并显示图像运行test脚本：©NXROBO20227$cd~/catkin_make/$roslaunchusb_camusb_cam-test.launchusb_cam-test.launch文件©NXROBO20228<launch><nodename="usb_cam"pkg="usb_cam"type="usb_cam_node"output="screen"><paramname="video_device"value="/dev/video0"/><paramname="image_width"value="640"/><paramname="image_height"value="480"/><paramname="pixel_format"value="yuyv"/><paramname="camera_frame_id"value="usb_cam"/><paramname="io_method"value="mmap"/></node><nodename="image_view"pkg="image_view"type="image_view"respawn="false"output="screen"><remapfrom="image"to="/usb_cam/image_raw"/><paramname="autosize"value="true"/></node></launch>获取并显示图像可以看到，脚本中开启了两个节点一个是usb_cam自身的节点，它附带了几个参数以确定图像的来源及格式；其中，video_device设定图像来源的设备，在Ubuntu中，可以通过以下命令查看当前系统中可用的视频设备另一个是image_view节点，用于显示获取到的图像数据。

©NXROBO20229$ls/dev/|grepvideo标定由于大部分摄像头经过镜头获取图像之后会产生失真，对我们后期的图像处理造成误差所以，我们需要首先对此摄像头进行标定，以此获取摄像头内参。标定方法主要是使用一种已知的标定图案，通过对不同角度的视图进行辨识来实现。在这里我们使用经典的棋盘图案来做标定，当然也有其他的标定图案，不过不在我们本次的讨论范围，大家有兴趣可自行查询。©NXROBO202210标定©NXROBO202211我们使用camera_calibration包进行标定，不过在标定之前我们需要打开摄像头并将图像发布出来，并不需要开启image_view包来显示图像，所以，我们需要精简上一步所使用的launch文件，去掉开启image_view包的脚本。修改如下：<launch><nodename="usb_cam"pkg="usb_cam"type="usb_cam_node"output="screen"><paramname="video_device"value="/dev/video0"/><paramname="image_width"value="640"/><paramname="image_height"value="480"/><paramname="pixel_format"value="yuyv"/><paramname="camera_frame_id"value="usb_cam"/><paramname="io_method"value="mmap"/></node></launch>标定启动上面脚本之后，执行下面的指令：

上面的命令中，传递了几个参数，含义如下：--size 标定使用棋盘大小，棋盘内部角落数量--square 棋盘中每个棋格的边长，以米为单位--image 使用的图像topic--no-service-check 在启动时禁用检查set_camera_info服务©NXROBO202212$rosruncamera_calibrationcameracalibrator.py--size8x6--square0.036image:=/usb_cam/image_rawcamera:=/camera--no-service-check标定启动后，显示界面如下©NXROBO202213标定界面正常出现后，需要手持棋盘板在不同的距离不同的角度位置让程序识别棋盘所以需要确保棋盘全部保持出现在图像中，大致的几个位置如下图（转自官网）显示：©NXROBO202214标定在每个不同位置保持片刻，等棋盘被彩色高亮标示后即可移动。在移动过程中可以看到窗口右上角的几个进度条在增长，同时颜色也渐渐趋向绿色。当右侧的calibration按钮亮起之后，表示我们已经采集够了标定所需数据，点击按钮便会自动计算并显示结果。©NXROBO202215camera_info关于ROScameradriver中最难以理解的一点camera_info：首先我们需要了解camera本身的模型参数，具体分为内参与外参，camera还存在不同程度的畸变，描述这些畸变也有对应的模型及其参数。对于双目相机来说，相机成像平面与等本征矩阵参数也需要记录。这些信息被ROS统一整合到了一起，放在camera_info里面与image资料一起发布。最让人难以上手的地方在于，在ROS系统体系中，一般默认cameradriver负责管理这部分信息但是大部分开源出来的ROScameradriver并没有对这部分做很好的处理原因很简单，因为硬件种类太多了，即使是硬件厂家如Pointgrey的官方ROS驱动，camera_info也需要我们进行手动测定。©NXROBO202216RGB-D摄像头除了常见的色彩摄像头之外，还有深度摄像头也是机器人常用的一种传感器它能在一定的范围内探测前方物体距离摄像头的距离，例如：Kinect、Xtion、realsense等。使用的测距方法也主要是时间飞行（ToF）及结构光等，大家可自行了解下，这里不做过多讨论。以我们spark自带的深度摄像头作为讲解，当插入摄像头，应可以看到ID为2b05:0401的设备。©NXROBO202217RGB-D摄像头我们在/NXROBO/spark.git下载源码并编译，一切就绪后，运行指令：开启astra节点获取并发布图像消息，打开rqt_image_view，通过界面左上角下拉菜单选择topic显示深度信息©NXROBO202218$cd~/spark$sourcedevel/setup.bash$roslaunchastra_launchastra.launch$rqt_image_viewRGB-D摄像头©NXROBO202219RGB-D摄像头至此，我们已经成功驱动深度摄像头并显示其深度数据。当然，我们还可以使用rviz包来查看深度数据：界面启动后，修改GlobalOptions中的FixedFrame为camera_link，之后点击Add添加P