《ROS原理与技术应用》课件 能力模块六 掌握视觉传感器的应用方法

《ROS原理与技术应用》能力模块六掌握视觉传感器的应用方法

任务一认知视觉传感器导入视觉传感器是自动驾驶感知系统的重要组成部分，它相当于驾驶员的眼睛，是未来自动驾驶技术的发展重点。假设你是汽车感知系统的测试员，需要排查或测试各类视觉传感器的使用情况，通过本任务的学习将掌握区分不同类型视觉传感器、正确使用视觉传感器的内容。目录

CONTENTS0102摄像头的分类摄像头驱动包的使用03摄像头定标新授视觉根据摄像头的类型来划分，常见的主要有以下几种，如图所示：一、摄像头的分类一、摄像头的分类

单目摄像头

单目摄像头是自动驾驶汽车系统中最重要的传感器之一，外观如图。通过车道检测和车辆检测，可以实现车道保持和自适应巡航功能。成本较低，可以用来做目标识别在windows下结合相应的的软件即可实现即插即用。一、摄像头的分类单目摄像头工作原理：01物体测距先对物体和本车距离进行测量，确定待识别物体。02学习图像特征标记有待识别目标的图片建立成为样本数据库，并由算法去学习这些图片的特征。03建立模型数据库用学习的数据特征，建立相应的的模型数据库。样本数据库容量越大，通过学习得到的计算机视觉算法的准确度越高。04图像识别根据已经学习到的特征，识别出待识别目标。根据图像的大小和高度进一步估计障碍物和车辆移动时间。一、摄像头的分类单目摄像头工作原理：目前的辅助驾驶领域的单目摄像头可识别40~120m的范围，未来能够达到200m或者更远单目摄像头的视角越宽，可以实现的精确监测距离越近单目摄像头视角越窄，可以检测的精确距离越远一、摄像头的分类

深度摄像头（双目摄像头）

双目摄像头获取同一场景不同视角的多张图像，利用图像的匹配和一定的三维重建算法来计算场景对象的深度信息，例如Azure、Kinect2代。外观如图所示。不容易受到环境光线的干扰，适合室外环境。满足7*24小时的长时间工作要求，不易损坏，成本是三种深度感知方案中最低的。设备要求高，背景杂乱、有遮挡物等情况下不适用。一、摄像头的分类

深度摄像头（TOF摄像头）

TOF摄像头采用TOF技术（Timeofflight，飞行时间），记录光源投射到每个像素点的光线发射与反射间的相位变化来计算光线飞行时间，进而计算光源到每个像素点的距离。外观如图所示。受环境影响最小，响应速度快、深度信息精度高。传感器芯片并不成熟，成本很高，实现量产困难，不适合精度要求高的场景。一、摄像头的分类

深度摄像头（结构光学摄像头）

结构光摄像头通过结构光投射器向对象物体表面投射可控制的光点、光线或者光面，将返回的光斑与参考光斑进行对比，利用三角测量原理计算物体的三维空间信息，例如Xtion、Kinectv1、Astra等。外观如图所示。计算简单、经济性好、便于安装维护。技术成熟，识别距离远，深度图像分辨率高。精确的深度信息计算复杂，对识别的距离要求严格。易受环境光线干扰，强光下不适合usb_cam驱动包launch文件的主要内容有：二、摄像头驱动包的使用astrapro_follower.launch文件的主要内容有<launch>

<node

name="usb_cam"

pkg="usb_cam"

type="usb_cam_node"

output="screen"

>

<param

name="video_device"

value="/dev/video0"

/>

<param

name="image_width"

value="640"

/>

<param

name="image_height"

value="480"

/>

<param

name="pixel_format"

value="mjpeg"

/>

<param

name="camera_frame_id"

value="usb_cam"

/>

<param

name="io_method"

value="mmap"/>

<node

name="image_view"

pkg="image_view"

type="image_view"

respawn="false"

output="screen">

<remap

from="image"

to="/usb_cam/image_raw"/>

<param

name="autosize"

value="true"

/>

</node>

</launch>

在ROS系统中常用的单目摄像头驱动包有两种：usb_cam和uvc_camera（一）usb_cam驱动包usb_cam节点主要用于驱动摄像头显示image_view节点主要用于接收摄像头图像的话题，并将图像在image_view工具中显示出来二、摄像头驱动包的使用usb_cam驱动包常见参数详解参数名参数的含义video_device摄像头连接的端口名，默认为“/dev/video0”image_width图像的宽度，默认值为“640”image_height图像的高度，默认值为“480”pixel_format图像的像素格式，默认值为“mjpeg”,还可以根据实际情况选择“yuyv、uyvy”camera_frame_id相机坐标系id，默认值为“usb_cam”，该参数值会影响该节点发布话题的名字framerate帧速率，默认值为“30”,该参数设置值得大小会影响显示图像的流畅度camera_name相机名称，默认值为“head_camera”,这个名称必须与相机标定文件中的名称匹配，否则标定后参数无法调用uvc_camera驱动包launch文件的主要内容有：二、摄像头驱动包的使用astrapro_follower.launch文件的主要内容有<launch>

<node

name="usb_cam"

pkg="usb_cam"

type="usb_cam_node"

output="screen"

>

<param

name="video_device"

value="/dev/video0"

/>

<param

name="image_width"

value="640"

/>

<param

name="image_height"

value="480"

/>

<param

name="pixel_format"

value="mjpeg"

/>

<param

name="camera_frame_id"

value="usb_cam"

/>

<param

name="io_method"

value="mmap"/>

<node

name="image_view"

pkg="image_view"

type="image_view"

respawn="false"

output="screen">

<remap

from="image"

to="/usb_cam/image_raw"/>

<param

name="autosize"

value="true"

/>

</node>

</launch>

（二）uvc_camera驱动包uvc_camera驱动包是基于UVC（USBVideoClass）视频类协议传输方法的视频采集功能包，能够实现图像采集与视频监控的功能二、摄像头驱动包的使用astrapro_follower.launch文件的主要内容有（二）uvc_camera驱动包的主要内容：src文件夹存放源程序，包括视频采集程序uvc_cam.cpp、视频采集节点实现程序uvc_cam_node.cpp、头文件uvc_cam.h>CMakeList.txt文件包含了用于安装动态链接库和生成可执行文件的语句>manifest.xml提供关于uvc_cam功能包的元数据，包括它的许可信息以及与其他功能包之间的依赖关系>二、摄像头驱动包的使用astrapro_follower.launch文件的主要内容有参数名参数的含义width图像的宽度，默认值为“320”height图像的高度，默认值为“240”fps帧速率，默认值为“30”,该参数设置值得大小会影响显示图像的流畅度video_mode图像的像素格式，默认值为“rgb”,还可以根据实际情况选择“yuyv、uyvy、jpeg”frame相机坐标系id，默认值为“camera”，该参数值会影响该节点发布话题的名字device摄像头连接的端口名，默认为“/dev/video0”camera_info_url相机的参数文件，默认值为uvc_camera功能包中config文件夹下的“calibration-left.yaml”文件,这个名称必须与相机标定文件的名称匹配，否则标定后参数无法调用usb_cam驱动包常见参数详解如表所示：最后两个参数在usb_cam-test.launch文件中没有体现，如果需要修改这两个参数，按照其它参数的描述格式添加到节点usb_cam的启动文件中即可任务实施一、任务准备（一）软件、硬件准备（二）安全要求及注意事项1.安装好ROS的台式电脑，1台；2.智慧猫ROS智能车，1台；11.确保智慧猫电源已充满；22.在跟随的过程中，不能有障碍物挡在智慧猫和人之间，否则会导致智慧猫跟随的目标切换为障碍物。

实施步骤有：usb_cam驱动包驱动单目摄像头01uvc_camera驱动包驱动单目摄像头02usb_cam单目完成摄像头标定03驱动Astra深度摄像头04完成Astra标定（RGB摄像头标定、红外深度摄像头标定）05二、实施步骤二、实施步骤

步骤1：usb_cam驱动包的安装和使用，具体操作如下：

（1）进入已经创建好的工作空间inwinic_ws，下载usb_cam软件包

（2）编译功能包、刷新环境inwinic@inwinic-desktop:~$cdinwinic_ws/srcinwinic@inwinic-desktop:~/inwinic_ws/src$gitclone/ros-drivers/usb_cam.gitinwinic@inwinic-desktop:~/inwinic_ws/src$cd..inwinic@inwinic-desktop:~$catkin_makeinwinic@inwinic-desktop:~$source~/.bashrc（3）查看已连接的摄像头端口号，显示中的video*中的*代表具体的数字，例如video0。记下已连接的端口号（4）打开launch文件修改参数，将/dev/video0”修改为上一步记录的摄像头端口号inwinic@inwinic-desktop:~$ls/dev/video*inwinic@inwinic-desktop:~$vi~/inwinic_ws/src/usb_cam/launch/usb_cam-test.launch二、实施步骤

步骤1：usb_cam驱动包的安装和使用，具体操作如下：

（5）启动主节点和摄像头节点，即可看到摄像头的当前画面

inwinic@inwinic-desktop:~$roslaunchusb_camusb_cam-test.launch二、实施步骤

步骤2：uvc_camera驱动包的安装和使用，具体操作如下：

（1）进入已经创建好的工作空间inwinic_ws，下载usb_cam软件包

（2）编译功能包、刷新环境inwinic@inwinic-desktop:~$cdinwinic_ws/srcinwinic@inwinic-desktop:~/inwinic_ws/src$gitclone/gallingern/uvc_camera.gitinwinic@inwinic-desktop:~/inwinic_ws/src$cd..inwinic@inwinic-desktop:~$catkin_makeinwinic@inwinic-desktop:~$source~/.bashrc（3）查看已连接的摄像头端口号，显示中的video*中的*代表具体的数字，例如video0。记下已连接的端口号（4）打开launch文件修改参数，将/dev/video0”修改为上一步记录的摄像头端口号inwinic@inwinic-desktop:~$ls/dev/video*inwinic@inwinic-desktop:~$gedit~/inwinic_ws/src/uvc_camera/launch/camera_node.launch二、实施步骤

步骤2：uvc_camera驱动包的安装和使用，具体操作如下：

（5）启动主节点和摄像头节点

inwinic@inwinic-desktop:~$roslaunchuvc_cameracamera_node.launch（6）启动可视化工具，在工具左上角的下拉选框里选择“/image_raw”，即可看到摄像头当前视角的图像inwinic@inwinic-desktop:~$rqt_image_view二、实施步骤

步骤3：摄像头的标定（以usb_cam为例）

弹出的窗口中会显示摄像头当前视野，如图所示。（1）安装摄像头标定功能包：inwinic@inwinic-desktop:~$sudoapt-getinstallros-melodic-camera-calibration（2）启动摄像头（以usb_cam包为例）：inwinic@inwinic-desktop:~$roslaunchusb_camusb_cam-test.launch（3）启动标定命令：inwinic@inwinic-desktop:~$rosruncamera_calibrationcameracalibrator.py--size8x6--square0.024image:=/usb_cam/image_rawcamera:=/usb_cam二、实施步骤

步骤3：摄像头的标定（以usb_cam为例）

（4）准备好打印的标定靶对准摄像头（5）移动标定靶，直至窗口直至棋盘格中间的交点都在摄像头的视野内，移动定标靶，直至右侧按钮都变成深绿色，如图所示。移动标定靶方式：X：标定靶在摄像头视野中的左右方向移动。Y：标定靶在摄像头视野中的上下方向移动。Size：标定靶在摄像头视野中的前后方向移动。Skew：标定靶在摄像头视野中的倾斜转动。二、实施步骤

步骤3：摄像头的标定（以usb_cam为例）

（6）点击右侧的“CALIBRATE”，然后等待几分钟。摄像头根据标定图片，计算并生成校准参数后，窗口会如图所示。（7）点击右侧的“COMMIT”按钮。完成校准参数的保存。参数会自动保存到目录~/.ros/camera_info下，参数文件的名字为“head_camera.yaml”。标定参数计算完成如下：二、实施步骤

步骤4：驱动（Astra）深度摄像头

（6）点击右侧的“CALIBRATE”，然后等待几分钟。摄像头根据标定图片，计算并生成校准参数后，窗口会如图所示。（7）点击右侧的“COMMIT”按钮。完成校准参数的保存。参数会自动保存到目录~/.ros/camera_info下，参数文件的名字为“head_camera.yaml”。标定参数计算完成如下：二、实施步骤

步骤5：驱动深度摄像头

（1）安装摄像头驱动驱动的下载地址/download.html?id=32（2）下载图像显示软件Niviewer查看图像下载地址/download.html?id=65找到tool文件夹，在文件夹下包含软件Niviewer的32位版本和64位版本，根据自己的系统选择对应版本打开摄像头显示图像：windows上显示：二、实施步骤

步骤5：驱动深度摄像头

（1）安装依赖包：（2）下载ROS驱动包ROS上显示：inwinic@inwinic-desktop:~$sudoapt-getinstallbuild-essentialfreeglut3freeglut3-devinwinic@inwinic-desktop:~$sudoapt-getinstallros-melodic-libuvcros-melodic-libuvc-rosinwinic@inwinic-desktop:~$cdinwinic_ws/srcinwinic@inwinic-desktop:~/inwinic_ws/src$gitclone/orbbec/ros_astra_camera.gitinwinic@inwinic-desktop:~/inwinic_ws/src$gitclone/orbbec/ros_astra_launch.gitinwinic@inwinic-desktop:~$roscdastra_camerainwinic@inwinic-desktop:~/inwinic_ws/src/ros_astra_camera$sudo./scripts/create_udev_rulesinwinic@inwinic-desktop:~$cd~/inwinic_wsinwinic@inwinic-desktop:~/inwinic_ws$catkin_makeinwinic@inwinic-desktop:~/inwinic_ws$source~/.bashrcinwinic@inwinic-desktop:~$roslaunchastra_launchastra.launch（3）设置端口权限，刷新环境：（4）将摄像头接入到Ubuntu系统，然后启动摄像头节点二、实施步骤

步骤5：驱动深度摄像头

（5）启动rviz工具（如下图所示），分别显示深度图像、红外图像、彩色图像点击“file”按钮，然后选择“OpenConfig”,找到depth.rviz、ir.rviz、rgb.rviz所在的位置并分别单独加载出深度图像、红外图像、彩色图像二、实施步骤

步骤5：驱动深度摄像头

深度图像

红外图像

彩色图像二、实施步骤

步骤6：摄像头标定

（1）启动摄像头

弹出下图弹框，后续标定步骤与单目摄像头一致，进行移动直至点亮按钮，保存标定信息。inwinic@inwinic-desktop:~$rosruncamera_calibrationcameracalibrator.pyimage:=/camera/rgb/image_rawcamera:=/camera/rgb--size8x6--square0.024inwinic@inwinic-desktop:~$roslaunchastra_launchastra.launch（2）标定RGB摄像头二、实施步骤

步骤6：摄像头标定

（3）标定红外深度摄像头

弹出下图弹框inwinic@inwinic-desktop:~$rosruncamera_calibrationcameracalibrator.pyimage:=/camera/ir/image_rawcamera:=/camera/ir--size8x6--square0.024标定完成后，在标定窗口点击“COMMIT”，便会在~/.ros/camera_info目录下分别生成rgb_***.yaml和depth_***.yaml，下次启动摄像头会自动加载参数随堂讨论随堂讨论我们学习到了单目摄像头、深度摄像头的启动，这两类摄像头启动步骤中有什么共同点呢？又有什么差异呢？1.各组派代表统计遇到的问题。2.各组就各自的主要问题进行交流，并分享解决方法。谢

谢

观

看《ROS原理与技术应用》能力模块六掌握视觉传感器的应用方法

任务二实现深度视觉跟随功能导入假设你作为汽车感知系统视觉模块的相关设计人员，想了解下深度摄像头的具体应用，需要用智慧猫ROS智能车来实现视觉跟随，那么你需要掌握以下能力：正确的安装深度视觉跟随功能包正确配置视觉深度跟随功能包目录

CONTENTS0102深度视觉跟随的定义深度视觉跟随的功能新授深度视觉跟随（如图所示）是指利用深度摄像头，当人靠近深度摄像头，距离保持不大于0.7米，这时摄像头就能够识别到当前的障碍物，然后摄像头就可以开始跟随。一、深度视觉跟随的定义一、深度视觉跟随的定义

12543

当人与车面对面或者背对面时，人相对车运动情景如下：人相对车往前运动，车会倒退；人相对车往后运动，车会前进；人相对车往左运动，小车会向右运动；人相对车往右运动，小车会往左运动。当人背对着小车正面站立时，小车的运动方向与人的运动方向一致。深度视觉跟随功能主要是利用深度摄像头来实现的。深度摄像头如图所示。二、深度视觉跟随的功能调用astrapro_follower.launch文件，该launch文件启动跟随节点cam_follower调用arduino.launch和astra.launch分别启动底盘通信节点和深度摄像头节点。cam_follower功能包将获得的深度摄像头数据进行算法处理后发出线速度和角速度指令，并通过底盘通信节点驱动线控底盘行驶，进而实现线控底盘深度视觉跟随的功能。二、深度视觉跟随的功能深度视觉跟随实现深度测试功能的步骤有：astrapro_follower.launch文件的主要内容有二、深度视觉跟随的功能astrapro_follower.launch文件的主要内容有<launch><includefile="$(findros_arduino_python)/launch/arduino.launch"/><includefile="$(findastra_launch)/launch/astra.launch"/><nodepkg="nodelet"type="nodelet"name="cam_follower"

args="loadcam_follower/CamFollowercamera/camera_nodelet_manager"> <paramname="enabled"value="true"/><paramname="x_scale"value="2.5"/><paramname="z_scale"value="2.0"/><paramname="min_x"value="-0.35"/><paramname="max_x"value="0.35"/><paramname="min_y"value="0.1"/><paramname="max_y"value="0.5"/><paramname="max_z"value="1.3"/><paramname="goal_z"value="0.7"/></node></launch>二、深度视觉跟随的功能序号参数名参数的含义1enabled用于设定是否允许跟随，“true”表示允许，“false”表示不允许2x_scale用于调整跟随角速度的系数3z_scale用于调整跟随线速度的系数4min_x扫描框在水平方向的最小尺寸5max_x扫描框在水平方向的最大尺寸6min_y扫描框在垂直方向的最小尺寸7max_y扫描框在垂直方向的最大尺寸8max_z扫描框沿相机水平深度扫描方向的最大尺寸9goal_z保持目标质心与摄像头的距离

调用这个astrapro_follower.launch文件时需要注意其中一些参数的设置情况，cam_follwer中常见参数详解如表所示：如果想要调整跟随时，智慧猫与人或移动障碍物保持的距离，调整“goal_z”即可。任务实施一、任务准备（一）软件、硬件准备（二）安全要求及注意事项1.安装好ROS的台式电脑，1台；2.智慧猫ROS智能车，1台；11.确保智慧猫电源已充满；22.在跟随的过程中，不能有障碍物挡在智慧猫和人之间，否则会导致智慧猫跟随的目标切换为障碍物。

实施步骤有：打开新的终端，远程登录到智慧猫主机01启动底盘通信节点02启动跟随节点03人靠近深度摄像头，距离保持不大于0.7米，识别成功后，摄像头开始跟随04功能包问题调试方法05二、实施步骤二、实施步骤

步骤1：启动底盘通信节点，具体操作如下：

（1）首先打开新的终端，远程登录到主机

（2）启动底盘通信节点inwinic@remote:~$sshinwinic@[主机侧ip地址]inwinic@inwinic-desktop:~$roslaunchros_arduino_pythonarduino.launch底盘通信节点正确启动后，显示如图所示。二、实施步骤

步骤2：启动跟随节点，具体操作如下：

（1）启动跟随节点

跟随节点正确启动后，显示如图所示。inwinic@inwinic-desktop:~$roslaunchcam_followerastrapro_follower.launch二、实施步骤

步骤3：人靠近深度摄像头，距离保持不大于0.7米，这时摄像头就能够识别到当前的障碍物，然后摄像头就可以开始跟随。当人与车面对面或者背对面时，人相对车运动情景如下：12543人相对车往前运动，车会倒退；人相对车往后运动，车会前进；人相对车往左运动，小车会向右运动；人相对车往右运动，小车会往左运动。当人背对着小车正面站立时，小车的运动方向与人的运动方向一致。二、实施步骤

步骤4：功能包问题调试方法具体如下：

（1）当遇到功能包无法正常运行的情况，可以首先查看所有节点是否正常运行,命令如下：

命令执行后，将会正确显示当前运行的所有节点，显示如图所示。inwinic@inwinic-desktop:~$rosnodelist二、实施步骤

步骤4：功能包问题调试方法具体如下：

（2）然后查询发布速度控制信息节点的订阅的话题和发布的话题是否正常，命令如下：

命令执行后，显示如图所示。inwinic@inwinic-desktop:~$rosnodeinfo/camera/camera_nodelet_manager随堂讨论随堂讨论人靠近深度摄像头，距离保持不大于0.7米，这时摄像头就能够识别到当前的障碍物，然后摄像头就可以开始跟随。当人与车面对面或者背对面时，人相对车运动情景有哪些？请简要叙述出来。1.各组派代表统计遇到的问题。2.各组就各自的主要问题进行交流，并分享解决方法。谢

谢

观

看《ROS原理与技术应用》能力模块六掌握视觉传感器的应用方法

任务三实现车道线识别与巡线功能导入在智能网联汽车研发生产过程中，车道线的识别为汽车自动驾驶提供了关键的辅助功能。假设你是一位自动驾驶的调试人员，你需要完成车道检测。目录

CONTENTS0102车道检测技术智慧猫车道识别新授一、车道检测技术在自动驾驶的环境感知中，汽车需要感知不同颜色、不同光线下的车道线，通过车道检测技术指导汽车在正确的区域内行驶（如图6-3-1所示）。车道检测技术为自动驾驶汽车实现自动巡航、自动保持车速与车道位置等行为提供了参考依据，同时也能在汽车即将偏离车道时为驾驶员提供预警，提升汽车安全驾驶性能。一、车道检测技术车道检测的目标主要是检测车道线的形状，车道的形状包括宽度和曲率等几何参数。在正式的车道检测之前，需要完成摄像头校准，用于一处镜头畸变带来的影响，该步骤通过任务二的摄像头标定操作即可实现。利用摄像头进行车道识别的算法步骤主要包括图像预处理、车道线检测、计算车道中线完成车辆定位，实现效果过程如图所示。（a)原图（b)灰度变换（c)高斯平滑（d)边缘检测（e)边缘过滤（f)车道识别一、车道检测技术在机器视觉领域中，图像预处理是在进行内容识别前的关键一步，目的是在图像中排除一下干扰因素，提取需要检测对象的关键信息，其主要是通过颜色变化和梯度来生成一个具有过滤阈值的二值化图像，让检测目标更加突出，提高检测的精准度智慧猫的车道线识别的主要流程如下：1234通过调用OpenCV库中的函数capture.open()，来打开摄像头，并获取车道线的图像通过函数capture.set（）来设定获取图像窗口的大小、图像的帧率、图像的格式对获取的图像灰度处理，和二值化处理，找出图像中最左侧的车道线和最右侧的车道线，并计算出车道线的中线根据车道线中线数据，计算出前方车道线中线的斜率，进而判断智慧猫应该往哪个方向行走二、智慧猫车道识别在智慧猫中启动车道线识别的功能，主要是利用track_detection.launch文件调用相关节点实现。track_detection.launch文件的控制过程是通过调用arduino.launch启动了底盘通信节点，同时启动车道线检测节点Track_Detection_node。直接调用车道线检测节点Track_Detection_node时将摄像头拍摄图像中的道路转化成一条线引导小车前行。车道线经过二值化处理，与周边路面的颜色对比鲜明（避免摄像头捕获的图像中没有与车道线相同的颜色，否则容易对车道线的识别产生干扰）。正常情况下，识别的车道线为黑色，地面为白色，处理后的图像会在车道线的中间显示一条中线（如图所示）。二、智慧猫车道识别转弯的时候，按照设置的PID参数限制速度，尽量铺设的车道线在转弯处为直角。下面将介绍如何利用该功能包来实现车道识别及车道保持的功能。深度摄像头跟随主要使用的是track_detection.launch文件，该文件的主要内容如下：该节点的主要参数如表所示任务实施一、任务准备（一）软件、硬件准备（二）安全要求及注意事项1.安装好ROS系统电脑一台；

2.行云桥智慧猫一台；3.车道线场景一套；