智能网联汽车感知系统装调与故障诊断-教案 项目七 激光雷达与视觉传感器

.一体化教学设计授课教师：授课班级：学时数：8授课日期：一体化教学场所：教学目标能力目标知识目标素质目标1.掌握视觉传感器内参标定的步骤；2.掌握激光雷达与视觉传感器联合标定外参的步骤；1.通过课程讲解了解视觉传感器标定的相关知识；2.通过课程讲解了解激光雷达与视觉传感器联合标定的相关知识；1.专心听课认真记录笔记；2.积极参与讨论；3.个人积极回答问题；4.认真填写工作页；5.养成良好的课后复习习惯；6.课后翻阅相关资料加深对课程的了解。教学重点1.视觉传感器标定的目的与方法；2.激光雷达的标定目的与方法；3.激光雷达与视觉传感器联合标定；4.RMONCAM鱼眼单目视觉传感器内参；5.视觉传感器与Robosense-16线激光雷达联合标定外参。教学准备1.激光雷达与视觉传感器的联合标定功能课件；教学活动1.通过多媒体课件讲解，让学生们了解视觉传感器标定的目的与方法；2.通过多媒体课件讲解，让学生们了解激光雷达的标定目的与方法；3.通过多媒体课件讲解，让学生们了解激光雷达与视觉传感器联合标定的目的与方法；4.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握RMONCAM鱼眼单目视觉传感器内参开发实训操作。5.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握利用视觉传感器与Robosense-16线激光雷达联合标定外参开发实训操作。课后作业教学体会2.一体化教学实施教学流程教学内容教学方法教学手段学生活动时间分配（min）教学引入提问：激光雷达与视觉传感器如何实现联合标定？课前提问多媒体课件分组讨论10教学告知1.视觉传感器标定的目的与方法；2.激光雷达的标定目的与方法；3.激光雷达与视觉传感器联合标定；4.RMONCAM鱼眼单目视觉传感器内参；5.视觉传感器与Robosense-16线激光雷达联合标定外参。讲授多媒体课件示范教学课前预习15教学准备1.利用激光雷达与视觉传感器的联合标定；讲授多媒体课件讲解课前预习10教学实施1.视觉传感器标定的目的与方法；2.激光雷达的标定目的与方法；3.激光雷达与视觉传感器联合标定；4.RMONCAM鱼眼单目视觉传感器内参；5.视觉传感器与Robosense-16线激光雷达联合标定外参。讲授演示练习多媒体课件讲解实操演示课前预习分组讨论动手实操25教学总结1.激光雷达与视觉传感器的联合标定；2.RMONCAM鱼眼单目视觉传感器内参标定；3.视觉传感器与Robosense-16线激光雷达联合标定外参;4.数据融合检验标定效果。提问启发引导多媒体课件讲解1.回答问题2.完成学生工作页303.任务考核及答案3.1基础知识认识工单（1）相机标定的目的就是确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，建立摄像机成像的几何模型。（2）摄像机参数包括内参、外参、畸变系数，畸变系数包括径向畸变和切向畸变。（3）视觉传感器标定方法有传统视觉传感器标定法、主动视觉传感器标定方法和自标定法。（4）激光雷达与视觉传感器联合标定的作用是建立点云的point和图像pixel之间的对应关系。3.2RMONCAM鱼眼单目视觉传感器内参开发活动实施工单步骤操作根据实际情况在“”上填上正确答案1内参标定准备（1）内参标定需要准备标定板，用的是12x9，棋盘格单格边长为3.6cm的专业标定板。2录制一个视觉传感器话题的Bag（1）打开虚拟机，在窗口选择并连接视觉传感器；（2）在窗口区域内单击鼠标右键，然后选择“打开终端”；（3）在终端窗口区域内输入命令“roscore”，然后按回车键运行ROS转接点；（4）在窗口区域内单击鼠标右键，然后选择“打开终端”新建一个“终端”输入命令“roslaunchusb_camusb_cam-test.launch”来启动视觉传感器launch文件打开视觉传感器。3打开标定工具（1）单击“文件夹”→“HOME”→“ros+cam+lidar”→“autoware”→“ros”（路径）（2）在“ros”文件夹内右键打开终端，输入命令“sourcedevel/setup.bash”按回车；（3）输入指令“rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw”，启动标定工具。4视觉传感器标定及保存（1）标定界面是黑白的，当拿出标定板对着视觉传感器时，它会自动识别标定板里面内角的参数并用其它颜色线条标注；（2）标定参数分别为举起标定板移动，当右上角的X：移动到视觉传感器视野范围的最左边，最右边）、Y：（移动到视觉传感器视野范围的最上方，最底部）、Size：（移动标定板充满整个视觉传感器视野范围）、Skew：（改变标定板的角度，斜着拿标定板）变为绿色时（X，Y和Size一起标定：保持标定板倾斜启动到视野的最左，最右，最上，最下），标定按钮”CALIBRATE”可用，单击即可计算内参矩阵。（3）等待计算机后台计算后，窗口会出现视觉传感器矩阵数据。（4）单击“SAVE-保存”按钮，单击后，出现一个保存的路径，会显示出保存的时间等（以时间命名），如果想找回保存的文件，可以按照保存时间去找出来。保存完毕后，单击“COMMIT”按钮退出标定工具，保存完后，使用快捷键“CTRL+C”关闭视觉传感器实时同步窗口（不能关闭终端窗口），注意这里会多保存一个Autoware类型的YAML文件格式，也就是后面外参标定要导入的文件，3.3视觉传感器与Robosense-16线激光雷达联合标定外参开发活动实施工单步骤操作根据实际情况在“”上填上正确答案1联合标定准备（1）准备标定板和录制Bag包，在电脑上回放用于标定工具的话题输入。2启动视觉传感器launch文件（1）打开虚拟机，在窗口选择并连接视觉传感器；（2）在窗口区域内单击鼠标右键，然后选择“打开终端”；（3）在终端窗口区域内输入命令“roscore”，然后按回车键运行ROS转接点（注意这个窗口不用关闭）；（4）再次窗口区域内单击鼠标右键，然后选择“打开终端”新建一个“终端”输入命令“roslaunchusb_camusb_cam-test.launch”来启动视觉传感器launch文件打开视觉传感器。3驱动激光雷达（1）打开激光雷达；（2）单击“文件夹”→“HOME”→“ros+cam+lidar”→“lidar_catkinws”后，在文件夹内右键打开终端，输入命令“sourcedevel/setup.bash”按回车，再输入指令“roslaunchrslidar_sdkstart.launch”，最后按下回车键，激光雷达点云数据界面会在显示器上打开；（4）切换到视觉传感器的终端，输入指令“roslaunchusb_camusb_cam-test.launch”按下回车键，弹出视觉传感器窗口后，切回到激光雷达点云的窗口界面后，单击界面里面的“Add”→“Bytopic”→“usb_cam”→“image_raw”→“image”，再单击下面的“OK”键；（5）使用鼠标调整视觉传感器窗口大小，将其与激光雷达的朝向位置一致，可以通过举起标定板来确定位置；（6）打开一个终端，添加指令“rosbagrecord-Ocamera_rslidar_calibration0916.bag；/usb_cam/image_raw/rslidar_points”录制激光雷达与视觉传感器标定包，然后按下回车键录制；（7）录制的时候，因为是16线激光雷达，所以拿标定板的时候离激光雷达不能太远，不然就不能清楚地看到标定板了，录制时建议的站位分别是：近处左边，近处中间，近处右边；中间左边，中间中间，中间右边；远处左边，远处中间，远处右边；（8）录制的时候建议每个位置移动改变标定板的姿态，每个姿势停留1-2秒左右，为防止模糊需要上仰，下俯，左偏，中间不动，右偏移动标定板。录制标定包的关键就是录制多个位置、改变拿标定板的姿势和必须保证能清楚的看到标定板，录制完成后，在终端指令栏目上按一下回车键结束录制，然后找出录制的文件；（9）回放数据包前，需要将视觉传感器实时窗口和激光雷达关闭，然后运行激光雷达驱动；（10）回放Bag使用如下命令，加上--pause意思是启动即暂停，防止跑掉数据，按空格继续回放，输入指令“rosbagplay--pausecamera_rslidar_calibration0916.bag，然后按下回车播放，此时状态是“PAUSED”暂定状态，需要按空格键才能播放。（11）单击“文件夹”→“HOME”→“ros+cam+lidar”→“autoware-1.10.0”→“ros”后，在文件夹内右键打开终端，输入指令“sourcedevel/setup.bash”按回车，再输入指令“roslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210916_1119_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw”，最后按下回车键，然后弹出image-view2窗口；（12）当上面的image-view2出现视觉传感器画面时，然后按空格回放然后再暂停回放，然后将两个画面大小调到基本一致这样子标定效果会更好；（13）单击Add添加要订阅的Image和PontCloud话题，分别设置每个订阅话题的topic、FixedFrame设置为rslidar不然会没有点云显示、切换点云查看视角，用鼠标滑轮调整点云距离，确保能看到标定板；（14）做标定的时候，建议选择九个点来做标定，左右两个画面选择的点位置保证基本一致。同时切换出image-view2的界面，单击工具栏放大图像，然后手动选择一个像素点和点云进行单次标定，观察图像和点云，并在image-view2中用鼠标选择一个像素点，单击rviz工具栏的PublishPoint，然后在rviz中选择一个对应的点云数据点，当你的鼠标右下角出现一个浅红色的路标记号时即可单击该数据点，观察image-view2的窗口是否出现points的提示信息；（15）重复以上步骤，选择9个不同的像素点云对，因为需要足够的数据才能计算外参矩阵，当第9个点选择完后，该工具会自动计算外参标定矩阵，可以观察到终端画面显示9:9标定完毕后，它会自动保存文件，最终的标定文件保存在home目录下，外参标定结束。3.3数据融合检验标定效果步骤操作根据实际情况在“”上填上正确答案1打开数据包（1）标定矩阵有了之后，利用autoware提供的融合工具来查看标定的效果，先来回放数据，在终端输入指令“rosbagplay--pausecamera_rslidar_calibration0819.bag/rslidar_points:=/points_raw”后按下回车键，它是一个暂停的状态；（2）回到Autoware主界面，在终端输入指令“./run”后按下回车键运行，提示输入密码（密码是“root”）；（3）输入密码后会弹出一个RuntimeManager窗口，然后单击“Sensing”→“CalibrationPublisher”→选择参数“/usb_cam”→单击“Ref”，在文件文件夹里面选择“20210916_115455autowarelidarcamera_calibration.yaml”外参标定文件，然后单击“OK”；（4）单击“PointsImage”选择CameralD“/usb_cam”后单击“OK”；（5）单击“RViz”窗口选择“ImageTopic”和“PointTopic”参数；（6）单击AuToWare终端按下空格键，然后就能看到融合标定效果了，这个效果有点偏差，在录制的时后标定板位置有点偏差；1.一体化教学设计授课教师：授课班级：学时数：8授课日期：一体化教学场所：教学目标能力目标知识目标素质目标1.能独立完成毫米波雷达与视觉传感器的联合标定。1.通过课程讲解掌握标定的定义和分类；2.通过课程讲解掌握毫米波雷达与视觉传感器标定融合的意义；3.通过课程讲解掌握毫米波雷达与视觉传感器标定融合的方式；4.通过课程讲解掌握毫米波雷达与视觉传感器的安装与调试的方法及步骤；5.通过课程讲解掌握毫米波雷达和视觉传感器标定融合的实现步骤。1.专心听课认真记录笔记；2.积极参与讨论；3.个人积极回答问题；4.认真填写工作页；5.养成良好的课后复习习惯；6.课后翻阅相关资料加深对课程的了解。教学重点1.毫米波雷达与视觉传感器标定融合的方式；2.毫米波雷达与视觉传感器的安装与调试的方法及步骤；3.毫米波雷达和视觉传感器标定融合的实现步骤。教学准备1.基于毫米波雷达与视觉传感器的标定融合课件；教学活动1.通过多媒体课件讲解，让学生们了解毫米波雷达与视觉传感器标定融合的方式；2.通过多媒体课件讲解，让学生们了解毫米波雷达与视觉传感器的安装与调试的方法及步骤；3.通过多媒体课件讲解，让学生们了解毫米波雷达和视觉传感器标定融合的实现步骤。课后作业教学体会2.一体化教学实施教学流程教学内容教学方法教学手段学生活动时间分配（min）教学引入提问：在智能驾驶技术中，单一的传感器是不能够解决所有问题的，那会有哪些解决方法呢？课前提问多媒体课件分组讨论10教学告知1.毫米波雷达与视觉传感器标定融合的方式；2.毫米波雷达与视觉传感器的安装与调试的方法及步骤；3.毫米波雷达和视觉传感器标定融合的实现步骤。讲授多媒体课件示范教学课前预习15教学准备1.基于毫米波雷达与视觉传感器的标定融合课件；讲授多媒体课件讲解课前预习10教学实施1.毫米波雷达与视觉传感器标定融合的方式；2.毫米波雷达与视觉传感器的安装与调试的方法及步骤；3.毫米波雷达和视觉传感器标定融合的实现步骤。讲授演示练习多媒体课件讲解实操演示课前预习分组讨论动手实操25教学总结毫米波雷达与视觉传感器标定融合的方式、毫米波雷达和视觉传感器标定融合的实现步骤。提问启发引导多媒体课件讲解1.回答问题2.完成学生工作页303.任务考核及答案3.1开发基础知识认识工单相机与毫米波雷达的融合方式有：原始数据级融合、特征级融合、目标级融合。毫米波雷达与视觉传感器的标定问题，就是要将毫米波检测的目标转换到图像上。具体分为三个步骤：1、将毫米波雷达坐标系的坐标转换到世界坐标系2、将世界坐标系的坐标转换到相机坐标系3、相机坐标系->图像坐标系->像素坐标系3.2基于激光雷达实现SLAM功能开发活动实施工单3.2.1准备工作步骤准备工作（根据实际使用的工具作答）根据实际情况在“”上填上正确答案1安装设备在进行毫米波雷达与视觉传感器的标定融合之前，需要将视觉传感器和毫米波雷达安装到应用实训台上。注意事项：（1）安装摄像头时，1号摄像头需要调整到与地面平行；（2）安装毫米波雷达的时候，需要注意毫米波雷达的安装方向。2场地准备（1）把应用实训台架推到规定的位置；（2）在毫米波雷达下方的地面上贴一条黄色标志线，标志线需要与应用实训台架平行。（3）以毫米波雷达下方为圆心，圈出一个角度为40°的扇形报警区域3.2.2视觉传感器标定的实施工单步骤视觉传感器的标定（根据实际使用的工具作答）根据实际情况在“”上填上正确答案1打开“视觉传感器与毫米波雷达标定融合“软件2选择视觉传感器，选择“RMONCAMA21080P“3在左上角“摄像头状态”，选择“打开“按钮，打开视觉传感器4打开摄像头之后，选择“拍摄”按钮，借助标定板，拍摄五个不同角度的照片5完成照片拍摄之后，选择“标定”按钮，进行标定3.2.3调试毫米波雷达的实施工单步骤毫米波雷达的调试（根据实际使用的工具作答）根据实际情况在“□”位置上打“√”或根据实际情况在“”上填上正确答案1设置报警区域角度和报警区域距离，报警区域角度为20°，报警区域距离为5m2选择“打开设备“按钮，打开毫米波雷达，进行CAN通讯3打开毫米波雷达之后，坐标系是否有数据是R否£结论毫米波雷达是否正常是R否£3.2.4毫米波雷达和视觉传感器融合的实施工单步骤毫米波雷达和视觉传感器的融合（根据实际使用的工具作答）根据实际情况在“□”位置上打“√”选择“融合“按钮，进行毫米波雷达和视觉传感器的标定融合。结论视觉传感器检测到的图像和毫米波雷达探测到的点是否重合是R否£1.一体化教学设计授课教师：授课班级：学时数：8授课日期：一体化教学场所：教学目标能力目标知识目标素质目标1.能独立完成基于激光雷达实现SLAM的开发；2.能独立完成基于激光雷达和IMU实现SLAM的开发。1.通过课程讲解了解SLAM建图和Hector_SLAM；2.通过课程讲解了解IMU内参标定的方法及激光雷达与IMU外参标定的方法；3.通过课程讲解了解多传感器融合算法LIO-SAM介绍；4.通过课程讲解了解基于激光雷达实现SLAM的开发过程；5.通过课程讲解了解基于激光雷达和IMU实现SLAM的开发过程。1.专心听课认真记录笔记；2.积极参与讨论；3.个人积极回答问题；4.认真填写工作页；5.养成良好的课后复习习惯；6.课后翻阅相关资料加深对课程的了解。教学重点1.IMU内参标定的方法；2.激光雷达与IMU外参标定的方法；3.多传感器融合算法LIO-SAM；4.基于激光雷达和IMU实现SLAM的开发过程。教学准备1.基于激光雷达与IMU实现SLAM功能课件；教学活动1.通过多媒体课件讲解，让学生们了解IMU内参标定的方法；2.通过多媒体课件讲解，让学生们了解激光雷达与IMU外参标定的方法；3.通过多媒体课件讲解，让学生们了解多传感器融合算法LIO-SAM；4.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握基于激光雷达和IMU实现SLAM的开发过程。课后作业教学体会2.一体化教学实施教学流程教学内容教学方法教学手段学生活动时间分配（min）教学引入提问：激光雷达结合IMU是如何实现SLAM建图的？课前提问多媒体课件分组讨论10教学告知1.IMU内参标定的方法；2.激光雷达与IMU外参标定的方法；3.多传感器融合算法LIO-SAM；4.基于激光雷达和IMU实现SLAM的开发过程。讲授多媒体课件示范教学课前预习15教学准备1.基于激光雷达与IMU实现SLAM功能课件；讲授多媒体课件讲解课前预习10教学实施1.IMU内参标定的方法；2.激光雷达与IMU外参标定的方法；3.多传感器融合算法LIO-SAM；4.基于激光雷达和IMU实现SLAM的开发过程。讲授演示练习多媒体课件讲解实操演示课前预习分组讨论动手实操295教学总结基于激光雷达实现SLAM的开发过程、基于激光雷达和IMU实现SLAM的开发过程。提问启发引导多媒体课件讲解1.回答问题2.完成学生工作页303.任务考核及答案3.1开发基础知识认识工单SLAM，也称为CML，即同时定位与地图构建，或并发建图与定位。目前用在SLAM上的传感器主要分为激光SLAM和视觉SLAM。本课程的基于激光雷达实现SLAM功能的开发是基于图优化的Hector_SLAM方案，该方案仅有前端扫描匹配的模块，无后端优化的过程。IMU内参标定使用的是Allan方差法。激光雷达与IMU外参标定方法为lidar_align，是瑞士苏黎世理工大学-自动驾驶实验室开源的一种校准3D激光雷达和6自由度位姿传感器外参的方法。LIO-SAM是在局部范围内进行扫描匹配以显著提高系统的实时性能。3.2基于激光雷达实现SLAM功能开发活动实施工单3.2.1准备工作步骤准备工作（根据实际使用的工具作答）根据实际情况在“”上填上正确答案1运行节点扫描的效果：2（1）安装ros-melodic-tf2-sensor-msgs。（2）安装pointcloud_to_laserscan包。（3）创建launch文件。并将固定文本（具体内容请查看学生手册）输入文件中。目的：实现三维点云数据转二维点云数据3（1）打开一个新的终端，启动3d雷达驱动。（2）再打开一个新的终端，启pointcloud_to_laserscan节点。如果想要显示二维点云，还需要在Rivz中添加LaserScan。然后将Topic话题改为/scan，Style话题改为Points。4（1）安装qt4-default（2）安装hector_slam（3）修改tutorial.launch文件两个修改点：1、将<paramname="/use_sim_time"value="false"/>中的true改为false。2、添加两个tf变换坐标。5修改mapping_default.launch文件6修改rslidar中的frame_id，并重新编译rslidar_ros将private_nh.param("frame_id",config_.frame_id,std::string("rslidar"));中的rslidar改为laser。7创建slam.launch文件，在创建的空文本中输入如下：这里需要注意的是，第一个和第三个都启动了rviz，需要将第一个launch文件中的rviz注释掉。①的目的：启动激光雷达②的目的：将三维point转换为二维scan③的目的：执行hector_slam功能3.2.2基于激光雷达的SLAM建图的实施工单步骤基于激光雷达的SLAM建图（根据实际使用的工具作答）根据实际情况在“”上填上正确答案1（1）启动slam.launch文件（2）移动应用实训台，会对周围的环境进行建图（3）查看建图效果：灰色表示：激光雷达没有探测到的未知区域黑色的点表示：激光雷达探测到障碍点白色表示：激光雷达已探测的不存在障碍物的区域3.3基于激光雷达和IMU实现SLAM开发活动实施工单3.3.1IMU的内参标定IMU的内参标定根据实际情况在“”上填上正确答案1、IMU为什么要进行内参标定？答：受各种因素影响，微机械IMU放置一段时间后，其误差参数和惯性元件参数会发生变化，不能满足导航、制导的精度要求，因此必须定期对其相应参数重新标定。2、IMU在采集数据时，会产生哪两种误差？答：确定性误差和随机性误差1连接串口2编译安装Eigen线性代数库3编译安装CeresSolver非线性最小二乘求解工具包，在编译过程可能会出现无法定位libcxsoarse3.1.2的问题。解决办法：（1）打开sources.list；（2）将下面的源粘贴到最上方sources.list；（3）更新源；（4）重新输入依赖项安装命令安装依赖项。4编译code_utils安装依赖项把code_utils工具包放入ROS工作空间src文件夹下，进入ROS工作空间，执行catkin_make命令进行编译如果出现编译出错状况，解决方法如下：①把src/code_utils/src/sumpixel_test.cpp中的#include”backward.hpp”改为#include”code_utils/backward.hpp”；②在src/code_utils-master/include/code_utils/dlt/dlt.h中添加头文件include“vector”。编译imu_utils把code_utils工具包放入ROS工作空间src