汽车智能传感器技术与应用 教案 项目七 综合实践

任务7.1激光雷达与视觉传感器的联合标定-教师手册智能网联汽车传感器应用技术.一体化教学设计授课教师：授课班级：学时数：8授课日期：一体化教学场所：教学目标技能目标知识目标素质目标1.具备标定视觉传感器内部参数（内参标定）的操作技能；2.具备激光雷达与视觉传感器联合标定外部参数（外参标定）的操作技能；1.了解视觉传感器标定概念与方法；2.了解激光雷达与视觉传感器联合标定的意义及方法；1.培养独立思考和自主精神；2.培养精益求精的品质；3.培养学生的动手能力及团队之间的合作精神；教学重点1.视觉传感器标定的目的与方法；2.激光雷达的标定目的与方法；3.激光雷达与视觉传感器联合标定；4.RMONCAM鱼眼单目视觉传感器内参；5.视觉传感器与Robosense-16线激光雷达联合标定外参。教学准备1.激光雷达与视觉传感器的联合标定功能课件；教学活动1.通过多媒体课件讲解，让学生们了解视觉传感器标定的目的与方法；2.通过多媒体课件讲解，让学生们了解激光雷达的标定目的与方法；3.通过多媒体课件讲解，让学生们了解激光雷达与视觉传感器联合标定的目的与方法；4.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握RMONCAM鱼眼单目视觉传感器内参开发实训操作。5.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握利用视觉传感器与Robosense-16线激光雷达联合标定外参开发实训操作。课后作业教学体会

2.一体化教学实施教学流程教学内容教学方法教学手段学生活动时间分配（min）教学引入提问：激光雷达与视觉传感器如何实现联合标定？课前提问多媒体课件分组讨论10教学告知1.视觉传感器标定的目的与方法；2.激光雷达的标定目的与方法；3.激光雷达与视觉传感器联合标定；4.RMONCAM鱼眼单目视觉传感器内参；5.视觉传感器与Robosense-16线激光雷达联合标定外参。讲授多媒体课件示范教学课前预习15教学准备1.利用激光雷达与视觉传感器的联合标定；讲授多媒体课件讲解课前预习10教学实施1.视觉传感器标定的目的与方法；2.激光雷达的标定目的与方法；3.激光雷达与视觉传感器联合标定；4.RMONCAM鱼眼单目视觉传感器内参；5.视觉传感器与Robosense-16线激光雷达联合标定外参。讲授演示练习多媒体课件讲解实操演示课前预习分组讨论动手实操25教学总结1.激光雷达与视觉传感器的联合标定；2.RMONCAM鱼眼单目视觉传感器内参标定；3.视觉传感器与Robosense-16线激光雷达联合标定外参;4.数据融合检验标定效果。提问启发引导多媒体课件讲解1.回答问题2.完成学生工作页303.任务考核及答案3.1基础知识认识工单（1）相机标定的目的就是确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，建立摄像机成像的几何模型。（2）摄像机参数包括内参、外参、畸变系数，畸变系数包括径向畸变和切向畸变。（3）视觉传感器标定方法有传统视觉传感器标定法、主动视觉传感器标定方法和自标定法。（4）激光雷达与视觉传感器联合标定的作用是建立点云的point和图像pixel之间的对应关系。3.2RMONCAM鱼眼单目视觉传感器内参开发活动实施工单步骤操作根据实际情况在“”上填上正确答案1内参标定准备（1）内参标定需要准备标定板，用的是12x9，棋盘格单格边长为3.6cm的专业标定板。2录制一个视觉传感器话题的Bag（1）打开虚拟机，在菜单栏“虚拟机（M）”选择“可移动设备（D）”窗口选择并连接视觉传感器；（2）在窗口区域内单击鼠标右键，然后选择“打开终端”；（3）在终端窗口区域内输入命令“roscore”，然后按回车键运行ROS转接点；（4）在窗口区域内单击鼠标右键，然后选择“打开终端”新建一个“终端”输入命令“roslaunchusb_camusb_cam-test.launch”来启动视觉传感器launch文件打开视觉传感器。3打开标定工具（1）单击“文件夹”→“HOME”→“ros+cam+lidar”→“autoware”→“ros”（2）在“ros”文件夹内右键打开终端，输入命令“sourcedevel/setup.bash”按回车；（3）输入指令“rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw”，启动标定工具。4视觉传感器标定及保存（1）标定界面是黑白的，当拿出标定板对着视觉传感器时，它会自动识别标定板里面内角的参数并用其它颜色线条标注；（2）标定参数分别为举起标定板移动，当右上角的X：移动到视觉传感器视野范围的最左边，最右边）、Y：（移动到视觉传感器视野范围的最上方，最底部）、Size：（移动标定板充满整个视觉传感器视野范围）、Skew：（改变标定板的角度，斜着拿标定板）变为绿色时（X，Y和Size一起标定：保持标定板倾斜启动到视野的最左，最右，最上，最下），标定按钮”CALIBRATE”可用，单击即可计算内参矩阵。（3）等待计算机后台计算后，窗口会出现视觉传感器矩阵数据。（4）单击“SAVE-保存”按钮，单击后，出现一个保存的路径，会显示出保存的时间等（以时间命名），如果想找回保存的文件，可以按照保存时间去找出来。保存完毕后，单击“COMMIT”按钮退出标定工具，保存完后，使用快捷键“CTRL+C”关闭视觉传感器实时同步窗口（不能关闭终端窗口），注意这里会多保存一个Autoware类型的YAML文件格式，也就是后面外参标定要导入的文件，3.3视觉传感器与Robosense-16线激光雷达联合标定外参开发活动实施工单步骤操作根据实际情况在“”上填上正确答案1联合标定准备（1）准备标定板和录制Bag包，在电脑上回放用于标定工具的话题输入。2启动视觉传感器launch文件（1）打开虚拟机，在窗口选择并连接视觉传感器；（2）在窗口区域内单击鼠标右键，然后选择“打开终端”；（3）在终端窗口区域内输入命令“roscore”，然后按回车键运行ROS转接点（注意这个窗口不用关闭）；（4）再次窗口区域内单击鼠标右键，然后选择“打开终端”新建一个“终端”输入命令“roslaunchusb_camusb_cam-test.launch”来启动视觉传感器launch文件打开视觉传感器。3驱动激光雷达（1）打开激光雷达；（2）单击“文件夹”→“HOME”→“ros+cam+lidar”→“lidar_catkinws”后，在文件夹内右键打开终端，输入命令“sourcedevel/setup.bash”按回车，再输入指令“roslaunchrslidar_sdkstart.launch”，最后按下回车键，激光雷达点云数据界面会在显示器上打开；（4）切换到视觉传感器的终端，输入指令“roslaunchusb_camusb_cam-test.launch”按下回车键，弹出视觉传感器窗口后，切回到激光雷达点云的窗口界面后，单击界面里面的“Add”→“Bytopic”→“usb_cam”→“image_raw”→“image”，再单击下面的“OK”键；（5）使用鼠标调整视觉传感器窗口大小，将其与激光雷达的朝向位置一致，可以通过举起标定板来确定位置；（6）打开一个终端，添加指令“rosbagrecord-Ocamera_rslidar_calibration0916.bag；/usb_cam/image_raw/rslidar_points”录制激光雷达与视觉传感器标定包，然后按下回车键录制；（7）录制的时候，因为是16线激光雷达，所以拿标定板的时候离激光雷达不能太远，不然就不能清楚地看到标定板了，录制时建议的站位分别是：近处左边，近处中间，近处右边；中间左边，中间中间，中间右边；远处左边，远处中间，远处右边；（8）录制的时候建议每个位置移动改变标定板的姿态，每个姿势停留1-2秒左右，为防止模糊需要上仰，下俯，左偏，中间不动，右偏移动标定板。录制标定包的关键就是录制多个位置、改变拿标定板的姿势和必须保证能清楚的看到标定板，录制完成后，在终端指令栏目上按一下回车键结束录制，然后找出录制的文件；（9）回放数据包前，需要将视觉传感器实时窗口和激光雷达关闭，然后运行激光雷达驱动；（10）回放Bag使用如下命令，加上--pause意思是启动即暂停，防止跑掉数据，按空格继续回放，输入指令“rosbagplay--pausecamera_rslidar_calibration0916.bag，然后按下回车播放，此时状态是“PAUSED”暂定状态，需要按空格键才能播放。（11）单击“文件夹”→“HOME”→“ros+cam+lidar”→“autoware-1.10.0”→“ros”后，在文件夹内右键打开终端，输入指令“sourcedevel/setup.bash”按回车，再输入指令“roslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210916_1119_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw”，最后按下回车键，然后弹出image-view2窗口；（12）当上面的image-view2出现视觉传感器画面时，然后按空格回放然后再暂停回放，然后将两个画面大小调到基本一致这样子标定效果会更好；（13）单击Add添加要订阅的Image和PontCloud话题，分别设置每个订阅话题的topic、FixedFrame设置为rslidar不然会没有点云显示、切换点云查看视角，用鼠标滑轮调整点云距离，确保能看到标定板；（14）做标定的时候，建议选择九个点来做标定，左右两个画面选择的点位置保证基本一致。同时切换出image-view2的界面，单击工具栏放大图像，然后手动选择一个像素点和点云进行单次标定，观察图像和点云，并在image-view2中用鼠标选择一个像素点，单击rviz工具栏的PublishPoint，然后在rviz中选择一个对应的点云数据点，当你的鼠标右下角出现一个浅红色的路标记号时即可单击该数据点，观察image-view2的窗口是否出现points的提示信息；（15）重复以上步骤，选择9个不同的像素点云对，因为需要足够的数据才能计算外参矩阵，当第9个点选择完后，该工具会自动计算外参标定矩阵，可以观察到终端画面显示9:9标定完毕后，它会自动保存文件，最终的标定文件保存在home目录下，外参标定结束。3.3数据融合检验标定效果步骤操作根据实际情况在“”上填上正确答案1打开数据包（1）标定矩阵有了之后，利用autoware提供的融合工具来查看标定的效果，先来回放数据，在终端输入指令“rosbagplay--pausecamera_rslidar_calibration0819.bag/rslidar_points:=/points_raw”后按下回车键，它是一个暂停的状态；（2）回到Autoware主界面，在终端输入指令“./run”后按下回车键运行，提示输入密码（密码是“root”）；（3）输入密码后会弹出一个RuntimeManager窗口，然后单击“Sensing”→“CalibrationPublisher”→选择参数“/usb_cam”→单击“Ref”，在文件文件夹里面选择“20210916_115455autowarelidarcamera_calibration.yaml”外参标定文件，然后单击“OK”；（4）单击“PointsImage”选择CameralD“/usb_cam”后单击“OK”；（5）单击“RViz”窗口选择“ImageTopic”和“PointTopic”参数；（6）单击AutoWare终端按下空格键，然后就能看到融合标定效果了，这个效果有点偏差，在录制的时后标定板位置有点偏差；1.一体化教学设计授课教师：授课班级：学时数：8授课日期：一体化教学场所：教学目标技能能力目标知识目标素质目标1.能独立完成具备毫米波雷达与视觉传感器标定融合的联合标定操作能力。1.通过课程讲解掌握标定的定义和分类；2.通过课程讲解掌握毫米波雷达与视觉传感器标定融合的意义；3.通过课程讲解掌握毫米波雷达与视觉传感器标定融合的方式；4.通过课程讲解掌握毫米波雷达与视觉传感器的安装与调试的方法及步骤；5.通过课程讲解掌握毫米波雷达和视觉传感器标定融合的实现步骤。了解毫米波雷达与视觉传感器标定融合的概念与方法。1.专心听课认真记录笔记培养独立思考和自主精神；2.积极参与讨论培养精益求精的品质；3.个人积极回答问题培养学生的动手能力及团队之间的合作精神；4.认真填写工作页；5.养成良好的课后复习习惯；6.课后翻阅相关资料加深对课程的了解。教学重点1.毫米波雷达与视觉传感器标定融合的方式；2.毫米波雷达与视觉传感器的安装与调试的方法及步骤；3.毫米波雷达和视觉传感器标定融合的实现步骤。教学准备1.基于毫米波雷达与视觉传感器的标定融合课件；教学活动1.通过多媒体课件讲解，让学生们了解毫米波雷达与视觉传感器标定融合的方式；2.通过多媒体课件讲解，让学生们了解毫米波雷达与视觉传感器的安装与调试的方法及步骤；3.通过多媒体课件讲解，让学生们了解毫米波雷达和视觉传感器标定融合的实现步骤。课后作业教学体会

2.一体化教学实施教学流程教学内容教学方法教学手段学生活动时间分配（min）教学引入提问：在智能驾驶技术中，单一的传感器是不能够解决所有问题的，那会有哪些解决方法呢？课前提问多媒体课件分组讨论10教学告知1.毫米波雷达与视觉传感器标定融合的方式；2.毫米波雷达与视觉传感器的安装与调试的方法及步骤；3.毫米波雷达和视觉传感器标定融合的实现步骤。讲授多媒体课件示范教学课前预习15教学准备1.基于毫米波雷达与视觉传感器的标定融合课件；讲授多媒体课件讲解课前预习10教学实施1.毫米波雷达与视觉传感器标定融合的方式；2.毫米波雷达与视觉传感器的安装与调试的方法及步骤；3.毫米波雷达和视觉传感器标定融合的实现步骤。讲授演示练习多媒体课件讲解实操演示课前预习分组讨论动手实操25教学总结毫米波雷达与视觉传感器标定融合的方式、毫米波雷达和视觉传感器标定融合的实现步骤。提问启发引导多媒体课件讲解1.回答问题2.完成学生工作页30

3.任务考核及答案3.1开发基础知识认识工单相机与毫米波雷达的融合方式有：原始数据级融合、特征级融合、目标级融合。毫米波雷达与视觉传感器的标定问题，就是要将毫米波检测的目标转换到图像上。具体分为三个步骤：1、将毫米波雷达坐标系的坐标转换到世界坐标系2、将世界坐标系的坐标转换到相机坐标系3、相机坐标系->图像坐标系->像素坐标系3.2基于激光雷达实现SLAM功能开发活动实施工单3.2.1准备工作步骤准备工作（根据实际使用的工具作答）根据实际情况在“”上填上正确答案1安装设备在进行毫米波雷达与视觉传感器的标定融合之前，需要将视觉传感器