汽车智能传感器技术与应用（附微课视频） 项目七任务1：激光雷达与视觉传感器的联合标定（学生工作页）

任务7.1激光雷达与视觉传感器的联合标定-学生工作页智能网联汽车传感器应用技术EISA(Guangzhou)IntelligentTechnologyCo.,Ltd.姓名班级学号实训室小组时间一、基础知识认识工单（1）相机标定的目的就是________________________________________________________________________________________________________________________________________________________________________________________________。（2）摄像机参数包括____________、____________、畸变系数，畸变系数包括_______________和________________。（3）视觉传感器标定方法有____________________、__________________和_______________________。（4）激光雷达与视觉传感器联合标定的作用是建立_______________________________________________________。二、RMONCAM鱼眼单目视觉传感器内参开发活动实施工单步骤操作根据实际情况在“”上填上正确答案1内参标定准备（1）内参标定需要准备标定板，用的是__________，棋盘格单格边长为__________的专业标定板。2录制一个视觉传感器话题的Bag（1）打开虚拟机，在菜单栏“虚拟机（M）”选择“可移动设备（D）”窗口窗口_______________________；（2）在窗口区域内单击鼠标右键，然后选择_________________；（3）在终端窗口区域内输入命令“roscore”，然后按回车键运行ROS转接点；（4）在窗口区域内单击鼠标右键，然后选择“打开终端”新建一个“终端”输入命令“roslaunchusb_camusb_cam-test.launch”来启动视觉传感器launch文件打开视觉传感器。3打开标定工具（1）单击“文件夹”→“HOME”→“ros+cam+lidar”→“autoware”→“ros”（2）在“ros”文件夹内右键打开终端，输入命令“sourcedevel/setup.bash”按回车；（3）输入指令“rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw”，启动标定工具。4视觉传感器标定及保存（1）标定界面是黑白的标定界面是的，当拿出标定板对着视觉传感器时，它会自动识别标定板里面内角的参数并用其它颜色线条标注；（2）标定参数分别为举起标定板移动，当右上角的X：____________________________________________、Y：____________________________________________、Size：_________________________________________、Skew：_________________________________________变为绿色时（X，Y和Size一起标定：保持标定板倾斜启动到视野的最左，最右，最上，最下），标定按钮”CALIBRATE”可用，单击即可计算内参矩阵。（3）等待计算机后台计算后，窗口会出现视觉传感器矩阵数据。（4）单击“SAVE-保存”按钮，单击后，出现一个保存的路径，会显示出保存的时间等，如果想找回保存的文件，可以根据___________________去找出来。保存完毕后，单击“COMMIT”按钮退出标定工具，保存完后，使用快捷键“CTRL+C”关闭视觉传感器实时同步窗口，注意这里会多保存一个Autoware类型的YAML文件格式，也就是后面外参标定要导入的文件。三、视觉传感器与Robosense-16线激光雷达联合标定外参开发活动实施工单步骤操作根据实际情况在“”上填上正确答案1联合标定准备（1）准备__________和录制Bag包，在电脑上回放用于标定工具的话题输入。2启动视觉传感器launch文件（1）打开虚拟机，在窗口选择并连接视觉传感器；（2）在窗口区域内单击鼠标右键，然后选择“打开终端”；（3）在终端窗口区域内输入命令“roscore”，然后按回车键运行ROS转接点（注意这个窗口不用关闭）；（4）再次窗口区域内单击鼠标右键，然后选择“打开终端”新建一个“终端”输入命令“roslaunchusb_camusb_cam-test.launch”来启动视觉传感器launch文件打开视觉传感器。3驱动激光雷达（1）打开激光雷达；（2）单击“文件夹”→“HOME”→“ros+cam+lidar”→“lidar_catkinws”后，在文件夹内右键打开终端，输入命令“sourcedevel/setup.bash”按回车，再输入指令“roslaunchrslidar_sdkstart.launch”，最后按下回车键，激光雷达点云数据界面会在显示器上打开；（4）切换到视觉传感器的终端，输入指令“roslaunchusb_camusb_cam-test.launch”按下回车键，弹出视觉传感器窗口后，切回到激光雷达点云的窗口界面后，单击界面里面的“Add”→“Bytopic”→“usb_cam”→“image_raw”→“image”，再单击下面的“OK”键；（5）使用鼠标调整视觉传感器窗口大小，将其与激光雷达的朝向位置一致，可以通过举起标定板来确定位置；（6）打开一个终端，添加指令“rosbagrecord-Ocamera_rslidar_calibration0916.bag；/usb_cam/image_raw/rslidar_points”录制激光雷达与视觉传感器标定包，然后按下回车键录制；（7）录制的时候，因为是16线激光雷达，所以拿标定板的时候离激光雷达不能太远，不然就不能清楚地看到标定板了，录制时建议的站位分别是：_______________________________________________________________________________________________________________________________________________________；（8）录制的时候建议每个位置移动改变标定板的姿态，每个姿势停留1-2秒左右，为防止模糊需要上仰，下俯，左偏，中间不动，右偏移动标定板。录制标定包的关键就是录制多个位置、改变拿标定板的姿势和必须保证能清楚的看到标定板，录制完成后，在终端指令栏目上按一下回车键结束录制，然后找出录制的文件；（9）回放数据包前，需要将视觉传感器实时窗口和激光雷达关闭，然后运行激光雷达驱动；（10）回放Bag使用如下命令，加上--pause意思是_____________，防止跑掉数据，按空格继续回放，输入指令“rosbagplay--pausecamera_rslidar_calibration0916.bag，然后按下回车播放，此时状态是“PAUSED”暂定状态，需要按空格键才能播放。（11）单击“文件夹”→“HOME”→“ros+cam+lidar”→“autoware-1.10.0”→“ros”后，在文件夹内右键打开终端，输入指令“sourcedevel/setup.bash”按回车，再输入指令“roslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210916_1119_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw”，最后按下回车键，然后弹出image-view2窗口；（12）当上面的image-view2出现视觉传感器画面时，然后按空格回放然后再暂停回放，然后将两个画面大小调到基本一致这样子标定效果会更好；（13）单击Add添加要订阅的__________________和__________________话题，分别设置每个订阅话题的topic、FixedFrame设置为______________不然会没有点云显示、切换点云查看视角，用鼠标滑轮调整点云距离，确保能看到标定板；（14）做标定的时候，建议选择九个点来做标定，左右两个画面选择的点位置保证基本一致。同时切换出image-view2的界面，单击工具栏放大图像，然后手动选择一个像素点和点云进行单次标定，观察图像和点云，并在image-view2中用鼠标选择一个像素点，单击rviz工具栏的PublishPoint，然后在rviz中选择一个对应的点云数据点，当你的鼠标右下角出现一个浅红色的路标记号时即可单击该数据点，观察image-view2的窗口是否出现points的提示信息；（15）重复以上步骤，选择9个不同的像素点云对，因为需要足够的数据才能计算外参矩阵，当第9个点选择完后，该工具会自动计算外参标定矩阵，可以观察到终端画面显示9:9标定完毕后，它会自动保存文件，最终的标定文件保存在home目录下，外参标定结束。三、数据融合检验标定效果步骤操作根据实际情况在“”上填上正确答案1打开数据包（1）标定矩阵有了之后，利用autoware提供的融合工具来查看标定的效果，先来回放数据，在终端输入指令“rosbagplay--pausecamera_rslidar_calibration0819.bag/rslidar_points:=/points_raw”后按下回车键，它是一个暂停的状态；（2）回到Autoware主界面，在终端输入指令“./run”后按下回车键运行，提示输入密码（密码是“root”）；（3）输入密码后会弹出一个RuntimeManager窗口，然后单击“Sensing”→“CalibrationPublisher”→选择参数“/usb_cam”→单击“Ref”，在文件文件夹里面选择“20210916_115455autowarelidarcamera_calibration.yaml”外参标定文件，然后单击“OK”；（4）单击“PointsImage”选择CameralD“/usb_cam”后单击“O