《机器视觉系统应用》课件-双目相机标定

双目相机标定方法讲解课程框架课程引入模型获取和导入施加载荷与约束模型简化与拆分实践训练交流讨论实践训练评价反馈课程总结，布置作业激学导思讲授新知教学巩固教学提升教学延伸课程总结及5S整理5分钟15分钟15分钟30分钟15分钟10分钟课程引入相关库的获取和导入原理分析一二三目录能力目标（1）能够对双目视觉有基础的认识；（2）能够对完成对双目视觉的标定。知识目标（1）了解双目视觉标定的原理。素质目标（1）具有严谨求实精神；（2）具有自主学习的能力；（3）具备5S职业素养。课程目标一课程引入

计算机视觉的基本任务之一是从相机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由相机成像的几何模型决定的，这些几何模型参数就是相机参数。

简单来说，标定是为了能够从空间点的像素坐标映射到世界坐标，这是3D立体视觉必须经过的过程。二相关库获取和导入导入库本章节我们需用到的库如下图示意。cv2是opencv-python用于图像处理。用matlab获取相机标定数据二库导入pycharm软件界面相关库获取和导入三原理分析为什么需要相机标定？三原理分析相机标定的四个坐标系世界坐标系、相机坐标系、图像坐标系、像素坐标系三原理分析三维旋转的矩阵表示三原理分析相机坐标与世界坐标系之间的关系三原理分析相机坐标系与像平面坐标系三原理分析像素坐标与像平面之间的关系三原理分析世界坐标与像素坐标之间的关系三原理分析像素坐标与像平面之间的关系三原理分析相机径向畸变引起径向畸变的主要因素：透镜形状三原理分析相机切向畸变引起切向畸变的主要因素：透镜与成像平面不平行三原理分析像素坐标与像平面之间的关系三原理分析单相机模型重建未知数分析三原理分析双相机模型重建未知数分析三原理分析三原理分析双目相机标定运行演示课程框架课程引入模型获取和导入施加载荷与约束模型简化与拆分实践训练交流讨论实践训练评价反馈课程总结，布置作业激学导思讲授新知教学巩固教学提升教学延伸课程总结及5S整理5分钟15分钟15分钟30分钟15分钟10分钟课程引入代码分析代码演示一二三目录能力目标（1）能够对双目视觉有基础的认识；（2）能够对完成对双目视觉的标定。知识目标（1）了解双目视觉标定的原理。素质目标（1）具有严谨求实精神；（2）具有自主学习的能力；（3）具备5S职业素养。课程目标一课程引入

计算机视觉的基本任务之一是从相机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由相机成像的几何模型决定的，这些几何模型参数就是相机参数。

简单来说，标定是为了能够从空间点的像素坐标映射到世界坐标，这是3D立体视觉必须经过的过程。二代码分析获得棋盘格图像在命令行输入stereoCameraCalibrator，出现如下界面：将上面的“Skew”、“TangentialDistortion”以及“3Coefficients”等选项选上，将“2Coefficients”选项去掉二代码分析点击添加图像

出现如下界面：Camera1代表左摄像头，Camera2代表右摄像头，分别选择存放着左右图像的文件夹，需要特别注意的是棋盘格的边长应该根据打印的实际大小填写，单位可以选择，然后点击OK，程序会自动检测采集的图像到底有多少可以使用，可以说MATLAB2015的这个工具十分挑剔，如果角度不好的话，将使用不了，因此在采集图像时，最好多的采集一些。获得棋盘格图像二代码分析点击

按钮，开始标定：左下方的直方图为左右图像的标定误差，点击误差较大的直方图，可以直接在左边的图像对中找到对应的图像，右键选择“RemoveandRecalibrate”，可以重复上述步骤，直到认为误差满足标定需求为止。获得棋盘格图像二代码分析点击

选择Exportcameraparameters，并点击“OK”。获得棋盘格图像二代码分析

读取参数标定结束后，会得到如下标定参数：TranslationOfCamera2：相机2相对于相机1的偏移矩阵，可以直接使用。RotationOfCamera2：相机2相对于相机1的旋转矩阵，需要转置之后才能使用。CameraParameters1与CameraParameters2为左右摄像头的单独标定参数。二代码分析

读取参数CameraParameters1与CameraParameters2中包含如下文件：IntrinsicMatrix存放的是摄像头的内参，只与摄像机的内部结构有关，需要先转置再使用。RadialDistortion：径向畸变，摄像头由于光学透镜的特性使得成像存在着径向畸变，可由K1，K2，K3确定。TangentialDistortion：切向畸变，由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数P1，P2确定。使用时，需要注意参数的排放顺序，即K1，K2，P1，P2，K3。切记不可弄错，否则后续的立体匹配会出现很大的偏差。由上述方法获得双目相机的标定参数后，就可以进一步进行双目校正了。三代码演示

读取参数

流程图三代码演示在Opencv中将标定所得数据放入对应的代码中eft_camera_matrix=np.array([[947.76417,0.,296.46763],[0.,947.94886,197.26996],[0.,0.,1.]])left_distortion=np.array([[-0.10499,-0.62709,0.00206,-0.01470,0.00000]])right_camera_matrix=np.array([[907.19683,0.,265.54708],[0.,904.01159,222.68484],[0.,0.,1.]])right_distortion=np.array([[-0.68107,2.82674,0.01564,0.00873,0.00000]])om=np.array([-0.07326,0.00818,-0.02646])#旋转关系向量R=cv2.Rodrigues(om)[0]#使用Rodrigues变换将om变换为RT=np.array([-71.15029,-3.56995,-17.15972])#平移关系向量size=(640,480)#图像尺寸#进行立体更正R1,R2,P1,P2,Q,validPixROI1,validPixROI2=cv2.stereoRectify(left_camera_matrix,left_distortion,right_camera_matrix,right_distortion,size,R,T)#计算更正mapleft_map1,left_map2=cv2.initUndistortRectifyMap(left_camera_matrix,left_distortion,R1,P1,size,cv2.CV_16SC2)right_map1,right_map2=cv2.initUndistortRectifyMap(right_camera_matrix,right_distortion,R2,P2,size,cv2.CV_16SC2)三代码演示相机校正#根据更正map对图片进行重构img1_rectified=cv2.remap(frame1,camera_configs.left_map1,camera_configs.left_map2,cv2.INTER_LINEAR)img2_rectified=cv2.remap(frame2,camera_configs.right_map1,camera_configs.right_map2,cv2.INTER_LINEAR)cv2.imshow("left",img1_rectified)cv2.imshow("right",img2_rectified)key=cv2.waitKey(1)ifkey==ord("q"):breakelifkey