第2章 相机成像与标定

机器视觉原理及应用《机器视觉原理及应用》第2章相机成像与标定2.1摄影几何和几何变换2.2相机标定基础2.3相机标定方法2.4相机标定的matlab和opencv实现2.5圆形板标定方法2.6单相机与光源系统标定2.7案例-机器人手眼标定射影几何是研究图形的射影性质，即它们经过射影变换后，依然保持不变的图形性质的几何学分支学科。计算机视觉中常涉及欧式几何（EuclideanGeometry）、仿射几何（AffineGeometry）、射影几何（ProjectiveGeometry）、微分几何（DifferentialGeometry）。射影变换保持直线，直线与点的接合性及直线上点列的交比不变。仿射变换除具有以上不变性外，还保持直线与直线的平行性、直线上点列的简比不变。欧式变换除具有仿射的不变性外，还保持两条相交直线的夹角不变，任意两点的距离不变。2.1摄影几何和几何变换2.1摄影几何和几何变换空间几何变换缩放平移3D变换平移变换2D变换常用的空间几何变换有：刚体变换、空间相似变换（含平移、旋转、相似变换）、仿射变换、投影变换（透视变换）与非线性变换等。仿射变换为射影变换特例，在射影几何中已证明，如果射影变换使无穷点仍变换为无穷远点，则变换为仿射变换。经仿射变换后，线段间保持其平行性，但不保持其垂直性。平面仿射变换的实质是平面与平面之间的平行投影。平面透视变换的实质是平面与平面之间的中心投影。旋转+平移变换仿射变换投影变换平移变换旋转+平移变换缩放平移仿射变换投影变换原图像仿射变化后投影变化后2.1.2三维到二维投影2.1摄影几何和几何变换

投影变换将3D空间坐标中的点映射到2D平面中，即空间中点的3D信息投影后变成图像亮度信息，丢失了图像的3D信息，投影后就不可能恢复该点到图像的距离了，因此2D传感器没有办法测量到表面点的距离。整个三维空间的投影透视示意图yz平面的投影透视示意图2.2相机标定基础

2.2.1线性模型摄像机针孔成像模型2.2相机标定基础2.2.2非线性模型实际的成像过程中，由于摄像机镜头的加工误差、装备误差等原因会产生摄像机畸变，使成像点会偏离原来应成像的位置，所以线性模型不能准确地描述摄像机的成像几何关系。非线性模型可用式来描述。

2.2相机标定基础2.2.3空间坐标系及变换

在对相机进行标定前，为确定空间物体表面上点的三维几何位置与其在二维图像中对应点之间的相互关系，首先需要对相机成像模型进行分析。在机器视觉中，相机模型是通过一定的坐标映射关系，将二维图像上的点映射到三维空间。相机成像模型中涉及世界坐标系、相机坐标系、图像像素坐标系及图像物理坐标系四个坐标系间的转换世界坐标系又叫真实坐标系，是在真实环境中选择一个参考坐标系来描述物体和相机的位置。相机坐标系是以相机的光心为坐标原点，z轴与光轴重合、与成像平面垂直，x轴与y轴分别与图像物理坐标系的x轴和y轴平行的坐标系。图像像素坐标系为建立在图像的平面直角坐标系，单位为像素，用来表示各像素点在像平面上的位置，其原点位于图像的左上角。图像物理坐标系原点是成像平面与光轴的交点，x轴和y轴分别与相机坐标系x轴与y轴平行，通常单位为mm，图像的像素位置用物理单位来表示。2.2相机标定基础

世界坐标系与相机坐标系转换示意图2.2相机标定基础如图1所示，成像平面所在的平面坐标系就是图像物相机坐标系与图像物理坐标系的转换示意图理坐标系。图1相机坐标系与图像物理坐标系的转换示意图图2图像像素坐标系与图像物理坐标系

2.3相机标定方法2.3.1Tsai相机标定直接线性变换方法或者透视变换矩阵方法利用线性方法来求取相机参数，其缺点是没有考虑镜头的非线性畸变。如果利用直接线性变换方法或透视变换矩阵方法求得相机参数，可以将求得的参数作为下一步的初始值，考虑畸变因素，利用最优化算法进一步提高标定精度，这样就形成了所谓的两步法。两步法的第一步是解线性方程，得到部分外参的精确解。第二步再将其余外参与畸变修正系数进行迭代求解。较为典型的两步法是Tsai提出的基于径向约束的两步法。基于径向约束的相机标定方法标定过程快捷、准确，但是只考虑了径向畸变，没有考虑其它畸变。该方法所使用的大部分方程是线性方程，从而降低了参数求解的复杂性。标定过程是先忽略镜头的误差，利用中间变量将标定方程化为线性方程求解出相机的外参；然后根据外参利用非线性优化的方法求取径向畸变系数k、有效焦距f、以及平移分量Tz2.3相机标定方法2.3.1DLT相机标定

已知一组3D点的位置，以及它们在相机中的投影位置，直接根据相机线性模型计算出相机的内外参数是较为常用的方法。摄像机的线性模型为：

将s消去2.3相机标定方法

2.3相机标定方法2.3.3张正友标定1998年，张正友提出了基于二维平面靶标的标定方法，使用相机在不同角度下拍摄多幅平面靶标的图像，比如棋盘格的图像。然后通过对棋盘格的角点进行计算分析来求解相机的内外参数提取角点加载图像2.3相机标定方法2.3.4PNP标定

对内参数，直接使用长焦距镜头和图像传感器的标称值计算。对于外参数，使用AP3P算法来估计左、右相机的位姿。物体左相机坐标系右相机坐标系左图右图()1iq()2iq世界坐标系u1v1u2v2Z1X1Y1X2Y2Z2XwZwYw标定板

X

(i)XwAP3P算法是透视三点定位(PerspectiveThreePoints，P3P)问题的一种代数解法。具体步骤分为三步：2.3相机标定方法

OQ1Q2Q3q1q3q23D扩展图像坐标cC世界坐标系uvYXZw2.5圆形板标定方法2.5.1单目相机标定

如下图所示，获得5张不同姿态的标定板图像，然后取出每个圆圈上的点，计算其中心位置，最后对得到的中心点进行排序。将这些提取出的中心点作为参考点，利用张正友标定法进行标定，计算出旋转矩阵R和平移矩阵T。2.5圆形板标定方法2.5.2双目相机标定

本节采用两个分辨率均为1280×1024的高速相机对圆形标定板进行5次不同角度的拍摄，拍摄期间保证图像每次都落在两个相机的图像平面内Prewit算子边缘提取Sobel算子边缘提取Roberts算子边缘提取Canny算子边缘提取

可以看出，四种算子在边缘提取的结果上并无太大的差异，但是Canny算子自身是根据双阈值来对图像边缘进行提取的，其首先根据强阈值进行边缘点初定位，然后使用弱阈值按照初定位边缘点进行逐个像素点跟踪，所以能将一个连续的边缘完整的提取出来。Canny算子对噪声、光照等影响因素具有较好的抗干扰能力，因此，为了使标定方法在多种环境下均具有较好的适用性，选用Canny算子对圆形标定板进行边缘提取。经过多次试验，设置合理的Canny算子的髙阈值和低阈值，即可完整地保留图像边缘，又可有效滤除噪声等干扰信息。2.5圆形板标定方法

对获得的边缘图像进行椭圆拟合，而后得到99个圆的圆心坐标。为了确保每幅图像的99个圆心坐标均按照一定的顺序排列，本节将在拍摄过程中经过旋转和平移对获得的图像进行逆操作，逆操作的依据为每个图像坐标系的旋转和平移参数，依照这些参数将每幅图像都矫正为设定的角度，而后再对圆心坐标进行排序，排序以5个大的方位圆为依据。由于圆心个数较多，此处不再罗列圆心的具体坐标值。标定图像的排序结果2.6单相机与光源系统标定2.6.1背景三维重建方法已广泛应用于工业检测、逆向工程、人体扫描、文物保护、服装鞋帽等多个领域，对自由曲面的检测具有速度快、精度高的优势。在主动三维测量技术中，结构光三维测量技术发展最为迅速，尤其是相位测量轮廓术（PhaseMeasuringProfilometry,PMP）。PMP也被称为相移测量轮廓术（PhaseShiftingProfilometry,PSP），是目前三维测量产品中常用的测量方法。相位测量方法是向被测物体上投射固定周期的按照三角函数（正弦或者余弦）规律变化的光亮度图像，此图像经过大于3步的均匀相移（最好为4-6步），向物体投射4-6次光亮度图像，最终完成一个周期的相位移动。清华大学机械工程系先进成形制造教育部重点实验室韦争亮等给出了一种单相机单投影仪三维测量系统标定技术，该方法依靠具有黑底白色圆点图案的单平面标定块,采用Tsai两步法及非线性优化完成相机标定。华中科技大学李中伟博士在博士论文《基于数字光栅投影的结构光三维测量技术与系统研究》中也给出一种相机和投影光源的标定方法，该方法首先对相机的参数进行标定，然后再通过投影光源投射4步相移的外差多频图像，以获得投影光源的相关标定参数。张松博士以及意大利E.Zappa博士等多位学者也曾经对相机以及投影光源的标定进行过相关的研究，但是目前所有的标定方法中都只介绍了如何获得相机以及投影机的内部参数和外部参数信息，并没有给出如何获得在三维重建系统中所需要的五个重要参数的标定方法。2.6单相机与光源系统标定2.6.1原理及方法调整摄像机及投影光源的位置、焦距等设置，使之处于最佳状态放置好标定靶标，设置靶标次数参数n=0利用摄像机采集投射相移光栅之前的图像，并提取靶标上面所有圆在摄像机坐标系下的圆心坐标

利用投影光源在被测靶标上投射横向和纵向的格雷码及6步相移光栅，利用摄像机实时拍摄每幅图像，在圆心位置的每个点

，利用解算出来的横向相位

和纵向相位

，计算在投影光源坐标系中圆心位置所对应的圆心坐标

计算投影光源与摄像机之间的距离D用张正友的标定方法，获得摄像机坐标系相对于物空间坐标系的旋转矩阵

和平移矩阵

，以及投影光源坐标系相对于物空间坐标系的旋转矩阵

和平移变换标定靶标位置，n执行加1的操作计算摄像机与参考平面的距离L计算投影光源投射的正弦或者余弦信号波的频率

计算图像在X轴方向相邻像素点的距离值计算图像在Y轴方向相邻像素点的距离值2.6案例-机器人手眼标定机器视觉可以应用在众多领域，例如工业生产线产品的检测、太空空间站的检修等，机器视觉几乎可以应用在所有需要人类视觉的领域。应用在工业和太空方面时，机器视觉通常和机械臂结合。在和机械臂结合应用的时候，机器视觉所用的相机通常被称为“眼”，机械臂的法兰盘，即末端执行器，通常被称为“手”。DH模型是对机械臂进行建模的一种非常有效的简单方法，适用于任何机械臂模型，而不必考虑机械臂的结构顺序和复杂程度，无论是全旋转的链式机械臂或者任何由关节和连杆组合而成的机械臂都能使用在使用DH表示法对机械臂建模时，必须给每个关节建立一个