图像测量第五章三维图像测量

图像测量第五章三维图像测量第1页，共43页，2023年，2月20日，星期四老哥，我打的地方，你看见了吗？投影仪摄像机是有红色标记的地方吧？看见了，看见了。

投光：变无源/被动为有源/主动打哪指哪,易认！主动式三角测量法第2页，共43页，2023年，2月20日，星期四

模式光投影法光点投影法光条投影法组合光投影法编码模式光投影法光点组合光条组合光点光条组合灰度编码彩色编码组合式二值编码时间编码主动式三角测量法第3页，共43页，2023年，2月20日，星期四

光点投影法无投光图像摄像机投影仪光点点状投影光视线2值图像-投光图像阈值(xp,yp)(xi,yi)二维扫描待求物点的三维信息可由投影光束所确定的直线和对应像点的视线在空间中的交点所给出。光点投影法以二维顺序扫描的方式实现对测量空间的编码。主动式三角测量法第4页，共43页，2023年，2月20日，星期四

光点投影法优点：

处理简单、可靠。缺点：

需要用光点对待测物体进行二维扫描，以得到整幅图像上各像点所对应的物点的三维信息。为了检测出图像中的一个光点以得到该点所对应的的测量数据，需对整幅图像进行处理。

测量时间长，不能满足某些对实时性要求高的应用需求。主动式三角测量法第5页，共43页，2023年，2月20日，星期四

光条投影法一维扫描摄像机投影仪光条视线

2值图像狭缝投影光(xp,yp)(xi,yI)待求物点的三维位置信息可由狭缝光在空间中形成的平面和对应像点的视线在空间中的交点所给出。-阈值投光图像无投光图像光条投影法以建立投射狭缝光的时间序列的方式实现对测量空间的编码。主动式三角测量法第6页，共43页，2023年，2月20日，星期四

光条投影法中使用的投影仪激光源旋转机构平面镜平面光机械扫描方式主动式三角测量法第7页，共43页，2023年，2月20日，星期四

光条投影法中使用的投影仪电子扫描方式通过计算机控制狭缝状光栅的开闭状态可形成所需要的、用于照射被测物体的平面光。控制器狭缝状光栅掩膜可以按任意编制的顺序打出平面光，也可以同时打出多个平面光。主动式三角测量法第8页，共43页，2023年，2月20日，星期四

灰度编码模式光投影法在投影仪光源的前方放置一掩膜。其中，掩膜上由xp所定义的狭缝处的透光率为f(xp)。如果适当选择f(xp)的取值，使不同的xp所对应的f(xp)的取值各不相同，那么，当投影仪经由这样一个掩膜向待测物体投光时，投射到待测物体上的光的强度将随狭缝方向的变化而变化,从而完成对测量空间的编码。摄像机投影仪等灰度线视线差分图像透光率受控的狭缝投影光(xp,yp)(xi,yI)-投光图像无投光图像主动式三角测量法第9页，共43页，2023年，2月20日，星期四

灰度编码模式光投影法优点：

只需要进行一次投光即可得到图像上各像点的空间编码值,特别适用于运动物体的测量。缺点：（1）需要高S/N的图像传感器。（2）易受物体本身反射特性的影响。（3）易受环境背景光的影响。（4）易受物体间存在的相互反射的影响。主动式三角测量法第10页，共43页，2023年，2月20日，星期四

彩色编码模式光投影法在投影仪光源的前方放置一掩膜。其中，掩膜上由xp所定义的狭缝处的颜色为C(xp)。适当选择C(xp)的取值，使不同的xp所对应的C(xp)的取值各不相同，那么，当投影仪经由这样一个掩膜向待测物体投光时，投射到待测物体上的光的颜色将随狭缝方向的变化而变化,从而完成对测量空间的编码。摄像机投影仪等色线视线差分图像颜色受控的狭缝投影光(xp,yp)(xi,yI)-投光图像无投光图像主动式三角测量法第11页，共43页，2023年，2月20日，星期四

组合式二值编码模式光投影法光条投影法和灰度编码模式光投影法的比较从原理上来看，光条投影法可以认为是前述灰度编码模式光投影法的一个特例。由于投射到待测物体上的光的强度仅取分别对应于狭缝开、闭两种状态的“有光”（一般取为系统所能提供的最大灰度）和“无光”（一般取为0）两种灰度值，故该方法克服了灰度编码模式光投影法的主要缺点，具有抗干扰能力强、受物体本身的反射特性影响小等优点。但是，如前所述，这种方法也有其自身的缺点，即一次测量仅能得到相应光条位置处的三维信息。组合式二值编码模式光投影法：将上述两种方法进行组合以克服各自的缺点、并尽可能保留各自的优点。主动式三角测量法第12页，共43页，2023年，2月20日，星期四

组合式二值编码模式光投影法主动式三角测量法第13页，共43页，2023年，2月20日，星期四

组合式二值编码模式光投影法整个测量空间的形状为一四角锥。用一个比特按上述方式对整个空间进行编码，实际上相当于把测量空间分解成两个不相交的子空间。这些子空间的形状仍为四角锥，但横向有收缩。这样，对于空间中的一个物点而言，若经过上述处理，该点所对应的像点获得了编码值“1”，则表明相应的物点位于左图中由白色标记的子空间内；否则，位于同图中由灰色标记的子空间内。10主动式三角测量法第14页，共43页，2023年，2月20日，星期四

组合式二值编码模式光投影法同理，可将经由第二个掩膜所产生的模式光投向待测物体，并经过与上述处理类似的处理用另一个比特完成对测量空间的又一次“粗”编码。该次“粗”编码的结果也把整个测量空间按照左图所示的模式分解成两个不相交的子空间。相应地，我们可以得到另一幅关于测量空间的1bit编码图像。与前类似，对于空间中的一个物点而言，若该点所对应的像点在编码过程中获得了编码值“1”，则表明相应的物点位于由白色标记的子空间内；否则，位于由灰色标记的子空间内。1010主动式三角测量法第15页，共43页，2023年，2月20日，星期四

组合式二值编码模式光投影法101000011011MSBLSB10+主动式三角测量法第16页，共43页，2023年，2月20日，星期四

组合式二值编码模式光投影法对于不同的掩膜不断重复上述过程，可以得到关于测量空间的更为精细的编码结果。这样，经过n次投光后，将得到一深度为nbit的空间编码图像。相应地、整个测量空间被分解成2n个子空间。每一个子空间均为形状呈刀刃状的一个四角锥。显然，n值越大，上述四角锥（即分解子空间）的刀背部分在空间的散开程度越小，编码的精细程度越高。因此，只要n足够大，则相应的刀刃状分解子空间在空间的散开程度足够小，以至于每一个分解子空间均可由空间中的一个平面来近似。主动式三角测量法第17页，共43页，2023年，2月20日，星期四

组合式二值编码模式光投影法从效果上来看，这样得到的分解子空间非常类似于光条投影法中狭缝光所占据的空间区域。所不同的是，在提供同样的空间分辨率的情况下，光条投影法所需要投影的次数远较现在的方法为多。例如，当把测量空间分解成2n个子空间时，用光条投影法，共需投影2n次。而用现在的方法（即组合式二值编码模式光投影法）则仅需投光log2n=n次，大大减少了所需要的投影次数。主动式三角测量法第18页，共43页，2023年，2月20日，星期四

基本关系式物点和对应像点之间的关系投影仪参数矩阵物点和对应投影仪坐标之间的关系主动式三角测量法第19页，共43页，2023年，2月20日，星期四

基本关系式除光点投影法之外，各种编码方案中的yp均是未知的，故应用这些方法进行测量时只有如下的方程可以被利用：主动式三角测量法第20页，共43页，2023年，2月20日，星期四

物点三维坐标的计算主动式三角测量法第21页，共43页，2023年，2月20日，星期四

物点三维坐标的计算记则有，QV=FV=Q-1F主动式三角测量法第22页，共43页，2023年，2月20日，星期四

投影仪参数的标定投影仪参数（共8个）可借助于基准物体和摄像机进行标定。为此，对式进行改写，有：由上式，知：若对应的物点为一基准参考点，则上方程可作为用于求解所述投影仪参数的一个约束条件。这样，若已知不在同一平面上的8个基准点的三维坐标及其对应的投影仪坐标，则利用上述约束条件可解出待求的投影仪参数。PxPyPzPPxxPxyPxzPxwwwpwpwpwp11121314212223240+++----=()()()PPxxPPxyPPxzPxPpwpwpwp1121122213232414-+-+-=-注意：8个投影仪参数不是相互独立的，其中有一个可任意设置。例如，可取P24=1。主动式三角测量法第23页，共43页，2023年，2月20日，星期四

投影仪参数的标定和摄像机参数的标定过程一样，为了提高标定精度，可采用8个以上的基准点。当采用N个基准点时，有：=P=(BTB)-1BTXBPX利用最小二乘法，解出：主动式三角测量法第24页，共43页，2023年，2月20日，星期四

投影仪参数的标定标定的主要步骤：依次对如图所示的基准立方体投射经空间编码的模式光，并运用图像处理手段抽取和记录观测图像各像点所对应的投影仪坐标。用图像处理手法检测出各组直线段，并以此为基础，确定图中虚线所示的各组直线段。利用实线的各组直线段计算出图中用虚线标出的各组直线段之间的交点处的世界坐标。将用虚线标出的各组直线段之间的交点作为基准参考点，利用以上步骤中得到的基准点在世界坐标系和投影仪坐标系下的坐标值，定出待求的投影仪参数。借助于摄像机和基准参考物体进行投影仪参数的标定。XwYwZw主动式三角测量法第25页，共43页，2023年，2月20日，星期四

组合式二值编码模式光投影法的

实际测量结果举例

被测对象距离图像空间编码图像主动式三角测量法第26页，共43页，2023年，2月20日，星期四

影响距离图像测量精度的因素

距离图像的高精度测量投影仪

2值图像输入图像空间编码图像投光结束？否是摄像机参数投影仪参数三维坐标计算距离图像XYZ第27页，共43页，2023年，2月20日，星期四

影响距离图像测量精度的因素

距离图像的高精度测量受投影仪和摄像机的空间分辨率的制约形状不同的两个四角锥测量精度与被测物体与投影仪和摄像机之间的距离成反比。距离越远，测量精度越差。摄像机投影仪第28页，共43页，2023年，2月20日，星期四

影响距离图像测量精度的因素

距离图像的高精度测量受测量过程中所使用的方法的制约在组合式二值编码模式光投影法的例子中，图像的二值化处理对于确定图像像素相应的空间编码值起着至关重要的作用。如果由于处理方法不当，使得在二值化过程中引入较大的测量误差，则这种误差将直接影响到距离的测量精度本身。投影仪

2值图像输入图像第29页，共43页，2023年，2月20日，星期四

影响距离图像测量精度的因素

距离图像的高精度测量受摄像机参数和投影仪参数等系统参数的校准精度的制约XwYwZw第30页，共43页，2023年，2月20日，星期四

影响距离图像测量精度的因素

距离图像的高精度测量提高系统距离测量精度的一些考虑：（1）提高投影仪和摄像机的空间分辨率；（2）减少二值化过程中引入的测量误差；（3）提高投影仪和摄像机参数的标定精度。（2）减少二值化过程中引入的测量误差；第31页，共43页，2023年，2月20日，星期四距离图像的高精度测量二值化方法的改进阈值Tf(i,j)2值化b(i,j)Tf(i,j)b(i,j)直接法该方法对模式光照射下的输入图像f(i,j)直接实施阈值操作，将观测图像中灰度超过阈值T的像点作为图像中有光照射区域上的点。第32页，共43页，2023年，2月20日，星期四距离图像的高精度测量简单差分法该方法将模式光照射下的输入图像f(i,j)和无投光情况下的输入图像g(i,j)进行差分运算，并将差分的结果同某个预先设定的固定阈值T进行比较，将灰度差分大于阈值的像素划归有光照射区域；否则，划归无光照射区域。f(i,j)g(i,j)-阈值T(固定)2值化b(i,j)g(i,j)f(i,j)-g(i,j)f(i,j)T（固定）b(i,j)二值化方法的改进第33页，共43页，2023年，2月20日，星期四距离图像的高精度测量简单差分法（续）该方法和下图所示的将模式光照射下的输入图像f(i,j)与由无投光情况下的输入图像g(i,j)和某个预先设定的固定阈值的和所构成的可变阈值进行比较的方法所得到的效果是等同的。它可以消除由背景照明带来的不良影响。f(i,j)g(i,j)T（固定）2值化b(i,j)+g(i,j)g(i,j)+Tf(i,j)固定阈值b(i,j)可变阈值二值化方法的改进第34页，共43页，2023年，2月20日，星期四距离图像的高精度测量平均图像比较法该方法把全投光情况下的输入图像h(i,j)和无投光情况下的输入图像g(i,j)的平均图像作为可变阈值对模式光照射下的输入图像f(i,j)进行二值化处理，将灰度差分大于可变阈值的像素划归有光照射区域；否则，划归无光照射区域。该方法不仅可以消除由背景照明带来的不良影响，而且还可以抑制由物体表面反射率的不一致所带来的不良影响。f(i,j)2值化b(i,j)h(i,j)g(i,j)+12h(i,j)(g(i,j)+h(i,j))/2g(i,j)b(i,j)可变阈值二值化方法的改进第35页，共43页，2023年，2月20日，星期四距离图像的高精度测量二值化方法的改进互补模式比较法该方法通过先后投影亮度上互补的两个模式光到待测物体上以从观测图像中检测出相应的在正模式光照射下的有光照射区域。这里，所谓的正模式光与欲投影的模式光相同，而负模式光则是相应正模式光在亮度上的反转。具体言之，在正、负模式光照射下得到的两幅输入图像被直接进行比较，当正模式输入图像f+(i,j)上的待处理像素大于负模式输入图像f-(i,j)上的对应像素时，该待处理像素被划归有光照射区域；否则，划归无光照射区域。该方法由于采用了正、负模式光两次投影的工作方式，具有类似于差动技术的一些特性，能够消除由背景照明、物体表面反射特性的不均匀性以及输入的非线性引入的不良影响，实现稳定和高精度的二值化处理。f+(i,j)2值化b(i,j)f-(i,j)f+(i,j)f-(i,j)b(i,j)可变阈值；第36页，共43页，2023年，2月20日，星期四距离图像的高精度测量投影模式边界的内插正模式光负模式光图像扫描行ADBCOYX直线AD的方程为：

y-A=-(A-D)x直线BC的方程为：

y-B=(C-B)xA-B(A-B)-(D-C)x=解之，有：第37页，共43页，2023年，2月20日，星期四距离图像的高精度测量对测量误差有抑制作用的空间编码方案101000011011