双目立体视觉系统学习教案

1、双目立体双目立体(lt)视觉系统视觉系统第一页，共55页。 立体视觉是机器视觉的一个重要分支，立体视觉的研究目的是使机器具有通过二维图像认知三维环境信息的能力。 这种能力将不仅是机器能感知三维环境中物体的几何信息（形状、位置、姿态、运动等），而且还能对它们进行描述、存储、识别与理解(lji)，以满足特定的需求。背景(bijng)第1页/共55页第二页，共55页。 立体视觉通过设计和模仿人类视觉来获得物体深度信息。 它在逆向工程(gngchng)、测试测量、文化产业、公共安全、视觉导航、地图生成、航空勘测等领域都有很好的应用价值。 二维信息与三维信息的结合，也为一些具体的工程(gngchng)问

2、题提供了方法，如目标识别的图像分割。背景(bijng)第2页/共55页第三页，共55页。1：双目视觉系统(xtng)模型2：双目视觉系统(xtng)关键技术系统(xtng)标定立体匹配3D重建及后续处理 主要(zhyo)内容第3页/共55页第四页，共55页。第4页/共55页第五页，共55页。第5页/共55页第六页，共55页。第6页/共55页第七页，共55页。第7页/共55页第八页，共55页。第8页/共55页第九页，共55页。第9页/共55页第十页，共55页。3D坐标(zubio)计算第10页/共55页第十一页，共55页。光轴平行模型(mxng)3D坐标计算则三维坐标(zubio)为(X/W,

3、Y/W, Z/W).第11页/共55页第十二页，共55页。NoImageO，O分别(fnbi)为相机光心，NoImage光轴会聚(huj)模型 第12页/共55页第十三页，共55页。NoImage11Zc111ZYXMvuleftO，O分别(fnbi)为相机光心，11Zc222ZYXMvurightNoImage光轴会聚(huj)模型3D坐标计算（1） 第13页/共55页第十四页，共55页。NoImage光轴会聚模型3D坐标(zubio)计算（1） 可以求解出X、Y、Z，在实际应用中，由于(yuy)数据总是有噪声的，可以用最小二乘法求X、Y、Z。第14页/共55页第十五页，共55页。NoIma

4、geNoImage光轴会聚模型3D坐标(zubio)计算（2） 第15页/共55页第十六页，共55页。NoImageNoImage光轴会聚模型3D坐标(zubio)计算（3） 两个相机的光轴与基线形成的夹角两个相机的光轴与基线形成的夹角(ji jio) (1, 2)；基线是两台照相机物镜光学中心的连线（基线是两台照相机物镜光学中心的连线（B）；）；两台照相机的焦点两台照相机的焦点(f1 ,f 2)；第16页/共55页第十七页，共55页。NoImageNoImage光轴会聚模型3D坐标(zubio)计算（3） 在在o1 o 2 P中有：中有： 在在PPo1中：中：最终得：最终得：其中，第17页/

5、共55页第十八页，共55页。1：双目视觉系统模型2：双目视觉系统关键技术系统标定立体匹配3D重建及后续(hux)处理 主要(zhyo)内容第18页/共55页第十九页，共55页。NoImageNoImage双目系统(xtng)标定 1：单个摄像机标定(bio dn) 2：系统标定(bio dn)第19页/共55页第二十页，共55页。NoImageNoImage摄像机标定(bio dn)第20页/共55页第二十一页，共55页。NoImageNoImage双目系统(xtng)标定径向(jn xin)畸变切向畸变(jbin)第21页/共55页第二十二页，共55页。NoImageNoImage双目系统(

6、xtng)标定结构有关，称这些参数为摄像机内部参数；M2 完全由摄像机相对于世界坐标系的方位决定，称为(chn wi)摄像机外部参数，确定某一摄像机的内外参数，称为(chn wi)摄像机定标。只与摄像机内部(nib)第22页/共55页第二十三页，共55页。NoImageNoImage双目系统(xtng)标定用两个摄像机同时观察(gunch)周围环境，如果外参数分别用 R1 、 t 1与 R2 、t2 表示，则R1 、t1 表示C1 摄像机与世界坐标系之间的相对位置，R2 、t2 表示 C2 摄像机与世界坐标系的相对位置。对任意点P，如它在世界坐标系、 C1 坐标系与C2 坐标系下的非齐次坐标分

7、别为Xw 、Xc1 、Xc2 ，则两个摄像机之间的几何关系(gun x)可以用以下R 和 t 表示：第23页/共55页第二十四页，共55页。1：双目视觉系统模型2：双目视觉系统关键技术系统标定(bio dn)立体匹配3D重建及后续处理 主要(zhyo)内容第24页/共55页第二十五页，共55页。NoImageNoImage立体匹配主要(zhyo)难点第25页/共55页第二十六页，共55页。NoImageNoImage立体匹配主要(zhyo)难点第26页/共55页第二十七页，共55页。NoImageNoImage立体匹配主要(zhyo)难点第27页/共55页第二十八页，共55页。NoImageN

8、oImage立体匹配主要(zhyo)难点第28页/共55页第二十九页，共55页。NoImageNoImage立体匹配约束条件 匹配(ppi)的约束条件，就是根据所选匹配(ppi)基元将现实物理世界的某些固有属性表示成匹配(ppi)所必须遵循的若干规则，用以提高系统的去歧义匹配(ppi)能力和计算效率。优良的匹配(ppi)算法口引应能充分利用尽可能多的辅助信息或者约束条件来提高匹配(ppi)的质量。1：唯一性约束 也就是说一幅图像上的一个像素在另一幅图像上最多只能对应第二幅图像中的一个像素。例外情况是存在遮挡条件下，将不存在对应点。这条约束条件是立体匹配(ppi)必须满足的。第29页/共55页第

9、三十页，共55页。NoImageNoImage立体匹配约束条件2连续性约束(Continue Constraint) 物体表面一般都是光滑(gung hu)的，因此物体表面上各点在图像上的投影是连续的，其视差也是连续的。但是，由于遮挡问题，在物体边界处，比如边界两侧的两个点，连续性约束并不成立。3相似性约束(Feature Compatibility Constrain) 物体表面上一点在两幅或多幅图像上的投影在某些物体度量上(如灰度，灰度梯度变化等几何形状上)具有相似性。比如空间某一个点在一条直线上，它在图像中的投影也应该在一条直线上。像。此约束限制了寻找对应点时的搜索范围。第30页/共55

10、页第三十一页，共55页。NoImageNoImage立体匹配约束条件4顺序一致性约束(Ordering Constraint) 因为图像是对现实世界的投影，因此假如在现实世界中，P点在Q点的左边，则在图像上，P点仍然在Q 点的左边。但是，如果视点的方位变化很大，这个约束条件可能不被满足。5互对应约束(Mutual Correspondence Constraint) 假设搜索从左图像点足开始，找到右图像上对应的点斥。如果任务(rn wu)反过来，搜索从只点丌始，但是没能找到e，则匹配不可靠，应该被排除。这个约束有助于排除由于遮挡，高光或噪声原因而不存在对应的那些点。6视差范围约束(Dispar

11、ity Limit Constraint)7. 极线约束第31页/共55页第三十二页，共55页。图像平面的交点；极线：极平面与图像平面的交线。plprPOlOrelerPlPr极平面极平面极线极线极点极点基线基线(jxin)第32页/共55页第三十三页，共55页。plprPOlOrelerPlPr极平面极平面极线极线极点极点第33页/共55页第三十四页，共55页。0)(lTrEpp第34页/共55页第三十五页，共55页。不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线(Scan-line)上。第35页/共55页第三十六页，共55页。第36页/共55页第三十七页，共55页。第37页/共5

12、5页第三十八页，共55页。校正(jiozhng)后第38页/共55页第三十九页，共55页。NoImageNoImage图像匹配方法(fngf)第39页/共55页第四十页，共55页。第40页/共55页第四十一页，共55页。动态规划动态规划 (Dynamic Programming), 图像分割图像分割(graph-cut), etc.)()()(dEdEdEsmoothdata第41页/共55页第四十二页，共55页。第42页/共55页第四十三页，共55页。第43页/共55页第四十四页，共55页。第44页/共55页第四十五页，共55页。第45页/共55页第四十六页，共55页。第46页/共55页第四十七页，共55页。速度慢，效率低；对于无纹理，纹理不明显的图像匹配效果不理想；对光强、对比度、照明条件敏感。第47页/共55页第四十八页，共55页。第48页/共55页第四十九页，共55页。第49页/共55页第五十页，共55页。第50页/共55页第五十一页，共55页。第51