基于结构光与双目视觉

1、2d 和和 3d 的关系的关系p现实存在的问题u一般的物体(objects)都是三维的；u图像(images)却是有关灰度，颜色等信息的阵列；u3d的深度(depth)信息在一幅图像上不能明显的显示出来。p2d的分析需要3d的信息u物体表面是连续，平滑(smooth)的；u物体都有特定的形状和边界。p3d的信息可以通过2d的图像计算出来u视差(disparity)，深度(depth)信息等等。为什么需要两个眼睛？为什么需要两个眼睛？p物体的深度信息可以通过双眼的观察得到。亚像素亚像素(sub-pixel)p在某些对精度要求较高的场合，需要对视差进一步精细化 (refinement)，亚像素是其

2、中的一种方法。立体视觉（立体视觉（stereo vision）p由两幅或多幅从不同视点拍摄的图像恢复场景三由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术维信息的技术 p两个主要的子问题两个主要的子问题u匹配问题匹配问题 - - 视差图视差图(disparity space image)(disparity space image)l相似而不是相同相似而不是相同l遮挡问题遮挡问题: : 场景的某些部分只在一幅图像中可见场景的某些部分只在一幅图像中可见u重建问题重建问题 - 3d- 3dl重建所需要的摄像机参数重建所需要的摄像机参数l立体摄像机标定立体摄像机标定极线几何极线几何 (epip

3、olar geometry)p动机:在哪寻找匹配点?u极平面u极线 u极点p极线约束u匹配点必须在极线上plprpolorelerplpr极平面极平面极线极线极点极点极线几何极线几何 (epipolar geometry)p基线：左右两像机光心的连线；p极平面：空间点，两像机光心决定的平面；p极点：基线与两摄像机图像平面的交点；p极线：极平面与图像平面的交线。plprpolorelerplpr极平面极平面极线极线极点极点基线基线essential 矩阵矩阵p左右两幅图像相对应的点之间的关系可以通过essential 矩阵或是fundamental 矩阵来表明。pessential 矩阵是摄像机

4、标定情况下用的。p公式：ppr和pl分别是齐次摄像机坐标向量。p公式描述了点pr位于与向量epl相关的外极线上。pessential 矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为2。0)(ltreppfundamental 矩阵矩阵p当内部参数未知（非标定的摄像机）：p公式可表示为：pm为内参矩阵pql, qr为图像坐标pfundamental矩阵秩同样为2。pfundamental矩阵是摄像机非标定的情况用的。llmpq 0)(ltrfqqrrmpq llqmp1rrqmp11emmftreference: learning opencv图像校正图像校正 (rectified images

5、)p目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。p校正后的图像不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线(scan-line)上。图像校正图像校正 (rectified images)p在校正图像中所有极线都平行关键点关键点pa.图像获取pb.相机标定pc.特征提取pd.立体匹配pe.三维重建图像获取图像获取p在进行图像处理之前，先要用摄像机获取三维物体的二维图像。光照条件、相机的几何特性等对后续的图像处理造成很大的影响。相机标定相机标定p通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的。特征提取特征提取p特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。因此在进行特征点的提取时需要先确定用哪种匹配方法。p特征点提取算法可以总结为：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法三种。立体匹配立体匹配立体匹配立体匹配三维重建三维重建p有了比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢复出三维