双目立体视觉

1、 Image & Vision Lab双目立体视觉双目立体视觉 Binocular stereo vision信息视觉处理信息视觉处理Image & Vision Lab2内容（内容（Contents）p极线几何pEssential矩阵、fundamental矩阵p弱标定p立体重建（视差、双目匹配）p多个摄像机p结构光p时空立体光条p距离（range）数据p实例：视差与三维图p最新进展（运动提取等）p进一步学习材料Image & Vision Lab32D 和和 3D 的关系的关系p现实存在的问题u一般的物体(Objects)都是三维的；u图像(Images)却是有关灰

2、度，颜色等信息的阵列；u3D的深度(Depth)信息在一幅图像上不能明显的显示出来。p2D的分析需要3D的信息u物体表面是连续，平滑(Smooth)的；u物体都有特定的形状和边界。p3D的信息可以通过2D的图像计算出来u视差(Disparity)，深度(Depth)信息等等。Image & Vision Lab4为什么需要两个眼睛？为什么需要两个眼睛？p物体的深度信息不能通过单眼所获得。Image & Vision Lab5为什么需要两个眼睛？为什么需要两个眼睛？p物体的深度信息可以通过双眼的观察得到。Image & Vision Lab6双目立体视觉三维测量原理双目立

3、体视觉三维测量原理(Triangulation)Image & Vision Lab7视差视差(Disparity)与深度与深度(Depth)的关系的关系p视差和深度成反比关系：Image & Vision Lab8视差视差(Disparity)与深度与深度(Depth)的关系的关系p同一深度下的视差一样Image & Vision Lab9亚像素亚像素(Sub-pixel)p在某些对精度要求较高的场合，需要对视差进一步精细化 (Refinement)，亚像素是其中的一种方法。Image & Vision Lab10立体视觉（立体视觉（Stereo Vision

4、）p由两幅或多幅从不同视点拍摄的图像恢复场景三由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术维信息的技术 p两个主要的子问题两个主要的子问题u匹配问题匹配问题 - - 视差图视差图(Disparity Space Image)(Disparity Space Image)l相似而不是相同相似而不是相同l遮挡问题遮挡问题: : 场景的某些部分只在一幅图像中可见场景的某些部分只在一幅图像中可见u重建问题重建问题 - 3D- 3Dl重建所需要的摄像机参数重建所需要的摄像机参数l立体摄像机标定立体摄像机标定Image & Vision Lab11立体图对立体图对 (Stereo pai

5、r)p问题u匹配问题匹配问题 ( (立体匹配立体匹配) - ) - 视差图视差图u重建问题重建问题 - 3D- 3D?3D?匹配匹配?Image & Vision Lab12极线几何极线几何 (Epipolar Geometry)p动机:在哪寻找匹配点?u极平面u极线 u极点p极线约束u匹配点必须在极线上plprPOlOrelerPlPr极平面极平面极线极线极点极点Image & Vision Lab13极线几何极线几何 (Epipolar Geometry)p基线：左右两像机光心的连线；p极平面：空间点，两像机光心决定的平面；p极点：基线与两摄像机图像平面的交点；p极线：极平

6、面与图像平面的交线。plprPOlOrelerPlPr极平面极平面极线极线极点极点基线基线Image & Vision Lab14Essential 矩阵矩阵p左右两幅图像相对应的点之间的关系可以通过Essential 矩阵或是Fundamental 矩阵来表明。pEssential 矩阵是摄像机标定情况下用的。p公式：ppr和pl分别是齐次摄像机坐标向量。p公式描述了点pr位于与向量Epl相关的外极线上。pEssential 矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为2。0)(lTrEppImage & Vision Lab15Fundamental 矩阵矩阵p当内部参数

7、未知（非标定的摄像机）：p公式可表示为：pM为内参矩阵pql, qr为图像坐标pFundamental矩阵秩同样为2。pFundamental矩阵是摄像机非标定的情况用的。llMpq 0)(lTrFqqrrMpq llqMp1rrqMp11EMMFTReference: Learning OpenCVImage & Vision Lab16弱标定弱标定 (Weak Calibration)p定义：对于内部参数未知的摄像机，通过两幅图中的冗余点集合来估计外极几何。p方法：u 8点算法 (Longuet-Higgins 1981)u 最小二乘法u 最小二乘法的8点算法u 规范化线性8点算法

8、 (Hartley 1995)Reference: 计算机视觉一种现代方法第10章Image & Vision Lab17弱标定弱标定 (Weak Calibration)p使用一个玩具房子的两幅图像上的37个点作为输入的弱标定实验。p数据点在图中用圆点表示，所经过的外极线用短的直线段表示。p左图显示使用最小二乘法的普通8点算法得到的输出结果；右图为使用Hartley变换后的该方法的输出结果。Image & Vision Lab18图像校正图像校正 (Rectified Images)p目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。p校正后的图像不需要求极线方

9、程，因为相对应的匹配点在图像相对应的扫描线(Scan-line)上。Image & Vision Lab19图像校正图像校正 (Rectified Images)p在校正图像中所有极线都平行Image & Vision Lab20图像校正图像校正 (Rectified Images)p把极点拉向无穷远处。Image & Vision Lab21图像校正图像校正 (Rectified Images)校正后Image & Vision Lab22立体匹配立体匹配 (Stereo match)p选取何种匹配基元进行匹配？p两种主要的方法u特征匹配u稠密匹配Image

10、& Vision Lab23特征匹配特征匹配 (Feature match)p常用特征常用特征u边缘边缘u线线 ( (长度、方向、平均对比度长度、方向、平均对比度) )u角点角点p匹配算法匹配算法u在立体图对中抽取特征在立体图对中抽取特征u定义相似度定义相似度u利用相似度和极线几何寻找匹配利用相似度和极线几何寻找匹配Image & Vision Lab24特征匹配特征匹配 (Feature match)p对于左图像中的每一个特征左图像左图像角点角点线线结构结构Image & Vision Lab25特征匹配特征匹配 (Feature match)p在右图像中寻找 当相似

11、度达到最大时的偏移量就是视差右图像右图像角点角点线线结构结构Image & Vision Lab26稠密匹配（稠密匹配（Dense match）p找到对应于场景中同一点的像素找到对应于场景中同一点的像素p通常假设通常假设u经过立体校正经过立体校正u分块平滑表面分块平滑表面u朗氏表面朗氏表面p目标目标: : 找到视差图找到视差图Image & Vision Lab27稠密匹配（稠密匹配（Dense match）p局部算法局部算法 (Local/window-based algorithms):u在匹配点的一个特定窗口中计算相似度。在匹配点的一个特定窗口中计算相似度。uSSD， S

12、AD， MSE， MAD，etc.p全局算法全局算法 (Global algorithms)：u能量方程能量方程：u模拟退火模拟退火(Simulated annealing), 动态规划动态规划 (Dynamic Programming), 最大流最大流(Max-flow), 图像分割图像分割(graph-cut), etc.)()()(dEdEdEsmoothdataImage & Vision Lab28 匹配方程匹配方程(Matching Function)Image & Vision Lab29特征匹配特征匹配 VS 稠密匹配稠密匹配p特征匹配 (Feature mat

13、ch)：u速度快，匹配效率高；u特征的提取可以到亚像素级别，精度较高；u匹配元素为物体的几何特征，对照明变化不敏感；u重建需要拟合。p稠密匹配 (Dense match):u重建不需要拟合；u速度慢，效率低；u对于无纹理，纹理不明显的图像匹配效果不理想；u对光强、对比度、照明条件敏感。Image & Vision Lab30立体匹配的困难立体匹配的困难p场景投影到两幅图像中并不总是一致的场景投影到两幅图像中并不总是一致的u摄像机相关摄像机相关l图像噪声、不同增益、不同对比度等等图像噪声、不同增益、不同对比度等等.u视点相关视点相关l透视畸变透视畸变l遮挡遮挡l镜面反射镜面反射p即使在测

14、试的标准图像中匹配也不是容易的事即使在测试的标准图像中匹配也不是容易的事u重复场景重复场景u无纹理区域无纹理区域u遮挡遮挡Image & Vision Lab31Image & Vision Lab32立体匹配中常用约束立体匹配中常用约束 (Constraints)p极线约束极线约束 ：匹配点一定位于两幅图像中相应的极：匹配点一定位于两幅图像中相应的极线上；线上；p顺序一致性约束：位于一幅图像上的极线上的系顺序一致性约束：位于一幅图像上的极线上的系列点，在另一幅图像中的极线上具有相同的顺序；列点，在另一幅图像中的极线上具有相同的顺序；p唯一性约束：两幅图像中的对应的匹配点应该有

15、唯一性约束：两幅图像中的对应的匹配点应该有且仅有一个；且仅有一个；p视差连续性约束：除了遮挡区域和视差不连续区视差连续性约束：除了遮挡区域和视差不连续区域外，视差的变化应该都是平滑的。域外，视差的变化应该都是平滑的。Image & Vision Lab33算法评估算法评估p以真实视差场为参照，对计算得到的视差场进行以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以此反映匹配方法评估，统计视差场的准确度，以此反映匹配方法的性能的性能 p/stereo.Image & Vision Lab34Image &a

16、mp; Vision Lab35具体实例具体实例-SSDImage & Vision Lab36具体实例具体实例-SSDImage & Vision Lab37多个摄像机多个摄像机Image & Vision Lab38多个摄像机多个摄像机p三个摄像机u增加第三个摄像机可以消除（大部分）由双目图像点造成的不确定性。u本质上，第三幅图像可以用来检查前两幅图像中假定的匹配：和前两幅图像中匹配点对应的三维空间点首先被重建，然后再投影到第三幅图。如果在第三幅图像的再投影点周围没有相容的点，那么这个匹配一定是错误的匹配。Image & Vision Lab39多个摄像机多

17、个摄像机p多个摄像机uOkutami 和 Kanade (1993) 提出一个多摄像机的算法，其中同时利用所有图像来搜索匹配。u基本想法：假设所有图像都是被校正过的，讲搜索正确的视差的操作转换为搜索正确的深度或者深度的倒数。u选择第一幅图像作为参考，将与所有其他摄像机相关的平方差加到一个全局评价函数E中。u评价函数E是深度倒数的函数。Image & Vision Lab40多个摄像机多个摄像机p下图是不同数量的摄像机评价函数E的函数值：Image & Vision Lab41结构光结构光 (Structure Light)p光学投影器将一定模式的结构光投射于物体表面，在表面上形

18、成由被测物体表面形状所调制的光条三维图。p结构光的目的就是增加三维物体的纹理信息。Image & Vision Lab42结构光的三大基本原则结构光的三大基本原则p编码要唯一；p汉明距离（Hamming distance）为1;p满足抽样定理。Image & Vision Lab43结构光光条模板（结构光光条模板（Pattern）p二进制编码 (binary code)p格雷码 (Gray code)p改进格雷码p灰度编码：锯齿状条纹 (Saw-tooth pattern)、正弦状条纹、etc.p金字塔子光栅条纹投射法 (Pyramid sub-grating projecti

19、ng method)p伪随机编码阵列 (Pseudo-random encoded array)Ref: Salvi et al., Pattern codification strategies in structured light system, Pattern Recognition, 37, 827-849, 2004.Image & Vision Lab44各种结构模板光举例各种结构模板光举例p二进制编码 (binary code)p格雷码 (Gray code)Image & Vision Lab45各种结构模板光举例各种结构模板光举例p改进格雷码Image &a

20、mp; Vision Lab46各种结构模板光举例各种结构模板光举例p灰度编码 (n-array codes)Image & Vision Lab47各种结构模板光举例各种结构模板光举例p金字塔子光栅条纹投射法 (Pyramid sub-grating projecting method)Image & Vision Lab48各种结构模板光举例各种结构模板光举例p伪随机编码阵列 (Pseudo-random encoded array)p63*65 的伪随机阵列：Image & Vision Lab49各种结构模板光实例各种结构模板光实例Image & Vis

21、ion Lab50实验设施示意图实验设施示意图Image & Vision Lab51实验设施实验设施 (Experimental Setup)Reference：High-Accuracy Stereo Depth Maps Using Structured LightImage & Vision Lab52时空立体光条时空立体光条 (Spacetime Stereo)p空间域匹配函数u公式：uI1 I2分别为图像1和图像2的灰度值；Vs是x1像素邻近域的向量。p时空匹配函数u公式：Image & Vision Lab53时空立体光条时空立体光条 (Spacetime

22、 Stereo)p空间匹配和时空匹配的比较Image & Vision Lab54实验设施实验设施 (Experimental Setup)Reference：Spacetime Stereo-Shape Recovery for Dynamic ScenesImage & Vision Lab55时空立体光条实验时空立体光条实验Reference：Spacetime StereoA Unifying Framework for Depth from TriangulationImage & Vision Lab56时空立体光条实验结果时空立体光条实验结果Image &

23、amp; Vision Lab57时空立体光条实验结果时空立体光条实验结果Reference：Spacetime Stereo-Shape Recovery for Dynamic ScenesImage & Vision Lab58距离（距离（range）数据）数据p距离图像(深度图像)：这种图像存储的不是亮度和颜色信息，而是与每一个像素相关的射线与摄像机观测到的第一次交点的深度信息。p一幅距离图像正是立体视觉、运动等的输出。p距离图像可以通过主动传感器获得。p主动传感器向场景投影某种光模式，以此来避开建立对应的困难和时间消耗问题，并构造出紧密和准确的深度图像。Image &

24、 Vision Lab59主动距离传感器主动距离传感器Reference：/papers/volrange/paper_1_level/paper.htmlImage & Vision Lab60主动距离传感器主动距离传感器Scanner: Cyberware 3030 MSNumber of scans: 10Reference: The Stanford 3D Scanning RepositoryImage & Vision Lab61便携式便携式3D扫描仪扫描仪p美能达 (Minolta) 扫描仪Image & Vision Lab62实例：视差图与三维图实例：视差图与三维图pRef:http:/ & Vision Lab63实例：视差图与三维图实例：视差图与三维图a.佛像照片;b.距离图像;c.集成的3D模型;d.孔洞填充后的模型;e.由立体成像得到的物理模型。Ref：/papers/volrange