09 数字图像处理_双目立体视觉

双目立体视觉Binocularstereovision,信息视觉处理,2,内容（Contents）,极线几何Essential矩阵、fundamental矩阵弱标定立体重建（视差、双目匹配）多个摄像机结构光时空立体光条距离（range）数据实例：视差与三维图最新进展（运动提取等）进一步学习材料,3,2D和3D的关系,现实存在的问题一般的物体(Objects)都是三维的；图像(Images)却是有关灰度，颜色等信息的阵列；3D的深度(Depth)信息在一幅图像上不能明显的显示出来。2D的分析需要3D的信息物体表面是连续，平滑(Smooth)的；物体都有特定的形状和边界。3D的信息可以通过2D的图像计算出来视差(Disparity)，深度(Depth)信息等等。,4,为什么需要两个眼睛？,物体的深度信息不能通过单眼所获得。,5,为什么需要两个眼睛？,物体的深度信息可以通过双眼的观察得到。,6,双目立体视觉三维测量原理(Triangulation),双目立体视觉三维测量是基于视差原理。计算公式：,7,视差(Disparity)与深度(Depth)的关系,视差和深度成反比关系：,8,视差(Disparity)与深度(Depth)的关系,同一深度下的视差一样,9,亚像素(Sub-pixel),在某些对精度要求较高的场合，需要对视差进一步精细化(Refinement)，亚像素是其中的一种方法。,10,立体视觉（StereoVision）,由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术两个主要的子问题匹配问题-视差图(DisparitySpaceImage)相似而不是相同遮挡问题:场景的某些部分只在一幅图像中可见重建问题-3D重建所需要的摄像机参数立体摄像机标定,11,立体图对(Stereopair),问题匹配问题(立体匹配)-视差图重建问题-3D,?,3D?,匹配?,12,极线几何(EpipolarGeometry),动机:在哪寻找匹配点?极平面极线极点极线约束匹配点必须在极线上,13,极线几何(EpipolarGeometry),基线：左右两像机光心的连线；极平面：空间点，两像机光心决定的平面；极点：基线与两摄像机图像平面的交点；极线：极平面与图像平面的交线。,基线,14,Essential矩阵,左右两幅图像相对应的点之间的关系可以通过Essential矩阵或是Fundamental矩阵来表明。Essential矩阵是摄像机标定情况下用的。公式：pr和pl分别是齐次摄像机坐标向量。公式描述了点pr位于与向量Epl相关的外极线上。Essential矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为2。,15,Fundamental矩阵,当内部参数未知（非标定的摄像机）：公式可表示为：M为内参矩阵ql,qr为图像坐标Fundamental矩阵秩同样为2。Fundamental矩阵是摄像机非标定的情况用的。,Reference:LearningOpenCV,16,弱标定(WeakCalibration),定义：对于内部参数未知的摄像机，通过两幅图中的冗余点集合来估计外极几何。方法：8点算法(Longuet-Higgins1981)最小二乘法最小二乘法的8点算法规范化线性8点算法(Hartley1995),Reference:计算机视觉一种现代方法第10章,17,弱标定(WeakCalibration),使用一个玩具房子的两幅图像上的37个点作为输入的弱标定实验。数据点在图中用圆点表示，所经过的外极线用短的直线段表示。左图显示使用最小二乘法的普通8点算法得到的输出结果；右图为使用Hartley变换后的该方法的输出结果。,18,图像校正(RectifiedImages),目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。校正后的图像不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线(Scan-line)上。,19,图像校正(RectifiedImages),在校正图像中所有极线都平行,20,图像校正(RectifiedImages),把极点拉向无穷远处。,21,图像校正(RectifiedImages),校正后,22,立体匹配(Stereomatch),选取何种匹配基元进行匹配？两种主要的方法特征匹配稠密匹配,23,特征匹配(Featurematch),常用特征边缘线(长度、方向、平均对比度)角点匹配算法在立体图对中抽取特征定义相似度利用相似度和极线几何寻找匹配,24,特征匹配(Featurematch),对于左图像中的每一个特征,25,特征匹配(Featurematch),在右图像中寻找当相似度达到最大时的偏移量就是视差,26,稠密匹配（Densematch）,找到对应于场景中同一点的像素通常假设经过立体校正分块平滑表面朗氏表面目标:找到视差图,27,稠密匹配（Densematch）,局部算法(Local/window-basedalgorithms):在匹配点的一个特定窗口中计算相似度。SSD，SAD，MSE，MAD，etc.全局算法(Globalalgorithms)：能量方程：模拟退火(Simulatedannealing),动态规划(DynamicProgramming),最大流(Max-flow),图像分割(graph-cut),etc.,28,匹配方程(MatchingFunction),29,特征匹配VS稠密匹配,特征匹配(Featurematch)：速度快，匹配效率高；特征的提取可以到亚像素级别，精度较高；匹配元素为物体的几何特征，对照明变化不敏感；重建需要拟合。稠密匹配(Densematch):重建不需要拟合；速度慢，效率低；对于无纹理，纹理不明显的图像匹配效果不理想；对光强、对比度、照明条件敏感。,30,立体匹配的困难,场景投影到两幅图像中并不总是一致的摄像机相关图像噪声、不同增益、不同对比度等等.视点相关透视畸变遮挡镜面反射即使在测试的标准图像中匹配也不是容易的事重复场景无纹理区域遮挡,31,32,立体匹配中常用约束(Constraints),极线约束：匹配点一定位于两幅图像中相应的极线上；顺序一致性约束：位于一幅图像上的极线上的系列点，在另一幅图像中的极线上具有相同的顺序；唯一性约束：两幅图像中的对应的匹配点应该有且仅有一个；视差连续性约束：除了遮挡区域和视差不连续区域外，视差的变化应该都是平滑的。,33,算法评估,以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以此反映匹配方法的性能/stereo.,34,35,具体实例-SSD,36,具体实例-SSD,37,多个摄像机,38,多个摄像机,三个摄像机增加第三个摄像机可以消除（大部分）由双目图像点造成的不确定性。本质上，第三幅图像可以用来检查前两幅图像中假定的匹配：和前两幅图像中匹配点对应的三维空间点首先被重建，然后再投影到第三幅图。如果在第三幅图像的再投影点周围没有相容的点，那么这个匹配一定是错误的匹配。,39,多个摄像机,多个摄像机Okutami和Kanade(1993)提出一个多摄像机的算法，其中同时利用所有图像来搜索匹配。基本想法：假设所有图像都是被校正过的，讲搜索正确的视差的操作转换为搜索正确的深度或者深度的倒数。选择第一幅图像作为参考，将与所有其他摄像机相关的平方差加到一个全局评价函数E中。评价函数E是深度倒数的函数。,40,多个摄像机,下图是不同数量的摄像机评价函数E的函数值：,41,结构光(StructureLight),光学投影器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图。结构光的目的就是增加三维物体的纹理信息。,42,结构光的三大基本原则,编码要唯一；汉明距离（Hammingdistance）为1;满足抽样定理。,43,结构光光条模板（Pattern）,二进制编码(binarycode)格雷码(Graycode)改进格雷码灰度编码：锯齿状条纹(Saw-toothpattern)、正弦状条纹、etc.金字塔子光栅条纹投射法(Pyramidsub-gratingprojectingmethod)伪随机编码阵列(Pseudo-randomencodedarray),Ref:Salvietal.,Patterncodificationstrategiesinstructuredlightsystem,PatternRecognition,37,827-849,2004.,44,各种结构模板光举例,二进制编码(binarycode)格雷码(Graycode),45,各种结构模板光举例,改进格雷码,46,各种结构模板光举例,灰度编码(n-arraycodes),47,各种结构模板光举例,金字塔子光栅条纹投射法(Pyramidsub-gratingprojectingmethod),48,各种结构模板光举例,伪随机编码阵列(Pseudo-randomencodedarray)63*65的伪随机阵列：,49,各种结构模板光实例,50,实验设施示意图,51,实验设施(ExperimentalSetup),Reference：High-AccuracyStereoDepthMapsUsingStructuredLight,52,时空立体光条(SpacetimeStereo),空间域匹配函数公式：I1I2分别为图像1和图像2的灰度值；Vs是x1像素邻近域的向量。时空匹配函数公式：,53,时空立体光条(SpacetimeStereo),空间匹配和时空匹配的比较,54,实验设施(ExperimentalSetup),Reference：SpacetimeStereo-ShapeRecoveryforDynamicScenes,55,时空立体光条实验,Reference：SpacetimeStereoAUnifyingFrameworkforDepthfromTriangulation,56,时空立体光条实验结果,57,时空立体光条实验结果,Reference：SpacetimeStereo-ShapeRecoveryforDynamicScenes,58,距离（range）数据,距离图像(深度图像)：这种图像存储的不是亮度和颜色信息，而是与每一个像素相关的射线与摄像机观测到的第一次交点的深度信息。一幅距离图像正是立体视觉、运动等的输出。距离图像可以通过主动传感器获得。主动传感器向场景投影某种光模式，以此来避开建立对应的困难和时间消耗问题，并构造出紧密和准确的深度图像。,59,主动距离传感器,Reference：/papers/volrange/paper_1_level/paper.html,60,主动距离传感器,Scanner:Cyberware3030MSNumberofscans:10Reference:TheStanford3DScanningRepository,61,便携式3D扫描仪,美能达(Minolta)扫描仪,62,实例：视差图与三维图,Ref:,63,实例：视差图与三维图,a.佛像照片;b.距离图像;c.集成的3D模型;d.孔洞填充后的模型;e.由立体成像得到的物理模型。Ref：/papers/volrange/paper_1_level/paper.html。,64,最新进展（运动提取）,65,最新进展（运动提取）,Ref:Extractionandtemporalsegmentationofmultiplemotiontrajectoriesinhumanmotion,66,最新进展（PhotoTourism）,Ref:/。,67,最新进展(3DVirtualWorld),Reference:3DWorldfrom2DPhotos,68,最新进展(PhotoNavigator),Ref: