双目视觉导航

1、Xiaogang WangYork UniversityVision-based NavigationXiaogang Wang背景 计算机视觉单目视觉双目视觉 又称为立体视觉，是机器视觉的一个重要分支，立体视觉的研究目的是使机器具有通过二维图像认知三维环境信息的能力。 这种能力不仅使机器能感知三维环境中物体的几何信息，而且还能对它们进行描述、存储识别和理解，以满足特定的需求。三目视觉Xiaogang WangYork University背景 立体视觉立体视觉通过设计和模仿人类视觉来获得物体的深度信息；它在逆向工程、测试测量、文化产业、公共安全、视觉导航、地图生成、航空勘测等领域都有很好的应

2、用价值；二维信息与三维信息的结合，也为一些具体的工程问题提供了方法，如目标识别的图像分割。Xiaogang WangYork UniversityXiaogang WangYork UniversityMobile Robot System Hardware configuration Mobile robot ERA-BASE Stereo vision camera Bumblebee2 Smart computer STEALTH.Com Inc Inertial measurement unit ADIS16405 Dead-reckoning Viper board SPIXiaog

3、ang WangYork UniversityMobile Robot SystemCommunication interfaceXiaogang WangYork UniversityMobile Robot SystemSoftware ConfigurationXiaogang WangYork UniversityStereo Vision and Image Processing For the single camera Both P and Q project into the same image point This occur for each point along th

4、e same line of sight Stereo Vision and Image ProcessingXiaogang WangYork University物体的深度信息可以通过物体的深度信息可以通过双眼观察得到双眼观察得到Xiaogang WangYork UniversityStereo Vision and Image ProcessingWe can infer the depth, by means of triangulation, if weCan find the correspondence points.Two camera systemXiaogang Wang

5、York UniversityStereo Vision and Image ProcessingStandard formTriangulation equation双目视觉三维测量时基于视差原理视差disparity与深度depth的关系Xiaogang WangYork University视差与深度成反比例关系视差与深度成反比例关系视差disparity与深度depth的关系Xiaogang WangYork University同一个深度下，视差相同同一个深度下，视差相同Xiaogang WangYork UniversityFlow Chart of Stereo Vision I

6、mage Processing镜头的畸变Xiaogang WangYork University切向畸变切向畸变镜像畸变镜像畸变Xiaogang WangYork UniversityStereo Vision and Image Processing (Calibration) Calibration aimed at findingIntrinsic parameters (focal length, image center, lens distortion, etc)Extrinsic parameters (matrix aligns the two cameras) Raw Rig

7、htImageRaw leftImageXiaogang WangYork UniversityStereo Vision and Image Processing (Rectification) Using the information from the calibration step Remove the lens distortion Turns the stereo pair in the standard formRectified ImageXiaogang WangYork UniversityStereo Vision and Image Processing (Stere

8、o) Aims at finding homologous points in the stereo pairDisparity map图像匹配（Corresponding Pair） 图像匹配的概念在双目视觉测量中，图像匹配的目的是给定一幅图像上的已知点，在另一幅图像上寻找与之对应的目标匹配点，或称为同名像点。图像匹配方法通常有基于图像灰度（区域）的匹配、基于图像特征的匹配和基于解释的匹配，或者是多种方法相结合的匹配Xiaogang WangYork University图像匹配（Corresponding Pair） 图像一幅完整的图像，是由红色、蓝色和绿色三个通道组成红色、蓝色和绿色三个

9、通道都以灰度显示，用不同的灰度来表示“红、蓝、绿”的比重。Xiaogang WangYork University图像匹配（Corresponding Pair） 图像把白色与黑色之间按对数关系分为若干等级，称为灰度。灰度分为256阶，用灰度表示的图像称为灰度图。在计算机领域，灰度数字图像是每一个像素都只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度。灰度图与黑白图像不同，在计算机领域黑白图像只有黑色和白色两种颜色；灰度图像在黑色和白色之间还有许多等级的颜色深度。Xiaogang WangYork University图像匹配（Corresponding Pair） 基于

10、灰度的区域匹配基本原理是在其中一幅图像中选取一个子窗口图像，然后再另一幅图像中的一个区域内，根据某种匹配准则，寻找与子窗口图像最为相似的子图像。常用的匹配准则有最大互相关准则，最小均方差准则等。区域匹配方法的计算量很大，且误匹配概率较高，匹配精度较差。Xiaogang WangYork University图像匹配的难点Xiaogang WangYork University光学失真和噪声（亮度、色调和饱和度等失衡）光学失真和噪声（亮度、色调和饱和度等失衡）图像匹配的难点Xiaogang WangYork University平滑表面的镜面反射平滑表面的镜面反射图像匹配的难点Xiaogang

11、WangYork University投影缩减投影缩减图像匹配的难点Xiaogang WangYork University透视失真透视失真图像匹配的难点Xiaogang WangYork University低纹理低纹理图像匹配的难点Xiaogang WangYork University重复纹理重复纹理图像匹配的难点Xiaogang WangYork University透明物体透明物体图像匹配的难点Xiaogang WangYork University重叠和非连续重叠和非连续图像匹配（Corresponding Pair） (review) 图像图像的基本元素是像素(Pixel)一幅完

12、整的图像，是由红色、蓝色和绿色三个通道组成红色、蓝色和绿色三个通道都以灰度显示，用不同的灰度来表示“红、蓝、绿”的比重。Xiaogang WangYork University图像匹配（Corresponding Pair） (review) 图像把白色与黑色之间按对数关系分为若干等级，称为灰度。灰度分为256阶，用灰度表示的图像称为灰度图。在计算机领域，灰度数字图像是每一个像素都只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度。灰度图与黑白图像不同，在计算机领域黑白图像只有黑色和白色两种颜色；灰度图像在黑色和白色之间还有许多等级的颜色深度。Xiaogang WangYo

13、rk University*0.299*0.587*0.114GrayRGBXiaogang WangYork UniversityStereo Vision and Image Processing (review)Standard formTriangulation equation双目视觉三维测量时基于视差原理Xiaogang WangYork UniversityFlow Chart of Stereo Vision Image Processing (review)Xiaogang WangYork UniversityStereo Vision and Image Processi

14、ng (Triangulation) Given the disparity map, the baseline and the focal length (calibration): triangulation computers the position of the correspondence in the 3D space Xiaogang WangYork UniversityStereo Vision and Image Processing For me, I dont need every 3D coordinate in the field of view. I just

15、use some of Features.图像匹配（Corresponding Pair） 特征匹配基于抽象的几何特征，如角点、边缘及边缘直线等几何形状及参数进行特征点匹配。由于几何特征的稀疏性，特征匹配方式只能获得稀疏的深度图，需要各种内插方法才能完成整幅深度图提取。Xiaogang WangYork University图像的角点检测 角点检测（Corner Detection）是计算机视觉中用来获取图像特征的一种方法，广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域，也称为特征点检测。角点通常定义为两条边的交点，更严格的说，角点的局部邻域应该具有不同区域的不同方向的边界。

16、而实际应用中，大多数所谓的角点检测方法检测的是拥有特点特征的图像，而不仅仅是“角点”。Xiaogang WangYork UniversityXiaogang WangYork UniversityVicon Motion Capture System To evaluate the accuracy of vision-based navigation system, the vicon camera system is utilized.Xiaogang WangYork UniversityVicon Motion Capture System Multiple vicon camera

17、 Marks Central computerXiaogang WangYork UniversityVicon Motion Capture SystemFirst Step: configure the multiple vicon camerasXiaogang WangYork UniversityVicon Motion Capture SystemSecond Step: calibration the vicon cameras using the T braceXiaogang WangYork UniversityVicon Motion Capture SystemThir

18、d step: attach the marks on mobile robotXiaogang WangYork UniversityVicon Motion Capture SystemFinal step: record and export the trajectory of mobile robotXiaogang WangYork UniversityResult of experimentRed line is the estimated trajectory using EKFBlue line is the captured trajectory by vicon camera systemXiaogang WangYork UniversityResult