教程相关2中期lqmidreport

2012-12-是2012-12-2013-11-上午8:00-不完全适合城市等地形复杂的环境。GPS境中进行定位等缺点。因此需要进一步研究鲁棒性更好、准确度更高的，在大范围环境特征是很多视觉应用如光流法、目标 、3D重建等使用的一种前端处理 性能均具有一定的健壮性。KLT特征 较大，前后2幅图像的变化远超出了35个像素的范围。常规的KLT算法仅仅使用图像信息，其工作条件受限于图像之间发生微小形变。当由于相机自身运动引起较大光流时，KLTKLT特征算法。其基本思想是通过陀螺仪返回的角度信息解算出相机的运动，从而估计出在特征中运动参数的迭代初始值，或快速转动的情况，提高的可靠性。旋转角度信息。其次是惯性信息与相机的图像数据之间的同步问题。为了得知相机在幅连续图像过程中发生的转动，需要将相机到的图像与同一时刻陀螺仪测得的相机自身运动对于长期特征，必须要进行模板更新来确保结果。通常当相机视点发生较大变化、选定的模型不再适用的情况下需要更新模板。模板更新会导致特征点定位误差的累积。可以由质量来确定模板是否更新。根据平方误差、归一化互相关、剪切来衡量质量。当立体视觉所包括的功能模块主要有：图像获取、特征提取、立体匹配、特征、5CCD双目相机和卡获取数字图像。在图像信息前首先需要对相机进行对于相机在t时刻 到的两幅图像，通过sobel算子对图形进行特征点提取。Sobel算子提取的具体过程是通过使用3*3的模板与图像矩阵做卷积，可以得到图像亮度函数的梯度近似值。使用算子分别按照u、v两个方向遍历数字图像，可得到图像关于这两个方向的边沿信息。两 研系统硬件构成：双目相机、数字陀螺仪、图像卡、便携式电脑、连接线和电池。双目相机和图像卡用于收集图像信息，数字陀螺仪记录相机的运动信息，将图像信息和惯性信息传KLT算法特征点，结合立体视觉定位软件系统实现实时定位。整定位性能进试是非常必要的。准备采取单变量实验，分别在有快速移动物体的场景、相机大幅转动和室外光线条件下对系统进试，分析实验结果，对定位算法进行相应的改进。三

w(x;)wx

JT|p0Tw

HJTJ[Tw]T[T

反向KLT算法中当模板T不改变时，J和H就不变，不需要对每幅图像都重新计算H，从而计算量减小。由于反向KLT算法相比正向算法，所需的计算量更小，运算速度更快，因此采用反向KLT算法，以一个相对稳定的模板作为参照，将每幅图像经过弯曲变形处理后同模板进行 在整个过程中，对每幅图像进行特征之后，判断当前有效特征点总数是否满足阈Hessian为补偿光照变化以及相机运动变化，采用仿设光度模型作为仿设函数w(x;p)的具体形式T(x;p)(1)T(Ax+b)+ A=1 a2

ba5 1a

a 4 6()用于补偿光照变化更新t时刻的运动参数pt t)A，b）(A

t

t

t t(t11)(

tt

t

-融合惯性信息辅助特征，对相机与陀螺仪坐标系进行标定，利用陀螺仪返回的旋转矩阵解算出相机在前后两幅图像之间的旋转矩阵。再由相机标定的内参数矩阵求得二维单应使用陀螺仪测得的旋转矩阵来计算相机的旋转变化。设空间中一固定点的三维坐标为GP， 化过程中这一点均在相机视野内，相机—陀螺仪单元随时间发生移动，t1时刻在IMU参考系的坐标为IP，t2IMUIP，t1IMU 化GR，t2IMUGRI GP=GRI I GP=GRI

-CIMU（也即标定矩阵）IR，t1GPC标系下的坐标为CP，t2GP在相机坐标系下的坐标为CP IP=IRC 1 IP=IRC 2

-将公司-8式带 -7，消去GP得CP=（IRGR-1G

1C I1 t1t2R=IRGR-1G

IR-c I1 R=IRGR-1G

IR-

t1

-cHKRK1c

- ApredHb predxHb

-8曲后的图像与模板之间的误差e，e每次更新运动参数之后，需要重新计算当前特征点的质量：误差平方和、归一化互相关以及剪切程度。当质量下降到一定程度超出阈值时，就需要剔除质量差的特征点，对模 GRTGR

通过计算验证，IMU其次验证相机旋转变化矩阵的推导是否正确。通过在静止条件下拍摄到的图像和对应从计算结果看，上述方法计算的相化矩阵正确。验证预测矩阵H是否准确：通过比较KLT算法中的Rc矩阵和视觉里程计解算出的相机旋HRc矩阵转化为欧拉角，分别3图-1X图-2YYN统结更新运动更新运动参计Y

图-3KLTIMU（表示为{I}iIi

i设Ci

以四元数表示从{I}系到{C}qq0qq0q1i(qv(qvq)

jq3k

最大的四元数 10组IMU加速度数启动IMU－Camera单元 ，从左图像中读出竖直细线上的两个点pl(x yl)和pl

yl yr)

pr(xr yrylyrylyr k) 41245

412 0.0050R

图-515

0.0057R

略，直接使用惯性融合KLT特征 KLT算法相当。由此可知，由于的图像信息与惯性信息之间存在时延，对性能KLT算法性能差，信息时延不能忽略。要通过相机在两 1000组图像和陀螺仪数据，记录每幅 时刻，分析图像信息和惯性信息之间的时间差，结果如下图-6图-6IMU和相 图中横坐标为时间（单位：秒，纵坐标为X周旋转角度，红色曲线表示陀螺仪 体趋势一致，但是在时间上有所滞后。将红色曲线向右平移305ms后，两条曲线基本重合，如下图-7所示：图图7 性能不好，基本等同于仅使用图像的常规KLT算法。需要改进 化时延误差。建立2个线程分别用于连续 烈的情况下，KLT算法。实验中共了99935ms（之前未解决同步问题时，处理一帧100ms。设定每帧提取并150KLT5716feature，KLT算法一共提取了16211个特征点，约为前者的2.8倍。图- KTL算法 如图-8所示，两种KLT算法在 300帧图像时对应的 的KLT算法的 惯性融合KLT算法的 结果。从图中可以看出，在解决了数据同步问题后，惯性融合KLT算 精度明显改善。在相机快速旋转情况下，惯性融合KLT的 致保持在90%以上，鲁棒性较好。而常规仅使用 的KLT算法的 2.4像连 RGR信息 t图像在计算机中的其本质就是一个2本文使用sobel算子提取图像边沿信息，将两个边沿的交点作为感 像进行特征提取。获得角点后，利用blob算子生成其特征描述符，该特征描述符包含了该点与鲁棒性。在4*4范围内对每一点使用8位描述符。所以一个特征点的描述符长度为128位。后 立体匹配。利用角点的128维特征向量，根据特征向量的欧式距离进行立体匹配。将左右图像中立体匹配成功的角点作为特征点，为其赋予相同的ID编号标识，每一对特征点的ID序号在整个程序运行过程中是唯一的。 i当前时刻相机旋转信息GRi测位置，使用惯性融合KLT算法对特征点进行 4-1.T，并根据新模板重新计算海森矩阵：JT|p=0

-

HJTx

-4-2.

iti 到的旋转矩阵为G 、GR，则从t-1iti

t

G1=RR =RR

ic4-3.ctHKct

K14-4.HApred

x,x=H[ predpredt4-5.p0tp0(xp )w(xp

t4-6.利 迭代法计算运动参数变化量p4-7.更新运动参数pt t4-8.计算各个特征点 4-9.判断各个特征点的 4-10.统 利用惯性融合KLT算法遍历全部特征点，得到特征点在当前图像中的坐标位置，通过特征 两帧图像中相对于机坐标系的坐标。5-3.假设已知空间中一点在左右图像中的成像位置分别为(xl,yl)与(xr,yr)。(X,Y,Z)为空 直向下为Y轴，水平方向为X轴。定义视差dxlxr，基线长度为左右 b，f为 b(xlxr)

Z

Z xl

-XxZ(uu0) YyZ(vv0)b

- -X uu0bYv Z Z

-对已经得到的三维特征点集{X Y Zi

，结合RANSIC算法 wi1估计，得到旋转和平移矩阵 T]择其中的三个特征点，进行一次运动估计，求解出一个[R T]。6-2.利用求解出的 T]对点集{X Y Zi

wi1u

x u0v=

f v0

-其中{x、y、z}为点集中一个点在t-1时刻的三维坐标，点对应的像素位置u、v在实际中均取 -18得到的u、v值与该点在t时刻观测到的u、v值之差。差值小于阈值的点记录为局内点。遍历当前时刻所有点，得到局内特征点集{X Y Zi

wi16-3.重复步骤6-1、6-2，进行多次迭代，记录每一次迭代中得到的局内特征点数，找出局内特征点数最多的一次，利用所有局内特征点作为输入，进行运动估计，得到更优的[R T]。 -18展开并对待求未知量

tz与

rz利用（1）的结果，若为第一次计算，则首先将

tz,

0，否则以上一次运算的结果作为初值。以表示待求变量估计值与真实值之间的差值，构建标准方b11txb12tyb13tzb21txb22tyb23tz

b2

b33tz41txb42tyb43tzb4b51txb52tyb53tzb5b61txb62tyb63tz

-使用消元法求解（2）中的方程组，可以解出i的值。将i与初值相加可以求得各个使用（3）得出的运动参数

tz,

tz,

使用上一步的结果转化为4*4的位姿变换矩阵，从初始时刻开始进行累乘，最终得到的结果就是相机当前相对于初始时刻的位姿状态，对全局的[R T]进行更新。若当前帧是第一帧，2.5 到的信息传入微型处理器中进行处理，使用in i7处理器（4 ，2G（17cm*17cm， 数据，从出发点绕60m*50m的实验结果：使用KLT-viso解算出相机结束位置与初始位置相差约2.9米，误差为1.3%；KLTKLT-viso100ms，略久于视觉里程计（75ms图图-9鲁棒立体视 当前时刻左右图N特征点在当前图

通通 图-10鲁棒立体视 框 。 ；本课题研制了一种可穿戴式视觉辅助，用于辅助盲人出行，将惯性辅助KLT算法运用到立体视觉定位中，为相机附加惯性传感器，相机的旋转信息，通过获取的惯性信息来预KLT迭代优化的初始条件，增大收敛的概率，保证性能，进而提高的鲁棒性系统处理能力，改进系统硬件结实现处理，提出合理改进方实验验证改进方案，比较定完提交目前系统的处理能力不足，前端与后端信息处理接口不过完善，定位结果反馈 DimitriosDakopoulosandNikolaosGBourbakis.WearableObstacleAvoidanceElectronicTravelAidsforBlind:ASurvey.IEEETRANSACTIONSONSYSTEMS,MAN,ANDCYBERNETICS—PARTC:APPLICATIONSANDREVIEWS,VOL.40,NO.1,JANUARY2010:25.PabloFern´andezAlcantarilla.VisionBasedLocalization:FromHumanoidRobotstoVisuallyImpairedPeople:9-10.MyungHwangbo,Jun-SikKimandTakeoKanade.Gyro-aidedfeaturetrackingforamovingcamera:fusion,auto-calibrationandGPUimplementation.TheInternationalJournalofRoboticsResearch201130:1755.294温奎.基于立体视觉的移动机器人目标定位 理工大 MinoruAsadam,TakamaroTanaka.VisualTrackingOfUnknownMovingObjectByAdaptiveBinocularVisualServoing.In:IEEEInternationalConferenceonMultisensorFusionandIntegrationforIn ligentSystems.Taipei, .1999.Piscataway,NJ,USA:InstituteofElectricalandElectronicsEngineersInc.1999.SlimKammoun,MarcJ.-M.Macé,BernardOriola,andChristopheJouffrais.TowardaBetterGuidanceinWearableElectronicOrientationAids.InternationalFederationforInformationProcessing2011.SimonBakerandIainMatthews.Lucas-Kannade20YearsOn:AUnifyingFramework:Part1.CMU-RI-TR-02-16.Beauchemin,S.S.andJ.L.Barron(1995).TheComputationofOpticalFlow.ACMcomputingsurveys(CSUR)27(3):433-466.Negahdaripour,S.(1998)."Reviseddefinitionofopticalflow:Integrationofradiometricandgeometriccuesfordynamicsceneysis."PatternysisandMachineInligence,IEEETransactionson20(9):961-979.B.B.Blasch,W.R.Wiener,andR.L.Welsh,FoundationsofOrientationandMobility,2nded.NewYork:AFBPress,1997.T.Ifukube,T.Sasaki,C.Peng,“Ablindmobilityaidmodeledafterecholocationofbats”,IEEETrans.Biomed.,vol.38,no.5,May1991:461–465.T.Ifukube,T.Sasaki,andC.Peng,“Ablindmobilityaidmodeledafterecholocationofbats,”IEEETrans.Biomed.Eng.,vol.38,no.5,pp.461–465,MayA.Hub,J.Diepstraten,andT.Ertl,“Designanddevelopmentofanindoornavigationandobjectidentificationsystemfortheblind,”inProc.ACMSIGACCESSAccessibilityComputing,Sep.2003/Jan.2004,no.77–78,pp.147–152.J.L.Gonz´alez-Mora,A.Rodr´ıguez-Hern´andez,L.F.Rodr´ıguez-Ramos,L.D´ıaz-Saco,andN.Sosa.(2009,May8).Developmentofanewspaceperceptionsystemforblindpeople,basedonthecreationofavirtualacousticspace.Tech.Rep.[Online].Available: G.Sainarayanan,R.Nagarajan,andS.Yaacob,“Fuzzyimageprocessingscheme