中期检查报告 王美珍

1、视频视频GISGIS成果推介成果推介11南京师范大学南京师范大学 虚拟虚拟地理环境地理环境教育部重点实验室教育部重点实验室20142014年年0303月月单幅街景图像三维重建及精度分析重点实验室开放基金（12E01）l 单幅图像相机标定l 单幅图像几何量测及其精度分析l 单幅图像深度计算及其精度分析汇汇 报报 内内 容容第第一部分一部分 单幅单幅图像相机图像相机标定标定4优化目标函数：优化目标函数：评价准则：评价准则：一、单幅图像相机标定基于灭点约束的一阶径向畸变基于灭点约束的一阶径向畸变计算方法计算方法5一、单幅图像相机标定基于灭点约束的一阶径向畸变基于灭点约束的一阶径向畸变计算方法计算方法

2、6实验图像图像1图像2图像3主方向灭点坐标（pixel）（518.30，-3917.90）（1204.94， 643.43）（504.6255，-2057.8）（-690.92，568.27）（459.38，-3900.2）（1167.00，489.19）实验图像径向畸变系数k1畸变中心均方差基于灭点几何约束的径向畸变求解方法图像13.65e-09（505，329.5）2.04e-04图像24.78e-08（496，330.5）6.61e-04图像32.02e-08（504，338）5.74e-04基于共线的径向畸变求解方法图像12.31e-092.42e-04图像22.87e-085.81e

3、-04图像31.89e-084.28e-04一、单幅图像相机标定基于灭点约束的一阶径向畸变基于灭点约束的一阶径向畸变计算方法计算方法7一、单幅图像相机标定基于多约束的单幅图像相机标定方法流程图一、单幅图像相机标定基于多约束的单幅图像相机标定多种结合约束之间的关系示意图一、单幅图像相机标定基于多约束的单幅图像相机标定（a）（b）（c）（d）（e）（f）（g）（h）PowerShot ELPH 300 HSSAMSUNG PL150一、单幅图像相机标定基于多约束的单幅图像相机标定ImageMethodPrinciple distance f (in mm)Principle point (u0,

4、v0)(in mm)Radial distortion k1ResultErrorResultErrorDistance to self-calibrated valueResult(a)Caprile and Torre (1990)4.3990.009(3.094,2.392)(-0.005,0.068)0.0682.36E-08Proposed approach4.3960.006(3.081,2.319)(-0.018,-0.005)0.0192.37E-08(b)Caprile and Torre (1990)4.4900.100(3.21,2.403)(0.111,0.079)0.

5、1361.19E-08Proposed approach4.4080.018(3.073,2.338)(-0.026,0.014)0.0301.15E-08(c)Caprile and Torre (1990)4.383-0.007(3.135,2.377)(0.036,0.053)0.0642.05E-08Proposed approach4.4040.014(3.148,2.156)(0.049,-0.168)0.1752.19E-08(d)Caprile and Torre (1990)4.4140.024(3.111,2.314)(0.012,-0.01)0.0162.20E-08Pr

6、oposed approach4.4090.019(3.095,2.28)(-0.004,-0.044)0.0442.21E-08(e)Caprile and Torre (1990)5.288-0.044(3.272,2.233)(0.002, 0.053)0.0533.99E-08Proposed approach5.316-0.016(3.203,2.163)(-0.067, -0.017)0.0693.87E-08(f)Caprile and Torre (1990)5.275-0.057(3.257,2.206)(-0.013, 0.026)0.0292.76E-08Proposed

7、 approach5.322-0.010(3.264,2.158)(-0.006, -0.022)0.0232.7E-08(g)Caprile and Torre (1990)5.329-0.003(3.253,2.21)(-0.017, 0.030)0.0353.61E-09Proposed approach5.329-0.003(3.271,2.205)(0.001, 0.025)0.0253.58E-09(h)Caprile and Torre (1990)5.303-0.029(3.287,2.249)(0.017, 0.069)0.0719.39E-09Proposed approa

8、ch5.332-0.001(3.307,2.235)(0.037, 0.055)0.0659.3E-09一、单幅图像相机标定基于多约束的单幅图像相机标定二、单幅二、单幅图像几何量测及其精度图像几何量测及其精度分析分析13二、单幅图像几何量测 基于矩形的几何量测 基于圆形的几何量测 精度分析 结论：结论：已知平面上一矩形及两条边长，则可获得平面上任意两点已知平面上一矩形及两条边长，则可获得平面上任意两点之间的距离。之间的距离。推论：已知平面上一矩形及两条不平行的线段的长度，则可获得推论：已知平面上一矩形及两条不平行的线段的长度，则可获得平面上任意两点之间的距离。平面上任意两点之间的距离。二、单幅

9、图像几何量测基于矩形的几何量测已知条件：（1）三个互相垂直方向的灭点（2）某一个方向上线段的长度量测内容：（1）三个主要平面上的几何信息（2）与主平面平行的平面上的几何信息二、单幅图像几何量测基于矩形的几何量测基于矩形的几何量测基于矩形的几何量测三维空间上距离量测待求线段标准值(m)计算值(m)绝对误差 (m)相对误差%参考平面上的线段a7a80.600.6030.0030.5a8a90.300.3190.0196.3a5a69.6689.589-0.079-0.81a2a54.8794.845-0.034-0.70a1a21.2581.253-0.005-0.40a2a31.2251.248

10、0.0231.88a3a42.4342.432-0.002-0.08a10B11.2541.2361-0.0179-1.43垂直平面上的线段b1b22.3362.32590.02641.13b3b42.3362.3357-0.0151-0.65b4b51.2541.26680.01281.02b5b63.6003.62770.02770.77平行于参考平面的线段c1c25.8836.01220.12922.20室外场景、手持测距仪获得线段真值DSC-T10数码相机自主拍摄二、单幅图像几何量测基于矩形的几何量测测量结果： 结论：已知平面灭线以及已知直径的圆形，通过获得圆形外接结论：已知平面灭线以

11、及已知直径的圆形，通过获得圆形外接矩形，亦可计算平面上任意两点之间的距离矩形，亦可计算平面上任意两点之间的距离二、单幅图像几何量测基于圆形的几何量测序号已知条件圆心平面灭线y=kx+b1两组平行线L11 L12、L21 L22960.41 1229.4y =0.022704*x -4694.82两条直径R1 R2959.57 1229y =-0.011942*x-4307.13一条直径R1、与直径平行的平行线L11 L12959.54 1229y =-0.013141*x -4319.44一组平行L11 L12、一组垂直线L8 L9958.96 1228.7y =-0.035104*x -40

12、89.45一条直径R1、一组垂直线L8 L9958.47 1229.6y =-0.059067*x -4793.4模拟数据，已知图像中对象的真实值SONYDSX-TX7C数码相机拍摄真实值10551256534算法5.1 9.169.045.28 14.62 4.436.034.822.675.6算法5.2 9.9755.07 12.07 4.865.894.942.943.93算法5.3 9.9755.07 12.07 4.865.894.942.943.93L1L2L3L4L5L6L7L8L90246810121416单位单位：cm条件条件4：一组平行：一组平行L11 L12+一组垂直线一

13、组垂直线L8 L9真实值10551256534算法5.1 9.148.894.99 14.39 4.375.944.742.695.58算法5.2 9.984.924.95 11.874.85.84.882.973.94算法5.3 9.984.924.95 11.874.85.84.882.973.94L1L2L3L4L5L6L7L8L90246810121416单位：单位：cm条件条件5：一条直径：一条直径R1、一组垂直线、一组垂直线L8 L9真实值10551256534算法5.1 9.148.894.99 14.39 4.375.944.742.695.58算法5.2 9.984.924.

14、95 11.874.85.84.882.973.94算法5.3 9.984.924.95 11.874.85.84.882.973.94L1L2L3L4L5L6L7L8L90246810121416单位：单位：cm条件条件5：一条直径：一条直径R1、一组垂直线、一组垂直线L8 L9二、单幅图像几何量测基于圆形的几何量测 图像多约束是指在一幅图像中包含多种可用于几何量测的几何约束矩形、圆形。选用哪一种不变量计算方法？选用哪一种不变量计算方法？选用哪几个矩形选用哪几个矩形/ /圆形用于几何量测？圆形用于几何量测？选用多个对象时，最终结果如何确定？选用多个对象时，最终结果如何确定？选用哪一种选用哪一

15、种/ /哪几种几何量测方法？哪几种几何量测方法？二、单幅图像几何量测精度分析 一阶径向畸变 模型加以改正 基于分数位法求解 镜头畸变误差镜头畸变误差误差第一列第二列第三列第四列第五列第六列第一行0.170.260.350.53第二行0.010.180.250.360.420.49第三行0.070.180.240.330.450.56第四行0.180.260.340.360.430.61第五行0.160.370.410.490.590.68误差统计最大值0.68 平均值0.35 最小值0.01 中误差0.39 误差第一列第二列第三列第四列第五列第六列第一行0.120.260.370.48第二行0

16、.010.110.190.290.350.49第三行0.060.130.270.360.420.51第四行0.110.160.290.380.450.54第五行0.190.280.310.420.490.56误差统计最大值0.56 平均值0.29 最小值0.01 中误差0.34 畸变纠正后的图像量测误差(单位：cm)畸变纠正前的图像量测误差(单位：cm)二、单幅图像几何量测精度分析（1）镜头畸变误差 灭点点位误差的影响灭点点位误差的影响()()()()()()0tvxsvtysvsxtsvytstxvtsyvyy vxx vyy vxx vyy vxx vW-+-+-+-+-+-+=直线起点、

17、终点和灭点三点应该共线方程线性化()()()()0vstsvstsyyxxxxyy-=nsnt1s1tisit42412 110nnnnnA VB xW创创+=111()TaaTbbaaVQA NBxWxNB N W-= -+= -1v vvvv vvvx xx yxxbby xy yQQQNQQ222200,v vv vxvx xyvy yQQ222Pxvyv二、单幅图像几何量测精度分析（2）灭点点位误差 灭点点位误差的影响灭点点位误差的影响几何量测的基本方程推导出与灭点有关的边长的中误差交比计算误差待测距离的中误差(1)acbvABBCavbcS SSSS S=-222ABSBCcrSss

18、=22222211()bvavcrSSbvavcrSSsss=+22()()bvvbvbSXXYY=-+-22222()()bvbvbvSxvyvbvbvXYSSsssDD=+acbvavbcS ScrS S二、单幅图像几何量测精度分析（2）灭点点位误差传播 实验设计l9幅50cm*50cm的聚酯薄膜格网纸拼接l实验区由15行*15列的格网组成l格网的大小为10cm*10cml左下角矩形为量测的已知条件l36条待测线段(黄色和蓝色标记) 已知条件的已知条件的远近远近对结果的影响对结果的影响二、单幅图像几何量测精度分析（3）已知条件的远近对结果的影响-2.00-1.50-1.00-0.500.0

19、00.5018 88 128 157 量测误差起算矩形中心至待测线段中点的距离（cm）(cm) 已知条件的已知条件的远近远近对结果的影响对结果的影响纵轴方向横轴方向对角线方向二、单幅图像几何量测精度分析（3）已知条件的远近对结果的影响 实验方案设计13行*13列的格网格网为10cm*10cm矩形D各边为待量测线段矩形A、B、C为已知条件组内矩形与D距离相等左下角作为坐标原点多个已知条件联合量测的误差分析多个已知条件联合量测的误差分析二、单幅图像几何量测精度分析（4）多个已知条件联合量测的误差分析 已知条件的数量对结果的影响C1C1+C5C1+C5+C3C1+C5+C3+C7C1+C5+C3+C

20、7+C2C1+C5+C3+C7+C2+C6C1+C5+C3+C7+C2+C6+C4C1+C5+C3+C7+C2+C6+C4+C8A1A1+A5A1+A5+A3A1+A5+A3+A7A1+A5+A3+A7+A2A1+A5+A3+A7+A2+A6A1+A5+A3+A7+A2+A6+A4A1+A5+A3+A7+A2+A6+A4+A8二、单幅图像几何量测精度分析 A组-0.10-0.050.000.050.100.150.200.250.300.350.4012345678联联合合量量测测误误差差起算基准数量（个）起算基准数量（个）s1s2s3s4(cm)随着已知条件数量的增加，量测精度也随之提高；但

21、当已知条件数量大于三个时，量测精度趋于稳定。 已知条件的数量对结果的影响已知条件的数量对结果的影响二、单幅图像几何量测精度分析三、单幅图像深度计算及其三、单幅图像深度计算及其精度精度分析分析 单幅图像图像分割训练标记人工标记天空地面地面直立物地面点近于中心点模型N地面点远于中心点模型F相机有旋转模型A相机无旋转模型B地面起伏修正与地面有可视交线模型K与地面无可视交线模型U无穷远或最大值深度图深度值图像分割分类标记深度计算结果输出深度计算误差分析三、单幅图像深度计算技术路线图像预处理原始图像分水岭算法初步分割种子区域自动选取区域生长区域合并分割后图像原始图像种子区域生长区域合并分水岭初步分割结果

22、三、单幅图像深度计算图像分割波段类型R BandG BandB BandR1R2R3R4G1G2G3G4B1B2B3B4草地654594921354139866291408681601613281770107944210141893011天空000152100015210001521000152100015210001521道路00681453002714940486714060264761019033171201041961321树木1201269252610233967329132010422751255230333119325669314466852颜色特征12列特征值同一类地物较为接近

23、纹理特征Gabor滤波器80列特征值三、单幅图像深度计算特征分析与提取台湾大学LibsvmPasadena Houses2000数据集组合特征天空树木道路草地三、单幅图像深度计算样本训练与类型标记tantan()tan()goccop22()()()gccpgpH fsvvvvDfs vv()()1cpgccpgcs vvs vvHffDs vvs vvff景物深度和所成像之间的对应关系 tantantan1tan tan像平面主光轴CG镜头opcg地平线HD地面地面点地面点近于中心点地面点远于中心点相机有旋转相机无旋转地面起伏修正地面区域深度地面区域深度计算计算相机无旋转地面点近于中心点三、

24、单幅图像深度计算深度计算方法tantantantan()1tantan22()()()()gccpGcpgcH fsvvvvDfs vvvvtanAAAHhD22gg()()()()()AccpAcpcHhfsvvvvDfs vvvv22gg()()()()()BccpBcpcHhfsvvvvDfs vvvvD地面AB主光轴CG镜头opcg地平线H像平面hAhBa 地面点地面点近于中心点地面点远于中心点相机有旋转相机无旋转地面起伏修正地面区域深度地面区域深度计算计算相机无旋转地面点远于中心点三、单幅图像深度计算方法像平面mnu主光轴CG镜头opcg地平线HDset()costanets vvc

25、opf()costanges vvgocf()cos()cos()cos()cos1geetgeets vvs vvHffs vvs vvDff22cos()usmmvv2222()*()()()()()usgtgetegtusfmvvDHsm vvsm vvvvf vvmvv 地面点地面点近于中心点地面点远于中心点相机有旋转相机无旋转地面起伏修正三、单幅图像深度计算方法地面区域深度地面区域深度计算计算相机有旋转地面直立物深度估计地面直立物深度估计地面点深度垂直延伸法最大最小深度内插法直线拟合法112BACADDDDsssCCs1s2AB地面 ykxb地面直立物深度地面直立物深度估计估计目标与

26、地面具有可视交线三、单幅图像深度计算方法已知景物部分实际长度缺乏景物本身实际尺寸的情况由遮挡关系估计2222()()/()()()()pbapABcbcpcpacfs vvfs vvDHfsvvvvfsvvvv地面直立物深度地面直立物深度估计估计区域与地面无可视交线三、单幅图像深度计算方法深度计算结果深度计算结果深度值矩阵深度图三、单幅图像深度计算方法相机参数的误差影响地平线图上位置的误差影响地面点图上坐标拾取误差相机高度的误差误差影响因素22()()()gccpgpH fsvvvvDfs vv三、单幅图像深度计算误差分析深度计算误差分析深度计算误差分析22()()()gccpgpH fsvvvvDfs vv22()()()gccpgpfsvvvvkfs vv*DHk地面点图上坐标拾取误差21()()kpggpsfvvvfs 三、单幅图像深度计算误差分析相机高度误差的影响编号计算深度已知深度绝