（计算机应用技术专业论文）高质量城市街景图像采集系统与应用.pdf

浙江大学硕士学位论文 摘要 摘要 随着虚拟现实技术的发展，对三维城市数据有着越来越多的需求，而城市数 据采集有着两大特点：一方面城市数据规模巨大，采集耗时巨大，另一方面数字 城市、三维场景浏览等应用也要求数据具有较高的精度，而现有尚缺少一个能够 将速度和精度兼顾的解决方案。 本文提出了一套高质量图像采集处理系统，用于支撑三维城市的快速建模。 该系统的硬件由高分辨率c c d 相机、全景相机、带有差分技术的高精度g p s 、 系统固定框架、移动平台以及系统控制器等部件组成，再配以自主研发的采集系 统软件，可以实现快速自动而不失高质量的获取城市街区建筑图像并将这些图像 生成建筑物正射影像图，作为模型数据提供给三维绘制软件。 本文详细介绍了从采集设备的选择、系统的搭建到采集运行的全过程。在采 集图像之前，为了进一步提高获取的图像质量，本系统首先对设备进行校准；同 时对采集路线进行规划，以使得采集效率最大化。在城市街区建筑图像采集完成 后，则使用这些采集得到的图像生成高质量的建筑物侧面正射影像图。 本文中所述的采集和生成工作比起原有的采集方式，均在不影响质量的情况 下大幅度提高了系统的效率。本系统中使用了若干关键技术来减少人工操作，包 括基于g p s 信息对图像自动分类，对于图像的自动增强技术，以及如何自动寻找 图像序列中的大地坐标系等。这些技术使用自动算法完成繁琐的人工处理步骤， 提高系统的工作效率，也避免人工处理所引入的不一致性。 在本文的最后，通过一些实例展示系统采集处理的结果，同时介绍系统的演 化过程与采集记录。 关键词：数字城市，三维建模，全球定位系统，几何校正，色彩校正 浙江大学硕士学位论文 a b s t r a c t a st h ed e v e l o p m e n to f t e c h n o l o g yi nv i r t u a lr e a l i t y , f a s tm o d e l i n gc i t yi n t h r e e - d i m o n s i o n a l ( 3 d ) a r eg a i n sm o r ea t t e n t i o n s m o d e l i n gc i t yb yc a p t u r i n gi m a g e s h a st w of e a t u r e s ：o n ei st h et r e m e n d o u sd a t as c a l ea n dt i m ec o s t , t h eo t h e ri st h e r e q u i r e m e n t so fm o r ea n dm o r ep r e c i s ed a t a h o w e v e r , t h e r ei sn o tas a t i s f i e ds o l u t i o n w h i c hm e e t sb o t hs p e e da n dp r e c i s i o n i nt h i sp a p e rw ep r o p o s ea h i g h q u a l i t yi m a g ea c q u i s i t i o np r o c e s s i n gs y s t e mt o s u p p o r tf a s t3 dc i t ym o d e l i n g t h es y s t e mc o n s i s t so fh i g h - r e s o l u t i o nc c dc a m e r a ， p a n o r a m i cc a m e r aa n dh i g h - p r e c i s i o ng p s w i t hd i f f e r e n t i a lt e c h n i q u e ，s oi ti sa b l et o a c q u i r ei m a g e so fu r b a nb u i l d i n g sa u t o m a t i c a l l ya n dg e n e r a t ed i g i t a lo r t h o p h o t om a p f o rb u i l d i n g s t h ep r e a d j u s ts t e pi sa p p l i e df o rt h eh a r d w a r ed e v i c e st oo b t a i nh i g h e rq u a l i t y i m a g e s ；a n dm o v i n gp a t hi sp l a n n e dt om a x i m i z ep r o d u c t i v i t y d i g i t a lo r t h o p h o t o m a p sa r eg e n e r a t e dw i t ht h ea c q u i r e di m a g e s i nc o m p a r i s o n w i t ht h ep r e c i o u sm e t h o d ， t h em e t h o di n t r o d u c e di nt h i st h e s i sb r i n g sg r e a ti m p r o v e m e n ti ne f f i c i e n c yw i t h o u t q u a l i t yr e d u c t i o n t e c h n i q u e sl i k ea u t og r o u pi m a g ew i t hg p sd a t a ( a g i g d ) ，a u t o i m a g ee n h a n c e m e n t ( a i e ) ，a u t of i n dg r o u n da x i sf r a m e ( a f g a f ) w e r e u s e dt o i m p r o v ee f f i c i e n c yo fs y s t e m ，a n da v o i di n c o n s i s t e n c yo fm a n u a lp r o c e s s a tt h ee n do ft h i st h e s i s ，w es h o wt h er e s u l t so ft h es y s t e ma n di n t r o d u c e dt h e e v o l u t i o na n dd a t aa c q u i s i t i o nl o g k e y w o r d s ：d i g i t a lc i t y , 3 dm o d e l i n g ，g p s ，g e o m e t r yc a l i b r a t i o n ，c o l o r c a l i b r a t i o n 浙江大学硕士学位论文图目录 图目录 图1 1 摄影测量方法的工作原理2 图1 2 系统组织结构图4 图1 - 3 由项视图抽象模型5 图1 4 规划所需采集的街道9 图1 5 采集行驶计划示意图1 1 图2 1 相机遮阳罩。15 图2 2l a d y b u 9 2 全景相机16 图2 3g p s 与倾斜传感器17 图2 4 系统固定框架。19 图2 5 安装了系统固定框架后的移动平台。2 0 图2 6 高分辨率c c d 相机的安装示意图。2 2 图3 1 校准白平衡软件的处理效果2 9 图3 2 白平衡迭代调整图。2 9 图3 3 调整相机光圈软件的运行界面3l 图3 4 调整对焦环前后的图像对比3 2 图3 5 高质量图像采集系统界面。3 3 图3 6 使用m u l t i s y n c 软件对相机进行同步3 4 图3 7 根据速度自动调节图像保存频率。3 5 图3 8 为车载采集设计的界面优化3 6 图4 1 三维点投影示意图。3 9 图4 2 校正镜头畸变前后的对比图。4 l 图4 3 基于g p s 信息对建筑物侧立面图像自动分类4 3 图4 4 使用等腰三角形构造基本视锥模型。4 4 图4 5 遮挡剔除示意图。4 5 图4 6 自动对图像进行增强。4 7 图4 7 经过自动白平衡处理的图像。4 8 图4 8 经过自动亮度调节的图像。4 9 图4 9 使用独立增强方法与非独立增强方法的对比5 1 图4 1 0 对序列进行自动定标的结果5 2 图4 1 l 坐标系错误导致自动拼图倾斜5 3 图4 1 2 在某个跟踪点附近所选取的直线段5 4 图4 1 3 方向矢量集合b 所包含的方向矢量5 5 图4 1 4 集合c 中的所有方向矢量5 6 图4 15 计算得到的海拔高度方向5 7 图4 16 图像序列的坐标系5 9 i v 浙江大学硕士学位论文 图目录 图4 1 7 获取的海拔高度方向结果分类示意图6 0 图5 1 系统所生成的模型1 6 l 图5 2 系统所生成的模型2 6 2 图5 3 系统所生成的模型3 6 2 图5 4 与e d u s h i t o m 的三维地图对比6 3 图5 5 系统采集图像对比。6 6 v 浙江大学硕士学位论文表目录 表目录 表1 1 高质量城市街景图像采集系统性能指标4 表1 2 街道的采集时间规划表。1 0 表1 3 采集行驶计划时间安排表1 1 表2 1 系统中使用的高分辨率c c d 相机1 4 表2 2 与c c d 相机所搭配的镜头参数1 4 表2 3 全景相机的主要参数15 表2 4g p s 的技术参数17 表2 5j p e ge x i f 规范中描述g p s 信息的字段2 5 v i 浙江大学硕士学位论文 第1 章绪论 第1 章绪论 1 1 课题背景 自2 0 世纪9 0 年代以来，虚拟现实技术一直是信息领域研究、开发和应用的 热门方向之一，所谓虚拟现实，就是让使用者沉浸在虚拟世界之中，犹如我们日 常生活的真实世界一样，给人以身临其境的感觉。 近年来，在虚拟现实之中还原日常生活的真实世界渐渐的成为虚拟现实研究 的一个主要方向，由于城市具有相对而言最密集的信息量，于是在虚拟现实中的 一个重要研究方向即为在虚拟现实中还原城市。在对城市建立三维模型的过程 中，需要对城市街区包含的大量建筑物进行三维建模；而随着城市化进程的日渐 加速，同时对于图像质量的要求也日益提高，因此对城市进行三维建模所需要处 理的数据量日益增大，传统的建模方法已经不能满足日新月异的城市发展。因此 如何快速而高质量的建立城市街区道路及其附近建筑物的模型已经成为一个越 来越需要解决的问题。 在建立建筑物三维模型的过程中，为了增强建筑物三维模型的真实感，常用 建筑物实拍图像作为模型的纹理贴图。传统方法使用数码相机拍摄建筑物侧立面 图像，或者使用直升机在空中对建筑物进行航拍，这些方法在拍摄速度与拍摄质 量上不能兼顾。因此对于支撑城市快速三维建模应用，一套能兼顾拍摄速度及图 像的拍摄质量的建筑物侧立面图像采集系统可以显著提升高质量城市快速三维 建模应用的效率。而在获取了高质量的建筑物侧立面图像之后，如何自动而快速 的将这些图像生成建筑物侧立面正射影像图- ，作为所生成的三维模型的纹理贴图 也是本文所需要关注的问题。 1 2 已有研究工作 为了设计面向支持城市快速三维建模的高质量图像采集处理系统，首先我们 1 利用相机的投影原理，将相机获取的图像投影到某一平面，以这种方式得到的图像称为正射影像图 l * a 砸 姥x镕1 $ 镕论 分析了当前常见的对城市进行三维建模理论和方法，列举如下； 1 、 人工交互建模方法：该方法使用3 d sm a x 等建模工具，人工构建建筑物的 几何模型，并利用p h o t o s h o p 等图像处理工具对采集得到的纹理数据进行编 辑处理，得到合适的纹理。人工交互建模虽然具有费时费力，效率不高的缺 点，但该方法依然是当前具有晟高实用性与可靠性的城市建模方式。 2 、 摄影测量方法：p h o t o m o d e l e r 等商业软件采用这种方法，该方法需要从各个 方向的视点对目标物体进行拍摄，得到各个视点所对应的图像，并在这衅陶 像上选取对应的点、线、面等信息，而后根据摄影测量学原理获取目标物体 的三维模型。该方法仍然需要进行大量的人工交互。图11 摄影测量方法的 工作原理简要描述了摄影测量方法的工作原理。 圈固因圆 圈11 摄影测量方法的工作原理 3 、利用硬件设备同时获取建筑物几何和纹理的方法：通过雷达或激光扫描仪获 取建筑物的三维信息，并利用这些信息建立模型，同时利用相机获得建筑物 侧立面纹理图像参见j i n h u i ”1 和z a k h o r 。1 。该方法能够得到精确的模型， 但采集设备较为复杂，因此采集系统往往造价很高同时这种方法拍摄图像 的效率较低，如果需要进行大规模的建模，需要很长的时问。 4 、 基于计算机视觉的三维重建方法：由m a r c p o l l e f e y s ”1 提出，这种方法能够自 动得到建筑物精细的三维模型，但自动生成的模型往往使用了过多的三角形 面片，在大规模城市场景的绘制过程中会较大的影响绘制的效率。 以上方法均己经较为广泛的得到使用，可以有效的对城市进行三维建模。一 般而言，现有的图像采集处理系统多采用方法3 ，即利用硬件设备同时获取建筑 浙江大学硕士学位论文第l 章绪论 物集合和纹理的方法。在使用这种方法的系统的采集过程中，经常使用g p s 作为 获取系统位置信息的工具，早在1 9 9 8 年，由j d w e i s s 4 1 提出g p s 与采集系统的 集成，而卢秀山等【5 】提出了使用g p s 、激光扫描仪及数码相机结合，建立一个多 传感器的采集系统。这套系统可以对目标建筑物自动而快速的建立三维模型。但 是这些自动建模系统基本上无法摆脱对于激光扫描仪的依赖。 1 3 本文的主要工作 本文提出一套面向于支撑城市三维建模，着眼于解决如何快速而高质量的获 取城市街区道路及其附近建筑物的侧立面图像，并将获取的建筑物侧立面图像快 速生成建筑物侧立面纹理的高质量采集处理系统，该系统使用高分辨率c c d 相 机与全景相机，并结合使用差分技术的高精度g p s ，对城市街区道路及其附近建 筑进行快速的图像采集，并在采集工作完成之后，对采集得到的图像进行自动图 像增强处理以获取观感更佳的图像，并依照系统中的g p s 获取图像位置与朝向数 据，对每张图像采集时所处的位置与相机朝向进行自动，依照所对应的建筑侧立 面自动分类，这些图像将直接在系统生成的模型中使用。 本采集系统采用高分辨率c c d 相机结合g p s 等各种传感器，使用视觉方法 取代传统使用的三维立体扫描仪等特殊昂贵的设备，从采集的图像序列中计算得 到城市街区道路及其附近建筑的高质量三维模型。本系统同时具有较高的扩展 性，可以导入数码相机采集的图像的e x i f 中包含的g p s 位置信息，系统将自动 使用这些信息来。在高分辨率c c d 相机之外，本系统同时集成了全景相机，在 原有图像基础上，提供了新的数据来源。 1 4 采集系统的整体架构 本采集系统主要由高精度差分g p s ( d g p s ) ，高分辨率c c d 相机( c a m e r a ) ， 全景相机( l a d y b u g ) ，倾斜测量仪，系统固定框架，系统控制器，以及移动平 台构成。图1 2 系统组织结构图展示了本采集系统的组织结构。 浙江大学硕士学位论文第l 章绪论 弼、m 删。姆蒜。国f 一 谭一i “猷 _ ll i i il i illihi 系统固定框架 系统控制嚣 移动平台 图1 2 系统组织结构图 1 5 采集系统技术指标 本系统可通过c c d 相机实时采集图像，可通过云台精确调节相机的拍摄角 度，可实时将采集数据保存至系统控制器，并支持车载式采集。本系统能达到的 性能指标如表1 1 所示： 表1 1 高质量城市街景图像采集系统性能指标 指标项指标值 采集速度 7 5 f p s 图像分辨率每台控制器总分辨率3 4 0 万像素 垂直可视角度 1 0 5 0 水平可视角度 9 0 0 最高行驶速度 4 0 5 k m h 持续采集时间6 0 小时 图像畸变不超过0 6 0 图像位置精确度 士0 1m 朝向精确度士0 0 5 0 工作温度o 4 5 度 4 浙江大学硕士学位论文第1 章绪论 1 6 相关工作 1 6 1 模型的抽象化技术 由于传统建模方法交互较多，不利于城市快速建模，因此对模型进行适当的 抽象可以提高建模系统的效率。r a n z i n g e rm 等【6 】及y o s h i d at 等【刀，提出了使用 长方体、三棱体等几何要素或者它们的组合对建筑物进行表达，而在本系统中， 则选用结合建筑物顶视图和建筑物侧立面图像序列的城市建模方法对城市街区 建筑物进行建模，这种城市建模方法经实践表明：对于大部分目标建筑都能获得 满足大规模场景绘制需求的三维模型。该方法由华炜等在专利阳1 中所述，其流程 图如图1 3 所示： 图1 3 由顶视图抽象模型 图中每步详述如下： 1 从航拍图像或城市规划图等建筑物的顶视图上提取建筑物的水平轮廓线，获 取每个水平轮廓线线段上每个项点的经度、纬度并记录下来。 浙江大学硕士学位论文第1 章绪论 2 对建筑物侧立面图像数据进行采集，并记录每帧图像采集时的摄像机位置与 镜头朝向。 3 对于每栋建筑物水平轮廓线上的每一条线段，通过自动对应得到的图像序列， 自动产生该水平轮廓线上的线段所对应的建筑物侧立面的正射影像图。 4 对于每个建筑物水平轮廓线上的每一条线段，从建筑物侧立面图像数据中自 动选取图像序列，使其所拍摄的内容完全包含该水平轮廓线线段对应的建筑 物的侧立面。 5 在对应于建筑物水平轮廓线中所包含的每条线段所对应的建筑物侧立面的正 射影像图上，提取建筑物的侧立面轮廓线，并记录水平轮廓线上顶点的空间 位置坐标，用经度、纬度和高度表示。同时保存水平轮廓线上每个顶点在正 射影像图上的象素位置坐标，称为该顶点的纹理坐标。 6 将每个建筑物的所有侧立面轮廓线和水平轮廓线的顶点进行连接，形成三维 的多边形网格模型，并且模型的每一个立面都有正射影像图作为纹理。 通过如上步骤，使用建筑物的水平轮廓线对建筑物三维模型进行了合理的抽 象化，并提供了对生成的三维模型添加纹理的手段。经实践证明该方法确实有效。 1 6 2 摄像机定标算法 由于在系统的采集过程中，一张图像往往不能覆盖建筑物的全部侧面，因此 需要使用多张图像进行拼接以得到建筑物的完整侧面。为了增加这个工作的自动 性，我们使用摄像机定标算法来自动获取每张图像所拍摄的时刻的摄像机投影矩 阵，以便对图像进行自动的拼接。 本系统使用由章国锋等提出的摄像机定标算法阳1 ，该算法可以自动而快速的 求得每张图像所对应的摄像机投影矩阵，并计算出图像序列中的跟踪点，该方法 摘要如下： 1 构造关键帧序列：在对图像序列进行摄像机跟踪的时候，首先需要选取图像 序列的关键帧，用以对图像进行精炼的表达，其步骤如下： 幻使用s i f t 算法【1 0 】对图像进行特征匹配，首先对视频序列上的每一帧图像 6 浙江大学硕士学位论文 第l 章绪论 分别独立抽取图像所包含的特征点，然后再依据极线约束方程公式( 1 1 ) ， 逐一对每帧的特征点进行匹配。 “；e 2 = 0 公式( 1 1 ) 其中“。和甜2 分别为两张图像上的匹配点坐标，e ：为基础矩阵。然后使用 随机采样一致性删s a c ) 方法【1 1 】来剔除错误的匹配点。 b ) 使用旋转参数 ，= 帆，吃) 、位移向量= 【f 髓，o ，t 拓) 及焦距参数z 来表 k，=z0呈c；y00 公式c ，2 ， ，= l ， l 公式( 1 2 l 1 l 其中k ，c ，) 是图像的中心。每个特征跟踪点所代表的三维点 z ，= g 。，x ：，x ，1 ) 在每帧图像上的投影表达式为公式( 1 3 ) 2p , x j = k j ( 墨it ，) x j 公式( 1 3 ) 其中只为射影矩阵，为x j 在第f 帧的位置。 c ) 选取关键帧 浙江大学硕士学位论文第l 章绪论 2 在生成了关键帧序列之后，将对关键帧序列的结构和运动生成初始解，并将 其从射影空间转换至欧氏空间： 曲初始帧的选取 选取初始帧可以依据如下原则进行：首先两帧之间应该具有足够多的特 征跟踪点，其次两帧之间的焦距应该尽可能的接近，再者两帧之间应该 保持一定的距离，即基线不能太短。 在初始求解的时候，一般采用三帧关键帧对初始求解结果进行估算。一 般来说，先在步骤1 中获取最佳关键帧子序列，再从该关键帧子序列中 选取最佳的一组，作为初始化求解的估算依据。 b 1 从射影空间到欧氏空间的变换 在选取最初的三帧初始帧的同时，这三帧的摄影矩阵与内参矩阵k 的估 计值也同时被恢复。首先在射影空间下对这三帧进行集束调整【17 】，以获 取更为精确的射影矩阵和重建出的三维点。最后均匀抽取关键帧与其他 帧，求解出选取的帧的射影矩阵，并使用射影矩阵进行自定标【1 8 】，自定 标完成后，即可在欧氏空间中得到恢复的三维结构与摄像机运动参数。 3 基于关键帧的定标 在2 中我们得到了合适的三个连续关键帧，并得到了欧氏空间的初始三 维结构与摄像机运动参数。接下来我们逐步增加关键帧，并对整个关键帧序 列进行求解。当所有关键帧都求解后，也同时得到了在欧氏空间中所有跟踪 点的位置，因此可以精确的解出其他非关键帧的摄像机参数。 1 6 3 规划采集路线 规划移动平台运行的路线包括如下几个步骤：首先选择需要采集的道路，并 列举每段道路适合采集图像的时间，最后依据需要采集的区域及可用于采集的时 间制定出采集的路线，采集的路线应该做到尽可能少的避免重复与不必要的浪 费。 1 6 3 1 选择所需采集的街道 m 太学目学位论文 i $ 镕* 选择所需要采集的路线的工作通过g o o g l ee a r t h 完成，首先选择所需要采集 的区域，然后使用绘图工具勾画出所需要采集的街道。一般而言，所需要采集的 街道应包括城市的所有主干道，如图】4 所示： 图1 4 规划所需采集的街道 在规划完成所需要采集的街道后，就可以开始计算每段街道所需采集的时 间，这些时问将用于对路径规划的袂策。 1 6 3 2 计算每段街道所需采集时间 在确定了需要采集的街道后，需要对这些街道的采集距离、采集所需时问及 可进行采集的时间进行规划。进行东西向来集的时候，如果镜头直接对着阳光会 导致相机h 现纵向的亮斑，影响采集效粜，因此在实际采集的过程中应该避开这 螳时间对这些方向的数据进行采集，街道的采集时间规划表如表12 所示。 浙江大学硕士学位论文第1 章绪论 表1 2 街道的采集时间规划表 路名起始结束距离时间拍摄方向上午 下午 ( k i n )( m i n ) 石祥路莫干山路石桥路 8 8 3 0南北 大关路沈半路莫干山路石祥路 4 62 0南北 潮王路莫干山路中河路 2 315南北 文晖路天城路莫干山路秋涛路 4 83 0南北 天目山路环城北路 莫干山路新塘路 5 22 0南北 曙光路体育场路玉泉路凯旋路 73 0南北 风起路保傲路新塘路 5 62 2南北 庆春路环城西路钱江路 5 52 2南北 解放路延安路之江路 5 22 0南北 西湖大道南山路中河路 1 87南北 清江路环城东路之江路 3 61 5南北 望江路中河路之江路 31 2南北 莫干山路环城西路体育场路庆春路 1 57东西 西东 南山路 解放路 西湖大道o 8 5东西 西东 延安路体育场路 西湖大道 2 82 0东西 西东 浣纱路庆春路西湖大道 1 41 0东西 西东 上塘路中河路 建国路东新路清江路石祥路 94 0东西 西东 环城东路绍兴路清江路莫干山路 11 85 0东西 西东 凯旋路机场路 解放路石桥83 5东西西东 秋涛路石桥路清江路石祥路 1 45 0东西 西东 新塘路钱江路艮山路 3 21 3东西 西东 钱江路庆春路中河路 62 5东西西东 富春路清江路 2 81 2东西 西东 之江路三新路中河路 7 23 0东西 西东 在列出街道的采集时间规划表后，可以依据该表对采集路线进行规划。 1 6 3 3 制定采集路线 对于采集路线的规划，需要注意以下几点：首先是对于各种天气情况下的采 集时间，如果是阴天，那么可用采集时间会比较短，一般上午九点到下午三点半 可以用于采集；而如果是晴天，那么需要将采集东西朝向的建筑物侧立面的任务 进行合理规划。使得每次采集得到的图像质量最佳。图1 5 是一次对采集的规划： 1 0 囤l5 采集行驶计划示意图 图15 所对应的行驶计划如表13 所示 表i3 采集 亍驶计划时间安排表 距离时间 路名起始结束方向 r k m 、 ( m i n _ l 环城北路环城西路环城东路3 11 0东 环城东路环城北路体育场路o52南 体育场路环城东路环城西路3 11 0西 环城西路体育场路 凤起路 0 93南 风起路环城西路环城东路3 i1 0东 环城东路风起路庆春路o73南 庆春路环城东路 环城西路2 81 0西 西湖隧道庆春路解放路13南 解放路环城西路环城东路2 38东 】7 55 9 浙江大学硕士学位论文第l 章绪论 在采集的时候，移动平台只需简单的按照表1 4 所指示的路线行驶，即可采 集到所需要的数据。 1 6 4 小结 为了实现面向城市快速三维建模的高质量图像采集系统，我们需要将各种现 有技术进行高效的组合，将它们集成为一个统一的系统，并需要对速度和质量这 两个相互影响的需求进行平衡。 1 7 本文的组织结构 本文其余部分组织结构如下： 第二章：采集系统硬件。本章主要介绍了构成采集系统的硬件，及将这些硬 件组成一个统一的系统的方式，以及采集系统与其他图像采集方式的集成。 第三章：采集系统软件。本章是本文重点之一，主要介绍了采集系统用于采 集准备与采集过程的软件。包括对得到更高质量的图像对采集系统所做的预调整 以及在采集过程中对设备所进行的优化。 第四章：采集后处理。本章是本文重点之一，主要介绍了如何将采集得到的 图像导入数据库，而后自动对对应建筑物的每个侧立面快速生成建筑物的高质量 侧立面正射影像图。并介绍了本系统中使用的关键技术，包括自动基于g p s 信息 对图像进行快速分类，自动图像增强算法，以及寻找图像序列中的海拔高度方向。 第五章：总结与展望：本章对本文所做工作做了一般性总结，并提出了未来 工作的重点和方向，还介绍了系统的演化过程与系统的采集记录。 1 2 浙江大学硕士学位论文第2 章采集系统硬件 第2 章采集系统硬件 2 1 概述 采集系统的硬件如按照功能划分，可以分为两部分，一部分的主要功能为采 集图像数据，而另外一部分的主要功能为采集实时位置信息与姿态信息。这两个 部分结合在一起，便组合成了采集系统。 在采集图像数据部分，本系统中用于实时采集图像的设备包括c c d 相机、 全景相机，它们均通过1 3 9 4 b 端口连接至系统控制器，在这一部分，我们使用云 台以精确调节相机的拍摄角度，摄取的图像将自动传送到系统控制器并实时保存 下来。为了实现多台同时采集的系统控制器之间的时间同步，系统中采用千兆网 交换机用以传送系统控制器的控制信息及同步信息。 而为了获取位置信息与姿态信息，系统中采用高精度差分g p s 提供精确的实 时系统位置，并使用g p s 系统中两组小盘天线的相对位置，实时定位出移动平台 的运行姿态，在此之外，还通过倾斜测量仪获取两组天线所连成的轴的旋转状态。 高精度差分g p s 及倾斜测量仪将通过r s 2 3 2 端口连接至系统控制器。 2 2 采集系统硬件构成 2 2 1 高分辨率c c d 相机 高分辨率c c d 相机是本系统的主要图像获取装置，高分辨率c c d 相机将自 动采集建筑物的侧立面图像，并通过1 3 9 4 b 端口与系统控制器连接，自动将采集 得到的图像发送至系统控制器。连接至同一台系统控制器的所有高分辨率c c d 相机将自动通过1 3 9 4 b 端口进行快门同步。 系统中所使用的高分辨率c c d 相机参数如表2 1 所示： 1 3 浙江大学硕士学位论文第2 章采集系统硬件 表2 1 系统中使用的高分辨率c c d 相机 型号像素c c d 面积 最大分辨率 p o i n t g r e yf l 2 - 2 0 s 4 c c 2 0 0 万 1 1 8 1 6 2 4 x 1 2 2 4 7 5 f p s p o i n t g r e yf l 2 - 14 s 3 c - c 1 4 0 万1 2 ” 1 3 9 2 x 1 0 3 2 1 5 f p s 在选择合适的高分辨率c c d 相机的同时，还需要采用相应的广角镜头与相 机配合拍摄建筑物侧立面图像。虽然过多的垂直拼接会引入拼接误差，但是如果 选择鱼眼镜头进行拍摄，则会导致拍摄得到的图像过度扭曲，这样的图像无法恢 复摄像机参数，而且也无法作为建筑物的侧立面纹理。因此在本系统中采用两个 高分辨率c c d 相机进行垂直拼接，与相机所搭配使用的镜头参数如表2 2 所示： 表2 2 与c c d 相机所搭配的镜头参数 型号焦距咐父举成像尺寸视角 8 2 4 ( h ) x 6 6 9 ( v ) k o w al m 3 n c m3 5 m m0 4 0 最大1 2 ” 1 2 ” 6 5 2 ( h ) x 51 3 ( v ) k o w al m 5 j c m 5 m m0 6 0 最大2 3 ” 1 2 由于k o w al m 3 n c m 镜头的最大成像尺寸为1 2 ”，因此如果使用k o w a l m 3 n c m 镜头与c c d 面积为1 1 8 ”的p o i n t g r e yf l 2 2 0 s 4 c c 搭配，会导致采集 的图像出现暗角，因此本系统中采用k o w al m 5 j c m 镜头搭配p o i n t g r e y f l 2 2 0 s 4 c c ，用于采集建筑物下方的图像；而k o w al m 3 n c m 镜头则用于搭配 p o i n t g r e yf l 2 14 s 3 c c ，用于采集建筑物上方的图像。 为了更好的让高分辨率c c d 相机工作于室外，我们为其加装了如图2 1 所示 的遮阳罩，以避免日光直射造成相机温度过高，这样可以保证相机具有更长的使 用时间。 1 4 * * 女 图2 1 相机遮阳罩 2 2 2 全景相机 由于在一次采集之中，除高分辨率c c d 相机所能获取得到的高质量建筑物 侧立面图像之外，我们还希望能同时获取拍摄时刻的城市街区道路全景图像，这 些圈像可以用于验证最后的正射影像图拼接结果，以及用于城市实景展示等。在 本采集姓理系统中，我们使用l a d y b u 【吐全景相机对城市街道的实景图像进行采 集，l a d y b u 醇全景相机见图2 2 ，l a d y b u 配全景相机的主要参数如表2 3 所示： 表2 3 全景相机的主要参数 c c d 型号 s o n y08 m p l 3 i c x 2 0 4 分辨率 1 0 2 4 ( h ) 7 6 8 ( v ) 帧率j p e g3 0 f p s 未压缩1 5 f p s 镜头焦距25 r a m 功耗1 2 w 体积 】0 0 x 1 1 0 x 1 3 1 m m ( w x l x h ) 重量 1 1 9 0 9 目 圈2 2l a d y b u 醇全景相机 在系统中，全景相机的头部( 用于采集图像) 装置于固定框架之上，而图像 处理器装置于移动平台之中，这两部分之间通过光纤相连，而相机的图像处理器 通过1 3 9 4 b 端口与系统控制器连接，以快速而高效的采集全景图像。 2 2 3 高精度差分g p s 及倾斜传感器 由于我们需要稳定而高效地从拍摄的图像序列中提取出城市建筑的三维信 息，因此如何准确而高速获取每帧图像拍摄时的空间位置、朝向、仰角等外部参 数是一个需要解决的问题。在本采集处理系统中，我们通过如下方式获取这些信 息：首先通过g p s 获取拍摄时高分辨率c c d 相机的空间位置、朝向、仰角等其 外部参数，然后在采集结束后使用带有时间戳的g p s 数据的以及带有时间戳图像 数据，经过计算得到每帧图像拍摄时的空间位置、朝向、仰角参数。 本系统中采用t r l m b l cs p s 5 5 1 + s p s 5 5 l h 获取空间位置、朝向等信息。 # 2 $ 集系统硬# 图2 3 g p s 与倾斜传感器 其中t f i m b l e 5 5 i 与g a 5 1 0 小盘天线配合，用以获取小盘天线的空间位置， 而t r i m b l e 5 5 i h 也连接g a 5 l o 小盘天线，用l = 上获取两个小盘天线之间的水平及垂 直夹角。这套g p s 系统的技术参数在表2 4 中列出。 表2 4 g p s 的技术参数 码分定位： 水平：o2 5 m + 1p p m r m s 垂直：05 0 m + 1p p mr m s 定位精确度 本地r t k 定位： 水平：00 7 m + i p p m r m s 垂直：00 7 m + ip p m r m s 朝向精确度0 , 0 5 。r m s f 天线距离1 0 米1 工作时间l5 小时 体积 2 4 0 x 1 2 0 x s c m ( l x w x h ) 重量15 5 0 9 通过高精度差分g p s ，高质量图像采集系统的位置及运行方向被实时的获取 并记录下来，这些数据将对图像的处理起着非常重要的作用。 浙江大学硕士学位论文 第2 章采集系统硬件 而由于高精度差分g p s 所提供的信息中，当系统固定框架绕g p s 的两组天 线所连成的轴旋转的时候，旋转角度无法通过g p s 得到。因此我们采用倾斜传感 器来获取该轴的旋转信息。 本系统的倾斜传感器采用航天长城的l e 3 0 双轴倾角传感器，该传感器的数 据输出速度为3 h z ，测量范围为双轴士1 5 0 ，分辨率为士0 0 0 1 0 。倾角传感器将实时 输出双轴的倾斜角度，并通过r s 2 3 2 接口将实时倾斜角度发送至系统控制器。 2 2 4 系统固定框架 图像采集系统在安装至移动平台上之前，首先要安装至系统固定框架上，用 以整体安装至移动平台上。系统固定框架为一块铝板，其上方安装云台( 用以固 定高质量c c d 相机) 、g p s 天线以及全景相机，而用以将系统固定框架与移动平 台连接的结构则安装于系统固定框架的下方。 系统固定框架上安装的云台选用m a n f r o t t 0 4 1 0 齿轮式云台，该云台上的三个 旋钮可以方便的对相机的朝向进行细微的调整，而且可以方便的从刻度盘读取云 台的三轴所旋转的角度。 为了保证系统固定框架上安装的所有云台均可以自由的旋转，也为了使得所 有的c c d 相机采集得到的图像均不受其他的c c d 相机遮挡，经过测量，如果使 得每两个云台之间的距离至少为2 4 c m ，而且按照指定的方式安装云台，可以让 云台能够自由转动，而且相机之间不受遮挡。 图2 4 展示了用于固定两组高质量c c d 相机，立体相机以及一个g p s 天线 的固定框架，这组框架可以用于c c d 相机以及立体相机的协同采集，并获取准 确的g p s 位置数据信息。 1 8 * 学学位谁z* 2 $ 采$ 统目件 _ _隆， j 碱2 。盐 益1 一 鼯_ i 嚣 溯 -_ 镧 。、1 i 隧 1 ， 折 $ i第2 $ 录塑系r 件 较长的平坦空间用于安装图像采集装置，而且内部空间较大，可咀安放系统控制 器等采集装置以及便于未来扩展。车身应尽量高，尽量减少被其他车辆遮挡的可 能性，同时为了整个系统的经济性出发，移动平台的油耗不能过大。 结台如上情况，最后本系统选用了奇瑞公司生产的开瑞优翼作为移动下台。 它的车厢空间为3 0 0 0 l ，为同价位车中最大，并且车项平坦，便于安装图像采集 装置，车高l8 5 5 m m 不容易被其他车辆遮挡而且油耗合理。图25 为安装了 系统固定框架后的移动平台。 幽2 5 安装了系统固定框架后的移动平台 2 2 6 系统控制器 由于系统中存在多个产生数据的传感器，因此需要一个设备将这些传感器组 合为一个整体。在本系统中使异j 系统控制器来将这些佶感器进行相互连接，系统 控制器是采集系统中的关键部件，它的任务足接受各个采集传感器，如c c d 相 机、全景相机、高精度差分g p s 、倾斜传感器等所采集的数据，并实时将数据记 录至系统控制器所内置的存储器中。在本系统中，采用t h i n k p a d1 4 0 0 笔记本作 为系统控制器，该笔记本可以安装两块硬盘，以便存储更多的图像数据：而且具 浙江大学硕士学位论文第2 章采集系统硬件 备较高的性能及稳定性；同时笔记本还可以连接扩展坞以提供r s 2 3 2 接口的扩 展，经测试该笔记本可以同时与五个使用r s 2 3 2 接口的设备进行连接。 2 2 7 其他 图像采集系统硬件还包括电源逆变器、各种连接线缆及其他图像采集设备 等，如带g p s 功能的数码相机，这些设备在采集系统中均为不可缺少的组成部分。 2 3 采集系统硬件安装 为了将如上的硬件有机的组成一个可用的系统，我们需要对这些硬件进行连 接，使得它们可以各司其职，发挥自己的作用。 2 3 1 相机布置及仰角调节 依据城市道路设计规范( c j j3 7 9 0 ) ，当城市道路的设计速度大于等于4 0 k m h ， 行车道宽度即为3 7 5 m 。城市街区道路一般单向设置2 3 条行车道，加上人行道、 绿化带以及停车位等，可以认为相机镜头与拍摄对象之间的水平距离约为 1 0 2 5 m 。 在本系统中，相机安装高度为1 8 m ，使用k o w al m 3 n c m 与p o i n t g r e y f l 2 1 4 s 3 c c 相机组合，具有6 6 9 。的垂直视角，而k o w al m 5 j c m 镜头与 p o i n t g r e yf l 2 2 0 s 4 c c 相机组合，具有5 1 3 。的垂直视角。因此对于高层建筑， 使用单个相机进行拍摄，无法拍摄完整的侧立面图像。 因此本系统中采用多个高分辨率相机同时拍摄同一建筑物，这些相机之间进 行快门同步，并对同一时刻拍摄得到的图像进行拼接。 在本采集系统中，使用两个相机对同一立面同时进行采集，一个相机拍摄建 筑物的上部，另一个相机拍摄建筑物的下部。由于建筑物下部的细节较为丰富， 因此在本采集系统中，拍摄建筑物下部的相机使用k o w al m s j c m 镜头与 p o i n t g r e yf l 2 2 0 s 4 c c 相机组合，而拍摄建筑物上部的相机使用k o w al m 3 n c m 与p o i n t g r e yf l 2 1 4 s 3 c c 相机组合。经过测量，这两个相机的组合具有1 1 8 2 。 的垂直可视角度。图2 6 高分辨率c c d 相机的安装示意图，图中两个相机之间 2 1 浙江大学硕士学位论文第2 章采集系统硬件 留出了约为1 0 。视角的上下拼接缝隙。按照这样的方式安装相机，不会使得相机 之间互相遮挡。 3 5 9 0 + 2 介6 5 夕 、 一i 5 一2 i 一 图2 6 高分辨率c c d 相机的安装示意图 2 3 2 获取设备之间的相对位置 由于g p s 天线和c c d 相机的空间位置不重合，因此通过g p s 获取的位置需 要加上一个三维偏移量之后才能作为c c d 相机的位置，在这一节中我们将介绍 如何通过精确测量的方式获取这个三维偏移量。 我们通过i m m e r s i o n 公司生产的m i c r o s c r i b em x 手动三维数字扫描