（光学工程专业论文）双目ccd光电成像测量系统研究.pdf

硕士论文双目c c d 光电成像测量系统研究 摘要 本文以航天空间交会对接应用为目标，研究对接技术中目标器和追踪器在逼近阶 段相对距离和相对姿态的实时测量问题。 文中首先介绍了交会对接测量技术的发展趋势，比较各种技术的特点。接着详细 地阐述了c c d 光电成像测量系统的双目测量工作模式来完成光学测量的原理，从理 论上给出求解方法的证明过程，然后根据立体透视投影模型原理推导了目标器相对位 置、相对姿态的求解方法。 在讨论位置、姿态测量中涉及到的求解投影矩阵问题上，论文定义了追踪器上的 三种坐标系和目标器上的二种坐标系以及坐标系之间的转换关系，然后由摄像机内、 外部参数推导出了投影矩阵。求解投影矩阵必须先进行摄像机标定，因此先分析对比 了各种摄像机标定技术的优劣后，对选取的t s a i 摄像机标定方法，先透彻讲述了其 算法核心及标定过程，接着在不同距离进行多次标定，得出摄像机内外部参数。利用 图像采集卡提供的s d k 编制了图像采集以及图像预处理功能的实用程序，再运用模 式识别中对特征区域的聚类分析标记了摄像机模板图像和目标器图像特征区域，从而 来获得图像的有效信息为位姿计算提供了数据。而后利用c + + 语言程序实现了双目视 觉测量系统的相对位置、姿态测量的算法仿真。 最后，先对成像测量系统进行精度分析，得出了在建立整个视觉系统中必须注意 的影响元素之后，在原有目标器测量实验平台的基础上，对整个实验系统样机化，建 立原理样机，并通过样机在不同的距离进行多次测量，得出比较准确的结果，验证了 整个思路的可行性。实验证明该方法能够达到测量目的，满足了将双目视觉原理应用 到空间对接中测量的预期想法。 关键字：空间对接，双目视觉，成像测量系统，位姿测量，原理样机 a b s t r a c t 硕上论文 a b s t r a c t t h i sp a p e ri sa r r a n g e du n d e rt h ea p p l i c a t i o no fs p a c e c r a f tr e n d e z v o u sa n dd o c k i n g ( r v d ) t e c h n o l o g i e s o u rp u r p o s ei st os o l v et h er e a l t i m em e a s u r e m e n to f r e l a t i v ep o s i t i o n a n dr e l a t i v ea t t i t u d eb e t w e e no b j e c t i v ea n dt r a c k i n gd e v i c e s ，w h e nt h e ya r en e a r b y i nt h ed i s s e r t a t i o n ，w ef i r s t l ye l a b o r a t et h eo p t i c a lm e a s u r e m e n tp r i n c i p i u mb a s e do n b i n o c u l a rs t e r e ov i s i o ns y s t e m ，t h e np r o v et h ef e a s i b i l i t yo ft h i sm e t h o di nt h e o r y s e c o n d l y , t h et h e o r e t i c a ld e r i v a t i o no fr e l a t i v ep o s i t i o na n dr e l a t i v ea t t i t u d ew i l lb ep r e s e n t e d w h e nd i s c u s s i n gt h es e t t l e m e n to fp r o je c t i o nm a t r i xi np o s i t i o na n da t t i t u d e m e a s u r e m e n t ，w ed e f i n ef i v ec o o r d i n a t es y s t e m sa n dd e s c r i b et h e i rr e l a t i o n s h i p ，t h e n o b t a i nt h ep r o j e c t i o nm a t r i x 舶mc a m e r a si n t e r n a la n de x t e r n a lp a r a m e t e r s b e f o r et h a t p r o c e d u r e ，w ea n a l y z ea n dc o m p a r es e v e r a lc a m e r ac a l i b r a t i o nt e c h n o l o g i e s ，a n dc h o o s ea m o s ta p p r o p r i a t eo n ef o ru s e i t sa l g o r i t h mc o r ea n dc a l i b r a t i o np r o c e d u r ei sp r e s e n t e d 嬲 f o l l o w i n g 、聃mt h eh e l po fi m a g eg r a b b e rs d k , w ep r o g r a mt h eu t i l i t i e st oc o m p l e t et h e f u n c t i o no fi m a g ec a p t u r ea n di t sp r e t r e a t m e n t u s i n gt h em e t h o do fc l u s t e ri np a t t e r n r e c o g n i t i o n ，t h ef e a t u r ea r e ao fc a m e r ac a l i b r a t i o nm o d u l eb o a r di m a g ea n do b j e c t i v e i m a g e c a nb et a g g e d ，a n dt h e i re f f e c t i v ei n f o r m a t i o nc a nb ec a l c u l a t e da n dr e c o r d e d ，w h i c h i sc r u c i a lf o rt h ef o l l o w i n gc o m p u t a t i o n a tt h ee n d ，w ee m u l a t et h ea l g o r i t h mf o rt h e m e a s u r e m e n to fr e l a t i v ep o s i t i o na n dr e l a t i v e a t t i t u d eb yu s i n gc + + l a n g u a g ei nt h i s e x p e r i m e n t l a s t ，f a c t o r sw h i c ha r ee s s e n t i a lt ot h ew h o l ev i s u a ls y s t e mh a v eb e e no b t a i n e db y a n a l y z i n gi m a g i n gm e a s u r e m e ms y s t e m t h e n ，t h ep r i n c i p l es a m p l em a c h i n eh a sb e e n e s t a b l i s h e da n dp u tu s et om e a s u r i n gd i f f e r e n td i s t a n c e c o n s e q u e n t l y , c o r r e c tr e s u l t sh a v e b e e no b t a i n e da n dt h ef e a s i b i l i t yo fm e t h o di sp r o v e d t h i sm e t h o di sa b l et om e a s u r ea n d s a t i s f i e dt ot h ee x p e c t e da s s u m eo fs p a c ed o c k i n gm e a s u r e m e n tb ye x p e r i m e n t s k e yw o r d ： r e n d e z v o u sa n dd o c k i n g ，b i n o c u l a rs t e r e ov i s i o n , i m a g i n gm e a s u r e m e n t s y s t e m ，p o s i t i o na n da t t i t u d em e a s u r e m e n t ，s a m p l em a c h i n e 声明 。 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 泖矿年占可d 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： 硕士论文双目c c d 光电成像测量系统研究 1 绪论 1 1 课题的研究背景 神舟六号载人飞船的成功发射和圆满回收，实现了中国载人航天的历史性突破， 标志着祖国的航天事业又取得了一个具有里程碑意义的伟大成就，为我国载人航天工 程的持续发展奠定了坚实的基础。 建立长期在轨运行的空间实验平台、开展有人照料的空间科学和技术实验是我国 载人航天工程的后续目标，作为天地往返运输系统的载人飞船，必须具备与空间实验 平台进行人员和物资交换的能力。因此构建这样的空间工程系统，必须首先突破空间 飞行器在轨交会对接技术。对两个航天器之间相对位置、相对速度及相对姿态的精确 测量是实现交会对接的技术关键之一。交会对接简称为r v d ，它是r e n d e z v o u sa n d d o c k 的英文缩写。实际上它包含着交会和对接两方面的内容。 交会( r e n d e z v o u s ) 是指两个航天器在交会轨道上相互接近的过程。其中一个航 天器为追踪航天器，如载人飞船或航天飞机，一般情况下追踪航天器为主动方，并装 有主动测量设备。另一个航天器为目标航天器，如空间站、留轨舱等，目标航天器通 常为被动方，并装有合作目标，如雷达应答机、光学的角反射器等。当两个航天器接 近到满足对接机构实施对接的初始条件时，其交会过程即结束。 对接( d o c k i n g ) 是指当两航天器接近到满足对接机构实施对接的初始条件时， 对接机构在特定的指令下完成相互耦合和刚性密封连接的过程瞄】。 两航天器交会对接一般采用分段控制方法，如图1 1 所示： 发射点 入射点 7 7 k m 4 0 k m1 0 4 0 01 5 0 m3 0 0 m0 m 一2 5 k mmn lk m 1 iiii l iii li 旧 时 追踪 卜日照区一 眶 航天 岛 器上 远距离导 升段 r 卜距辅i 段。i 逼近段1 i 。l 。l 1 r 7 j 1 7 1 1 靠拢7 r 联合7 1 1 撤离7 r 准各返回 和对飞行段 和返回段 接段段 图1 1 交会对接飞行阶段划分示意图 其过程分为追踪航天器上升( 发射) 段、远距离导引段、近距离导引段、逼近段、 l 1 绪论硕十论文 靠拢和对接段、联合飞行段、撤离段、准备返回和返回段。 追踪航天器上升段：从追踪航天器和运载火箭组合体起飞至追踪航天器与运载火 箭分离入轨。 远距离导引段：从追踪航天器入轨至追踪航天器捕获到目标航天器( 相距约 7 7 k m ) 为止。 近距离导引段：从追踪航天器和目标航天器相距约7 7 k m 4 0 0 m 为止。 逼近段：追踪航天器和目标航天器相对距离从4 0 0 3 0 m 。 靠拢和对接段：两航天器由相距3 0 m 到对接机构合拢为止的飞行段。 联合飞行段：从两航天器完成对接开始到完成联合飞行任务，两航天器实现分离 为止。 撤离段：从两航天器分离至相距约2 5 k m 为止。 准备返回和返回段：从两航天器分离后相距约2 5 k m 开始追踪航天器经轨道机动 制动返回着陆为止。 在整个航天器交会对接技术研究中，本课题是空间交会合作目标自主探测装置研 究的分解课题。旨在当目标器与追踪器相距3 0 0 m 之内，即进入逼近阶段时，对追踪 器与目标器的相对位置、相对姿态等信息进行精确的测量，来提供给导航和动力控制 系统控制对接。 交会对接测量技术发展趋势 ( 1 ) 微波交会雷达是一种被普遍采用的测量传感器，自2 0 世纪6 0 年代至今近4 0 年的实践考验，技术成熟，在今后仍是一种非常可靠的测量手段。随着微波雷达技术 及电子器件的发展，使用的工作频率逐渐提高，由l 波段、s 波段、c 波段向k u 波 段及毫米波频段发展。 ( 2 ) 激光雷达以其波束窄、分辨率高、测量精度高等优点，受到各国科学家的重 视。尤其是半导体激光器使用后，激光雷达技术达到了比较成熟的阶段，逐渐被用到 空间交会对接系统中，但应用比较多的是激光测距机。 ( 3 ) c c d 光学成像测量传感器是一种高智能的测量技术，在图像工程学中把c c d 光电成像测量技术，称为计算机视觉技术。由于它体积小，质量小，功耗小，能精确 测出两航天器之间的相对位置和姿态，在空间交会对接的最后逼近段和对接段得到了 广泛应用。随着信息处理技术的发展，其应用范围会更加广泛。c c d 光电成像测量 系统到目前为止尚未形成统一的工作模式。应用比较多的主要有三种模式，它们分别 是：双目测量工作模式、单目测量工作模式以及复合测量工作模式。 ( 4 ) p s d 位置传感探测器，是2 0 世纪8 0 年代后期出现的一种非接触式测量传感 器。由于其具有位置分辨率高、光谱响应宽、电路简单、测量精度高等优点，发展很 2 硕士论文 双目c c d 光电成像测量系统研究 快，在交会对接的逼近段和对接段是一种可用的传感器，但尚未看到具体应用的实例。 ( 5 ) g p s g l o n a s s 全球定位系统具有全球覆盖、全天候、多功能、实时等优点， 在交会对接中得到广泛应用。它在美国、日本以及欧空局研究的测量系统中已占主要 地位。 ( 6 ) 采用多传感器分段测量是主要的一种测量方法，各种传感器获得的信息能综 合利用，可以大大地简化测量设备，改善系统性能和提高可靠性。这是交会对接测量 技术很重要的发展方向和研究内容【2 】。 本文主要对c c d 光电成像测量系统的双目测量工作模式及其算法进行研究。 1 3 论文主要研究内容 ( 1 ) 研究了机器视觉中双目立体成像原理，并着重对系统结构参数、图像识别误差与 系统测量精度的关系进行分析，提高测量的精度。 ( 2 ) 对选定的t s a i 标定算法进行进一步的研究，提高速度，减少运算量。 ( 3 ) 对原来软件设计程序进行考核，并重点对其中的一些图像处理算法进行研究，为 标定模板图像和目标器图像特征提取做了充分准备。 ( 4 ) 建立更有效的双目立体视觉模型，能更充分地反映立体视觉不确定性的本质属 性，为匹配提供更多的约束信息，降低立体匹配的难度。 ( 5 ) 对整个实验系统样机化，建立原理样机，强调场景与任务的约束，针对不同的应 用目的，对目标器的距离和姿态角进行测量。 3 2 双目w m 4 量的技术j 础 顺l 沦空 2 双目视觉测量的技术基础 2 1 测量信号流程 汁算机视觉技术是把c c d 摄像机比做人的眼睛，进行图像处理数据分析计算的 计算机比做人的大脯。从看到的二维图像，用计算机( 或专用的信号处理器) 去完成 对三维目标景物的理解。整个测量过程中的信号流程可用图21 所示 2 ： 正变换 ，( _ y ，z ) 1 ，( ，) 运动参数 c c d 光学成像测量系统 i l - ，- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 一 逆变换 m n 图2 1 信号流程示意幽 宅问运动着的：维目标体经c c d 摄像机转换为二维图像，图像中古有丰富的信 息，每一像点的亮度反映了甘标相应物点的反身f 光强度。而像点在二维图像中的位置 又反映了目标物点在= 三维空f a j 中的位置。如粜把三维运动目标体转变为二维图像的变 换称为正变换，而山一维图像求运动日标在空问的位置技运动参数的变换则称为逆变 换。整个测量过程中的信号流程岬时从正变换到逆变换的过程。现在我们要讨论的问 题是三维运动体如何转变为二维图像：反过柬如何从已获得的二维图像求出三维目标 体的运动参数。这涉及图像形成与图像所携带信息的内在联系。定量的解决这个问题 必须用相应的数学模型去表征图像。图像的数学模型可以用两种基本形式进行描述： ( 1 ) 由三维物体变换成二维图像的成像几何模型。成像几何模型与三维物体的空 间位置、摄像机的焦距、c c d 图像敏感器的像面尺寸、摄像机相互之问的距离以及 物体与摄像机之问的相对运动参数有关。也就是说成像几何模型主要是解决三维物体 与二维图像司的映视关系问题。 ( 2 ) 图像线性滤波模型。图像线性滤波模型不涉及成像几何关系，它只涉及图像 9 = 翌 硕士论文双目c c d 光电成像测量系统研究 点所对应物点的空间位置与强度的关系。一般把灰度图像当作二维随机过程，用统计 推断方法对这类随机过程进行分析。实际上是解决图像预处理问题，把目标图像从复 杂背景干扰中提取出来。 2 2 从三维景物到二维图像的变换原理 前面已经谈到通过摄像机完成从三维景物到二维图像的转换，那么如何从三维景 物转换为二维图像呢，三维景物中的物点与它在二维图像中的像点有什么样的对应关 系呢。很显然，这种对应关系正是我们从二维图像计算空间目标景物运动状态的基本 出发点。从三维景物到二维图像的转换要用到成像几何模型，理想的成像几何模型即 是光学中的针孔成像模型，其成象原理如图2 2 所示呻4 】： t 一一一一一。一。一一_ 。一。一。一。- 。- 。一一。一一。- 。- - - 。- - - 。- - - 。- 。- - - - 一。_ 。一。 ： 像面物面 ： 。、，、，一一，1 彳 b 光轴z ， - ， r 彳 1 、， l。二 b r 7 i 1 a 7 ： ： ：- - - 一- - - 一_ - - - - _ - - - - - - - - - - - - - - - - - _ 一- - - - - - - _ - - - - - - - - - - - ： 图2 2 针孔成像模型 针孔成像模型，即是光学中的中心投影，假设物体表面的反射光都经过一个“针 孔而投影在像平面上。针孔成像模型主要由光心、光轴和成像面所构成。图2 2 中 d c 为光心；为焦距，它是光心d c 到像面的距离；口为物距，它是光心到物面的距 离。 针孔成像模型满足三点共线的关系，像点彳是物点彳与光心q 与像平面的交点， 即光心d c ，物点彳和像点彳在一条直线上。针孔成像由于透光量太小，很难得到清 晰的图像，在工程实践中是用光学透镜成像模型来获得图像。 c c d 摄像机上用的光学镜头即是凸透镜。透镜成像模型如图2 3 所示： 5 2 双目视觉测量的技术基础 硕士论文 b b 。把式( 2 2 1 ) 整理可得出 厂= 兰 ( 2 2 3 2 )，= _【2 3 ) a + d 当a b 时，厂b ；可认为像面与焦平面重合。由于a b 的条件成立，所以用 针孔成像模型代替透镜成像模型还是被认可的。针孔成像模型表达了物点与像点之间 的数学关系，它是空间三维物点变换为二维像点的基本关系。在计算机视觉研究中一 般用视觉坐标系来描述针孔成像模型。如图2 4 所示。 空间任何一点p 在图像中的成像位置，即任何点p 在图像中的投影位置p ，为光 心0 与p 点的连线o p 与图像平面的交点。这种关系也称为中心射影或透视投影 ( p e r s p e c t i v e p r o j e c t i o n ) 。如图2 4 所示，并可得出他们之间的比例关系： 6 硕士论文双目c c d 光电成像测量系统研究 图2 4 针孔成像视觉坐标系 yf xf i = 艺夏= 瓦 ( 2 2 4 ) 艺z c疋z c 卜“1 7 其中，( x ，y ) 为p 点的图像坐标；( t ，e ，z c ) 为空间点p 在摄像机坐标系下的坐标 系，o o 即为厂，为摄像机透镜光心o 与c c d 靶面中心的o 的距离，称为小孔成像 摄像机等效焦距。用齐次坐标和矩阵表示上述透视投影关系 2 3 双目立体视觉原理 0 0 o g f0 01 010i j x c t z c 1 ( 2 2 5 ) 双目立体视觉是基于视差原理，由三角法原理进行三维信息的获取，即由两个摄 像机的图像平面( 或单摄像机在不同位置的图像平面) 和被测物体之间构成一个三角 形。已知两个摄像机之间的位置关系，便可以获取两摄像机公共视场内物体的三维尺 寸及空间物体特征点的三维坐标。双目立体视觉一般由两个摄像机或者一个运动的摄 像机构成【i , 1 0 , 11 , 1 2 】。 2 3 1 平视双目立体视觉三维测量原理 双目立体视觉三维测量是基于视差原理，图2 5 所示为简单的平视双目立体成像 原理图，两摄像机的投影中心连线的距离，即基线距为b 。两摄像机在同一时刻观看 空间物体的同一特征点p ，分别在“左眼”和“右眼”上获取了点尸的图像，它们的图像 坐标分别为= ( ，) ，所呐= ( 墨神，) 。假定两摄像机的图像在同一个平面 下，则特征点p 的图像坐标的y 坐标相同，即= y n g h ，= y ，则由三角几何关系得 到 7 ，o o l = 1j 石 y 1 。l 乏 2 双目视觉测量的技术基础硕士论文 x l 册= f 蔓 z c x 电= f 学 y ：f 鉴 ( 2 3 1 ) 图2 5 双目立体成像原理 则视差为：d i s p a r i t y = 一z 讷。由此可以算出特征点p 在摄像机坐标系下的三维 坐标为 b x l m 。d i s p a r i t y 儿：旦 ( z 一3 2 ) 1 ，= 一 i j z l ，。d i s p a r i t y 、。7 b - f z = 二一 。d i s p a r i t y 因此，左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点 ( 二者是空间同一点在左、右摄像机像面上的点) ，就可以确定出该点的三维坐标。 这种方法是点对点的运算，像面上所有点只要存在相应的匹配点，就可以参与上述运 算，从而获取其对应的三维坐标。 2 3 2 双目立体视觉数学模型 在分析了最简单的平视双目立体视觉的三维测量原理基础上，现在考虑一般情 况，对两个摄像机的摆放位置不做特别要求，如图2 6 所示【8 , 3 0 3 4 】： 硕士论文双目c c d 光电成像测量系统研究 x c 2 图2 6 立体视觉定位原理图 对于空间任意一点p ，它在c 1 摄像机成像平面上的点为日，这时无法得知p 的三 维位置。因为在o ， (q，为g摄像机的光心)连线上的任意一点的投影点都是眉。op p 因此由只点的位置我们只知道空间点位于q ，尸连线上的某一位置而无法知道p 点的 深度信息。 如果利用q 和g 两个摄像机同时观测点p ，若点异，最分别是点p 在c l ，c 2 摄像 机成像平面上的投影点，那么空间点p 落在q 。日和d c ：b 上，则点p 是q 。日和两条 d r ，只直线的交点，即而确定点p 的三维位置。 2 4 双目视觉测量涉及的坐标系及坐标转换 c c d 摄像机与被测目标体之间的任何相对运动，都将导致图像面上像点位置的 变化。也就是说像点位置的变化反映了目标的运动信息。这就是从二维图像求三维目 标体相对运动参数的基本出发点。在c c d 光电成像测量系统中，通常把观测用的c c d 摄像机固联在追踪器上；把被测量用的特征点固联在目标航天器上。追踪器与目标器 均具有刚体特性。 下面讨论测量过程中涉及的坐标系及坐标变换。 2 4 1 追踪器上的坐标器 追踪器上一般情况下应有三个坐标系【2 】： ( 1 ) 追踪器本体坐标系qx ，y ，z ： ( 2 ) c c d 摄像机坐标系qz ，y ，z ； 9 2 双目视觉测量的技术基础硕上论文 ( 3 ) 图像坐标系0 ：fx ，y ，分为图像像素坐标系和图像物理坐标系。 2 4 2 本体坐标系与摄像机坐标系的变换 追踪器坐标系到摄像机坐标系的变换是3 d 到3 d 的转换，如图2 7 所示 n f ，- ，f ，_ f 一c ，c ，一c 尺，丁 圣 = r 圣 + f q 4 ， h ，i ：，i 3 式中尺3x3 旋转矩阵，r = l 眨l 饧吒3l 为两坐标系三组对应坐标轴夹角的函 i 吩l吩2吩3 j r 1 3 平移矢量，r = ( 巧弓，z ) 1 。 由图2 2 针孔成像模型可知【3 1 ，摄像机透视投影模型及针孔成像模型，图像坐标 系( x ，y ) 和摄像机坐标系( 鼍，匕，z c ) 对应关系的齐次坐标形式： l o 硕士论文 双目c c d 光电成像测量系统研究 z ： f 0 0 f 0 0 o o o o 1o x c e z c 1 ( 2 4 2 ) 而摄像机坐标系与参考坐标系之间的关系可以用旋转矩阵r 与平移向量t 来描 述，此时空间中的某一点p 在参考坐标系与摄像机坐标系中的关系为 置lixi x 艺 z c 1 rrt l = l _ 。rj 】， z 1 = m 外 】厂 z l ( 2 4 3 ) 其中，( 疋，e ，z 。) r ：点p 在摄像机坐标系中的齐次坐标，( x ，y ，z ，1 ) 丁：点p 在参考坐 标系中的齐次坐标，o7 ：( o ，0 ，o ) 2 4 4 图像像素坐标系到图像物理坐标系的转换 摄像机采集的图像在计算机中转化为m 木数组形式存储的数字图像，数组中的 每一个元素称为像素。在图像上定义两种形式的直角坐标系，一种是以像素为单位的 图像坐标系o u v ，其原点d 定义在图像的左上角，其中每一个像素的坐标( “，y ) 分别 是该像素的在数组中的列数和行数。另一种是以物理单位( m m ) 表示的图像坐标系 d t x y ，其原点定义在摄像机光轴与图像平面的交点。其中每一个像素的坐标( x ，y ) 分 别是该像素在图像中的物理位置。如图2 8 ： ， ou 0 ( u o ，v 0 ) 可 、7 、， y 图2 8 图像坐标系 若d 在坐标系掣y 的坐标为( “。，v o ) ，且每一个像素在x 轴与】，轴方向上的物理尺 2 双目视觉测量的技术基础硕士论文 寸为出，咖，则在图像中任意一个像素在两个坐标系下的关系为： u = 一+ “o dx ” v = 车+ 方 ” i = 1 ，辜 享 q 4 4 ， 由式( 2 4 2 ) ( 2 4 3 ) ( 2 4 4 ) 可推导得到，在参考坐标系下的一点p ( x ，y ，z ) 和它在图像中 的映射点p ( u ，v ) 的对应关系为： 2rc；=1爹110；少u?ojl【-lf3吾o：0三0j【-。rr： 式中，f ，t ，d y ，u 0 ，v o 为摄像机内部参数，也是必需预先标定。 x 】， z 1 ( 2 4 5 ) 1 爹辜 喜三草量 = 铂 ： = 肘外 c 2 4 6 ， 尺，丁 ，a 。j d y 飞u v o r z1 ，z x l l x vz ”c ，jc c ( 摄像机外部参数) ( 摄像机内部参数) 图2 9 追踪器坐标变换过程图 2 4 5 目标器坐标系 在目标器上有两种坐标系，即：目标器本体坐标系o o x y z ，其原点位于目标器的 质心，用o o x o y o z o 表示；特征点坐标系，如果布置4 个特征点构成一个正方形，正方 形的中心定为特征点坐标系的原点，用( o p x p y 。z p ) 表示。 在实验室中，我们建起了空间对接中的模拟仿真过程。用一个面包板作为载体搭 起电路，用l e d 作为特征点光源，制作成一个具有空间相对位置特征点的仿真目标 器。如图2 1 0 所示： 1 2 硕士论文 双目c c d 光电成像测量系统研究 x 1 ， t9 ，o 厶 y 5 图2 1 0 目标器坐标系 该仿真目标器由5 个空间位置点组成，设置特征点3 有深度信息，即有z 轴分量， 建立目标器坐标系是为了刚体本身确定其特征点的空间位置信息。 由于有安装位置的误差，所以q 艺乙与o p x p y p z p 两个坐标系之间既有旋转又有 位移。因此两坐标系之间的关系可以用旋转矩阵尺和位移矢量丁表示，即 = r ly ， + r( 2 4 7 ) 尺和丁的意义同前面所述。但尺和丁的值在测量过程中是不变的，把它们称为常 矩阵。 2 4 6 追踪器和目标器的坐标系及其转换 归纳前面的情况可知，c c d 光电成像测量系统共涉及5 种坐标系： 1 ) 追踪器本体坐标系( d f m z f ) ，用r 代表； 2 ) c c d 摄像机坐标系( q t y 。z 。) ，用c 代表； 3 ) 图像坐标系( q 五弗z ，) ，用，代表： 4 ) 目标器本体坐标系( o o x o y o z o ) ，用0 代表； 5 ) 特征体坐标系( ox , y , z 。) ，用p 代表； 用m 表示各坐标系间的转换关系。m ，表示由坐标系f 到坐标系，的转换。显然， 对于c c d 光电成像测量系统来讲，最关心的是目标器本体坐标系与追踪器本体坐标 系之间的关系。因为它表达了追踪器和目标器之间的相对运动关系，即原点q 的坐 标位置与原点p 的坐标位置之间的相对关系。 当追踪器与目标器准确对接时，两本体坐标系就应当重合，否则，两航天器的本 体坐标系之间就会存在相对旋转和平移，可用旋转矩阵尺和平移矢量r 表示。 2 双目视觉测量的技术基础 硕上论文 如果追踪器坐标系与目标器坐标系均用齐次坐标表示为( z ，r ，z t 。1 ) r 和 ( 艺，匕，z o ，1 ) r ，则两种坐标系之间存在如下关系为 置ll 瓦il 咒 z z i 1 = 酬 艺 z d 1 = m , o 匕 z d l ( 2 4 8 ) 式中尺3 3 旋转矩阵，是刚体旋转3 个欧拉角的函数； 丁3 个平移矢量函数。 r 和丁决定了两个坐标系之间的转换关系。在c c d 光学成像测量系统中，只要 测出3 个位移量( ，y ，a ：) 和3 个欧拉角，即能确定两个航天器之间的相对位置 和相对姿态。 2 5 参考坐标系空间点的位置求解 假定空间任意一点p 在两摄像机q 和c 2 上的成像平面的投影片和最己经从两幅 图像中分别检测出来，即己知日和最为空间同一点p 的映射点，尸点位置求解原理图 如图2 1 1 ： p 图2 1 1 双目视觉空间位置求解原理图 进一步假设摄像机已标定且它们的投影矩阵m 。m 2 已计算出，投影矩阵公式如 下【4 ，3 4 】： 1 4 m=1售&，ojoijvl三丢oo：o三ij【-r。rr：=1荸景纱辜喜昙；曼喜喜喜荨c25， h z 。1i 嵋i = m 1 l j 非越 铜= 料嚏 ( 2 5 2 ) ( 2 5 3 ) 式中( m ，m ，1 ) 和( “：，v 2 ，1 ) 分别为日和b 在各摄像机成像平面中的齐次坐标，( x ，y z ) 为尸点在追踪器本体坐标系下的齐次坐标，上式中消去乞，z 之后，便得到关于彳，y ，z 的四个线性方程， 直线方程d c ，p ： 砖。一纠。) x + ( “以：一纠：) 】，+ ( “以，一叫，) z = 耐。一“砖 ( v l m ；l 一1 1 ) x + ( 嵋m 羔- 4 2 ) 】，+ ( 嵋，堪3 一1 3 ) z = m 2 4 1 一嵋，l h 直线方程d c ：p ： 皈m 三一硝) x + ( ：砖一碗) y + ( ：慨2 ，一碗) z = 花一鸬商 ( 屹商一绣。) x + ( 屹砖一砖) 】，+ ( 屹砖一呢) z = 砖- - i 2 商 ( 2 5 4 ) ( 2 5 5 ) 由解析几何可知，两个平面方程的联立为空间直线的方程，式( 2 5 4 ) 的几何意义是过 0 c i p 的直线，同理式( 2 5 5 ) 式过d c 。p 的直线。故空间点p 是直线q 眉和d c z 的 惟一交点。因此可以将两式联立起来求出唯一解即为点p 的坐标。由于噪声的存在， 计算中利用最小二乘法求出x ，y ，z 的最佳估计值。以上方程用矩阵表示为： a = a r = b h ，z 1 3 l - m l ll1 4 m 1 3 2 - m l l 21 4 m 1 3 3 一，1 1 1 3 u ，z 1 3 l m 1 2 1v i m l 3 2 一聊1 2 2 嵋加1 3 3 一m 1 2 3 p 2 m 2 3 l m 2 1 1 t 2 m 2 3 l 所2 1 l 鸬，z 2 3 l 一聊2 1 l v 2 m 2 3 l m 2 2 l 屹聊2 3 2 一聊2 2 2v ：m 2 3 3 一所2 2 3 ( 2 5 6 ) 1 5 x y z l 1j 4 4 4 l 1 r l 2 l 1 ， m m m r y z 厂训儿 2 2 ”2 弘稚喊砖 2 b 2 抬2 驺稚砖砖2 他2 拉2 匏 m m m 2 双目视觉测量的技术基础硕士论文 - x x = l 】，j b ： 【z j m l l 4 一“聊1 3 4 聊1 2 4 一嵋m 1 3 4 聊2 1 4 一m 研2 3 4 ，1 2 2 4 一v 2 m 2 3 4 ( 2 5 7 ) 于是点p 在追踪器本体坐标系中的三维坐标的最小二乘结果为： x = 似r 彳) 一a r b( 2 5 8 ) 目标器距离和位置姿态求解 根据上述分析可知，在交会对接中，利用c c d 光学成像敏感器测量两飞行器之 间的运动参数必须在目标器上安装三个以上的特征光点，这样才能确定出自身的空间 位置信息。追踪器通过摄像机测得它们的投影位置，确定特征点在摄像机坐标系中的 位置坐标，进一步求得特征点在追踪器坐标系中的位置坐标，由于它们在目标器坐标 系中的位置是已知的，通过坐标系的转换即可求得两飞行器之间的相对位置和相对姿 态【2 6 2 7 2 9 1 。 由于摄像机是固定在追踪器上的，摄像机坐标系与追踪器坐标系之间的相对位置 和姿态在运动过程中是不变的，则摄像机坐标系与追踪器坐标系之间的转换矩阵r 。， 是常数矩阵。因此，为了描述方便，考虑的是目标器坐标系与摄像机坐标系之间的相 对位置及相对姿态的测量 3 2 , 3 3 , 3 4 。 2 6 1 相对距离测量 己知特征光点弓( _ ，= 1 ，2 ，n ) 在目标器坐标系下的坐标为弓= ( ，、，z 日) t ，经过 测量后得到它们在摄像机坐标系下的坐标为弓= ( k ，乙) r 。注意这里是在摄像机 坐标系下的坐标，因此还需通过摄像机外部矩阵把求得的p 点在参考坐标系下的齐 次坐标 x 】， z 1 转化成该点在摄像机坐标系下的齐次坐标 x c e z c l = 眵 x y z 1 = m 外 x 】， z 1 x c 艺 z c l ( 2 6 1 ) 其中n 为特征光点的数目。利用式( 2 3 8 ) 可得弓= ( ，巧，乙) r 的估计值 启= ( 毛，艺，毛) r 露= ( 丘，艺，钞= ( 彳一1 彳歹b 7 ( 2 6 2 ) 由于个特征点是固定在目标器上，利用露( j21 , 2 ，n ) - q 目标器原点o t 的相 1 6 r = “ 硕士论文双目c c d 光电成像测量系统研究 对位置可以得到点q 在摄像机坐标系中的向量吃的估值毛= ( j d ，元，乞d ) r 。若假定 = c 贾刚疙，乞j r = 专c 乓+ 丘z + 丘j 。l 2 主c 三, + 二2 乏o , ：+ 2 ：o ，3 。2 矗3 ， 两飞行器的距离吃为 d d = - , 2 2 d + y 2 甜+ z 2 d ( 2 6 4 ) 假设= 4 ，特征点8 ( j = 1 ，2 ，3 ，4 ，5 ) 在目标器坐标系下的坐标向量是 弓= ( ，巧，乙) r ，根据安装条件，点p t l ，p t 2 ，p t 3 不共线，因此向量组p ：一晶，只，一p 。， ( p ：一晶) ( 只，一最) 是线性无关的。其中各点在目标器坐标系下的向量可表示为： 耻阱骨，= ，亿6 匀 f ，置：一工nf ，置。一墨n 只：一只。= l 誓：一z 。lc 3 一只。= ir ，一z 。i ( 2 6 6 ) lz f ：一z f 。 z f ，一z ，。( z ，：一z r 。) ( z f ，一互) j 1 7 2 双目视觉测量的技术基础 硕上论文 i 五：一五，如一t 。( 鼍：一t 。) ( 以，一鼍。) l 4 1 2 3 = l e ：一e 。艺，一匕。 ( k 2 一艺。) ( 艺，一艺。) i ( 2 6 9 ) 【- z c z 一乙， z c ，一z c 。 ( z c z z c 。) ( z c ，一z c 。) j 而4 m 和4 。：，实际上是相同的三个点在不同的坐标系下的对应矩阵。两矩阵之 间有一定的转化关系，这就是我们需要求解的目标器坐标系和摄像机坐标系之间的转 化矩阵。考虑到目标器作为一个刚体，在旋转过程中保持空间位置点之间的相对位置， 因此我们可以得到下列矩阵关系式： 4 1 2 3 = 心1 2 3 4 1 2 3( 2 6 1 0 ) 其中心m 为目标器坐标系和摄像机坐标系之间的转化矩阵。由矩阵运算可得： n e t l 2 3 = 4 1 2 3 4 1 2 3 。11 ( 2 6 11 ) 式中4 由目标器上的点三维坐标可算得为常数矩阵，当特征点确定后，它们的 值也就可以算出。进一步利用名( = 1 ，2 ，3 ，4 ，5 ) 的测量值弓( _ ，= 1 ，2 ，3 ，4 ，5 ) 就可确定 4 m 的估计值矩阵4 m ： 厂 a 4 m = j ：一。一只。( ：一。) ( 3 一只，) l ( 2 6 1 2 ) lj 将其代入式( 2 4 8 ) ，可得到如1 2 3 的估计值吃m ： 一i 心1 2 3 = 4 1 2 34 1 2 3 ( 2 6 1 3 ) 这里4 m 不存在估计值，因为它就是有目标器特征点坐标计算所得，可直接参与 运算。同理，n = 5 特征点弓( = 1 ，2 ，3 ，4 ，5 ) j r = 个点组合可得到心。：。、g e t 2 3 。、吃1 3 4 ， 取它们的平均值尺，作为足，的估计值 1 厂 aa 如= i 如1 2 3 + r a l 2 4 + 心2 3 4 + r a l 3 4 ( 2 6 1 4 ) tl j 此时，我们就得到了用四个点的对应值来表示的目标器坐标系和摄像机坐标系之 间的转化矩阵。以为后面姿态角的测量做出准备。 2 6 3 姿态动力学 刚体模型通常被用来来描述航天器或航天器主要部分的运动。刚体的运动可以分 解为平动和转动。平动可以用航天器上的某一点( 例如质心) 的运动来代表；转动则 用固联于刚体的本体坐标系( 如目标器坐标系) 相对于某一参考坐标系( 如地心坐标 系) 的姿态参数来描述。常用的姿态参数有方向余弦阵、欧拉四元素和姿态角。下面 简述方向余弦阵、欧拉四元素表示的姿态方法，重点阐述姿态角的推导过程。图2 1 2 为摄像机坐标系o 。x o r & 与目标器坐标系q 置zz f 之间的姿态关系 3 5 3 6 3 7 】： 1 8 硕士论文 双目c c d 光电成像测量系统研究 图2 1 2 摄像机坐标系与目标器坐标系 ( 1 ) 方向余弦阵 由一个3 * 3 矩阵表示两坐标系方向余弦阵，矩阵元素为各个坐标轴单位矢量排列 乘积得到。9 元素中只有三个元素独立。 ( 2 ) 欧拉四元素