（机械制造及其自动化专业论文）基于双目立体视觉的人脸三维重建方法的研究.pdf

大连理工大学硕士学位论文 摘要 计算机视觉作为一个多学科黛叉的领域，在瑗论研究和实际应用方面都取得了飞速 的发聂，尤其是避年来，图像科学的发展署霜计算机信号处理能力驰增强，为计算机视觉 的研究和成用提供了良好的条件。因此，对计算机视觉的进一步研究，熟有重要的理论 意义和实用价德。创建邋真的三缝人脸模型是计算机图形学领域一个极富挑战键的课 蹶。随着影视技术、游戏娱乐、虚拟环璃、远程邋信、辅助医疗、掰事签鄹等方菰应用 的目益广泛，人臆的三缀重建越米越受到人们的关注。本文主要从事此方面的研究。 本论文戳m a r t 豹计冀杌视激理论为基瑶，详述了戳肉外在双霞立体褫觉方瑟静发 展及取得的成就。并在分析和总结各种方法的基础上，对计算机视觉研究中的各个环节 逐行了系统的研究。 在边缘检测方面，通过对这贱算法的研究比较，针对所研究的双目藏体视觉提出了 稔溅袭暴较鳋懿逸缘检溅方寨。蓠先薅蕊像进嚣审篷滤波去豫噪声，然鬣震毫蘩控骜 挝斯算子提取边缘，这种边缘检测方法的效果很好。在图像分割方面，将原来的：维灰 发整豫蘩凝进行暇域翅分，将磷究豹重煮放在二维获度纛方蚕戆怼囊线瓣运豹酝域，这 样不仅大大减少了运算量，而且肖效地去除了噪声的影响。在立体匹配方面，提出了特 缝帮捃缎联台疆聚熬方法，该方法戆特煮是：怼人黢豹边缘特镀点进行特短匹配，然后 将特征匾配结果作为匹配路径的个全局约束，利用相位信息，从全局嫩优约柬的角度 瓣决匹配闽题，这充分剥爆了特锺匹配算法与相谯匹配算法豹不阉优势。实验结果证明， 利用本方法可以获得较离质量的三维重建结果。 最器姻理论分辑和实验结果表明文中所述的方法够提高测璧的精度，同时具有测 爨装置简单、成本低的特点。 荚键词；黢目立体视觉；三维纛建；数礴相梳标定；特征点；溅配 大连理工大学硕士学位论文 t h er e s e a r c ho fh u m a nf a c e 3 dr e c o n s t r u c t i o nb a s e do nb i n o c u l a rs t e r e ov i s i o n a san e wf i e l db a s e do nv a i 2 0 1 1 si n t e r d i s c i l ：l l i n a r y , t h et h e o r yr e s e a r c ha n dp r a c t i c a l a p p l i c a t i o no ft h ec o m p u t e rv i s i o nh a sm a d eg r e a tp r o g r e s s e s p e c i a l i yi nr e c e n ty e a r s ，t h e d e v e l o p m e n to fi m a g ep r o c e s s i n gt e c h n o l o g ya n dh i g hp e r f o r m a n c ec o m p u t e rc o m i n gi n t o b e i n gp r o v i d ef a v o r a b l ec o n d i t i o n sf o rc o m p u t e rv i s i o nr e s e a r c h a n da p p h c a t i o n s o ，t h e f u r t h e rr e s e a r c ht oc o m p u t e rv i s i o nh a sm u c ht h e o r ym e a n i n ga n dp r a c t i c a l i t yv a l u e t h e s t u d yo fg e n e r a t i n gr e a l i s t i c3 dh u m a n f a c em o d e l sh a sb e e nal o n g t i m ec h a l l e n g i n gt o p i ci n c o m p u t e rg r a p h i c s ：w i t ht h ed e v e l o p m e n to fc h a r a c t e ra n i m a t i o nf o rf i l m sa n da d v e r t i s i n g c o m p u t e rg a m e s ，v i r t u a lr e a l i t y , t e l e c o n f e r e n c i n g ，u s e r - i n t e r f a c e ，s u r g i c a lf a c i a lp l a n n i n g ，a n d c r i m i n a ld i s c r i m i n a t i o n , e t c ，t h i sr e s e a r c ha r e ai sn o wr e c e i v i n gm o r ea t t e n t i o nt h a ne v e r b e f o r e t h i st h e s i sm a k e sad e e p l yr e s e a r c ho nt h ef i e l d t h i sp a p e ri sb a s e do nm a r tv i s i o nt h e o r y , e x p a t i a t ed o m e s t i ca n do v e r s e a sd e v e l o p m e n t a n da c h i e v e m e n to nb i n o c u l a rs t e r e ov i s i o n b a s e do na n a l y s i sa n dc o n c l u s i o no fd i v e r s i f l e d m e t h o d s ，w es t u d i e de v e r yp a r to f c o m p u t e rv i s i o ns y s t e m a t i c a l l y f o re d g ed e t e c t i o n , t h ep a p e rp r o p o s e dap r e f e r a b l ee d g ed e t e c t i n gm e t h o da i m i n ga t b i n o c u l a rs t e r e ov i s i o nb yc o m p a r i n gt h e s ea r i t h m e t i c f i r s t ，d om e d i a nf i l t e rt oi m a g ei n o r d e rt ow i p eo f fn o i s e ，t h e nm a k eu s eo fg a u s s l a p l a c eo p e r a t o rt op i c ku pe d g e t h er e s u l t s h o w e dt h ek i n do fe d g ed e t e c t i n gm e t h o dh a sg o o dp e r f o r m a n c e f o ri m a g es e g m e n t a t i o n ，d o r e g i o np a r t i t i o na 丘e s ht oo r i g i n a l2 d 铲a yh i s t o g r a m ，l a yt h ee m p h a s e so f r e s e a r c ho n n e a rt h e a r e an e a rt h ed i a g o n a lz o n e ，t h u st h i sm e t h o dc a nn o to n l yr e d u c et h eo p e r a t i o n , b u ta l s og e t r i do ft h ei n f l u e n c eo f n o i s ee f f e c t i v e l y f o rs t e r e om a t c h i n g ，af e a t u r e - b a s e da n dp h a s e - b a s e d m e t h o di sp r e s e n t e d f i r s to fa l l ，w em a t c ht h ee d g ec h a r a c t e r i s t i cp o i n t sb a s e do nf e a t u r e s e c o n d l y , w i t ht h er e s u l t so ff e a t u r e - b a s e dm a t c h i n ga saw h o l ec o n s t r a i n to fm a t c h i n gp a t h a n dp h a s ei n f o r m a t i o n ，w ec a ns o l v ep r o b l e m sa c c o r d i n gt ow h o l eo p t i m u mc o n s t r a i n t t h i s m e t h o dm a k e sg o o dr i s eo ft h er e s p e c t i v ea d v a n t a g e so ff e a t u r e b a s e da r i t h m e t i ca n d p h a s e - b a s e da r i t h m e t i c e x p e r i m e n tr e s u l t ss h o w e dt h eh i g hq u a l i t ya n dd i s t i n c tt e x t u r eo f h u m a nf a c em o d e l i n gi nt h i sm e t h o d f i n a l l yt h et h e o r e t i c a la n a l y s e sa n dt h em e a s u r e m e n tr e s u l t ss h o w e dt h a tt h em e t h o d p r e s e n t e di nt h i sp a p e rc a np a r t l yi m p r o v et h eo p e r a t i o ns p e e da n dm e a s u r e m e n ta c c u r a c y w i t hs i m p l i f y i n gm e a s u r i n ge q u i p m e n ta n dr e d u c i n gm e a s u r i n gc o s t s 潘岩：基于双目立体视觉的人脸三维重建方法的研究 k e yw o r d s ：b i n o c u l a rs t e r e ov i s i o n ；3 dr e c o n s t r u c t i o n ；d i g i t a lc a m e r ac a l i b r a t i o n ； f e a t u r ep o i n t s ；m a t c h i n g i l 独创性说明 作者郑重声明：本硕士学位论文是哉个人在导师指导下进行的研究工 作及取得研究成桑。尽我新知，除了文中特爱翔瑷标注帮致谢的遗方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者冀毽单霞酶学绞绞证书赓使建过的材料。与我一阕工佟匏露惑 对本研究所做的贡献均己在论文中做了明确的说明并袭示了谢意。 作者签名： 冲啮j 2 越 大连理互大学颈士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及捂导教筛完全了解“大连理工大学硕士、薄学位论文敝权谈孺 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 舨，兔诲论文被套烫秘赞阕。本人授投大连理王太学霹以将本学醢论文均全部箴部分内 容编入有关数据库进行检索，也可采用影印、缩印或搦描等复制手段保存和汇编学位论 文。 作者签名 导师签名： 游需 堕年丛月堕日 大连理工大学硕士学位论文 1 绪论 1 1 概述 视觉是人类获取外界信息的最直接、最普遍的方式。视觉的最终目的是要对场景作 出对观察者有意义的解释和描述，然后基于这些解释和描述并根据周围环境和观察者的 意愿制定出行为规划。 计算机视觉是指用计算机实现人类的视觉功能，对客观世界的三维场景的感知、识 别和理解。计算机视觉是计算机科学和人工智能的一个重要分支。它的研究目的和内容 有两个方面，一是用计算机实现人类视觉的部分功能；二是由此帮助理解人类视觉的机 理。 计算机视觉研究始于2 0 世纪5 0 年代，当时计算机视觉和图像处理、模式识别一起 通称为计算机图像处理，泛指一切研究如何用计算机处理图像信息的技术。随着研究不 断地深入，三类学科各自分别自成体系向纵深发展。视觉研究在r o b e r t s 之前都是基于 二维的，而且多数是采用模式识别的方法完成分类工作。2 0 世纪6 0 年代中期美国m i t 的r o b e r t s 首先用程序成功地对三维积木世界进行解析，以后h u f f m a n 、c l o w s 以及w a l t z 等人对积木世界进行了研究并分别解决了由线段解释景物和处理阴影等问题。积木世界 的研究反映了视觉早期研究中的一些特点，即从简化的世界出发进行研究。这些工作对 视觉研究的发展起了促进作用，但对于稍微复杂的景物难以奏效 1 。 2 0 世纪7 0 年代中期以m a r t 、b a r r o w 、t e n e n b a u m 等人为代表的一些研究者提出了 一整套视觉计算的理论来描述视觉过程，其核心是从图像恢复物体的三维形状。在视觉 研究理论上，2 0 世纪8 0 年代初，m a r t 首次从信息处理的角度综合了图像处理、心理物 理学、神经生理学及临床精神病学的研究成果，提出了第一个较为完善的视觉系统框架， 虽然在细节还存在大量不完善的方面，但是m a n 理论成为了这一领域的主导思想【2 】。 m a r t 教授认为：视觉可分为三个阶段，一是初级视觉，初级视觉是对输入的原始图像进 行处理，抽取图像中诸如点、边缘、纹理、线条和边界等基本几何元素或特征，这些特 征的集合称为基元图( p r i m a r ys k e t c h ) 或要素图；二是中级视觉，中级视觉是指以观测 者为中心的坐标系中，由输入图像和基元图恢复场景可见部分的深度、法线方向、轮廓 等，这些信息包含了部分深度信息，但不是真正物体的三维表示，称为二维半图；三是 高级视觉，高级视觉是在以物体为中心的坐标系中，由输入图像、基元图和二维半图来 恢复、表示和识别三维物体的过程，这就是m a r t 的视觉理论。 计算机视觉的应用领域也很广泛，已应用于遥感图像分析、文字识别、医学图像处 潘辫：基予鼹餮立体视觉的入脸三维燕建方法豹稀究 理、多媒体技术、图像数据席、工监梭测与军攀等方稀【3 l 。 1 2 国内外立 本视觉自每发展 1 2 ，1 闼外立体视觉的擞展 莺井立体褫觉开震徭沈较举，也取得了褶当大的成柒，双茸立体税觉技术已广泛腹 用于生产、生活中。 e 潲大学静t o m a s i 和k a n a d e 等人在霰定摄像税为正交投影模黧的前掇下，剽瘸 仿射分解的方法同时解出了三维结构和摄像机运动，做出了第一个基予图像的三维重构 系统。该系统在解决纛熬延配润题上使用了基于光流鹃藤踪嚣按术。该系统懿缺点在于 采用的摄像机模型是正交投影模型，这种模型只有在物体的深度远大予物体的尺寸时才 合理。囊专二只鸯少数关键点被舔予生袋三维模囊，繇良貘鳖秘熬俸震量不高潮。k a t h o l i e k e 大学的p o l l e f e y s c5 等提出的物体表面自动生成系统运用了可变内参数下的摄像机自标定 技拳。该系统仅要求手持摄像橇强绕魏体拍摄系弱爨像，露嚣自动灾瑗叁檬定零分爨 重构。p o l l e f e y s 等将该系统应用到了考古学、文物保护等领域并取得了良好的效果。 华盛顿大学与微软公司合馋为火擞里星“搽援者”号疆铡了宽基线立钵视觉系绞， 使“探测者”母能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航。鬈 统使照藏一个摄像机农“探测鬻”的不闽位嚣上拍摄黟像对，撩摄闽鼹越大，基线越宽， 能观测刘越远的地貌。系统采用菲线髋优化得剿两次拍摄图像时摄像机的相对准确的位 置，利用鲁捧性强的最大似然概率法结合离效的立体搜索进行图像匹憋，得到亚像素精 度的视差，并根据此视差计算阁像对中各点的三维坐椽。相比传统的体视系统，能够飘 精确地绘制“搽测者”号周围的地貌期以更高的精度观测到更远的地形。 霞本奈蘸科技大举信息科学学院提出了秤基于双目立体视觉的增强现实系统 ( a r ) 注册方法，通过动态修正特征点的位蹩提高滋册精度。该系统将单摄像机注册 ( m r 与立体视觉注掰( s r ) 裙结含，秘用m r 移三个标志点算岛特征点在每个图豫 上的二维坐标和误差，利用s r 和图像对计算出特征点的三维位置总误差，反复修正特 征点程蚕像对上垂孽二缝塑标，巍至三维总误羲小于菜个溺僮。该方法院便使粥m r 躐 s r 方法大大提高了a r 系统滋册深度和精度。 醋本东袭大学褥蜜游双誉立体褫麓帮援爨入整薅姿态信怠集藏，开发了仿粪租器入 动态行长导航系统。该系统实现分两个步骤：首先，利用平面分割算法分离所拍摄图像 鼹中戆缝覆与鬻褥橡，褥襞含撬器入襄髂姿态貔售惠，将溪像扶摄像较敬二缀乎嚣警拣 系转换到描述躯体姿态的世界坐标系，建立机器人周潮区域的地图；艇次根据实时建立 懿蛙辫进行建鼹蘩检_ | 翼| | ，觚瑟确定瓢器久豹行走方自。 大连理工大学硕士学位论文 1 2 2 国内立体视觉的发展 双目立体视觉在我国还正处于初始阶段，虽然我国的计算机视觉发展目前还正处于 起始阶段，但是在工业、农业和军事领域都显示出了强劲的发展势头。 火星8 6 3 计划课题“人体三维尺寸的非接触测量”，采用“双视点投影光栅三维测 量”原理，由双摄像机获取图像对，通过计算机进行图像数据处理，不仅可以获取服装 设计所需的特征尺寸，还可根据需要获取人体图像上任意一点的三维坐标。该系统已通 过中国人民解放军总后勤部军需部鉴定。可达到的技术指标为：数据采集时间小于5 s 人；提供身高、胸围、硬围、臀围等围度的测量精度不低于1 0 c m 。 浙江大学机械系统完全利用透视成像原理，采用双目体视方法实现了对多自由度机 械装置的动态、精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标， 信息量少，处理速度快，尤其适于动态情况。与手眼系统相比，被测物的运动对摄像机 没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。 中科院自动化研究所机器人视觉研究组的雷成博士实现了c v s u i t e 软件，该软件主 要完成了特征点的提取，特征点的匹配、相机的自标定、模型的三维显示的功能。该软 件使用方便，能对不同来源的二维图像进行处理，但是它的缺点也比较明显，首先是由 于使用了k r u p p a 方程进行像机的自标定，所以它需要的图像对的数目为三幅，尽管它 所使用的其他方法和原理都是基于双目立体视觉的，但这对于类似机器人视觉的工作环 境显然不允许；其次在实际的匹配过程中能明显感觉到效率不高，速度非常慢。 哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。将一个固定摄像 机和一个可以水平旋转的摄像机，分别安装在机器人的顶部和中下部，可以同时监视不 同方位视点，体现出比人类视觉优越的一面。通过合理的资源分配及协调机制，使机器 人在视野范围、测跟精度及处理速度方面达到最佳匹配。双目协调技术可使机器人同时 捕捉多个有效目标，观测相遇目标时通过数据融合，也可提高测量精度。在实际比赛中 其他传感器失效的情况下，仅仅依靠双目协调仍然可阻实现全自主足球机器人导航 6 】。 武汉汽车工业大学的王天珍教授在总结现有视觉模型的基础上，将生物视觉模型与 计算机视觉模型相结合，提出了一种版式并行检索模型【”。国防科技大学的博士生导师 王润生教授在图像理解和模式识别方面作出了自己的贡献。同时，各大院校也正在加大 计算机视觉的研究力度。 可以预见，我国飞速发展的经济实力将为计算机视觉的发展提供更加广阔的应用需 求，同时计算机视觉技术的发展将更加有利于我国经济的发展和人民生活水平的提高。 潘岩：基于双目立体视觉的人脸三维重建方法的研究 1 3 本文的主要工作 虽然立体视觉经过了2 0 多年的研究，已经取得了一些成果，但是无论从视觉生理 角度看，还是从实际应用方面看，现有的立体视觉技术还处于十分不成熟的阶段，这不 仅涉及技术方面的原因，而且更多是在于人类对自身视觉机理还不十分了解。人类视觉 系统具有惊人的分析和理解能力，但人类是如何精选、获取和分析理解视觉知识的，至 今还未充分搞清楚。一个完整的立体视觉系统通常分为相机标定、图像预处理、特征提 取、立体匹配、三维重建等部分。每一部分的实现主要取决于应用的场合和目的。本文 是基于双目立体视觉的人脸三维重建，在相机标定方面，自主设计了相机标定系统，对 图像进行预处理，然后利用传统的边缘检测方法提取特征点，在立体匹配方面，提出了 一种基于边缘和相位联合匹配的匹配方法，我们利用该方法对人脸图像进行匹配，最后 考虑利用o p e n g l 软件实现人脸的三维信息恢复。 4 大连理工大学硕士学位论文 2 相机标定 系统标定是应用计算机视觉进行图像处理的第一步，也是关键的一步，标定矩阵的 精度直接影响最终的重建精度。在计算机立体视觉系统中，数码相机参数标定是指获得摄 像机几何参数和光学参数( 内部参数) 以及数码相机相对于某一世界坐标系的三维位置、 方向关系( 外部参数) 近似值的过程，它是通过二维图像坐标求取三维世界坐标的先决条 件旭是实现计算机视觉的必要条件之一。 根据相机参数性质可以分为内部参数和外部参数：内部参数描述相机的内部光学和 几何特性，如图像中心、焦距、镜头畸变等；外部参数就是相对于一个世界坐标系的相 机坐标的三维位置和方向。立体视觉的目的是通过像平面上的点的坐标去反求物点的空 间坐标，在获得物点的空间坐标之后我们才能通过一定的算法计算出所需的三维信息。 2 1 数码相机成像的几何模型 2 1 1 坐标系的定义 数码相机的成像过程实际上是一个光学成像的过程。为了对这个光学成像过程进行 说明，下面定义四个坐标系。 数码相机采集的图像首先是形成标准电信号的形式，然后在通过模数转换元件，变 换为数字图像。每幅数字图像的存储形式是m n 的数组。m 行n 列的图像中的每一 个元素的数值代表的是图像点的亮度( 或叫做灰度) 。这样的每一个元素叫做象素。所 以我们在图像上定义直角坐标系( “，v ) ，我们叫做象素坐标系。 每一个象素的坐标( “，v ) 分别是该象素在数组中的列数和行数。所以也可以说象素坐 标系就是以象素为单位的图像坐标系，在这篇论文中，我们将象素坐标系“，v 的坐标原 点o o 定义在图像的左上角，如图2 1 。由于在象素坐标系中( “，v ) 只表示象素位于数组中 的行数和列数，并没有用物理单位表示出这个象素在图像中的位置，因此有必要再建立 一个用物理单位( 例如有毫米) 表示的象素坐标系，在这里我们叫做它为图像坐标系。 这个图像坐标系以图像内的某一点0 1 为原点，x 轴和y 轴分别与象素坐标系的“轴 和v 轴平行，如图2 1 。在这篇论文中，我们将图像坐标系x ，y 的原点d l 定义为数码相 机的镜头的光轴与图像平面的交点，由于试验用的码相机的结构特点，在这篇论文中这 个交点就是数码相机所成的图像的中心。 潘岩：基于双目立体视觉的人脸三维重建方法的研究 d 。 也。v 。) y 图2 ，1 图像坐标系和象素坐标系的关系 f i g2 1r e l a t i o nb e t w e e ni m a g ec o o r d i n a t ea n dp i x e lc o o r d i n a t e 我们假设在象素坐标系中各个象素之间在x 轴方向和在y 轴方向上的距离( 指的是 物理尺寸) 分别是出和咖，那么由图2 1 我们就可以得到图像中的任意点在象素坐标 系u ，v 和图像坐标系x ，y 之间存在着如下转换关系： 如下 石v “2 一d x + ”2 上a y + ”。 为了以后的表达和计算方便，本篇论文中将上面的表达式整理为矩阵的表达形式， f | ： o 。 出 0 v 。 d v 001 ( 2 1 ) 数码相机的成相几何关系，可以由图2 2 表示出来，其中d 点是数码相机的光心， 轴，弘轴分别与图像坐标系的x 轴和y 轴平行，磊轴与图像平面垂直，在这里我们把 由点o ，x c 轴，y 。轴，玉轴组成的坐标系叫做相机坐标系。 数码相机是安放在具体的环境之中的，所以我们在环境之中为其选择一个基准坐标 功 lj 一一 llllllllj 出咖 一 一 o 妙0 如o 0 i | 为一x y 二j劫i 系关逆为换转 仁 式达表将 大连理工大学硕士学位论文 系来描述数码相机的位置，并且用这个坐标系来描述安放在这个具体的环境中的其它任 何物体的位置，我们把这个坐标系叫做世界坐标系，它是空间的三维坐标系，由x 。，如， z w 三个坐标轴组成。 图2 2 数码相机的成像几何关系 f i g2 2i m a g i n gg e o m e t r yr e l a t i o no f d i g i t a lc a m e r a 2 1 2 成像关系的推导 数码相机坐标系和世界坐标系之间的关系可以利用旋转矩阵r 和平移矩阵t 来表 示，所以在世界坐标系的任意一点p ( x 。，y 。，z w ，1 ) ，和它在相机坐标系中的对应点( x c ，y 。，z 。， 1 1 就存在以下关系： x c y c z c l = 瞄 工w y 。 z w l ( 2 3 ) 表达式( 2 3 ) 中的旋转矩阵r 是一个3 3 的矩阵，平移向量t 是一个3 1 的矩阵， o = 000 。 数码相机的成相过程就是将世界坐标系中物体信息转换到数码相机坐标系，再由数 码相机坐标系转换到图像坐标系，再由图像坐标系转换到象素坐标系的过程。 光学成相的理论模型是针孔模型，也就是常说的透视投影模型。投影关系，如图2 2 所示。在这里我们把0 0 1 叫做数码相机的焦距厂。根据这个针孔模型的理论，相机坐标 r = 叫“叫 潘岩：基于双目立体视觉的人脸三维重建方法的研究 系到图像坐标系的转换过程可以利用以下关系式表示 这时就有以下关系式： 工：f x cy = f y , 为了以后的计算和说明方便，将这个关系式展开为 hf 厂 制2b x 。 儿 z 。 1 ( 2 4 ) 将关系式( 2 2 ) 和( 2 3 ) 代入关系式( 2 4 ) ，我们就可以得到世界坐标系中的p 点的坐标( h ，y 。， z 0 与它的投影点在象素坐标系中投影点( “，v ) 的转换关系： 锎= 00 f 0 o1 阵 = 雕 i 阵 ( 2 5 ) 由于a ；，a y ，u 0 ，v d 等参数完全由数码相机的内部结构有关，所以我们把这些参数叫 做数码相机的内部参数，而矩阵r 和t 中的参数完全是由数码相机坐标系相对于世界坐 标系的位置决定的，我们把这些参数叫做数码相机的外部参数。所以数码相机的标定就 是确定数码相机的外部参数和内部参数。 2 2 数码相机的标定 2 2 1 数码相机内部参数的标定 在第一部分数码相机的成相模型中我们已经推导出数码相机的成相原理，对这部数 码相机的内部参数标定实际上就是确定a x ，a y ，u 吼，而a x ，a y 与厂相关，所以我们只要确 定了数码相机的焦距厂，象素点在石向和y 向的距离出和砂，成相平面的中点在象素坐 标系上的坐标( “d ，v 曲就可以了。 我们的试验所采用的是s o n y d s c - - s t 0 型号数码相机。它的最大象索为3 3 4 万，拥 有2 0 4 8 1 5 3 6 1 6 0 0 1 2 0 0 1 2 8 0 9 6 0 6 4 0 4 8 0 四种可以自由选择使用的分辨率。拥有 3 x 光学及2 工数字变焦镜头。它的近拍模式有效距离为4 2 5 c m ，标准拍摄模式有效距 r o l 们i 叫叫 蜘怖 f l r o l 1llllllllj o o 0 ，o o 旷iiiiiiiiiiji=j o一咖o 一办o o 大连毽工大学硕士擎谴论文 离为2 5 c m 一光限远。试验露我们选糟这个数鹃相丰凡的分辨率为1 6 0 0 t 2 0 0 的标准拍摄 模式。这款数码相机的焦距是可变的，所以为了标定的准确性，我们试验的时候将它焦 距调剿最，j 、，进行图像采集( 在甄螽的鹭像浆集中一盏傈持这些参数不变) 。 迭款s o n yd s c s 7 0 戮号数码相机采用的是1 2 ”的c c d ，它的实际大小6 4 x 毒8 m m ，又鬣为我翻逸壤静是分辨率为1 6 0 0 1 2 0 0 黪据豢模式，繇懿我靛穰容荔就可 阻计算出这个数码相机成像的象索点在工向和y 向上两个象索点之间的距离出和咖， 所懿蠢 d x ：d y ：丛：竺：0 0 0 4 勰m 1 6 0 0 1 2 0 0 当然图象坐标系的原点在象索坐标系中的，搬标值( “挑v 0 就为图像的中心的象索坐标值 ( 8 0 0 ，6 0 。所以在内部参数的标定过程中，我们哭需簧标定穗数码稳梳的焦鞭厂匏大小 就可以了。本文设计了以下试验方法，试验模型如图2 3 。 s r 图2 3 内部参数的标定试验模型 f i g2 3c a l i b r a t ee x p e r i m e n t a t i o nm o d e l i n go f i n t e r n a lp a r a m e t e r 图中被拍摄的物体是一块表面平整的泡沫板，我们在上丽用较深的颜色( 为了农成 摇蓐裁够容易豹被分辨出来) 靛垂笔覆凄一个a x a ( 2 0 0 x 2 0 0 m m ) 豹正方形。并显蕊记 出正方形的中心位置。试验时按照咀上所述调整好数码相机的各个参数，将物体放在到 数码甥援兹中心距蔫为5 ( s = 5 0 0 m m ) 躺这方，迂数鹗糖极懿镜头孛心粒正方形戆中心在 同一随线上，且被拍摄的泡沫板与镜头中心和正方形的中心是垂直的。当一切安排骤当 螽，按决 1 避行糖摄，拍摄巍挚疼爱像浚入到诗算瓠中，裂髑p h o t o s h o p 软馋孛豹一些 对图像进行图像测量的功能对到入的图像进行测量。我们首先测量出整个图像的大小， 再测鬓出图像中正方形框的大小，这撵就能够裁霎出，正方形在整个楣片中鲍毙铡。也 就是说我们可以计算出正方形在数码相机的c c d 上的比例关系。已知这款s o n y d s c 一 $ 7 0 型号数码稠枫采髑的是1 2 ”的c c d ，两飘它的实际大小怒已知致。所以我们就可以 潘岩：基于双目立体视觉的人脸三维重建方法的研究 计算出正方形在数码相机的c c d 上的实际大小。具体操作过程如下： ( 1 ) n 量整个图像的大小： 利用p h o t o s h o p 软件的图像测量功能对整个图像的大小进行测量，测得整个图像的 大小为5 6 4 4 4 x 4 2 3 3 3 m m ，如图2 4 。 图2 4 整个图像大小测量过程图 f i g2 4m e a s u r ep r o c e s so f t h ew h o l ei m a g e ( 2 ) 图像中正方形大小的测量： 首先用p h o t o s h o p 软件的图像进行功能对该图像进行处理，单独将正方形部分裁剪 出来进行测量，我们的测量结果是正方形的大小是2 4 9 7 7 2 5 0 8 3 m m ，如图2 5 。 大连理工大学硕士学位论文 图2 5 正方形大d , n 量过程图 f i g2 5m e a s u r ep r o c e s so f s q u a r es i z e 因为正方形的中心和数硝相机的镜头的中心是在i 刊一个亘线上的倪明正万彤征图像的 中心，就可以求出正方形在c c d 上的实际大小： 水平边上的长度啦罴6 , 4 r a m = 2 8 3 2 m m 竖直边上的长度护焉4 8 m m = 2 8 4 4 珊m 数码相机的成相过程满足针孔模型理论，关于针孔模型理论，我们已经在第一部分 中讲行了详细的叙述，这罩就不介绍了。根据针孔模型理论有以下关系式： x ：r i y ：f 竖 z 。 我们的试验模型实际上就是把带有正方形的泡沫板放在我们建立的数码相机坐标系中。 数码相机坐标系的建立是以数码相机的中心作为坐标系的原点，数码相机的光轴作为坐 标系的轴。分别平行于c c d 的长边和短边的两个轴为轴和y 。轴，这样是很容易实 现的，只要把数码相机摆放在平整的平面上就可以实现。让f 方形的中心通过数码相机 坐标系的z 。轴，正方形两边分别平行于数码相机坐标系的x 。轴和儿轴。这也是很容易 潘岩：基于双目立体视觉的人脸三维重建方法的研究 实现的，同样只要把泡沫板放在平整的平面上就可以实现。 根据针孔模型和我们的试验模型，我们就可以将针孔模型的理论关系式，转换为 d 净s a f r 【2 _ 6 ) 夺丢 因为试验上的误差导致了水平方向上和垂直方向上的代入试验得到的口”值的不同。所以 应该分别代入数据：a = 2 0 0 m m ，a 1 = 2 8 3 2 m m ，s = 5 0 0 m r n 和已知数据a = 2 0 0 m m ，a “v = 2 8 4 4 m m ，s = 5 0 0 m m 。则利用公式( 2 6 ) 分别可以计算出f = 6 9 8 1 m m 和厂_ 7 o l o m m 。将 两个，取平均值，得到我们需要的厂值为6 9 9 6 m m 。所以有， 铲f 出= 恶划4 ， 所以数码相机的内部参数就确定了，即 iq 0 l ：a 。y 口一：f ：6 9 9 6 ：1 7 4 9 西0 0 0 4 08 0 00 i 1 7 4 96 0 00 1 010 在第一部分中我们已经推导出了世界坐标系和象素坐标系之间的转换关系式 h 卜 乙： 0 a y 0 “0 v o 1 工” y 。 z ” 1 在第二部分中我们标定了这款s o n yd s c 一$ 7 0 型号数码相机的内部参数得到了数码 相机的内部参数矩阵。在这里我们将数码相机的内部参数矩阵代入到上面的关系式中， 并且令 9m o o 一 一 = 1l o o 0， f 1 r 0 l 1llj o o o 大连璎互大学琰圭学位论文 就可驻襻虱关系式 酬= 。瀚。私t 教z 1 7 4 96 0 0o 擀 o lo 七3 2 k 。l 000 k 1 4 k k l 整理露，得三个关系式： ( 0 0 0 0 5 7 1 7 6 u 一0 4 5 7 4 ) z 。= k n x 。+ 墨2 y 。+ k 1 3 z 。+ 托4 玲，0 0 0 5 7 1 7 6 v o 。3 4 3 0 5 ) z 。= _ j 2 盖。枣2 2 y 。+ 露2 3 z 。+ 毛 嚣。= 屯并。+ 屯2 y 。+ 岛3 z 。+ 匕( 2 7 ) 将关系式( 2 7 ) 中的第三个表达式代入前两个表达式就可以得到两个关于麓f ( 卢l ，2 ，3 ； - - 1 ，2 ，3 ，啦豹关系式： x w k l l + j ，。_ 2 + z 。墨3 十魄4 一( o 0 0 0 5 7 1 7 6 u 一0 4 5 7 4 ) x 。k 3 1 一( 0 0 0 0 5 7 1 7 6 u - 1 4 5 7 4 ) y 。k 3 2 瓣0 0 0 5 7 1 7 6 u 一0 4 5 7 4 ) z 。k 3 3 一。0 0 0 5 7 1 7 6 u o 4 5 7 4 ) k n = 0 x w k 2 l + y 。k 2 2 + z w k 2 3 + k 2 4 一( o 0 0 0 5 7 1 7 6 v 一0 3 4 3 0 5 ) x 。k 3 1 一( o 0 0 0 5 7 1 7 6 v 0 3 4 3 0 5 ) y 。后3 2 一 ，0 0 0 5 7 1 7 6 v e ；3 4 3 0 5 ) z ，k 3 3 一国0 0 0 5 7 1 7 6 v o 。3 4 3 0 5 ) 。= 0 ( 2 8 ) 鼹令关系式之中，茗。，y w 器& 是被接摄羲耪俸上靛熹静在整赛璧檬系中瓣三维搬椽 值，“和v 是被拍摄的物体上的点在数码相机的成像平面上的像点在象素坐标系中的二 维坐凝篷。瑟岛洚l ，2 ，3 ；户1 ，2 ，3 ，4 ) 跫我翻要礁定弱数码稳瓿貔努部参数，共有卡二个 未知参数，根据线性方程组的求解性质，必须是有十二个以上的线性无关的方程式的方 程组刃一能舞爨t - 二个寒躲参数。垂关系式2 8 ) 可以看鹚每一个世爨坐标系中戆点魏坐标 值和它在象素坐标系中相应的像点的艇标值w 以确定两个关系式。所以为了解出十二个 未知豹参数就必须知道世爨搬糠系中六个以上的点瓣坐稼馕秘弛们在象素搬括系中对 应的像点的擞标值。 下面是我 f 设计豹求鼹十二个求知参数试验方法： 孙协铷。如坳铷。如坳锄0t o b ； 丌oiiiij监 9 强o o l 罄oii卫 一h一 乙 潘岩：基于双目立体视觉的人脸三维重建方法的研究 因为进行的是三维建模，所以我们实际上需要标定出放在世界坐标系之中的两个数 码相机的外部参数，但是在实际的试验当中不一定必须用两个相机才能实现。其实只要 固定出两个数码相机在世界坐标系中的位置，先用一个数码相机在一个固定的位置对物 体进行拍摄，然后在将这个数码相机放到令一个固定的位置对物体进行拍摄，也可以起 到立体相机的效果。所以在本文之中我们只进行一个数码相机外部参数的试验过程的具 体描述。而实际上我们也是用在一个相机的方法进行三维建模的研究的。 要实现外部参数的标定，首先我们必须建立一个世界坐标系，并且确定数码相机在 世界坐标系之中的位置，以便每次移动数码相机以后可以更快更准确的找到数码相机被 标定时的位置。之后，必须在适当的位置安放需要被拍摄的物体，而且要求被拍摄的物 体上标记有明显的点，并且这些点在世界坐标系中的坐标值是可以被方便且准确的测量 出来。在测量出这些点在世界坐标系当中的坐标值后，将数码相机安放在已经确定好位 置，对该物体进行拍摄。最后测量出物体上标记的点的像点在象素坐标系之中的坐标值。 代入关系式( 2 8 ) ，组成方程组，最后解出未知的十二个参量。 试验的模型如图2 6 。 图2 6 试验的模型 f i g2 , 6m o d e lo f e x p e r i m e n t a t i o n 具体的试验方法的实现： 这个试验中我们用简单的已知六个点的方法进行试验。于是我们选择了一个在z 。 轴方向较扁的长方体作为被拍摄的物体，在长方体的一个表面上我们用笔画出间距规格 的线，因为当这个长方体被安放在世界坐标系中后，这些线的交点就可以很准确给出他 们的位置，即他们在世界坐标系中的坐标值。因为本文中的试验只需要明确六个点，所 以我们圆圈标出了我们设定的六个点，以便在采集到图像后，可以快速准确的在图像上 4 大连理工大学硕士学位论文 找到他们。我们自己制作一个塑料平板，用有颜色的笔在塑料平板上，画出世界坐标系 的z w 轴，工。轴和坐标原点o 的位置，并且设定在世界坐标系的原点o 处，垂直塑料平 板的方向上为世界坐标系的y 。轴。我们将被安放的物体放在塑料平板上，同时测量出 我们设定好的六个点在世界坐标系中坐标值，它们分别是( 一3 0 ，一9 0 ，o ) ，( 3 0 ，6 0 ，0 ) ， ( - 3 0 ，3 0 ，o ) ，( 3 0 ，9 0 ，o ) ，( 3 0 ，一6 0 ，o ) ，( 3 0 ，一3 0 ，o ) 。在它的上面用小塑料块，分别固定出两个数 码相机的位置，因为我们采用的是一个数码相机的试验，这样做以便每次移动数码相机 后可以快速的找到两个数码相机被标定时的位置。当一切准备好了以后，将数码相机放 在一个固定位置进行拍摄，再将数码相机放在令一个固定的位置进行拍摄。得到的图像 如图，对图像上的设定点在图像坐标系中的坐标值进行测量。由以上的叙述可以知道两 个数码相机的外部参数的标定方法是完全一样的，所以在以下文章中，我们只对一个数 码相机的外部参数的计算过程进行叙述。 将采集到的图像导入到p h o t o s h o p 软件中，利用它的测量图像点象素坐标的方法对 设定点的坐标值进行测量，过程如图2 7 。 图2 7 坐标值测量过程图 f i g2 7m e a s u r ep r o c e s sc h a r to f c o o r d i n a t ev a l u e 得到的图像上的设定点在图像坐标系中的坐标值( 1 1 2 0 ，3 3 8 ) ，( 1 1 2 0 ，4 6 8 ) ，( 1 1 2 0 ，5 9 8 ) ， ( 1 3 8 0 ，3 3 8 ) ，( 1 3 8 0 ，4 6 8 ) ，( 1 3 8 0 ，5 9 8