（计算机应用技术专业论文）多投影大屏幕系统的自动构建方法.pdf

浙江大学硕t 学位论文 摘要 摘要 多投影大屏幕系统是使用多台投影仪协同工作构建高分辨率、大可视范围的 展示设备。多投影系统构建技术主要解决由于投影仪姿态、投影幕形状等造成的 显示效果和目的效果不一致的问题；相邻投影仪画面的错位问题，使多投影系统 在几何上实现“无缝”拼接；投影仪画面在投影幕上显示的色彩差异问题，色彩 差异将大屏幕画面分成了多个部分，方法中的全局色彩一致性校正能够解决这个 问题。 多投影大屏幕系统构建方法的一个重要指标是自动化程度的商低和方法的适 用范围。本文的研究工作主要集中在研究一种适用范围广、自动化程度高的构建 方法多投影大屏幕系统构建首先获取多投影仪和摄像头的定杯数据，然后分析 定标数据得到构建数据，最后利用构建数据搭建多投影大屏幕显示设备。 本文研究了一种新颖的定标数据获取方法，在获取过程中就能够得到多投影 系统构建中的多投影仪对齐数据，这种方法具有适应范围广、计算速度块的特点。 同时在定标数据获取过程中，在亮度自适应的拍摄方法和投影仪照射区域自动提 取方法等方面进行了研究，新的方法极大的减少了人的参与，很大程度上提高了 方法的自动化程度。 目前，本文的多投影大屏幕系统已经利用在文物数字化展示领域中，用于大 场景的沉浸式展示。 关键词：多投影，校正，对齐，亮度自适应，重叠区定位，亮度削减 浙江大学硕上学位论文 a b s t r a c t m u l t i - p r o j e c t o r , l a r g e - s c a l ed i s p l a y sa r eas y s t e mu s i n gm u l t i p l ep r o j e c t o r st o a c h i e v el a r g e - s c a l e s c r e e n , h j 【g hr e s o l u t i o n s e a m l e s sd i s p l a y s c o n s t r u c t i o no f m u l t i - p r o j e c t i o ns y s t e mt e c h n o l o g i e s i st h em e t h o ds o l v i n gt h ei m a g ed i s t o r t i o n b e t w e e np r o j e c t o ra n dd i s p l a y s ，w h i c hi sc a u s e db yp r o j e c t o rp o s t u r ea n ds c r e e nf o r m s ； i n v o l v i n gc o r r e c t i n gf o rg e o m e t r i cm i s a l i g n m e n t ；e l i m i n a t i n gt h ep r o j e c t o rt h ec o l o r d i f f e r e n c eo ft h ep r o j e c t o rs c i e e n c o l o rd i f f e r e n c e sw i l ld e s t r o yl a r g e - s c r e e ni m a g e s t oan u m b e r o f p a r t so f t h eo v e r a l lc o n s i s t e n c yo f c o l o rc o r r e c t i o nt os o l v et h ep r o b l e m m u l t i - p r o j e c t e rd i s p l a y sc o n s t n i c t i o nm e t h o d si sa ni m p o r t a n ti n d i c a t o ro ft h e l e v e lo fa u t o m a t i o na n dm e t h o d so fa p p l i c a t i o n t h i sr e s e a r c hf o c u s e d0 1 1t h e d e v e l o p m e n to faw i d er a n g eo fa p p l i c a t i o n , ah i g hd e g r e eo fa u t o m a t i o no f c o n s t r u c t i o n l a r g e - s c r e e np r o j e c t i o ns y s t e m c o n s t r u c t i o nm e t h o d ss t a r tw i l h c o n s t r u c t i n gm o r ea c c e s st o t h ep r o j e c t o ra n dt h ec a m e r ac a l i b r a t i o nd a t a , t h e n c a l i b r a t i o nd a t aa n a l y s i st ob ec o n s t r u c t e d t h ef i n a lu s eo fd a t as t r u c t u r e sc o n s t r u c t e d o v e rl a r g ep r o j e c t i o ns c r e e nd i s p l a yd e v i c e t h i sp a p e ri n t r o d u c e san o v e lc a l i b r a t i o nd a t aa c q u i s i t i o nm e t h o d s , i nt h e a c q u i s i t i o np r o c e s sc a l lb ec o n s t r u c t e dm o r ep r o j e c t i o ns y s t e mo fm u l t i - p r o j e c t o r a l i g n m e n td a t a t h em e t h o dh a st h ef l e x i b i l i t ya n dm o r ef a s tt h a nb y p a s s i na d d i t i o n c a l i b r a t i o nd a t aa c q u i s i t i o np r o c e s s ，a d a p t i v eb r i g h t n 黜i nt h es h o o t i n gm e t h o d sa n d i r r a d i a t i o nr e g i o n a lp r o j e c t o ra u t o m a t i ce x t r a c t i o nm e t h o d sa n do t h e ra r e a so f r e s e a r c h , n e wm e t h o d sg r e a t l yr e d u c et h ep a r t i c i p a t i o no ft h ep e o p l e ，t oal a r g ee x t e n t , i m p r o v e t h ed e g r e eo f a u t o m a t i o n c u r r e n t l y , t h i sm u l t i l a r g es c r e e l lp r o j e c t i o ns y s t e mi st h eu s co ft h eh e r i t a g eo f d i 百t a ld i s p l a ya r e a s ，f o rt h eb i gs c e n ei m m e r s i o nd i s p l a y k e y w o r d s ：m u l t i - p r o j e c t o r , c a l i b r a t i o n , a l i g n m e n t ，b r i g h t n e s sa d a p t i v e , o v e r l a p p o s i t i o n i n g , l u m i n a n c ea t t e n u a t i o n 浙江大学硕士学位论文符号表 符号表 需要投影仪b 进行投影的原始图像，未经过任何变换 需要投影仪易进行投影的经过拼接预处理的图像 f 需要投影仪n 进行投影的经过拼接预处理，经过内部校正预处理的图像 f 投影仪b 的画面能够在投影幕上起作用的区域，。一f 的其它区域为全黑 墨投影仪肼在投影幕上生成的画面 q 相机在拍摄投影仪见的画面时得到的图像 c 相机在拍摄投影仪易的画面时得到的图像中b 的实际投影区域 q 相机在拍摄q 的位置上拍摄到的投影仪p ，图像 q ，投影仪画面中会与投影仪p ，的画面重叠的区域 q 。相机画面中拍摄到的易，p ，画面重叠的区域 冠渲染节点i 渲染出来的画面 浙江大学硕士学位论文 图目录 图目录 图i - i 文章的主要内容。3 图2 - i 投影仪画面校正示意图6 图2 - 2 适用于任意幕的校正方法9 图2 - 3 规则幕多投影系统拍摄方法1 0 图2 - 4 单投影仪亮度表和投影幕亮度表 图2 - 5 投影幕和单投影仪的亮度衰减表1 4 图2 6 全局色彩一致化的效果图1 5 图2 7 不同结构光编码技术的编码图像1 5 图2 - 8 结构光编码投影 图2 - 9 条纹区域1 6 图3 - i 设备放置关系示意图 图3 - 2 相机转动拍摄示意图1 9 图3 - 3 镜头形变影响成像画面2 0 图3 4 径向变形示意图2 0 图3 - 5 曝光时间搜索算法示意图2 3 图4 - 1 投影仪真实投影区域示意图2 5 图4 - 2 投影仪真实投影区域边界剪裁示意图2 6 图4 - 3 最终确定的投影区域和关键点2 6 图4 - 4 投影仪内部画面畸变校正示意图2 7 图4 5 投影仪的最终输出图像示意图。2 8 图4 - 6 基于视线的画面对齐方法示意图。3 0 图4 - 7 相机内参示意图3 0 图4 - 8 摄像头成像平面3 l 图4 - 9 摄像头成像四棱锥3 2 图5 - i 投影仪输出曲线校正 图5 - 2 投影仪画面重叠区域定位 。3 5 图6 - i 视点参数设置3 9 图6 - 2 视域参数设置3 9 图6 - 3 视域参数设置的参考依据4 0 图6 - 4 投影仪投影的最终画面示意图4 0 图6 - 5 投影仪投影的最终画面4 l 图6 - 6 多投影系统展示的最终效果4 2 i i i 浙江大学硕十学位论文第一章绪论 第一章绪论 1 1 引言 近年来，随着多媒体、虚拟现实等计算机技术的逐步成熟及数字博物馆、景 观规划、科学计算可视化、军事训练等应用的迫切需求，高分辨率显示技术开始 被广泛地采用。而目前主流的显示设备，分辨率通常只有几百万象素左右单个 设备无法满足目前的需求，而采用多投影仪无缝拼接成的大屏幕显示系统能很好 地解决这个问题。高分辨率多投影显示系统采用多个投影仪组合成为大屏幕系 统，它比普通的标准投影系统具备更大的显示尺寸、更宽的视野、更多的显示内 容以及更具冲击力和沉浸感的视觉效果。为了方便，本文将多投影大屏幕系统简 称为多投影系统。 多投影系统能够提供立体视觉，因而能够大大增强展示的真实感和临场感 觉，所以多投影系统在虚拟现实方面具有强大的优势，如虚拟学习、医学上的远 程手术等，随着多投影系统在虚拟现实领域中的应用越来越广，多投影系统的构 建成为了目前虚拟现实技术研究的一大热点。 除了虚拟现实中的应用之外，多投影系统还能广泛应用于立体电影中，立体 电影能够提供给观众更强的震撼感，三菱电子研究实验室建立的3 dt v 系统就属 于这一类“1 。在大会会场和遥感地图方面，多投影系统能够提供比其它系统大的 多可视面积，因而多投影仪系统能够同时容许更多的游客观看，如浙江大学c a d 实验室研究的3 * 5 多投影系统就能够用来展示遥感地图。在科学研究中，多投影 系统同样能够提供更高的分辨率，因而广泛应用在医学图像，微观系统展示等领 域，o a kr i d g en a t i o n a ll a b o r a t o r y 组织利用多投影系统来进行了多项科学研 究，如蛋白质形态、超微组织的科学模拟嘲。在大型控制中心中同样可以利用多 投影系统作为命令和控制中心的显示终端，如a t t 创建的g l o b a ln e t w o r k o p e r a t i o n sc e n t e r 系统使a t & t 能够集中在一个地方处理发生在全国范围内的网 络通信业务m 。 1 2 本文的工作 多投影系统是使用多台投影仪协同工作构建高分辨率、大可视角的展示设 备。多投影系统构建需要解决单台投影仪内部画面的畸变现象，在投影显示下， 浙江大学硕士学位论文 第一章绪论 当投影屏幕为平面时，如果投影机的光轴与屏幕不垂直，投影图像将发生梯度变 形，梯形变形是线性形变的一种；当投影屏幕为曲面时，例如球面、柱面，甚至 直角平面，即使投影机的光轴与屏幕垂直，曲面屏幕上的投影图像则会发生非线 性形变。多投影之间画面拼接问题，解决相邻投影仪画面的过渡问题，使多投影 系统在几何上实现“无缝”拼接。全局色彩一致性校正，即使进行了单投影的画 面畸变校正和多投影拼接，人眼仍然很容易分辨出来两个相邻投影仪的画面颜色 上的不一致，这导致了多投影系统不能真正的实现“无缝”，所以要进行全局色 彩一致性校正，从而最终得到完整的一致的大范围的显示屏幕。 本篇论文主要讲述能够用于超大规模、任意幕适用的多投影系统的构建方 法，所谓“超大规模”是指单个相机在正常情况下无法拍摄到投影幕全景的系统。 传统的针对“超大规模”多投影仪系统的拍摄方法利用了投影幕本身的形状特征， 将多个相机拍摄的莉面或者单个相机的画面变换到一个“虚拟”的在“主位置” 的相机的图像系统中。这种方法对于非规则幕的拍摄出现了问题，由于投影幕的 形状不确定，相机拍摄的画面不能变换到“虚拟相机”的图像系统中，在这种情 况下，也就无法得到投影仪到相机图像的对应关系，接下去的几何拼接和色彩拼 接无法进行下去，而本篇论文提出了一种新的方法在一定程度上解决了这个问 题。 随着多投影大屏幕显示设备的应用领域不断拓宽，对多投影系统的构建方法 的要求提出了新的要求，其中最重要的要求是对时间和自动化的要求。最开始多 投影系统的人工构建方法需要几个小时，在引入了软件构建方法后，大大缩短了 构建时间。在自动化方面，h i t 和u n c 大学开发出了基于校准的相机的自动调 节系统，后来p r i n c e t o n 大学将之发展为基于无需校准相机的自动调节系统“1 ， 然而无需校准相机的自动调节系统对投影幕的形状进行了假设，适用范围不广 本文从校正方法对环境的适应性和减少人工交互两方面着手，提高了系统的自动 化程度，并缩短了一次校正所需要的时间。 本文的主要研究成果有： 研究了在各种环境光强下相机自适应的算法，使系统能够根据环境光强 调节相机参数，拍摄出高质量的结构光编码图像。 在系统校正指定的投影仪时，如何能够在相机图像中选取出对应该投影 仪的信息，这是投影仪照射区域的自动选择问题，减少了人工交互，提 高了自动化水平。 单投影仪画面畸变的校正问题。在选择了投影仪的照射区域后，利用结 2 浙江大学硕士学位论文第一章绪论 构光编解码技术求取出投影仪和相机之闻的对应关系，解决了如何对投 影仪的画面进行处理使其投影出预期画面的问题。 解决了多投影系统中相邻投影仪之间的对齐问题。投影仪之间的拼接方 法主要解决各投影仪应该投影预期画面的那个部分的问题，是多投影系 统构建的关键问题。本文的方法将相机放置在可以转台上，转台带动相 机旋转拍摄各种角度，因而能够拍摄到整个投影幕的画面。通过对拍摄 图像和相机姿态的分析，得到投影仪真实照射区域在预期画面的对应区 域，从而解决多投影系统中相邻投影仪之间的拼接问题。 研究了在本方法下如何定位相邻投影仪之间的重叠区域，并对该重叠区 域进行亮度削减，多个投影仪照射同一区域，会使该区域的亮度高于其 它区域，进行了亮度削减后能够使该区域和其它区域的亮度一致。 介绍了本方法如何在实时渲染环境下利用，并进行了系统实现。进行了 实验研究，实验证明该方法是可行的，且具有较高的自动化程度。 攀誊 囊；蓦荔鋈参e 蓑誓交) 嬉姥夕 且嚣i 相 机 一、q 一g i = 。” 攀 夕卜 t 薷- 壁立 l 参 搏此日l 越扣够芎 8 雾豫3 ， 、竺；。夕k 竺；z恁! 毒一 图卜1 文章的主要内容 浙江大学硕士学位论文第一章绪论 1 3 本文的结构 本文的行文结构按照多投影系统的构建流程来介绍，首先回顾了前人的工 作，接着介绍拍摄工具和数据采集方法，然后依次介绍单投影仪画面内部的校正、 投影仪之间的拼接、全局的色彩一致性校正，接着介绍了一个面向实时渲染的多 投影系统的实现以及最终的应用效果。 1 4 本章小结 本章首先介绍了多投影大屏幕展示系统的概念和它的应用，然后介绍了当前 存在的问题和本文为解决这些问题所作的工作，本章还概要地讲述了全文的结 构。 4 浙江丈学硕上学位论文第二章多投影系统构建方法相关技术 第二章多投影系统构建方法相关技术 随着高分辨率多投影显示设备越来越多的应用于社会生活和科研活动中，如 何快速、精确的构建多投影大屏幕显示设备成为了人们研究一大热门问题，对此， 研究人员进行大量研究并进行了应用，本章将对这些研究成果进行简要的介绍。 基于软件的多投影系统构建方法中的重要一环是求取大屏幕和投影仪之间、投影 仪和数据采集设备之间的对应关系，结构光编码图象匹配是求取这种对应关系的 方法中最普遍的一种，本文的研究中也采用了这种方法，所以本章将对结构编码 图像匹配算法进行介绍。 2 1 多投影系统构建技术综述 多投影系统是使用多台投影仪协同工作构建高分辨率、大可视角的展示设 备。多投影系统构建主要解决单台投影仪内部画面的畸变现象，由于投影仪姿态、 投影幕形状等造成的显示效果和目的效果不一致的现象；多投影之间画面拼接问 题，解决相邻投影仪画面的过渡问题，使多投影系统在几何上实现“无缝”拼接； 全局色彩一致性校正，即使进行了单投影的画面畸变校正和多投影拼接，人眼仍 然很容易分辨出来两个相邻投影仪的画面颜色上的不一致，这导致了多投影系统 不能真正的实现“无缝”，所以要进行全局色彩一致性校正。从而最终得到完整 的一致的大范围的显示屏幕m 2 1 1 投影仪几何校准方法 投影仪画面只有投影在平面的投影幕上才能得到正确的画面，投影仪的姿态 会对最终显示的画面产生影响。当投影仪的姿态不恰当、投影幕是非平面时，投 影仪投影的画面和预期的画面不相一致，我们称之为投影仪画面的畸变，所以必 须对投影仪的画面进行预处理，从而抵消这种畸变，称为投影仪画面畸变校正。 画面畸变校正保证了投影仪画面和相机画面相似，并不能保证投影仪之问的画面 比例一致和对齐，怎样才能保证投影仪之间的画面能够对齐是本章要解决的另一 个问题。单投影画面畸变校正和投影仪间画面对齐合称为多投影系统几何拼接。 投影仪内画面变形校正，也可以称为单投影仪画面畸变矫正。投影仪投射的 画面在不同的投影幕上会发生不同程度上的形变，在平面投影幕上发生的形变比 5 浙江大学硕上学位论文 第二章多投影系统构建方法相关技术 较常见，只有当投影幕平面和投影仪的光轴垂直时，投影的画厩才能正确显示， 如果投影幕平面和投影仪光轴不垂直，则会出现梯形失真等，目前，对于和平面 投影幕有关的失真，投影仪一般都集成了矫正的硬件，通过自动控制镜头的光轴 来矫正画面，但是自动矫正只对特定的几种失真能起效果。而当投影仪投影画面 到非平面投影幕上的时候，则会出现更加复杂的画面变形，如下图显示( 图一， 单投影仪内部的几何失真) 。 由于投影仪自动矫正的不足，所以在多投影系统中，对投影仪画面的畸变必 须进行进一步的矫正。投影仪一般都提供了手工进行调节的功能，所以工程师们 开始尝试采用投影仪提供的这些功能来进行画面校正，在此基础上，人们利用了 机械装置和投影仪提供的功能搭建了一个多投影系统嘲，由于该方法极其耗费人 力，校正效果还非常依赖于工程师的技术水平，且不适用非平面幕，因而目前的 系统大都采用了软件矫正的方式。 软件矫正是利用适合的设备获得投影仪投影在投影幕上的图像，根掘获得的 图像判断投影仪的畸变方向，然后进行恰当地反向变形，使两次变形的效果互相 抵消，从而最终达到畸变矫正的目的，如图。 图2 1 投影仪画面校正不意图 按照反向变形( p r e - w r a p p i n g ) 的方式，矫正又可以分为两种方法，第一种 方法是利用求取出投影仪图像到图像获取设备的坐标变换公式，利用这个公式进 行变换，从而在投影仪上获得正确的图像。第二种方法是在选择几个关键点，先 矫正这几个关键点，然后对关键点之间的图像进行插值，最终达到整个图像矫正 的目的。 对于规则幕来说，都可以采用上述的第一种方法。”介绍了针对平面的规则 投影幕的投影仪图像畸变矫正技术( 采用线性方法) 。1 嘲介绍了另一种采用矩阵 变换的方法。这些方法本质上是一样的，都可以利用矩阵变换来达到校正的目的 6 塑望盔兰堡：! 兰竺堡塞 兰三兰兰丝墅墨丝塑堡查堡塑茎垫生 这些方法都采用相机作为图像获取设备，由于相机和投影仪都可以用针孔模型来 描述，所以，投影平面上点和相机图像以及投影仪图像的变换关系都可以用矩阵 变换来描述。这样，投影幕和投影仪图像中对应点的变换关系可以描述为下述变 黜朔同 伢。 其中 翻表示投影仪图像中点的齐次坐标，f 表示投影幕中点的齐次坐标。 f p lp 2p 3 1 这样，只需要求取出l p 4 p 5p 6 i 和w 即可。这样只需要4 个匹配的点对 【p 7 p 8p 9 j “，只) ( x i ，i ) 即可求解出这些参数a 为了能够提高计算精度，一般利用 开( 胛 4 ) 个有效点对来计算这些参数。将待定的矩阵写成向量p 2 i s , 1 ，p 2 ，p 9 j 形式。对于雄( 疗 4 ) 个有效点对眠，_ ) ，) ，i ) ，多= 陋，p 2 ，p 9 1 和下式 五x l00 0 墨一巧五 一五 00 0x i kl x l y l x _ ，- 一y l 五e l0 0 0 一五而k 而- b 0 00 五el 一五乃一k 儿一照 置艺l 00 0 一以一毛 0 00 x 。y 。t x 。，q 。y 。一y 。 = 爿( 2 2 ) 接下去的任务就是选择多- 【p 1 ，p 2 ，p 9 】使1 4 矿f 取得最小值然后就可以利用 p lp 2 叫 i p 4p 5p 6 i 进行变换m 。 - l p 7p 8p 9 j 在上述论文中，没有讲到如何利用图像获取设备( 如相机) 来获取投影幕和投 影仪的点对信息。医而，它们没有解决自动化校正的关键问题。在硼中提到了一 7 浙江大学硕十学位论文 第二章多投影系统构建方法相关技术 种在投影幕上做标记，或者通过利用投影幕的边界，通过这些信息，利用相机求 取出相机和投影幕的点对变换关系的方法，这个方法能够在几秒中的时间内定出 相机和投影幕的点对变换关系，同时方法能够达到亚象素的精度。在现实中，对 于一些投影幕并不方便于做标记，同时投影幕的面积可能非常大，这样相机就无 法得到投影幕的边界信息，所以上面的方法也就不在适用了。在论文“0 1 和“”提供 了解决这个问题的方法。 对予二次曲面形状的大屏幕同样能够利用数学公式进行矫正变换，“”讲述了 这种方法。二次曲面的方程可以描述为x 7 旦= 0 ，其中q 是一个对称的4 x 4 的 矩阵，x 是一个齐次坐标，表示二次曲面上的某一点。视点v e w 和v i e w 所见图 像中的对应点具有下述的变换关系： ，兰8 譬一( q 7 j ( 碍7 算) 2 一j 7 q ，工) p ( 2 3 ) 其中q ；i 垮：l 。类似于平面的矫正方法，最后仍然是通过求求取待定值占，9 口 l g1 j 来得到变换方程。其中b ，e 是由视点v i e w 和视点玩的内外参确定。 该文中的方法利用标定后的双相机获取二次曲面幕上的点的坐标，从而计算 出矩阵彰。此时可以将投影仪珐当成视点n ，代入公式( 2 - 3 ) 得 ，兰b x - ( q 工( 9 7 力2 一工7 q 3 3 j ) p ( 2 4 ) 和公式 x 兰丑x 。- ( q 7 x 。( 9 7 工。) 2 一j 。7 q 1 ，) e ( 2 - 5 ) 进行当前视点坐标系和投影仪a 坐标系之间图像的变换关系。 第二种方法是一种对于适用于所有幕的方法。“”介绍了这种方法。这是一种 针对于特定视点的校正方法，示意图旧 s 浙江大学硕士学位论文第一二章多投影系统构建方法相关技术 图2 - 2 适用于任意幂的校正方法 该方法采用一个相机放置在需要的视点位置，通过该相机获取关键点的变换关 系，然后对其它点进行插值，从而得到全部点的变换关系。由于该方法获得的变 换关系与相机的位置有关，所以，该方法只是用于特定视点，且相机必须放置在 所需的视点位置。 针对上述方法只能用于特定视点，研究人员研究了一种能够提供动态视点的 校正方法“”，在该算法中，需要再获得3 个信息：投影幕的3 维模型，相机的内 外参数，投影仪的内外参数。这些参数都用同一个坐标系统下的坐标描述。然后 利用头部跟踪系统来得知当前视点和原始视点的变换关系，可以表示为一个平移 矩阵和一个旋转矩阵，利用这些关系得到当前视点，根据上面得到的3 个约束条 件重新计算关键点的变换关系，从而实现了动态视点的校正方法。 实际利用中，仅用上述的方法还是不够的，单相机的校正系统限制了多投影 仪系统的规模，而现实中拥有4 0 5 0 台投影仪的多投影系统是存在的，为了解 决这类问题，y c h e n 在他的论文中提出了在相机下加装一个附加装置，能够调节 相机的朝向，使相机能够进行多角度拍摄，依次校准单相机可见的相邻投影仪画 面，最终达到校准全部投影仪的目的嘲。而h c h e n 在他的论文中则提出了另一种 解决方案，使用相机的阵列进行大范围的拍摄，然后将相机的画面拼接到一台虚 拟的“超大视角”的相机画面中嘲以上两种方法都解决了多投影系统规模可变 的问题，通过相机画面的拼接或者相邻投影仪画面依次校准，理论上相机视角的 大小已经不在称为基于相机的校正方法的瓶颈。在y c h e n 的方法中，通过投影 9 浙江大学硕士学位论文第二章多投影系统构建方法相关技术 有标记的直线和点的信息进行约束( 变换后直线仍然为直线，不能变成折线) ，得 到相邻投影仪画面之间的校准误差，然后利用该误差和模拟退火算法，进行反馈 调节变换参数，逐步进行校准，使误差达到可以接受的程度。h c h e n 的方法选择 了一个初始的相机c 。，重建当前相机下的投影幕信息，保证相邻相机拍摄的范围 具有重叠区域，设g 和c ，为相邻相机，那么能够根据y c h e n 的方法得到q 和c ， 之间的坐标系统变换关系，日，这样g 和q 的变换关系。日，就能够由下面的公 式 r h | = t c r h l l h | t 2 - 6 1 s i n g l ec a m e m 自一| ；一9 一j 2 一自 一器 “ 僻 图2 3 规则幂多投影系统拍摄方法 单相机和多相机阵列的拍摄示意图如上图嘲。 在多投影仪系统中，单投影仪内部画面畸变矫正解决了投影仪画面内部的畸 变。投影仪间画面拼接校正则解决如何投影合适的图像使投影仪间的图像能够正 确拼接的问题。单投影仪内部校正得到投影仪和投影幕坐标之间的变换关系。 和乃。，则若需要得到彬- i 大小的图像，则只需投影仪只投影图像 ( ，y 。) = ( 弓一( ，y 。) ) ( 2 7 ) 对于平面投影幕而言，只需要得到。和乃。就- i p a 完成投影仪内部校正就 能够完成，因为目标图像彬x h , 就可以直接当成投影幕上的坐标。然而在投影幕 为非平面的情况下，为了预定的视点能够得到目标图像睨皿，就必须首先执行 一步乃+ 操作，将投影幕上的点映射到目标图像中去，也就是投影仪岛需要投影 图像 ( ，) = ( 乃+ ( 7 “( ，) ) ) ( 2 8 ) i o 新江大学硕十学位论文 第二章多投影系统构建方法相关技术 2 1 2 全局色彩一致性校正 在完成多投影仪系统的几何校准之后，研究人员发现，多投影组成的大屏幕 显示设备仍然无法拼按成一幅完整的画面。由各种原因造成的色彩差异将大屏幕 划分成了人眼很容易分辨出来的多个区域。 目前用于构建多投影系统的商用投影仪无法保证在它投影的所有区域内颜色 的一致性，本文中将这种差异称为投影仪内部色彩差异。即使同种投影仪，它们 之间的亮度，色彩属性都不可能保持一致，本文将这种差异称为投影仪问色彩差 异。为了方便画面过渡，相邻投影仪的画面在投影幕上会发生重叠，由于重叠区 同时被多台投影仪照射，因而亮度会大大超过其它区域，即使在所有投影仪全部 都投影最低灰度的颜色时，这个区域内的亮度仍然会超过其它区域，这是因为即 使是投影最黑的色彩，投影仪仍然会有少量光线投射出来，本文将这种亮度差异 称为重叠区差异。全局色彩一致性校正的任务就是消除上述三种类型的差异，达 到全局色彩属性一致的目的 色彩一致性校正包含了好几方面的内容，首先，必须将多台投影仪的亮度范 围校正到同一个区间内，这一点称为g a m u t 匹配，然后要对多投影画面的重叠 区进行边缘融合，消除画面边界重合引起的高光带，在此基础上进行全局的亮度 一致性化，调节大屏幕内部的色彩差异。 g a m u t 匹配 颜色可以表示为亮度，色度的三元组，这个三元组的取值范围称为一个 设备的色彩g a m u t ，g a m u t 匹配方法就是将所有投影仪的色彩都校正到同一 个色彩g a m u t 中，从而达到全局色彩一致性校正的目的。 首先，采用光度计等点色彩获取设备获得每一个投影仪的色彩g a m u t 。 根据获得的结果计算所有投影仪g a m u t 的一个交集，称为系统的公共g a m u t 。 然后，通过简化投影仪为一个线性输出系统，通过3 维的线性变换将每一个 投影仪的色彩g a m u t 校正到上述的公共g a m u t 中。 g a m u t 方法只能用于基于三原色的投影设备，因为这类设备的色彩能够 被一个三元组唯一确定。d l p 投影设备采用一个四元组来描述投影的色彩， 同样的色彩不能用唯一的四元组确定。因而g a m u t 匹配不适合这类设备。目 前也有一种扩展的g a m u t 匹配方法来对这一类设备进行校正“”。 边缘融合 边缘融合技术解决投影仪间画面平滑过渡的问题。边缘融合采用线性或 者余弦曲线来削弱投影仪画面重叠区域的亮度。例如，投影幕上一个像素x 被 浙江大学碗上学位论文第二章多投影系统构建方法相关技术 两个投r p l 和p 2 ，讲和p 2 对亮度的贡献分别是p l ( 工) 和p 2 ( x ) ，则进行 边缘融合的标准是取a l ( x ) 和a 2 ( x ) 使 ， a l ( x ) + a 2 ( 神= l ( 2 9 ) 其中a l ( x ) 和a 2 ( x ) 是关于j 的函数。 这样最终像素z 上的亮度是 a l ( x ) + p l ( x ) + a 2 ( + p 2 ( x ) ( 2 - 1 0 ) 当采用线性削弱函数的时候选择口l ( 力= 芴干d l 历，口2 ( 曲= 面了d 2 万，其中棚 和d 2 分别代表x 在各自投影仪画面中离画面边界的距离。 两台投影仪的边缘融合方法可以很容易的推广到开台投影仪的系统中，在 i , l 台投影仪的系统中每一台投影仪的重叠区像素的修正值为 以o ) = 上亟生 ( 2 1 1 ) 艺a j ( m ，功 其中q ( 辨，力= ( 脚，功4 ( m ，力，w ( 小，功的取值范围为0 和1 t 如果图像获取 设备在获取像素x 时能够观察到投影仪只的像素，则w ( m ，功为l ，否则为o 。 而喀( 胧，曲类似于两台投影仪的做法，是图像获取设备中像素x 到投影仪只最 近边界的距离“。 边缘融合可以通过两个方法来实现： a 如果重叠区域能够根据几何校正的数据直接计算出来，那么可以 很方便的使用软件方法进行边缘融合。然而软件融合方法不能解 决黑光亮带问题。 b 在投影仪上加装其它设备，通过它来调整投影仪的色彩。然而这 种方法的代价往往比较昂贵，而且也需要很高的熟练度，也更受 投影幕形状的制约。 边缘融合技术忽略了投影内部和投影仪之间的颜色差异，所以这项技术 只是减轻了投影仪重叠区域之间拼接的“缝”，而不是消除了它们。 基于相机的亮度校正 研究人员经过不断的实验发现多投影系统中的颜色和亮度具有下述性质 1 7 i f i s | 在同一投影仪的投影范围内，只有亮度发生变化，色度保持不变 在同一型号的投影仪之间，色度变化可以忽略不计，而亮度差异显得 浙江大学硕士学位论文第二章多投影系统构建方法相关技术 非常大 在不同型号的投影仪之间，色度差异和亮度差异相比较起来非常微小 通过调节投影仪的亮度、对比度、缩放、距离和方向，所改变的只有 投影仪的亮度，而色度仍然保持不变。 在此基础上发展了一种基于相机的亮度校正方法“”，采用两个步骤进 行色彩校正，能够做到全局色彩的一致性，解决本节开头所述的多投影系统 在色彩显示方面的3 个问题。 基于相机的亮度校正方法采用y i 1 、色彩空间来描述投影幕的画面色彩， 整个校正过程分为两步。 首先利用光度计等设备获取每台投影仪的输出曲线。然后将校正输出曲 线，使投影仪的输出呈线性。 然后根据相机采集的结果得到每台投影仪投影范围内的亮度属性，生成 一张亮度表。通过每台投影仪的亮度表，结合几何校j 下的结果，得到投影幕 的亮度表。通过投影幕的亮度表来对每一台投影仪的画面进行亮度削减，从 而得到一致的亮度，最终使投影幕的亮度呈现一致性，达到无缝拼接的目的。 输出曲线校正 利用光度仪等设备获得输入色彩的值和在投影幕上显示色彩的值的对应 关系。由于每台投影仪的色度差异可以忽略不计，所以只需要对亮度进行校 正即可，所以只需要记录亮度的对应关系即可。设投影幕上的显示亮度厶和 输入亮度。满足关系 三，= 厂( 厶) ( 2 1 2 ) 则为了输出色彩u ，甜，v ) ，若厶的最大值和最小值分别为k 和k ，厶的 最大值和最小值和三二“为就必须通过修正该点的输入色彩为 ( f ( 1 + ( 一如) ，( k k ) ) ， ( 2 - 1 3 ) 目前，有相应的色彩校正软件能够完成输出曲线校正的工作，并且将输 出曲线的配置参数写入操作系统的配置文件中，能够大大降低这一步骤对系 统整体性能的影响。 亮度削减表 亮度削减表的生成需要利用到几何校正的数据。由于光度计不能有效的 获取所有投影区域的亮度信息，所以需要利用相机来获取亮度信息。乜1 介绍 了从相机获取的相片中还原出亮度值的算法1 ，使基于相机的色彩校正方法 1 3 浙江大学硕七学位论文 第二章多投影系统构建方法相关技术 具有可行性。根据拍摄结果和几何校正的结果得到全投影幕的亮度表。搜索 得到亮度的最小值，设厶( 而，儿) 表示投影幕坐标( 而，乃) 处的亮度值，则投 影幕的亮度最小值工为厶( _ ，儿) 的最小值，k 。是所有投影仪都能够达到 的亮度。然后根据z 和岛( 乃，乃) 计算亮度削减表( l a m ) ，每一个投影幕像 素都对应一个亮度削减值被称为以( 矗，乃) ，这里 ， 4 ( 而，朋) = 了“x ( 2 - 1 4 ) l d 、 d y d 然而亮度削减表的目的是得到每个投影仪的亮度削减表，设投影仪坐标到投 影幕坐标的变换为。，那么就有 4 ( ，以) = 4 ( 7 。( ，) ，) ) ( 2 1 5 ) 由于亮度削减表同时考虑了投影仪内部，投影仪之间，重叠区现象，所 以能够做到全局的亮度一致化。下面是中的效果图”1 图2 - 4 单投影仪亮度表和投影幕亮度表 图2 5 投影幕和单投影仪的亮度衰减表 1 4 浙江大学硕j ：学位论文第二章多投影系统构建方法相关技术 图2 - 6 全局色彩一致化的效果图 2 2 结构光编码图像匹配算法介绍 结构光技术通过设计特征编码图案，投影到被拍摄物体上制造主动特征信息， 然后对编码图案解码，利用这些特征信息，获取投影仪和相机图像的对应关系， 在对投影仪和相机定标的前提下，可以利用这种对应关系求取出被拍摄物体的深 度信息。结构光图像编码的方式很多，j p a 9 6 s 根掘编码策略的不同为当前的编 码方式做了一个分类，主要可以分为三大类：时间多路编码策略，空f h j 邻域编码 策略以及直接编码策略。时间多路编码策略是利用不同时刻给编码的点赋一系列 值进行编码，每个点在多个时刻上的信息组成了该点的编码；空间领域编码策略 就是每个点根据其领域点的信息进行编码；直接编码策略就是每个点的信息在任 何时刻、任何位置都和其它点不同。如图i - 2 所示。 图2 - 7 不同结构光编码技术的编码图像 时间多路编码策略通常可以使用较少的色彩对投影图案进行编码，能够获得 较高的扫描精度和扫描密度，而且解码过程简单。 结构光解码技术的主要目的是对结构光编码图案进行解码，提取上述的编码 1 5 浙江大学硕上学位论文第二章多投影系统构建方法相关技术 信息，计算投影仪图案和照相机的图像上每个象素之间精确的对应关系。本文的 系统中通过投影仪将g r a yc o d e + p h a s es h i f t 编码的投影图像投射到投影幕表面， 从而在投影幕表面产生编码条纹图像，然后对这些编码条纹图像进行分析和提 取。 图2 - 8 结构光编码投影 如图1 - 3 所示，在t o ，t 1 ，t 2 ，t 3 ，t 4 ，t 5 ，t 6 时刻分别投影左图所示的七 幅投影图案，相应获取如右图所示的七幅照片。在t 6 时刻的投影图案最终将投 影图案分割为图卜4 所示的1 2 8 个条纹区域嘲。 图2 - 9 条纹区域 相移编码( p h a s es h i f i ) 由宽度为4 个p i x e l 的黑白相间条纹组成。黑白条纹之间 的边界作为扫描线，投影图案投影后，将整幅投影图案水平向右平移1p i x e l ，保 证水平的最小扫描密度，新得到的投影图案用于下一次投影用，连续投影8 次后， 投影图案恢复到初始状态，投影结束。p h a s es h i i t i n g 对应一个8 p i x e l 的周期，周 期与周期之间存在对应关系的二异性。 g r a yc o d e 和p h a s es h i f t 之间存在着性能上的互补，g r a yc o d e + p h a s es h i f t i n g 1 6 浙江大学硕士学位论文 第二章多投影系统构建方法相关技术 编码结合了两者的优点。g r a yc o d e 实现8 p i x e l 密度级的扫描，使用p h a s es h i f t i n g 编码进行每个8 p i x e l 周期中lp i x e l 密度级的扫描，两者结合完成对投影幕的扫 描。 通过分别对投影幕投影横竖的两组编码图像，就能够得到投影仪图像和相机 图像像素间的精确对应关系。 2 3 本章小结 本章介绍了多投影大屏幕系统构建方法中需要解决的问题，如投影仪几何校 准和全局色彩一致性校正，以及在解决这些问题中研究者使用的各种技术；最后 介绍了结构光编码图像匹配算法，这是在多投影系统构建中使用非常普遍的一种 投影仪画面和摄像头画面标定的方法，本文同样采用了这种方法。 1 7 浙江大学硕士学位论文 第三章多投影系统定标图像的采集 第三章多投影系统定标图像的采集 多投影系统构建，必须完成单投影仪内部画面的畸变校正，投影仪问的画面 对齐和色彩一致性校正，而完成这一切的前提是能够得到当前投影幕上的投影画 面，通过对已有的投影仪画面和拍摄的投影幕的画面分析，才能求出投影仪到相 机的变换关系，对投影画面的拍摄是整个多投影系统构建的基础。拍摄平台保证 了相机能够拍摄到整个投影幕区域，数据采集流程则确保采集精度和采集数据的 充分性。为了提高采集数据的质量和提高采集过程对环境和系统的适应能力，研 究了亮度白适应的拍摄方法。 3 1 拍摄平台和数据采集 固定摆设的单相机无法拍摄到大规模的多投影系统的全景，非规则幕的多投 影系统也不能够利用摄像头阵列进行拍摄，下面介绍一种能够适应大规模非规则 幕的数据采集平台和对应的数据采集流程。 3 1