（计算机软件与理论专业论文）基于投影仪红外摄像机的多点触控系统.pdf

浙江大学硕士学位论文摘要 摘要 多点触控技术( m u l t i t o u c h ) 是近年来的一个研究热点。多点触控技术定义 为：在计算机生成的交互式虚拟场景中，用户通过手势、手指或其他外在物理物 直接与电脑进行交互，实现多点、多用户，同一时间直接与虚拟的环境交互，使 户感觉到沉浸于其中。 本文以投影仪为显示设备，以红外摄像机为光学传感器，设计并实现了一个 多点触控系统。多个用户通过该系统，采用手、手指、其他物理物与投影在桌面 的信息进行交互。为了满足多点触控系统实时、多点的交互要求，我们设计一个 有效的目标识别跟踪算法。 首先，通过几何变换，建立帧缓存和摄像机图像空间中投影区域的几何映射 关系，将拍摄到的图像变换到帧缓存的几何空间下；接着采用背景减除法分割变 换后的图像，标记连通成分，分别提取各个连通成分的轮廓图及计算方向包围盒， 并跟踪之；然后根据肤色模型，从连通成分中提取掌心的几何位置，利用轮廓点 和掌心的距离关系分别将各个二维轮廓图转化为维波形，并计算波形的极值点 ( 包含了指尖点、手指间相连点) ，根据数学知识和手指构造，在轮廓图中提取手 指的长、宽、指尖的展角和手指间的夹角等特征信息；最后采用神经网络识别手 指，分为手指和非手指两类，区分手指端和手臂端。 关键词：多点触控，手指识别，计算机视觉，图像处理，人机交互，跟踪 浙江大学硕士学位论文 a b s t r a c t a b s t r a c t m u l t i t o u c ht e c h n o l o g y ( m u l t i - t o u c h ) i sar e s e a r c hh o t s p o ti nr e c e n ty e a r s m u l t i - t o u c ht e c h n o l o g yi sd e f i n e da s c o m p u t e r - g e n e r a t e di n t e r a c t i v ev i r t u a ls c e n e ， t h r o u g hg e s t u r e s ，f i n g e r sa n do t h e re x t e r n a lo b j e c t s ，t h eu s f f i sc a ni n t e r a c tw i t hi t d i r e c t l yi nm u l t i - p o i n t ，m u l t i - u s e r ，s ot h a tt h eu s e r sf e e li m m e r s e di ni t i nt h i sp a p e r , p r o j e c t o ra sad i s p l a ye q u i p m e n ts h o w st h ev i r t u a ls c e n e ，i n f r a r e d c a m e r aa sao p t i c a ls o n s o rc a p t u r e st h ei n f o r m a t i o np r o j e c t e do nt h et a b l e t h e m u l t i t o u c hs y s t e mi sd e s i g n e da n di m p l e m e n t e db a s e do nt h ep r o j e c t o ra n di n f r a r e d c a m e r a t h eu s e r sc a nu s eh a n d s ，f i n g e r so ro t h e ro b j e c t st oi n t e r a c tw i t ht h ev i r t u a l s c e n e i no r d e rt om e e tr o b u s t ，r e a l - t i m e ，m u l t ip o i n t ，w ed e s i g na l le f f e c t i v et a r g e t i d e n t i f i c a t i o na n dt r a c k i n ga l g o r i t h m f i r s to fa l l ，t h r o u g hg e o m e t r i ct r a n s f o r m a t i o n ，t h em a p p i n gr e l a t i o nb e t w e e nt h e c a p t u r e di m a g ea n dt h ef r a m eb u f f e rs p a c ew i l lb ee s t a b l i s h e d ；t h e ng e t t i n gc o n t o u r s v i a f i g u r e g r o u n de x t r a c t i o n ，c o n n e c t e dc o m p o n e n t sl a b e l i n g ，e d g e d e t e c t i o n t r a c k i n gm e t h o db a s e do no b b o ft h ec o n t o u r ss e e m st oh a v et h ea b i l i t yf o rr o b u s t r e a l t i m et r a c k i n g a f t e rt h a t ，t h e2 dc o n t o u r st r a n s f o r mt o1 dg r a p hb yc a l c u l a t i n g t h ed i s t a n c eb e t w e e nb o r d e ra n dt h ec e n t e ro fp a l mw h i c hc a ne x t r a c t e df r o m c o n n e c t e dc o m p o n e n tb a s e do nc o l o rm o d e l a n da c c o r d i n gt om a t h e m a t i c a la n dh a n d s t r u c t u r e ，t h el e n g t ha n dw i d t ho ff i n g e r , t h ea n g l eo ff i n g e r t i pa n dt h ea n g l eb e t w e e n f i n g e r sc a nb ee x t r a c t e d f r o mc o n t o u r s f i n a l l y ，n e u r a ln e t w o r kr e c o g n i z e st h e a u t h e n t i c i t yo ff i n g e r s k e y w o r d s ：m u l t i - t o u c h ，f i n g e rr e c o g n i t i o n , c o m p u t e rv i s i o n ，i m a g e p r o c e s s i n g ，i n t e r a c t i v ei n t e r f a c e ，t r a c k i n g 浙江大学硕士学位论文图目录 图目录 图1 1 人机交互的媒介物2 图1 2 多点触控墙面系统3 图1 3i p h o n e 4 图1 4 智能触控桌面5 图1 5 基于投影仪一红外摄像机的多点触控系统6 图2 1 透视投影到2 d 图像的一般模型9 图2 2 基于投影仪一红外摄像机多点触控系统的几何模型11 图2 3 图像变换间关系1 4 图2 4 左：摄像机拍摄的图像右：变换后的图像1 4 图3 1 人手的构造1 7 图3 2 图像中分割出的人手2 0 图3 3 人手中分割出的手掌2 0 图3 4 边界提取算子2 1 图3 5 轮廓图2 3 图3 6 一维波形2 4 图3 7 波形图的极值点2 5 图3 8 轮廓图的极值点2 5 图3 9 提取特征信息计算过程2 5 图3 1 0 识别指尖的结果2 8 图3 1 1 特征提取算法2 9 图4 1 模式识别系统3 1 图4 2 结构识别后的指尖结果3 2 图4 3 线性判别函数3 3 图4 4 线性分类后的指尖结果3 6 图4 5 前馈神经网络3 7 图4 6 神经元模型3 7 图4 7 反向传播算法变量定义示意图3 9 图4 8 三层前馈神经网络4 1 图4 9 神经网络识别后的人手图像4 1 图5 1 连通成分配对图4 4 图5 2 多点触控系统流程图4 5 图5 3 基于投影仪一红外摄像机的多点触控系统4 7 图5 4 系统软件架构4 8 图6 1 互动演示一浏览图像5 0 i l l 浙江大学硕士学位论文表目录 表目录 表格4 1 标记前极人值点的特征信息3 5 表格4 2 标记后极大值点的特征信息3 5 i v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得迸姿盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：储，成铵签字日期：力口8 年石月矽日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝垄盘堂可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文， ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：傲，状铁 签字日期：一g 年月i o 日 导师签名： 签字日期： 浙江大学硕士学位论文第1 章绪论 第1 章绪论 人机交互技术( h u m a n c o m p u t e ri n t e r a c t i o nt e c h n i q u e s ) i l l 是指通过计算机 输入、输出设备，以有效的方式实现人与计算机对话的技术。它包括机器通过 输出或显示设备给人提供大量相关信息及提示请示等，人通过输入设备给机器 输入有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题 等。 多点触控技术( m u l t i - t o u c ht e c h n i q u e s ) 1 2 】是一种新兴的人机交互技术，在同 一个应用界面上，没有鼠标、键盘，通过人的手势、手指和其他外在物理物直 接与电脑进行交互，改变了人和信息之间的交互方式，实现多点、多用户，同 一时间直接与虚拟的环境交互，增强了用户体验，达到了随心所欲的境界。 1 1 多点触控技术综述 1 1 1 人机交互技术的发展过程 随着计算机的迅速发展，人机交互技术日新月异：命令语言用户界面【3 1 、 图形用户界面、直接操纵用户界面、多媒体用户界面、多通道用户界面、虚拟 现实技术。 图形用户界面( g u i g r a p h i c su s e ri n t e r f a c e ) 是当前用户界面的主流，广泛应 用于各档台式微机和图形工作站。比较成熟的商品化系统有a p p l e 的m a c i n t o s h 、 i b m 的p m ( p r e s e n t a t i o nm a n a g e r ) 、m i c r o s o f t 的w i n d o w s 和运行于u n i x 环境的 x w i n d o w 等。当前各类图形用户界面的共同特点是以窗口管理系统为核心， 使用键盘和鼠标器作为输入设备。图形用户界面和人机交互过程极大地依赖视 觉和手动控制的参与，不能让用户有身临其境的感觉。 虚拟现实( v i r t u a lr e a l i t y ) 又称虚拟环境( v i r t u a le n v i r o n m e n t ) 。虚拟现实系 统向用户提供临境和多感觉通道体验，它的三个重要特点即临境感、交互性、 构想性决定了它与以往人机交互技术的不同特点，反映了人机关系的演化过程： 在传统的人机系统中，人是操作者，机器只是被动的反应；在一般的计算机系 统中，人是用户，人与计算机之间以一种对话方式工作；在虚拟现实中，人是 主动参与者，复杂系统中可能有许多参与者共同在以计算机网络系统为基础的 l 浙江大学硕士学位论文第1 章绪论 虚拟环境中协同工作，虚拟现实系统的应用十分广泛，几乎可用于支持任何人 类活动和任何应用领域。 作为一种新型人机交互形式，虚拟现实技术比以前任何人机交互形式都有 希望彻底实现“以人为中心”的人机界面。多通道和多媒体技术的许多应用成 果可直接被应用于虚拟现实技术，而虚拟现实技术正是一种以集成为主的技术， 其人机界面可以分解为多媒体多通道界面。 如图1 1 ，人机进行交互的媒介物也不断改变着，从鼠标【5 】、键盘、游戏手 柄、遥控器等与电脑交互：多点触控技术支持用户使用手指、手势等直接与电 脑交互。 图1 1 人机交互的媒介物 人机交互和计算机用户界面刚刚走过基于字符方式的命令语言式界面，目 前正处于图形用户界而时代。但是，计算机科学家并不满足于这种现状，他们 正积极探索新型风格的人机交互技术。未来人机交互技术的发展趋势是追求多 维信息空间和“基于自然交互方式的”的人机交互风格。 1 1 2 多点触控技术的现状 传统的单用户面向单一的鼠标和键盘的桌而系统只能感测一个接触点，用 户与电脑间交互枯燥无味。现实中，人们满足于围坐在桌子旁，面对面交流， 处理问题。通过多点触控技术，科学家研发了互动桌面和墙面系统，提供了一 个大型的交互式团队互动，鼓励协作、多人平行解决问题。 在1 9 8 2 年时，多伦多大学开发了第一款基于手指的压j 的多点触控系统【4 1 。 浙汀大学硕- 上学位论文第1 章绪论 1 9 8 3 年，贝尔实验室发表了第一篇关于该项技术的论文，为多点触控技术的研 究奠定了基础【5 1 。1 9 8 4 年，贝尔实验室开发了一套多点触控系统，该系统能对 图像进行操作。微软公司也在这一年正式进如多点触控技术的研究领域。1 9 9 1 年，p i e r r e w e l l n e r 取得了重大的突破，他自主研发了出一张“数码桌子”( d i g i t a l d e s k ) 6 1 ，并发表了相应的论文，详细介绍了如何采用多个手指和不同的姿势进 行交互。图1 2 为多伦多大学研发的大型多点触控墙面( t o u c h w a l l ) 1 7 】。 图1 2 多点触控墙面系统 2 0 0 7 年，多点触控技术的研究取得了突破性的进展，一些公司开始批量生 产采用多点触控技术的设备，比如：苹果公( a p p l e ) 和微软公司( m i c r o s o f t ) 分 别推出了旗下的采用多点触控技术的产品i p h o n e 8 】和智能触控桌面( m i c r o s o f t s u r f a c e ) 9 1 。 i p h o n e 是苹果公司2 0 0 7 年1 月9 号推出的一款将创新的移动电话、可触摸 宽屏以及具有桌面级电子邮件、网页浏览、搜索和地图功能的突破性因特网通 信设备这三种产品完美地融为一体。i p h o n e 引入了基于大型多触点显示屏和领 先性新软件的全新用户界面，让用户用于指即可控制i p h o n e 。 i p h o n e 采用了先进的内置传感器：一个加速计、一个接近性传感器和一个 周围灯光传感器，可以自动增强用户体验和延长电池使用时问。i p h o n e 的内置 加速计能检测出用户何时把它由纵向旋转为横向，然后相应地自动更改显示的 内容，用户能一杪即看到网页的整个宽度或正确横向宽高比的照片。i p h o n e 内置 的接近性传感器为电容触摸屏，当手指在其上触摸、移动时，触摸屏对应位置 的电容发生变化，接近性传感器记录这种变化并做出相应的处理，而且接近性 浙江大学硕上学位论文 第1 章绪论 传感器还可以检测用户是否把i p h o n e 提升至耳朵附近，若是，则立即关闭显示 屏，：市省电源和防止碰触，直到i p h o n e 被移开。i p h o n e 的内置周围灯光传感器 能够针对当前的周围灯光自动把显示屏的亮度调整到适当水平因而增强了用户 体验，节省了电源。 图1 3 i p h o n e 智能触控桌面是微软的第一款平面电脑，没有鼠标键盘，通过人的手势， 手指和其他外在物理物和电脑进行交互。整张桌子尺寸为7 6 c m * 1 0 7 c m ，桌面 为显示屏和交互界面，由一层3 0 英寸厚的聚丙烯酸组成。桌子底下放置了一台 投影仪、红外线灯( l e d 灯) 和五架摄像机。投影仪将电脑桌而内容投影到显示 屏上，系统的视觉来源为一波长为8 5 0 纳米的红外线灯，靠近显示屏的物理物 会反射、折射红外线灯射出的红外线，摄像机将其变化记录下来，系统做出相 应处理并把反馈后多媒体信息投影剑显示屏。 智能触控桌面让你更自觉和自由地和数字内容交互，改变人们购物、就餐、 娱乐和生活等，比如你可以通过手指在显示屏上移动、触摸与系统进行交互， 获取a 己感兴趣内容；智能触控桌而另一个特性是能识别放在它上面的物体， 并触发不同的响应，比如你存餐馆就餐时，当你把你的饮料放在显示屏卜时， 它的所有信息就会在上面呈现出来；使非数码产品成为一种输入设备，如一把 普通的画刷可用于数码画图。智能触控桌面已应用于休闲娱乐和商品零售等服 务、业。 4 浙江大学硕士学何论文 第1 章绪论 图1 4 智能触羟桌面 多点触控技术最主要的优点是：直接交互、多点触控、多用户体验、对象 识别。 直接交互：用户直接与应用界面交互而无需借助与鼠标、键盘等输入工具； 多点触摸：接触界面有多个输入响应点，不像鼠标、键盘等只有一个响应 点； 多用户体验：多个用户可以站在应用界面的不同位置同时与应用程序交互； 对象识别：能识别标记过的物品。 1 2 基于投影仪红外摄像机的多点触控系统 近年来，随着数字摄像机与投影仪在成本上的逐渐降低和在外形上的逐渐 变小，关于它们的应用的研究课题也越来越多。 我们可以把投影仪看作可编程的光源，从而通过摄像机获得场景的详细信 息。相反地，我们也可以把摄像机看作传感器，通过摄像机的辅助，投影仪能 够在任意的表面上投影出高质量的图像。投影仪与摄像头在共同空间中的组合， 同时提供了输入和输出的能力，这产生了一种新的人机交互范例。 在基于投影仪红外摄像机的应用中，一般要遵循以下条例： 建立电脑的虚拟场景与用户实际交互环境问的几何对应关系； 布置环境中红外线灯光，用户在交互环境中交互，对应位置的红外线光变 亮或变暗； 红外摄像机能实时记录交互环境内红外线光的变化并传给电脑； 电脑做相应处理，并将处理结果投影到交互界面。 因此，红外线灯、红外摄像机、投影仪这三者的位置关系着系统的实现方 浙江大学硕士学位论文第l 章绪论 式。 本文介绍的多点触控系统采用桌面背投的方式，硬件组成包含一架摄像机、 四盏红外线灯、一台投影仪和一张1 2 0 c m * 2 6 0 c m 的桌子。桌面为一层3 0 c m 厚 的树脂。系统能实时跟踪进入交互环境内的物理物，而且若交互物理物是人手 的情况下，还能检测手指的指尖位置，进行更精确的跟踪。 l 、- 投影面 、 、 、 、 、 、 一计，晰 图1 5 基于投影仪一红外摄像机的多点触控系统 1 3 本文的研究目标和结构 通过以上的介绍可知，采用多点触控的人机交互系统的关键在于能够让用 户获得良好体验的显示设备，以及能够保证虚实精确配准的跟踪识别技术。此 外，随着科学技术的发展，投影仪和摄像机逐渐被广泛地应用于各种系统。本 文的研究目标就是利用投影仪和摄像机来实现多点触控系统。该系统的优势和 特点在于： 用户无需佩戴任何额外设备就可以与系统交互； 虚拟信息被直接投影在地面上，实时跟踪不同区域的虚拟信息，使得多个 用户可以方便地共享信息。 本文的主要研究内容和组织结构为： 第l 章：绪论。介绍本文的研究背景和现状，包括多点触控技术的特点与 发展现状。 第2 章：投影仪红外摄像机几何关系的标定。在本章中，首先阐述了几何 6 浙江大学硕士学位论文第1 章绪论 标定的原理，然后针对基于桌面背投和红外摄像机的情形，分别设计了线性变 换和非线性变换条件下的几何校正流程。 第3 章：人手特征信息的提取。这一章主要介绍如何利用计算机视觉和图 像处理的关键技术来提取人手和手指的特征信息。这些信息将是后两章手指识 别和目标跟踪的处理对象。 第4 章：手指识别。这一章将分别介绍结构模式识别、线性分类器、神经 网络的原理和实现方法。 第5 章：多点触控系统的实现。介绍多点触控系统提供给应用程序进行下 一步游戏开发的接口。 第6 、7 章：结果与改进、展望。针对本文算法的不足与本系统的特点，提 出了未来工作的重点和方向。 1 4 本章小结 本章简要介绍了课题的背景以及研究意义，阐述了多点触控技术的发展历 程和当前现状，然后介绍了基于投影仪红外摄像机系统在多点触控系统中的应 用，最后介绍了本文的研究目标和主要工作。 7 浙江大学硕士学位论文第2 章投影仪摄像机几何关系的标定 第2 章投影仪摄像机几何关系的标定 本文讨论的几何标定，主要目的在于得到投影仪绘制平面和摄像机成像平 面之间的映射关系。这样一来，只要我们通过拍摄到的图像得到追踪目标相对 于摄像机成像平面的位置，就知道了目标相对于虚拟信息绘制平面的位置。 2 1 摄像机的几何标定 2 1 1 仿射变换 如果坐标变换的形式是： 批：三兰 ； + l 口a t 3 ( 公式2 1 ) 则该变换称为仿射变换( a f f i n et r a n s f o r m a t i o n ) 【1 0 。每一个变换后的坐标u 和v 是原坐标x 和y 的线性函数，且参数a i j 均是由变换类型确定的常数。仿射变换 有普遍的特性，即平行线变换到平行线且有限点变换到有限点。平移、旋转、 缩放、反射和错切是仿射变换的特例。任何仿射变换总可以表示成这五种变换 的组合。场景的坐标描述从一个参考系统到另一个的转换也是仿射变换的例子， 因为该变换可以利用平移和旋转的复合来描述。 如公式2 1 所示，一般的2 d 2 d 仿射变换需求出六个参数，根据线性方程 组的求解，求这6 个参数只需要3 组匹配的点对就足够了。但是如果这些点中 的任意一个的坐标存在误差，都必然会造成求得的参数存在误差。解决这个问 题更好的方法之一是，采用更多的匹配控制点以得到6 个参数的最小二乘估计 】。我们可以定义一个误差指标函数： e ( a l l ，7 1 2 ，a 1 3 ，口2 i ，a 2 2 ，q 2 3 ) = 窆( ( 口。石，+ y j 口，：+ 。，一“，) z + ( 口：。工，+ 少，口：+ 口：，一v ，) z ) 公式2 2 误差函数分别对6 个变量求偏导，使之为0 ，就得到六个线性方程。然后 就可以用求解线性方程组的方法得到这6 个参数的最小二乘估计。方程用矩阵 的形式表示如下： 浙江大学硕士学位论文第2 章投影仪摄像机几何关系的标定 霉z x , y , _ 0 2 x ，y , 2 y ；e y 0 _乃1 0 000 亏 000 _ 乃 000 工， 2 1 2 摄像机成像的几何模型 uu oo 00 2 x ，y , _ 巧乃 乃1 a m i a 1 2 a 1 3 口2 i a 2 2 “_ “j y j y u ； j - _ _ _ 乃 _ ( 公式2 3 ) 计算机视觉研究中，摄像机通过成像透镜将三维场景投影到摄像机二维平 面上，用成像变换描述这个投影即摄像机的成像模型。理想的投影成像模型是 光学中的透视投影，线性摄像机模型，也称为针孔模型【1 2 】。针孔模型假设物体 表面的反射光都经过一个针孔而投影到像平面上，即满足光的直线传播条件。 实际摄像系统通常都由透镜或者透镜组组成。但是两种模型都具有相同的成像 关系，即像点是物点和光心的连线与图像平面的交点。 根据图2 1 我们可以得到透视投影模型的计算式2 4 。为了使用方便，在图 2 1 中我们使用前图像平面( f r o n ti m a g ep l a n e ) 代替成像平面，它与实际目标位于 光心的同一侧，到光心的距离为f 。在前图像平面上的目标，与在实际图像平面 上的点有相同的比例，而方向与实际目标相同。 k = 匕 x i f = x c z c ”f = y c z c ( 公式2 4 ) 图2 1 透视投影到2 d 图像的一般模型 9 z c = z w ，z w ) 浙江大学硕士学位论文第2 章投影仪摄像机几何关系的标定 在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任 何物体的位置，该坐标系成为世界坐标系。 一般情况下，世界坐标系w 与摄像机坐标系c 不一致，因此利用摄像机建 立目标点的视觉模型，可以分解成如下步骤： ( 1 ) 安放摄像机，使它的坐标系与世界坐标系重合；接下来转动摄像机， 使它相对w 坐标系满足最后的方向要求； ( 2 ) 平移摄像机，使它从合适的位置观察目标，这时利用透视模型，所有 的目标点都能够投影到摄像机的图像平面； ( 3 ) 对图像坐标进行缩放变换，并改变纵轴的方向就可以得到像素坐标， 所有的步骤都能够用矩阵形式来表示，如公式2 5 。 利用距离和角度测量数据能够得到足够精确的摄像机矩阵c ，但实际上这 个过程执行起来是有难度的。一般是通过对摄像机进行标定来获得摄像机矩阵。 上面的步骤证实了摄像机的矩阵的形式是相对的，因此可以利用控制点拟合的 方法来得到摄像机矩阵参数的实际值。 s 。p h c 只 只 1 崔耋 2 1 3 摄像机的几何标定 9 p ： v p ， 1 ( 公式2 5 ) 摄像机定标问题，就是建立像素点在给定摄像机的图像阵列中的几何位置 与三维场景中要成像的实值点之间的关系【”】。上一节已经给出一个合理的数学 模型以及它的矩阵表示形式，标定的过程就是确定矩阵中1 1 个未知参数的值。 一般采用控制点拟合的方法进行标定，控制点通过在场景中放置标定物来 得到。标定的过程中，保持摄像机的视场和焦距不变，标定物放在场景中合适 的地方，标定物上面的控制点坐标已知，然后通过摄像机摄取图像，得到对应 这些控制点的二维坐标。点数至少是6 个，一般取的更多，用最小二乘法进行 拟合得到的结果是较合适的解。 1 0 浙江大学硕士学位论文第2 章投影仪摄像机几何关系的标定 2 2 非线性模型的几何标定 本节讨论如何确立本系统中绘制图形和摄像机拍摄的图像之间的几何映 射。本系统中，投影面即摄像机拍摄场景位于桌面，摄像机的光轴垂直于桌面， 图2 2 给出了本系统的几何模型。 目 挽1 1 跟杉l 图2 2 基于投影仪一红外摄像机多点触控系统的几何模型 我们可以合理的假设投影面与绘制图形之间的映射是一个单位矩阵。那么， 在本文讨论的系统中，按照上一节的方法对摄像机定标后能够得到投影面与拍 摄图像之间的映射，从而就得到绘制图形和拍摄图像之间对应关系。但是，根 据图2 2 所示的几何模型，本系统的几何标定过程能够进行简化。 2 2 1 模型的简化 为了进行合理的简化，我们假定在系统中，以下的假设始终成立【1 4 1 ： ( 1 ) 投影仪对绘制图形的投影没有任何畸变： ( 2 ) 摄像机模型符合透视变换模型。 又因为，在接下来的处理中，我们只单纯关心绘制区域与摄取图像之间的 映射，因此一个精确的场景三维重建过程对我们来说是不必要的。这样，我们 又可以得出下面的推论： 对上面提出的两条假设的小范围偏离是可接受的。 系统不关心摄像机的焦距。 系统不关心投影面和摄像机成像平面之间的实际距离。 浙江大学硕士学位论文第2 章投影仪摄像机几何关系的标定 有了以上的条件，我们很容易看出，找出这个映射关系实际上就是获得一 个平面在两个空间坐标系下图像点间的映射，这个映射可以用单应性矩阵 ( h o m o g r a p h y ) e 1 5 1 来表示。令m 1 ，m 2 分别为某一平面上的点x 在两个视点下的对应 像素的齐次坐标，则他们之间的关系可用3 * 3 单应性矩阵h 表示为： s m 2 = h m l( 公式2 6 ) 其中s 为非零常数因子，h 3 3 = 1 。单应性矩阵在相差一个非零常数因子的意义下 是唯一的，它实现了两个平面图像点之间的一一对应关系。 在图2 2 所示的系统几何模型中，摄像机垂直向上正对投影桌面。成像平 面坐标系到投影平面坐标系的变换由旋转，缩放和平移组合而成。从而他们之 间的映射关系进一步简化为仿射矩阵( 如公式2 1 所示) ，其矩阵表示形式公式这 个仿射矩阵可以用控制点拟合的方法求得。 f a l i q ， 彳= i 口2 i 口2 2 口2 3l ( 公式2 7 ) 【0 01 j m im 2 之间的关系可以进而表示为m 2 = a m l ，常数因子s 被消去。 2 2 2 几何标定 由于系统采用的是红外摄像机，不能感应环境中的可见光，即摄像机拍摄 的画面不会随着投影机投放内容的变化而变化，而是根据进入摄像机镜头内的 红外线光的变化而变化，因此人工根据投影仪投放的内容而放置标定物，反射 或吸收红外线，改变进入摄像机镜头的红外光线。如果交互层的材料是反红外 线的，标定物选择透红外线或吸收红外线的介质( 比如化纤材质) ；反之交互层 的材料是透红外线或吸收红外线的，标定物选择反红外线的介质( 比如棉制品) 。 本系统中触摸屏的介质是透红外线的，几何标定时采用棉布作为标定物。 简化模型一个重要假设是投影仪对绘制图形的投影没有任何畸变，或者说 投影仪的几何变换是线性的。然而在高精确要求下，投影仪的畸变是不能忽略 的，尤其是短焦投影仪。此时上一节所提出的几何模型不再适用。 一个简单可行的方法是，将投影画面分割为多个区域，可以合理的假设， 在单个小区域范围内，投影仪的变换是线性的。假设区域的个数为n ，那么几 1 2 浙江大学硕士学位论文第2 章投影仪摄像机几何关系的标定 何校正的过程就转化为求这n 个区域各自的线性变换矩阵。 在实际校正过程中，我们采用的屏幕分辨率为1 0 2 4 7 6 8 ，区域的个数为 4 4 = 1 6 个，每个区域大小为2 5 6 1 9 2 。几何校正步骤如下所述： ( 1 ) 设计控制点的样式：考虑人工交互的繁琐性和摄像机的径向畸变，通 常在绘制平面中选取5 * 5 = 2 5 个控制点，将绘制平面平分为4 4 = 1 6 个区域。逐 次将以控制点为中心，大小为1 6 1 6 个像素的小方格显示在投影区域； ( 2 ) 依次处理拍摄到的图像，可以得到2 5 个控制点在图像空间的坐标。利 用第一节提到的最小二乘法，将x y 方向上相邻的四个点代入方程组，依次拟 合各个区域的仿射变换矩阵； ( 3 ) 投影区域的输出。建立了绘制图形和拍摄图像像素点之间的映射，则 根据绘制图形的坐标计算出其所在拍摄图像中的坐标，即得到了投影区域在拍 摄图像中所占区域。 2 2 3 图像变换 几何标定完成后，屏幕绘制图形与摄像机拍摄的图像中每一个像素点在几 何上就一一对应起来了，即我们可以建立这样一张表( 称之为 s c r e e n t o l m a g e t a b l e ) ，索引是绘制图形的像素点在屏幕空间下的坐标，表单记 录是拍摄到的图像的像素点在图像空间下的坐标。 为了消除投影仪和摄像机对拍摄场景的几何畸变，需要将拍摄到的图像映 射到屏幕绘制空间。但是实际应用中摄像机的分辨率为7 0 4 * 5 7 6 ，屏幕分辨率 为1 0 2 4 7 6 8 ，将图像直接映射到屏幕空间会引起失真。于是本文考虑先将屏幕 空间映射到一个中问空间( 称之为转化空间) ，然后建立拍摄的图像到转化空间 的图像的一对一映射表( 称之为i m a g e t o c o n v e r t s p a c e t a b l e ) ，如图2 3 所示： 浙汀大学硕上学位论文第2 章投影仪一摄像机几何关系的标定 s c r e e n t o l m a g e t a b l e i m a g e t o c o n v e r t s p a c e t a b l e - _ 图像缩小 图2 3 图像变换间关系 算法归结如下：逐像素遍历转化空问的图形，根据 i m a g e t o c o n v e r t s p a c e t a b l e 查找图形像素点在拍摄图像下的像素点，把查找到的 拍摄图像下的像素点的亮度值赋值予图形的像素点。图2 4 中，左图是右图变 换后的图像。 强 。、一黝 图2 4 左：摄像机拍摄的图像石：变殃后阴图像 2 3 本章小结 本章首先给出了一般平面与平面的映射关系，然后分析了本文实现几何标 定的目的以及本文讨论的系统的特点，并根据这些特点给出了简化的几何标定 方法。接下来进一步提出了投影仪变换的非线性模型，并对应给出了一种可行 的几何标定方法，最后介绍在考虑系统的效率和图像的细节的条件下，如何将 拍摄到的图像转化到一个理想空间。 1 4 一缀夥i一一11灞 浙江大学硕士学位论文第3 章人手特征信息提取 第3 章人手特征信息提取 几何标定完成后，屏幕绘制图形与摄像机拍摄的图像中的每一个像素点在 几何上就一一对应起来了。本章的目标采用计算机视觉和图像处理的关键技术， 从变换后的图像中提取人手和手指的特征信息。 3 。1 特征信息 特征就是一个物体区别于其他物体所具有的某方面性质的抽象。在模式识 别中不可能直接采用包含目标所以信息的原始信息来进行模式分类，因为原始 信息不但过于庞大，而且包含的目标各方面的信息相互交织无法进行有效的区 分。与原始信息相比，特征信息不但在信息量方面大为减少，并且一种特征信 息一般只含有目标的一个方面的信息便于区分，所以对目标的分类都是采用单 个或多个包含目标的某个方面的特征信息来进行的，特征的选取及提取对模式 识别具有关键性意义。 3 1 1 特征信息简介 通过对目标的原始信息采用不同处理方式，可以提取出各种各样的特征信 息，并不是所有的特征都能用于模式识别，用于模式识别的特征必须具备一下 三个条件： ( 1 ) 唯一性：对于模式识别的所有对象群体，该特征能唯一的代表一个对 象类别。 ( 2 ) 可分性：不同类别对象的特征应具有明显的可测差异以便通过特征将 不同类别对象区分开来。 ( 3 ) 鲁棒性：当目标所处环境或者是目标与类别无关状态发生改变时，当 目标的信息受到噪声污染或发生畸变时，特征应尽量保持不变。 实际应用中一般很难采用一种特征来完全满足上述三个条件，所以一般采 用多个特征的组合来进行图像的模式识别，这样识别的效果同单一特征相就会 大大增强。 用于图像识别的特征有很多种，但总体来讲，经常使用的特征大致可以分 浙江大学硕士学位论文第3 章人手特征信息提取 为四类： ( 1 ) 图像的直观特征：指的是图像可以被肉眼观测出来的特征，主要有： 形状、轮廓、亮度、色彩、纹理等。 ( 2 ) 图像统计特征：图像所包含的像素的统计分布所反映出的特征，比如： 灰度直方图、均值、方差等。 ( 3 ) 变换特征：通过对图像采用各种数学变换而得到的特征。傅利叶描绘 子就属于变换特征。 ( 4 ) 代数特征：将图像作为数字矩阵，进行各种线性代数变换得到的特征。 例如：通过对图像矩阵进行奇异值分解获得的特征。 特征选择和提取的基本任务是如何从许多特征中找出那些最有效的特征。 3 1 2 人手的构造 从形态学上讲，手的外形结构是由手指、手掌两部分组成。 ( 1 ) 手指的外形结构( 如图3 1 所示) ： 手指的外形轮廓一般呈不规则的长方形，长度大于宽度，具有刚体的属性。 手指由指节构成，除拇指为二个指节以外，其余都为三个指节，从上到下依次 为第一指节( 俗称指头) 、第二指节、第三指节。从外表看，各指节间有明显的 沟状屈肌褶纹，各手指和手掌相连处为指根。 五指中拇指最粗，指头外形宽大：小指最细，指头更为明显。在五指的排 列中，中指最长，小指最短；食指和环指相比，多数人的环指长于食指。 ( 2 ) 手掌的外形结构( 如图3 1 所示) ： 人的手掌外形轮廓一般呈不规则的长方形，长度大于宽度，具有刚体的属 性。手掌有上、下、内、外和内斜五个边缘。掌与四指连接处为上边缘：掌与 腕部连接处为下边缘：食指根内侧下部至拇指根上侧的边缘为内边缘；小指根 外侧下部至手腕部的第五掌骨以外的边缘为外边缘；拇指内侧下部至腕部的边 缘为内斜边缘。 手掌面由三块隆起的部位和一块凹陷的部位组成。三块隆起的部位是：拇 指部、小指部、指掌结合部。一块凹陷的部位是位于上述三块隆起中间的掌心 凹陷区域，呈倒三角状。 1 6 浙江大学硕上学位论义第3 章人手特征信息提取 3 2 图象分割 图3 1 人手的构造 分割【1 6 1 将图像细分为构成它的子区域或对象。分割的程度取决于要解决的 问题。就是说，当感兴趣的对象已经被分离出来时，就停止分割。本节目的是 从背景中分割出手，从手中分割出手掌。 图象分割算法一般是基于亮度值的两个基本特征之一：不连续性和相似性。 不连续性的应用途径是基于亮度的不连续变化分割图像，比如图像的边缘。相 似性的主要应用途径是依据事先制定的准则将图像分割为相似的区域。门限处 理、区域生长、区域分离和聚合都是这类方法的实例。 本节介绍采用门限处理的方法从背景中分割出手，从手中分割出手掌，然后 标记分割后图像中的连通成分。 3 2 1 背景减除法 在基于投影仪一红外摄像机的多点触控交互系统中采用红外摄像技术来捕 捉人的运动。红外摄像技术分为被动红外摄像技术和主动红外摄像技术。被动 红外摄像技术是利用任何物体在绝对零度( 一2 7 3 ) 以上都有红外光发射的原理。 由于人的身体和发热物体发出的红外光较强，其它非发热物体发出的红光很微 弱，因此，利用特殊的红外摄像机就可以拍摄剧围场景，被动红外摄像技术设 备造价高。主动红外摄像技术是利用特制的“红外灯”人为产生红外辐射，产 生人眼看不见而普通红外摄像机能捕捉到的红外光，辐射“照明”景物和环境， 浙江大学硕士学位论文第3 章人手特征信息提取 利用普通低照度c c d 黑白摄像机去感应周围环境反射回来的红外光，从而拍摄 周围场景。 红外摄像机感应周围环境反射回来的红外光，对环境中的可见光不产生感 应。因此在环境中红外光线不发生变化的条件下，只要没有新物体进入摄像机 的拍摄区域，即使投影仪播放的内容不断变化，红外摄像机拍摄的图像不会产 生变化，即背景是固定的，不会随投影的内容变化而变化。g ( x ，y ) 表示当前拍 摄的图像的灰度值，( x ，力与背景 咖删( 工，y ) 的灰度值相减的绝对值1 7 1 。 g ( x ，y ) = a b s ( f ( x ，y ) 一厶c k g r o 砌( x ，y ) ) ( 公式3 1 ) 3 2 2 门限处理 门限处理可以被看做一种涉及测试下列形式函数t ( 也可称为阀值) 的一种 操作。 t = t ( x ，y ，p ( x ，少) ，f ( x ，y ) )( 公式3 2 ) 其中，f ( x ，y ) 是点( x , y ) 的灰度级，p ( x ，y ) 表示这个点的局部性质例 如，以( 石，y ) 为中心的邻域的平均灰度级。经门限处理后的图像g c x ，y ) 定义为： 如= 嬲三； c ， 因此标记为l ( 或其他任何合适的灰度级) 的像素对应于对象，而标记为 o ( 或任何其他没有被标记为对象的灰度) 的像素对应于背景。 当t 仅取决于f ( x ，y ) ( 仅取决于灰度级值) 时，门限就称为全局的。如果t 取决于f ( x ，y ) 和p ( x ，力，门限就是局部的。另外，如果t 取决于空间坐标x 和 y ，门限就是动态的或自适应的。现在，问题归结为如何求t 。 交互屏幕反射的红外光的强弱不仅跟红外灯源有关，而且跟传输的距离成 反比，距离的越远，红外光衰竭的越厉害，反映在捕捉到的图像上既是以中心 点为圆心，灰度值呈水波状向四周变小。若红外灯