（教育技术学专业论文）基于手势识别的交互型虚拟摄影棚系统的研究与开发.pdf

r e s e a r c ha n dd e v e l o p m e n to fi n t e r a c t i v e v i r t u a ls t u d i os y s t e mb a s e do ng e s t u r e r e c o g n i t i o n 4 砌e s i s s u b m i t t e di np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t f o rt h em s d e g r e ei ne d u c a t i o n a lt e c h n o l o g y b y y a n gy u e p o s t g r a d u a t ep r o g r a m d e p a r t m e n to f i n f o r m a t i o nt e c h n o l o g y h u a z h o n gn o r m a lu n i v e r s i t y s u p e r v i s o r ：z h a og a n g a c a d e m i ct i t l e ：a s s o c i a t ep r o f e s s o rs i g n a t u r e a p p r o v e d m a y , 2 0 1 1 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名： 耥词 日期纠年，月节日 学位论文版权使用授权书 学位论文作者完全了解华中师范大学有关保留、使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属华中师范大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅； 学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手 段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密，在年解密后适用本授权书。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l l s 高校学位论文全文数据库”中全文发布，并可按“章程”中的规 定享受相关权益。回意途塞握窒后进蜃i 旦坐生i 旦二生i 旦三生筮查! 苫麓廖高日 日期： 洲降f 月明日 嚣三翰日日期：卅倬占月1 日 夕 吲朋吲朋孑侔 名 矿 签 ：师期字日 力、 、刁v d h 词月 杨锣 ijt 垒w 签 ： 者期 作日 摘要 随着现代社会的不断发展，终生学习能力是一个现代人必须具备的基本能力。 要完成终生学习的目标，就必须培养学习者自主学习的能力。自主学习能力的提高 是主观方面的要求，但在客观方面，也必须为终生学习者提供高效、丰富和生动的 学习资源，让学习者可以完成终生学习的目标。现有的学习资源已经不能适应现代 社会终生学习和教育信息化的要求。根据学习者的学习需求，制作出适应教育信息 化要求的学习资源是当今社会的需求。 由多媒体技术、计算机技术和网络技术三者相融合而产生的虚拟摄影棚是近年 来新兴的数字文化产品制作系统，利用它可以制作出满足现代社会需要的教育资 源。由虚拟摄影棚系统制作出的数字文化产品可以运用到教育领域，作为教育资源 的一种获取方式。现有的虚拟摄影棚系统只是将虚拟背景与前景演员相融合，前景 演员与虚拟背景没有交互性，这样拍摄出来的数字文化产品会显得死板，从而制作 出的教育资源也会显得枯燥无味。为了拍摄出更加生动的教育资源，需要根据前景 演员的手势，让虚拟背景和前景演员产生交互，为传统虚拟摄影棚注入新鲜的血液。 本文所作的主要工作如下： ( 1 ) 提出了一种适用于虚拟摄影棚的手势识别算法，通过建立手势模板库、 预处理、手势检测和跟踪、手势分析特征值的提取、手势识别五个步骤对十个静态 手势进行识别，为与三维背景进行交互提供了基础。 ( 2 ) 提出了一种与三维背景交互的方法，通过手势识别结果判断手的运动方 向，从而获取手的位置，用手势的运动来模拟鼠标的相关操作，把对三维背景的控 制由原来的鼠标控制变成通过手势的运动来完成。 ( 3 ) 搭建了一种基于手势识别的交互型虚拟摄影棚系统，在本系统中用到了 手势识别的算法和与虚拟三维背景交互的方法，运用这样虚拟摄影棚拍摄出来的教 育资源会更加具备生动性和趣味性。 关键词：虚拟摄影棚；手势识别；三维背景 硕士学位论丈 m a s t e r st h e s i s a b s t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n to fm o d e ms o c i e t y , t h ea b i l i t yo fl i f e l o n gl e a r n i n g i sab a s i ca b i l i t yf o rm o d e mp e o p l e i fw ew a n tt oc o m p l e t et h el i f e l o n gl e a r n i n gg o a l s ， w em u s tc u l t i v a t el e a r n e r s s e l f - s t u d ya b i l i t y t h ee n h a n c e m e n to fi n d e p e n d e n ts t u d y a b i l i t yi ss u b j e c t i v er e q u i r e m e n t s ，b u ti no b j e c t i v er e s p e c t ，t h e r em u s tb ee f f i c i e n tr i c h a n dv i v i dl e a r n i n gr e s o u r c e sf o rl i f e l o n gl e a r n e r st oc o m p l e t el i f e l o n gl e a r n i n gg o a l s e x i s t i n gr e s o u r c e so fr e s o u r c e so fl e a r n i n gc a nn o ta d a p tt ot h el i f e l o n gl e a r n i n go f m o d e ms o c i e t ya n dt h er e q u i r e m e n t so fi n f o r m a t i o n a le d u c a t i o n a c c o r d i n gt ot h e l e a r n e r s n e e d s ，m a k i n gt h el e a r n i n gr e s o u r c e sa d a p t i n gt ot h ei n f o r m a t i o n a le d u c a t i o n r e q u i r e m e n t si st h es o c i a lr e q u i r e m e n t s t h ev i r t u a ls t u d i oi sb a s e do nt h em u l t i m e d i at e c h n o l o g y , c o m p u t e r t e c h n o l o g ya n d n e t w o r k i ti st h ep r o d u c t i o ns y s t e mo fd i g i t a lc u l t u r a lp r o d u c t s u s i n gv i r t u a ls t u d i oc a n p r o d u c et h ee d u c a t i o nr e s o u r c e st om e e tt h em o d e ms o c i e t yn e e d s t h ed i g i t a lc u l t u r a l p r o d u c t sp r o d u c e db yt h ev i r t u a ls t u d i os y s t e mc a na p p l yt ot h ef i e l do ft h ee d u c a t i o n , a n da sak i n do fe d u c a t i o nr e s o u r c e sa c c e s s t h ee x i s i n gv i r t u a ls t u d i os y s t e mj u s t c o n v e r g ev i r t u a lb a c k g r o u n da n df o r e g r o u n da c t o r , a n dt h e r ea r en oi n t e r a c t i o nb e t w e e n t h e m b e c a u s eo ft h i s ，t h ed i g i t a lc u l t u r a lp r o d u c t sp r o d u c e db yt h ev i r t u a ls t u d i os y s t e m w i l lb e c o m ef o r m a l i s t ，a n dt h ee d u c a t i o nr e s o u r c e sb yi tw i l la p p e a rb o r i n ga n ds t u f f i n o r d e rt ot a k eo u tm o r ev i v i de d u c a t i o n a lr e s o u r c e s ，t h e r ea r ei n t e r a c t i o nb e t w e e nv i r t u a l b a c k g r o u n da n df o r e g r o u n da c t o r b ym e a n so ft h i sm a n n e r , i ti n j e c t sf r e s hb l o o df o r t r a d i t i o n a lv i r t u a ls t u d i o d e t a i l sa r ea sf o l l o w s ： ( 1 ) t h ep a p e rp r o p o s e sag e s t u r er e c o g n i t i o na l g o r i t h mb a s e do nv i r t u a ls t u d i o b ye s t a b l i s h i n gt e m p l a t el i b r a r y , p r e p r o c e s s i n g ，d e t e c t i o na n dt r a c k i n go fg e s t u r e s ， e x t r a c t i n ge i g e n v a l u ea n dr e c o g n i z i n gg e s t u r e ，i tc a nr e c o g n i z et e ns t a t i cg e s t u r e i t p r o v i d e sb a s i sf o ri n t e r a c t i n gw i t h3 db a c k g r o u n d ( 2 ) t h ep a p e rp u t sf o r w a r dak i n do fm e t h o df o ri n t e r a c t i o nw i t h3 db a c k g r o u n d t h r o u g ht h er e s u l to fg e s t u r er e c o g n i t i o nt oj u d g et h em o v e m e n td i r e c t i o no fh a n d ， o b t a i n i n gt h ep o s i t i o no fh a n db yt h er e s u l t so ft h eg e s t u r er e c o g n i t i o n , i tu s e sg e s t u r e s m o v e m e n tt os i m u l a t et h em o u s er e l a t e do p e r a t i o n s p u tt h ec o n t r o lo f3 db a c k g r o u n db y t h em o u s ec o n t r o li n t ot h r o u g hg e s t u r e st oc o m p l e t e ( 3 ) b u i l d i n ga l li n t e r a c t i v ev i r t u a ls t u d i os y s t e mb a s e do ng e s t u r er e c o g n i t i o n i nt h i s s y s t e m ，u s et h ea l g o r i t h mo ft h eg e s t u r er e c o g n i t i o na n dt h em e t h o do fi n t e r a c t i n g 谢t l l 3 db a c k g r o u n d s h o o t i n go u to fe d u c a t i o nr e s o u r c e sb yt h i sk i n do fv i r t u a ls t u d i os y s t e m k e y w o r d s ：v i r t u a ls t u d i o ；g e s t u r er e c o g n i t i o n ；t h r e e d i m e n s i o n a lb a c k g r o u n d 硕士学位论文 m a s t e r s t h e s i s 目录 摘要 a b s t r a c t 第一章绪论。 1 1 1 1 课题研究的背景及意义1 1 2 国内外的研究现状2 1 3 论文的研究目标和创新之处4 1 4 论文的主要工作和组织结构4 第二章相关理论和技术 2 1 虚拟摄影棚技术介绍6 2 2 手势识别相关技术7 2 2 1 手势检测和跟踪8 2 2 2 手势建模9 2 2 3 手势分析9 2 2 4 手势识别1 0 2 3v e g a 相关技术o 。1 0 第三章基于手势识别的交互型虚拟摄影棚系统总体架构分析 1 2 3 1 基于手势识别的交互型虚拟摄影棚系统的总体框架设计1 2 3 2 系统各功能模块的设计1 3 3 2 1 背景模块。1 4 3 2 - 2 手势识别模块1 5 3 2 3 位置获取模块1 7 3 2 4 交互模块1 8 第四章适用于虚拟摄影棚的手势识别算法1 9 4 1 适用于虚拟摄影棚的手势识别算法的总体设计。1 9 4 2 图像预处理1 9 4 3 手势模板库的建立1 9 4 4 手势检测和跟踪。2 1 4 5 手势分析2 3 4 6 手势识别2 4 4 7 算法小结2 5 第五章基于手势识别的交互型虚拟摄影棚系统实现 2 7 5 1 背景模块的实现2 7 5 2 手势识别模块的实现2 9 5 2 1 视频信号的获取3 0 5 2 2 图像预处理3 2 5 2 3 手势的检测和跟踪3 3 5 2 4 手势分析特征值的提取3 5 5 2 5 手势识别3 6 5 3 位置获取模块的实现。3 7 5 4 交互模块的实现3 8 5 5 系统的整体实现4 3 第六章总结与展望 4 5 6 1 论文总结4 5 6 2 研究展望4 5 参考文献。 致谢 ! ；o 第一章绪论 1 1 课题研究的背景及意义 信息化社会的来临要求学习者不仅要提高自主学习的能力，尽快掌握各项学习 技能，而且还要具有较强的创新精神、协作精神和信息素养。为学习者提供充足的 学习资源对于培养学习者的创新精神和协作精神、自主学习能力及信息素养具有重 要的意义。当今社会是知识经济的时代，人类的教育发生着深刻的变更，传统的教 育模式已不能适应教育信息化的要求。制作出高效丰富的教育资源为教育信息化提 供更多更好的物质基础。由多媒体技术、计算机技术和网络技术三者融合产生的虚 拟摄影棚是近年来新兴的数字文化产品制作系统，利用它可以制作出满足现代社会 需要的教育资源。由虚拟摄影棚系统制作出的数字文化产品可以运用到教育领域， 作为教育资源的一种获取方式。 虚拟摄影棚与传统摄影棚相比，有它无可比拟的优势，如背景的创造性空间大。 因为虚拟摄影棚中的背景是虚拟的，所以其背景的选择几乎不受任何限制，只要符 合节目制作的要求即可；虚拟摄影棚的场景制作也比较简单，只需要运用一下三维 场景的制作软件如3 dm a x 、m a y a 就可以轻松获得；最重要的一点，虚拟摄影棚 大大的节省了节目制作的费用和成本，不要搭建费用高额费用的背景墙，也不需要 额外的设备，并且可以多次利用已搭建好的虚拟摄影棚系统。 传统的虚拟摄影棚制作出的教育资源只是将前景信号和背景信号的相融合，制 作费用昂贵、录制的课程缺乏真实感、教学模式鼓噪乏味，拍摄出的效果会显得死 板和交互性不够。 一 随着计算机技术和虚拟现实技术的不断发展，人机交互的方式也在发生着巨大 的改变。传统的人机交互是以鼠标和键盘为基础的，但在一些特定的虚拟环境里， 这种传统的交互模式已经不能适应人机交互的需要。手势识别研究的不断深入使人 机交互的方式正发生深刻的变更，为人机交互提供了一个更为广阔的发展空间，让 人们不再局限于鼠标和键盘的这种人机交互模式。例如在虚拟摄影棚中，演员人物 往往需要与其身边由计算机生成的虚拟背景进行交互，并且演员往往需要大量的动 作才能够使三维场景发生改变。随着人机交互技术不断的深入发展，人机交互的方 式更强调一种自然舒适的操作手段。把手势识别引入到人机交互之中，作为与虚拟 环境交互的一种输入方式，使这种交互更为自然和灵活。手势识别的研究也是近些 年来国内外研究的热点。 把虚拟摄影棚技术与手势识别技术这两者相结合，使制作出的教育资源更为生 动、形象和有趣，使教学内容可以更加真实，贴切、直观地呈现，为学习者提供高 效丰富的学习资源，满足建构主义学习理论的学习要求，学习是一种学习者自己建 构知识的过程。制作满足现代社会学习者终生学的需要的教学资源，培养学习者自 主信息加工能力和自主学习的能力在当今这个信息化社会显得更为主要。 1 2 国内外的研究现状 对于虚拟摄影棚的研究，早在1 9 9 4 年在荷兰阿姆斯特丹所举办的i b c i 国际广 播展览会上美国就向世界展示了他们的虚拟摄影棚系统，这是虚拟摄影棚第一次呈 现在世人眼前。限于当时的实验条件和实验技术，可以说当时的虚拟摄影棚技术还 处在萌芽时期，但当时的研究者和厂商都看到了虚拟摄影棚的发展前途，相继在以 后都投入了相当大的人力物力来进行研发工作。从1 9 9 5 年到2 0 0 0 年，可以把这五 年时间称为虚拟摄影棚第一次百家争鸣百花齐放的时间段，各种各样的不同规格以 及不同技术的虚拟摄影棚系统陆续出现。 在国内摄影棚的主要产品有北大方正的“方正虚拟布景系统 ，它实现了三位 虚拟布景的建造、材质的选择、背景图像的渲染等功能：索贝的“新视野虚拟场景 合成系统 为电视节目的改版提供了大量模拟背景、前景和实时字幕，通过逼真的 场景塑造、多机位景片切换，极大地节约栏目真实场景制作及不断置换场所需要的 高额费用；奥维迅的“新闻虚拟摄影棚系统和大洋的“大洋虚拟摄影棚系统为 一套高集成的虚拟摄影棚系统，它含有摄像机控制和参数采集、切换台、延时器、 场景和非线性编辑和字幕系统。 在国外也有一些优秀的虚拟摄影棚系统，如美国的a c c o m 公司的e l s e t 系统、 g m d 公司的3 d k 系统、美国e & s 公司的m i n d s e t 系统、n h k 公司的y n t h e r s i o n 系统以及以色列r t _ s e t 公司的l a m s 虚拟演播室系统。l a r u s 虚拟演播室系统具 备真实物体可以在实际摄影棚中与三维背景呈现真实的透视关系的特性，并且其操 作简单方便，l a r u s 系统还可以做到完美无瑕地与摄影棚中的其他设( 摄像机、镜 头、切换台、跟踪系统) 相结合。 以上所提到的虚拟摄影棚系统一般开发的成本较高，需要专门的图形工作站， 在开发过程中，还需要大量的人力和物力，这种大型虚拟摄影棚设备只在大型电视 台的节目制作中用到。如在一些大型体育赛事的转播过程中就会需要虚拟摄影棚技 术；在一些电影的拍摄中也会用到虚拟摄影棚的技术，电影阿凡达中就运用到 了3 d 技术。 2 目前关于手势识别的研究是计算机视觉里的个热门研究方向，在国内外都有 很多研究理论和研究成果。 在国外，基于视觉的手势识别研究开始的比较早，其实从七十年代末就有人开 始投入到手势识别技术研究当中，也形成了较为丰富的研究成果。在1 9 9 4 年，r a m o n m a ss a n s o 和d a n n i lt h l m a n n 研制了一种手势识别系统，它是基于物理约束的手部 约束过程，并用合成的手部动作来实现控制和抓取；在1 9 9 5 年，l e ej i n t a e 和k u n i i t o s i y a s v 利用摄像头来获取手部的运动图像的数据并且可以完成自动分析三维手势 的功能，从而实现三维手势的重建；在1 9 9 7 年，加拿大多伦多大学的s s i d n e y 开 发的g l o v et f l k l i 系统采用神经网络的方法将用户的手势转换为计算机能够识别的 手势语言参数，最后通过语言合成器变为语言并且输出；t r e v o r 和a l e x 在基于可变 形模板手势识别的基础上，提出了一个不受环境限制的基于视觉的手势识别策略， 能够实现在增强现实的环境中进行交互的功能；w i l l i a mt f r e e m a n 和m i c h a lr o t h 提出了一种基于方向直方图的特征值提取的方法，在不同灯光条件下都具有很好的 鲁棒性，在相关应用中，被用来控制虚拟的吊车；a v i s 和s h a h 研究的带有高亮度 标记的手套能够使指尖突出，然后来进行手势识别，最终能够实现对7 种手势的识 别：o m b e z 和a s s a m 从视频里提取特征，并计算特征值，利用h m m ( 隐马尔科夫 模型) 技术识别2 6 2 个孤立单词，正确率达高到9 1 3 。近些年来手势识别研究 的热点主要集中在基于视觉的手势别上。在2 0 0 3 年的时候，日本s o n y 公司推出了 基于p l a y s t a t i o n 2 平台e y e t o y 系统，其主要是通过其公司的游戏平台来开发的。 在国内，手势识别的研究成果主要集中在基于视觉的手势识别技术上。祝远新、 徐光佑等通对手势的时序信息和表观信息的结合，并结合其动态时空规整算法，把 它运用于手势识别中，对定义的1 2 种手势平均识别率高达9 7 ；张良国，吴江琴， 高文等人利用h a u s d o r f f 距离模板匹配的思想，实现了手指字母集上的基于视觉的 3 0 个手指字母的手势识别功能，在测试集上的平均识别率为9 6 7 ；张良国，高文， 陈熙霖，陈益强，王春立通过使用标记过的数据手套，结合其提出的基于混合元捆 绑的h m m ( 隐马尔可夫模型) ，实现了一个面向中等词汇量的中国手语视觉识别系 统，其对4 3 9 个孤立手语词的平均识别率为9 2 5 ；周航利用s b b 特征提取以及多 分类器的s v m 识别算法设计的英文字母手势识别系统对简化了的美国手语字母平 均识别率能够达到9 8 ；朱继玉等人根据其提出的一种新颖的手势分割和整体及局 部手势特征提取算法，开发的手势交互系统能够实现在二维平面上对虚拟物体的抓 取。 3 本文以设计和开发基于手势识别的交互型虚拟摄影棚系统为目标，该系统能够 在虚拟摄影棚中对手势进行识别，并且能够与系统生成的虚拟三维背景进行交互。 特别是手势识别方面，提出了一种适用在虚拟摄影棚中运用的手势识别算法，还提 出了一种手势与虚拟摄影棚中的三维背景交互的方法，通过手势识别来控制三维背 景，从而完成交互功能。 1 4 论文的主要工作和组织结构 本文的研究内容在于设计和实现一套基于手势识别的、与虚拟三维背景进行交 互的虚拟摄影棚系统。可以使本系统运用在教育资源制作领域中，使学习者获得的 学习资源具有交互性、生动性和趣味性。满足不同学习者对教育资源的不同要求， 满足教育信息化的要求。本文所作的主要工作包括： 1 介绍了虚拟摄影棚技术、手势识别相关技术和v e g a 等，为全文奠定了理论 基础。 2 提出了一种基于计算机视觉的手势识别算法，这种算法可以适用于虚拟摄 影棚系统中，为演员与虚拟背景交互提供了前提条件。 3 提出了一种基于手势识别的与虚拟三维背景交互的方法，使拍摄出的教育 资源兼具生动性和趣味性。 4 对系统做出总结并对系统的性能升级做一步的展望。 本文共由六章构成，各章的结构安排如下： 第一章介绍了本课题的研究背景和研究意义，介绍了虚拟摄影棚的国内外的研 究现状。论述了本研究的研究目标和创新之处，并且阐明了本文的所做的主要工作 和本文的组织结构。 第二章是从理论的高度对研究中需要用到的各种技术进行阐述，包括虚拟摄影 棚技术的相关理论、手势识别技术的相关理论、v e g a 三维仿真软件的相关介绍，为 整个研究奠定了理论基础。 第三章从系统的总体角度出发，对整个系统的架构和搭建进行了详细的分析和 设计。根据系统的总体分析和需要实现的功能，设计了背景模块、手势识别模块、 位置获取模块和交互模块四个模块，并对每个模块进行设计。 第四章详细给出了适用于虚拟摄影棚中的手势识别算法。包括适用于虚拟摄影 棚的手势识别算法的总体框架设计以及具体的步骤。本算法包括手势模板库的建 立、图像预处理、手势分割与检测、手势分析和手势识别五个步骤，并且总结了该 4 手势识别算法。 第五章详细介绍了整个系统的实现过程。具体介绍了四个模块：背景模块、手 势识别模块、位置获取模块和交互模块的具体实现过程，并列出了实现的相关代码。 还以截图的方式列出了手势识别的效果和与三维背景交互的效果。 第六章是对本研究的总结和展望。总结了本研究的突出之处和不足之处，并指 出今后研究努力的方向。 5 第二章相关理论和技术 2 1 虚拟摄影棚技术介绍 从最初由于国防需要到最近二十年发展到电视节目制作领域的虚拟摄影棚在 最近几年得到了飞速的发展。它的实质是将计算机实时生成的虚拟场景与摄像机现 场拍摄的前景人物图像进行实时的合成，使拍摄人物与虚拟背景能够产生融合并产 生同步变化的效果，从而获取逼真的融合画面，看上去就感觉前景人物真的置身于 虚拟背景之中。 虚拟摄影棚与传统摄影棚相比其优点是，可以大大降低节目资源制作的成本。 因为虚拟摄影棚不需要真实地去搭建背景，背景是由计算机生成的虚拟的画面，而 传统摄影棚却需要大费周折的去搭建背景，这样，虚拟摄影棚就大大的节省了人力、 物力和时间，大大提高工作效率。使用虚拟摄影棚之后更换场景是很快的，可以在 几分钟之内就完成，一天可以更换多个场景。虚拟摄影棚可以充分发挥想象空间， 只要你有足够的想象力就可以制作出优秀的作品，不需要受到背景搭建的限制。虚 拟摄影棚有着传统摄影棚无可比拟的优势。在虚拟摄影棚中需要用到大量的技术， 主要包括色键抠像合成技术、同步跟踪技术和虚拟场景的生成技术。 虚拟场景的生成是虚拟摄影棚区别与传统摄影棚的根本所在。虚拟摄影棚中的 虚拟背景和一些其他的道具都是通过图形工作站来设计和制作的。虚拟背景包括二 维的虚拟背景和三维的虚拟背景两大类。可以通过s o f t i m a g e 、m u l t i g e n 、a l i s a 和 w a v e f r o n t 等三维建模软件包来构建三维背景。 根据生成的背景图像的维度可以把虚拟摄影棚分为三类：二维虚拟摄影棚、二 维半虚拟摄影棚和真三维虚拟摄影棚。三类虚拟摄影棚搭建价格由低逐次升高。二 维虚拟摄影棚是最简单的，也是造价最便宜的。在拍摄过程中摄像机不用移动，背 景生成装置直接与拍摄前景相融合，产生合成图像。二维半虚拟摄影棚则要求事先 利用3 dm a x 、m a y a 或m u l t i g e n 等三维动画制作软件设计好三维场景模型并进行 渲染。利用这样的方式来生成虚拟三维背景。真三维虚拟摄影棚是这三种虚拟摄影 棚系统中费用价格最高的，它可以创建全三维的虚拟背景。真三维系统可以根据虚 拟摄像机实时的获取利用3 dm a x 、m a y a 或m u l t i g e n 等建模软件设计好的场景模 型。这是二维半和真三维虚拟摄影棚系统之间本质的区别。 6 随着对手势识别研究的不断深入，研究者把它作为人机交互的一个新的输入方 式。这样的做法使人机交互的方式变得更为自然、灵活和方便。手势的一般定义是 指人在自己意识控制下用手做出的各种手部动作来表达某种意图和含义。如人可以 通过手做出数字的手势，来表示在一些特定的不能用语言来交流的情况。所以可以 这样说，手势具有符号功能，被用来交流有意义的信息。 根据手势输入到计算机的方式不同，可以把手势识别技术分为基于数据手套和 基于计算机视觉两大类。基于数据手套的手势输入是通过硬件设备来完成手势的输 入。基于计算机视觉的手势识别技术是采用摄像机捕获手势的图像，完成对手势的 输入，再利用计算机视觉技术对捕获的图像进行手势的检测、分割、分析和识别等 步骤，提取手势图像的特征，从而实现手势的识别功能。这种方法可以使用户手的运 动受到的限制较少，同时用户还可以在识别过程中看到手的图像。其优点是费用较 低，交互方式更自然；不足之处是获得手部信息精确性和准确性不够。但基于计算 机视觉的手势识别是一种很有前途的技术，现在很多专家都在致力于研究此项工 作。本文所提及的手势识别指的就是基于计算机视觉的手势识别技术。 从手势识别的角度考虑，手势是指人手或者手和手臂结合产生的各种姿势或动 作，它包括静态手势( 指姿态，单个手形) 和动态手势( 指动作，由一系列姿态组成) 。 静态手势与动态手势的比较如表2 1 ： 表2 1 两种手势比较表 手势类型静态手势动态手势 手势分割肤色模型( 色彩的聚类特征)运动跟踪( 差值图像分割， 轮廓边缘( c a n n y 检测)卡尔曼跟踪预测，背景擦除法) 手势建模 图像属性( 轮廓，图像矩， 运动序列( 计算运动光流， 几何特征，直方图)抽取运动轨迹) 手势识别模板匹配法隐马尔科夫模型法 神经网络法动态时间规划法 静态手势在空间里对应一个点，而动态手势则对应着模型参数空间里的一条轨 迹，并且需要使用随时间变化的空间特征来表述。一个基于视觉图像的手势识别系 统包括手势分割、手势建模、手势分析和手势识别等部分组成，总体构成如图2 1 ： 7 硕士学位论文 m a s t e r st h e s i s 一个 或多 个摄 像机 j l l 用户 l 手势建模 语法、语义及 其他约束 图2 1 基于视觉图像的手势识别系统的总体构成图 2 2 1 手势检测和跟踪 基于 手势 识别 的应 用 手势检测是整个手势识别过程的前提，它的好坏直接决定手势识别的效果。手 势检测的目的在于从前景中仅保留手势部分。目前比较常用的手势检测方法包括增 强限制方法、背景擦除法、轮廓跟踪方法、基于肤色模型法。 增强限制法的原理是创造出一个简单的背景，如单一的黑色或白色墙壁作为背 景，还有就是要求人要穿深色的服装，从而达到强调手和背景的颜色有差别的目的。 这种做法的缺点是手势识别只能在特定的环境中进行，失去了手势作为一种交流方 式的自由性。背景擦除法就是将原图像和背景图像进行减运算，最后得到的的结果 是手势的图像，从而把手势检测出来。基于肤色模型法是根据人的皮肤的颜色在颜 色空间的分布特点，而人的肤色在一定范围内呈现出聚类的特征，从而可以根据人 的肤色的这个特点把手势检测出来。 如果要求手势具有交互型，就要在检测出手势后，获得手势在图像中的位置， 对手势进行跟踪，基于手势的跟踪研究理论主要包括m e a n - s h i f t 算法、c a m s h i f t 算 法、粒子滤波、运动模板等。 在19 7 5 年f u k u n a g a 和h o s t e t l e r 提出了m e a n s h i f t 算法。m e a n s h i f t 最初的含 义可以从其名字可以看出，就是偏移的均值向量。随着m e a n - s h i f t 算法的不断发展， 现在我们所说的m e a n - s h i f t 是指一个迭代的过程，在给定反向投影和初始搜索窗口 位置的情况下，先计算出当前中心点的偏移均值，然后移动该中心点到其偏移均值 点，用迭代的方法寻找目标的中心点，只到满足某一条件成立才停止迭代。m e a n s h i f t 跟踪算法有着较好的鲁棒性以及多用途性，同时它也仅仅付出了比较适中的计算代 8 价。它非常适合在空间结构中处理那些容易让基于单一特征的追踪器失效的具有较 大变化表观特征的被追踪物体。 c a m 。s h i f t 算法是对m e a n s h i f t 算法的一个改进，就是将m e a n - s h i f t 算法扩展到 连续图像序列( 一般都是指视频图像序列) ，是一种通过寻找最大统计分布来实现 的鲁棒性统计方法。它的基本思想是将视频图像的所有帧依次作m e a n s h i f t 运算， 并将上一帧的结果作为下一帧m e a n - s h i f t 算法的初始值，依次迭代下去实现对目标 的跟踪。 2 2 2 手势建模 手势模型的选取取决于具体的应用程序。尽管手势建模的方法多种多样，但归 结起来可以分为两大类：基于表观的手势建模和基于3 d 模型的手势建模。具体分 类见图2 2 ： 视觉手势建模 基于3 d 手( 臂) 模型的手势建模 纹 理 模 型 网 络 模 型 几 何 模 型 骨 架 模 型 基于 灰度 图像 模型 基于2 d 表观的手势建模 基于 变形 模板 模型 基于 图像 属性 模型 基于 图像 运动 模型 图2 2 手势建模的分类 基于手势的表观特征的建模把手势模型建立在手的图像的表观之上，它通过分 析手在图像中的表观特征来达到给手势建模的目的。而基于3 d 模型的手势建模则 是一种更为复杂的建模方法，需要考虑到手和手臂两个部分，来确定手势的模型参 数。 2 2 3 手势分析 手势分析要达到的目的是根据手势模型生成的相关参数完成特征检测和参数 估计两个任务。这两个任务有着先后顺序，先进行特征检测。完成特征检测之后， 再进行手势模型参数估计。虽然根据不同的应用程序会选择不同的建模方法，从而 9 硕士学位论文 m a s t e r st t t e s i $ 导致模型的参数也不尽相同，但通常用到的手势特征值包括灰度图像、二值图像、 边界及轮廓、指尖等。在模型参数估计阶段，3 d 模型用到角度参数和直线参数这两 组数据，最常用的方法是卡尔曼滤波和预测。在基于表观的手势模型中，常用到手 势的几何矩、直方图等作为参数估计的方法。 2 2 4 手势识别 手势识别的方法主要有统计分析法、模板匹配法、神经网络法等。在手势识别 方法中最简单的识别技术是模板匹配技术。 统计分析技术则是以统计样本的特征向量来确定分类器，它是一种基于概率的 分类方法。常用的确定分类函数的方法一般是贝叶斯极大似然理论。统计分析技术 不能对原始数据直接进行识别，必须从原始数据中提取特征向量。模板匹配技术是 将输入的原始图像与预先存储的模板图像进行匹配，把两者之间的相似程度作为识 别的参考条件，从而达到识别的目的。神经网络技术，作为一种比较新颖的识别技 术，它是对人脑的某种抽象、简化和模仿，反应了人脑的某些基本特征。这种技术 具有自组织能力，还有自学习能力，以及具有分布性的特点，它能够有效抗噪声， 并且能够处理不完整的模式，还具有模式推广能力。 2 3v e g a 相关技术 m u l t i g e n p a r a d i g m 公司开发的v e g a 软件是一套完整的视景仿真系统，其目前 在城市规划、建筑设计、模拟战争、模拟车辆驾驶等方面有广泛运用。v e g a 的本质 其实是一套完整的c 语言函数接口。要生成一个v e g a 程序，可以通过v e g a 提供的 l y n x 图像操作界面来定义v e g a 的a d f 文件，l y n x 的主要功能是通过可视化操作 来建立三维场景模型，并把定义好的文件保存在a d f 文件中。下图为一个典型的 v e g a 应用环境实例如图2 3 。 o 口t # 4 t # 1 誊且o f o _ l ：0 7 声_ 毒，q o 。 * 女二# f # “8 警 融 瓣曩 曩蹙 一曩 曩 蠢曩 _ _ # 图2 3 一个典型的v e g a 应用程序实例 1 0 硕士学位论文 m a s t e r st h e s i s v e g a 提供的众多功能都是通过c 语言定义的类来实现的。每个v e g a 类都是一 个完整的、能够实现对应功能的成员数据和成员函数的集合。这些v e g a 类可以在 应用程序中调用，相互关联的类的集合构成了v e g a 类库。从一个程序员的角度来 看，v e g a 实质上是一套与图形硬件无关的应用函数接1 ：3 。v e g a 包含了几百个用开 发语言编写的应用程序接口函数。通过这些函数，可以高效快捷地对虚拟三维场景 进行实时的交互操作控制，从而实现更为复杂的视景仿真应用。v e g a 其实将这些 a p i 函数封装在对应的v e g a 类中。每个v e g a 类中都包含了实现特定功能的函数， 而这些v e g a 类，都包含在开发函数库和实用函数库两个常用函数库中。 v e g a 函数库为用户提供了一整套方便实用的视景仿真应用程序接口。在用v e g a 相关函数进行应用程序开发时，就可以调用a d f 文件来完成相应的操作。典型的 基于v e g a 应用程序一般都遵循如图2 4 所示的基本框架。 图2 4v e g a 应用程序的基本框架 本系统主要是把基于视觉的手势识别技术运用在虚拟摄影棚中，能够实现拍摄 出的教育资源具备交互性、趣味性和生动性的功能。所以除了要完成一般的虚拟摄 影棚系统的功能，还必须在其中加入手势识别的功能，并能在成功识别手势后，完 成与虚拟三维背景的交互，从而对虚拟三维背景进行控制。 3 1 基于手势识别的交互型虚拟摄影棚系统的总体框架设计 本系统总体框架设计如图3 1 所示，本系