多 媒 体 科 技 导 论 论 文

1、多 媒 体 科 技 导 论 论 文虚拟技术在电影中的应用摘要：随着信息技术的不断发展，人们逐渐不满足于二维平面图像世界，对3D世界充满神往。目前三维图形技术在建筑虚拟、城市规划、场景漫游、效果场景制作、虚拟教育、展馆展示、古迹复原、交通路线设计、3D游戏等各方面都有广泛实际的应用。3D虚拟场景编辑在3D游戏、虚拟现实、多媒体制作等领域有着广阔的发展前景。第一章：从阿凡达看电影虚拟技术 （1）系统设计和数字立体摄影 （2）运动捕捉与虚拟摄影第二章：运动捕捉系统 （1）机械式运动捕捉系统 （2）无线传感器式运动捕捉设备 （3）基于光学的运动捕捉设备 （4）无标记非接触式运动捕获系统Stage第三章

2、：人体运动建模 （1）时间域和空间域中的人体运动建模 （2）基于轨迹、速度的时空曲线运动建模 （3）基于人体姿态的关节角度运动建模第四章：总结与展望关键词：虚拟技术、运动捕捉引言：随着信息技术的不断发展，人们逐渐不满足于二维平面图像世界，对3D世界充满神往。目前三维图形技术在建筑虚拟、城市规划、场景漫游、效果场景制作、虚拟教育、展馆展示、古迹复原、交通路线设计、3D游戏等各方面都有广泛实际的应用。3D虚拟场景编辑在3D游戏、虚拟现实、多媒体制作等领域有着广阔的发展前景。第一章：引题2010 年的“吸金大片”阿凡达在票房和口碑上都获得了超凡成功。在回味电影带给我们的视听享受之时, 再来关注一下电

3、影幕后的关键技术数字立体和虚拟摄影。一、系统设计和数字立体摄影詹姆斯·卡梅隆的电影阿凡达花费了4 年的制作时间,在3D技术方面取得了巨大进展。他和 PACEHD 公司的文斯·佩斯(Vince Pace)进行合作,使用两台索尼F950高清摄像机的光学模块创造一套3D摄影系统,实现了立体摄影基线（1）和汇聚的自动控制。为了达到阿凡达的拍摄要求, 佩斯和卡梅隆改进了他们的3D 数字摄影系统。他们改进的成果便是FUSION 3D 摄影机系统,其中包括了11通道的运动控制: 双镜头同步变焦、跟焦及光圈控制、双机之间的独立汇聚控制、基线控制以及为维持支架平衡而设计的反光镜控制等。该系统

4、还可以以倒装方式(垂直机器安装在立体支架的下部, 镜头朝上)实现手持摄影。他们还开发了一种方法使得对基线有了更丰富的控制：在阿凡达中,某些镜头的基线低至1/ 3英寸(约8.5 毫米) ,而其他镜头则大多在2 英寸( 约51毫米)左右,将所有这些元素都综合起来, 就得到了一套强大的3D 系统。的磁带上。在拍摄中还将画面同时记录到了CODEX（2） 数字录像机中, 使得电影制作者能够在拍摄现场实现即时立体场景回放。影片的真人实景拍摄部分选择在了WETA 公司所在地新西兰的惠灵顿。在现场安置了两台NECNC800C 型数字投影机, 并使用Codex 数字录像机输出立体视频信号, 以3D 形式逐一放映

5、每天拍摄的所有镜头。这样卡梅隆和摄影指导费奥里就可以在拍摄现场看到最终3D 效果, 一旦发现某些不足就可以逐个镜头地进行修饰完善。1二、运动捕捉与虚拟摄影导演在摄影棚内进行运动捕捉工作18 个月,在此期间拍摄的演员及其表演将全部转换为CG 角色。通过预先在Autodesk Mot ionBuilder 中建立三维场景和人物,他们开发出一个能将动作捕捉的信息实时放置在CG世界当中的系统。导演通常用运动捕捉来完成复杂的预览镜头和序列: 先将动作捕捉台上的演员动作拍摄下来, 然后将动捕数据送到后期。接下来, 视效艺术家将这些动作数据绑定到CG 角色上, 完成摄像机运动并生成序列发回给导演。但这个流程

6、并不符合导演的要求。 导演使用了两个主要的工具来实现他的虚拟电影摄影。其一是手持的(虚拟摄影机)( Virtual Camera) ,实际上就是一个监视器,上面装备着类似视频游戏所使用的控制器,且这个监视器的位置还能在各个维度上被跟踪定位（3）,通过在动作捕捉阶段使用虚拟摄像机, 导演就能够看到穿戴着动捕衣服的演员就像他们所扮演的数字角色一样。举例来说:从虚拟摄像机看过去,他就能看到9英尺高的纳威人女主角而不是演员本人。他可以像操纵真实摄影机一样操控虚拟摄影机,相比真实摄影机而言其功能更为自由强大。比如可以缩放虚拟摄影机的运动范围比例, 以实现高低机位的运动等镜头。比如: 如果要拍摄一个摇臂升

7、降镜头,可以将虚拟运动幅度比例调整到20：1, 这样一来,如果摄影机离地5英尺的话, 则在虚拟世界中就能达到100 英尺的高度。另一个工具是(模拟摄影机)( SimulCam),其实就是一部贴着位置反光点的真实摄影机,其位置可以被动捕系统所捕获,通过动捕系统对摄像机运动轨迹的追踪, 就可以在CG世界中生成一个和现实摄影机完全相同运动轨迹的虚拟摄影机, 可以将实拍和CG 两路画面以较低质量实时合成, 并将合成结果送回拍摄现场的监视器上。举例来说:当卡梅隆正在现场拍摄一个包含一个演员和纳威人的场景时,如果他将摄影机向下摇到演员的脚, 那么他的寻像器内就不仅会显示出演员的脚, 还能看到纳威角色的脚,

8、还有场景以外的全部CG 环境与细节, 如通过窗外可看见飞机和士兵运动等等。所有这一切都能够通过模拟摄影机的寻像器和现场监视器实时看到,这就可以让真人演员CG角色直接互动, 并且可以让卡梅隆精确地拍摄他想要的画面。有了模拟摄影机,就不必去想象影像合成以后会是什么样子, 因为在拍摄时已经可以看到所有的CG背景和动画了!因此如果想跟拍一个飞船降落的镜头作为背景,再在画面里放置演员的话,就可以实时地完成,就好像这一切就在眼前发生的一样。由于模拟摄影机会在虚拟世界中成为虚拟摄影机,因此它就可以放置在空间中的任何一个位置上。纳威人站立高度超过9英尺(2.7米),与人类身高比为1.67:1.。如果卡梅隆需要

9、一个纳威人眼睛高度的镜头的话,他就会让系统操作员将他自己的身高重新设定为原来的1.67 倍。换句话说, 他还是可以手持摄影机站在真实的地面上,同时在虚拟世界里站立的身高就变为9英尺。导演将模拟摄影机当做了一种虚拟取景器,用它来指导表演并拍摄他想要的画面,然后在后期制作中, 只需对此稍作调整。虚拟摄影机操作员们还想出了一些方法让导演的模拟摄影机拍出的画面看起来像是使用了不同运动摄影手段( 如斯坦尼康、Technocrane 伸缩摇臂、手持摄影,等等)拍摄而成的感觉。在进行了18 个月的运动捕捉工作之后,卡梅隆把摄影指导费奥里带到了位于新西兰惠灵顿的石头街摄影棚,来拍摄真人演出的镜头。全片大概70

10、%要靠运动捕捉,其余的 是真人表演。 毫无疑问,阿凡达在数字立体和虚拟摄影技术上的成就是伟大的,它的出现将为2数字立体电影形式、制作理念及技术带来强劲的推动作用,必将成为整个电影发展史上的重要里程碑之一。正如卡梅隆所说:“现在我们的技术是领先5年的,但5年后这些技术将成为大家常用的工具”, 衷心希望数字立体电影迎来光辉灿烂的明天! 注释：即摄影机光轴间距,相关概念详见影视技术1998年2期王式孟! 立体摄影的关键技术 。 CODEX 是一种数字硬盘录像机产品, 支持双路无压缩4：4：4 高清视频的记录和回放, 可供高质量立体或双机位应用。 早在指环王系列电影的制作中,导演彼得·杰克逊

11、就曾经成功地运用过类似的方法进行虚拟摄影。详见2004 年第12 期影视技术“数字技术对好莱坞电影视觉效果的影响( 二) ”。第二章：运动捕获系统自上世纪70年代开始，三维运动捕获技术便被用于采集人体运动数据。首先在人体上附着特殊装置或标记，然后采用特定的信号接收装置采集人体运动数据，并对数据进行去噪、平滑等预处理，最终将运动轨迹、速度、加速度、关节旋转角、人体朝向等信息存储于计算机中以供后续处理。下面就目前常用的三维运动捕获系统进行简单介绍。一.机械式运动捕捉系统在人体肢段上安装用于测量运动数据的支架，相邻两支架间的相对运动通过安装在连接点上的传感器进行测量用于表征人体肢段间的相对运动。图2

12、-1(a)为Animazoo公司的Gypsy6 ，运动者四肢绑缚机械装置用于测量四肢的运动数据，使用一个惯性陀螺仪测量脊柱运动;图2-1(b)为Measurand公司的ShapeWrap III系统，它是一种基于ShapeTapes的运动捕捉系统，运动者身上附着“软臂”，设备能随意弯曲从而避免受碰撞造成损害，相对于Gypsy6的外骨骼设计更加灵活。二.无线传感器式运动捕捉设备在人体上附着各种传感器用于获取人体运动时的力学、运动学以及生物学信息，然后通过无线局域网将各种人体运动发送至电脑终端用于后续运动分析。图2-2为Codamotion公司设3计的体育运动动作分析系统 , (a)展示了附着在足

13、部用于信号采集的传感器，（b）为对跑步运动进行分析。机械式运动捕捉系统相比，传感器式运动捕获设备无需在运动者身上附着机械支架，数据采集更加方便。除了Codamotion公司的体育运动动作系统分析外，还有Xsens公司的惯性系统Moven , 3Dsuit公司的惯性系统以及Animazo。公司的陀螺仪惯性系统IGS-190均基于传感器设计而成。三 .基于光学的运动捕捉设备在人体上附着特殊反光材料或发光部件，使用事先标定好的多相机采集人体上的光线信息，每个摄像机分别拍摄光点图像，通过多摄像机的空间几何关系求解人体运动参数。图2-3 (a)为附着反光球的运动者在使用英国Oxford Metrics

14、Limited公司设计的Vicon系统捕捉运动信息;图2-3 (b)为使用我国唯一拥有完全自主知识产权由大连东方新锐公司自主研发成功的光学式运动捕获系统对运动者进行跟踪，采集运动信息。4四.无标记非接触式运动捕获系统StageStage ，是由美国Organic Motion研发的世界上第一套无需穿紧身衣，无需反光标记的新一代运动捕获系统。Stage采用多重二维摄像机跟踪运动者，每个相机的成像被输入Stage视觉处理器，通过不同相机的成像来对运动者的坐标进行三角测量，实时计算生物力学3D模型，最终输出捕捉对象的完整三维模型，包括表面网格、纹理以及精确到毫米的三维骨架运动数据。图2-4 (a)为

15、站立于Stage摄像机前的运动者，图2-4 (b)为Stage二维摄像机，图2-4 (c)为Stage系统对人体运动进行三维重建。第三章：人体运动建模 自上世纪七十时代开始，心理学家就已使用MLDs (Moving Light Displays)采集人体运动数据，并运用于“运动感知”的研究工作。随后，人体运动分析逐步受到计算机视觉领域研究人员越来越多的关注。近年来，随着硬件平台的飞速发展及其成本的降低，光学运动捕获系统的推广和普及，众多运动捕获系统及运动数据库应运而生，并被广泛应用于计算机动画、体育仿真、医学理疗、数字娱乐、电影广告等领域。 在诸多与人体运动相关的研究领域中，核心任务之一是如何

16、对人体运动建立数学模型，根据研究的需要应用运动模型，从中获得问题的解析解或者数值解。然而人类的运动具有很大的随意性，不同的主体具有不同的运动风格，这使得建立精确运动模型非常困难。幸运的是，在人体运动过程中也存在明显的连续性以及很强的规律性。不同的人在做相同的运动时，其运动过程具有一定的相似性，比如体操，不同的运动员也常常会表演相同的动作。同时，很多运动过程本身也有很强的周期性，如行走中左右两腿相互交替前行。 一、时间域和空间域中的人体运动建模运动数据通常由视频摄像机或三维运动跟踪设备采集得到，前者为多帧图像序列，后者为机械、电磁或者红外反光等高精度数据采集设备所获取的三维运动轨迹亦或其他形式的

17、运动序列(旋转角等)。如果把人体运动看作多质点运动，那么就需要对质点的运动轨迹进行拟合，研究不同运动中人体不同部位的运动特点;若考虑多个质点运动时的相互作用，则需要研究选定一个参考点，进而分析质点相对于参考点的相对运动。接下来首先阐述基于轨迹和速度的运动建模，然后讨论基于旋转角的相对运动建模。二、基于轨迹、速度的时空曲线运动建模无论从视频序列中的特征点，还是从三维运动捕捉设备中直接获取的质点，设不同时刻的运动向量序列为(xt,yt)或(xt,yt,zt), t为时间变量，以二维图像中的特征点(xt,yt) 为例，运动物体的轨迹可以看作是时间t的向量值函数，物体在纵向和横向的速度分量为:Vx=x

18、t-xt-1/t (1) Vy=yt-yt-1/t(2)其中t为等长采样时间间隔，在t内运动的距离可表示为:5 (3)运动的方向根据轨迹向量(xt,yt)与(xt-1,yt-1) 的夹角求得: (4)根据函数极值理论，根据Vx，Vy变化情况将运动分为五个种类: 平稳启动(smooth starts)、平稳停止(smooth stops)、停顿(stops)、突然启动(impulse starts)及突然停止(impulse stops)。事实上，处理单值函数远比处理一个向量值函数更加便利。时空曲线CSpatlotemporal Curve)方法:将时间变量:与轨迹坐标(xt,yt)共同看作函数

19、(曲线): C(xt,yt,t) (5)时空曲率(Spatiotemporal Curvature) 定义为: (6)其中，A, B. C均为行列式: (7)所有求导运算都由差分方法近似求解: ，若假设采样时间间隔t为常量，那么t=1且t=0。由此，任何一条曲线C(xt,yt,t) 的几何形态由曲率K来确定。由于时空曲线是单值函数，与向量值函数相比，更容易从曲线C(xt,yt,t)中提取所需要的运动信息，而不必把xt与yt分别当作两个参数方程来处理。因此，这种方法被广泛应采用，使用(5)式对人体绕圆步行进行运动建模，用(6)式中的K表征人体的运动状态，由此能够在曲线C上根据表征绕圆步行的特定K

20、来检测出人体的绕圆步行运动，其实验在两组绕圆运动数据库中进行，结果表明时空曲线曲面提供了一种精确而可量化的运动描述算子。从时空曲线参数中提取了不同类型运动的语义特征，用于运动识别和运动检索;从时空曲线曲面提取的语义特征不仅可以用于识别和检索，还能够用于反向检索，即:通过关键字(比如:慢跑)在运动库中查找运动，显而易见的是，关键字查找的时间复杂度要远远低于(5)(6)式所描述的运动特征匹配的时间复杂度。人体上质点的运动轨迹能直观地反映人体在世界坐标系中的空间位置随时间的变化情况，并且从空间曲线曲面上能够有效地反映特定人体运动。然而，在很多情况下，质点间的相互运动能够引起人类视觉感知系统的更多兴趣

21、,人体运动分析过程中研究人员更关注人体运动姿态。通常，使用关节角度来表征运动过程中的人体姿态。三、基于人体姿态的关节角度运动建模 时空曲线直接从人体在世界坐标系中的运动轨迹中提取信息，然而人体运动是一个非常复杂的过程，整个人体运动过程中除了人体在世界坐标系中的运动外，还包含了身体各个部分间的相对运动。如图4-1所示骨架模型，椭圆代表人体的各个肢段，空心圆代表人体的关节，与分别表示肘关节与膝关节处两个身体肢段所成的角度。6图4-1人体骨架模型整个人体的运动被视为为关节角度的变化。假设t时刻躁、膝、臀三处的坐标分别为:，此刻大腿与小腿的关节角度为：减小，膝关节进行屈曲(Flexion)运动。增大，膝关节进行伸展(Extension)运动。 Murray针对不同年龄、不同身段的测试者进行步态测试，发现在正常的步行过程中所有测试者各个关节角度的随时间的变化基本保持一致。因为关节角度的变化能够很好地表征人体局部的相对运动，其中蕴含了个体的运动习惯，所以