人体姿态捕捉方法综述

1、 PAGE 15人体姿态捕捉方法综述XXX（大连理工大学 软件学院， 辽宁 大连 116600）摘要：人体姿态捕捉技术在人机交互和虚拟现实等领域的重要性日益突出，为了满足人们对于高精确度、高效率的动作捕捉技术的需求，科学家从各个方面进行了创新性的尝试。文章介绍了动作捕捉技术发展历史，并给出了其概念和基本组成；并阐述了目前国内外发展现状；其次详细地对主流方案进行优缺点分析；然后结合现实，给出了常见应用领域；最后对动作捕捉技术面临难题进行总结并介绍了发展趋势。关键词： 动作捕捉； 虚拟技术； 人机交互； 算法Overview of Human gesture capture XXX（Dalian

2、university of technology College of Software，Liaoning Dalian 116600）Abstract：The human body gesture capture technology in human-computer interaction and virtual reality and other areas of importance is day by day prominent, in order to meet people for high accuracy, high efficiency of motion capture

3、 technology needs, scientists from all aspects of innovative attempt. This paper introduces the motion capture technology development history, and gives the concept and basic composition; And expounds the current situation of the development at home and abroad; Secondly detail schemes to mainstream

4、advantages and disadvantages analysis; And then combining with reality, gives the common application fields; Finally, the motion capture technology difficulties was summarized and introduced the development trend. Key words: Motion capture ；Virtual technology ；Human-computer interaction ；Algorithm引言

5、动作捕捉(Motion Capture) ，也称为Motion Tracking（动作追踪）或简称mocap，用于记录物体移动的过程并将其模拟到数字模型中。近年来，随着计算机数据采集和传感器技术的迅速发展，动作捕捉技术在游戏、娱乐、体育、军事、运动分析，舞蹈采集，虚拟现实等技术中得到了越来越深入的应用。简单动作捕捉概念的先驱一般认为是美籍波兰人马克思费舍尔(Max Fleischer)1915 年发明的Rotoscope技术。该技术将实际拍摄出的动作影像作为动画描绘的底样，动画师以此为基础逐帧描绘出所需的动作。20 世纪70 年代，基于仪器的运动捕捉技术开始应用于动画制作领域，美国迪斯尼公司试

6、图通过捕捉演员的动作以改进动画效果，纽约计算机图形技术实验室设计了一种光学装置，采用了类似Rotoscope技术的实现原理，将演员表演的动作姿势投影至屏幕，为后续的动画制作提供了有益的参考1 李晓丹，肖明，曾莉.人体动作捕捉技术综述以及一种新的动作捕捉方案陈述J. 中国西部科 技2011，10(15)：35-37.。20 世纪80 年代，通过电脑实现的针对人体运动捕捉的研究开始出现。美国Biomechanics 实验室、MIT 等高校先后对此进行了研究。此后，运动捕捉技术逐渐被越来越多的研究人员和开发者所接受，并从试用研究逐步走向了现实中。进入20 世纪90 年代后，随着计算机软硬件技术的发展

7、和人们对动画制作要求的提高，运动捕捉已经进入了实用阶段，有多家厂商相继推出了多种商品化的运动捕捉设备，如Motion-Analysis、Sega Interactive、Polhemus 、FilmBox、MAC等，其应用已远远超出了演示领域，并成功地用于考古、医学研究、虚拟现实、人体工程学研究、模拟训练、游戏等许多方面2 李明宇，赵亮，姜军. 动作捕捉技术应用研究调查报告Z. 科技信息。动作捕捉技术本身是一门很复杂的技术，涉及测量、物理定位、空间定位等多种计算方法，以及数据与计算机之间的互通和处理。一般来讲，技术本身在运动物体的关键部位设置跟踪器，由Motion capture 系统捕捉跟踪

8、器位置，再经过计算机处理后得到三维空间坐标的数据。当数据被计算机识别后，可以应用在动画制作、步态分析、生物力学、人机工程等领域3 黄波上，陈福民人体动作捕捉及运动控制的研究J计算机工程与应用，2005，7。动作捕捉的基本概念及基本组成动作捕捉的概念1999年，A Menach将动作捕捉定义为“在一定空间范围内通过对特殊标记点的跟踪来记录捕捉对象运动信息，然后将其换算为可使用数学方式进行表达的运动的过程”。 换一种说法就是，一个通过在时域上跟踪一些关键点的运动来记录生物运动，然后将其转换成可用的数学表达并合成一个单独的3D运动的过程。4 Menache AUnderstanding Motion

9、 Capture for Computer Animat ion and Video GamesMMorgan Kaufmann，1999，10从功能的角度说，动作捕捉技术是一种用来记录人体动作，并将其转换为数字模式的技术。从技术的角度来说, 运动捕捉的实质就是要测量、记录物体在三维空间中的运动轨迹。在动作捕捉技术运用最普及的电影动画领域，其技术使用过程如下：首先它实时地检测、记录表演者的肢体在三维空间的运动轨迹, 捕获表演者的动作(包括方向信息), 然后转化为数字化的“抽象运动”, 以便动画软件将它“赋予”模型, 使模型做出和表演者一样的动作, 并生成最终的动画序列. 实际上, 运动捕捉的对

10、象不仅仅是表演者的动作, 还可以包括物体的运动, 表演者的表情,以及相机、灯光的运动等5 冯远淑，陈福民. 基于动作捕捉的计算机动画探讨与实现J. 同济大学学报，2004，32(7)：956-960. 此外, 运动捕捉技术在虚拟现实、三维游戏、人体生物工程学等许多方面都有重要的应用.基本组成动作捕捉技术主要是通过对物体在三维空间中的运动进行记录，通过其速度、位置等参数获取相关的物理信息，进而进行运动轨迹的模拟。不同公司的动作捕捉设备有相对不同的配置，但一套典型的动作捕捉设备主要由以下四部分组成：传感器：动作捕捉设备中的传感器是指固定在运动物体特定部位的跟踪装置。通过传感器提供的物理信息，动作捕

11、捉设备可以获取运动物体运动的位置、速度等信息。不同的动作捕捉任务需要的传感器数量不同，以人物捕捉为例，如果针对人的整体运动轨迹进行捕捉，需要的传感器数量较少，如果捕捉人体的局部信息如脸部、手部，由于关节和细节部分较多，则需要增加传感器的数量。信号捕捉设备：由于现在广泛采用光学动作捕捉系统，因此往往用高分辨率的红外摄像机进行信号的捕捉和获取。对于之前的机械动作捕捉系统，则是通过一块线路板收集电信号来完成的。数据传输设备：数据传输设备主要负责将获取的动作捕捉信息实时的传入电脑，然后通过电脑对相关信息进行实时分析和处理。数据处理设备：动作捕捉设备捕捉到的数据需要修正和加工后结合三维模型，借助计算机对

12、数据高速的运算能力来完成数据的处理，才能完成相应的工作，这就需要我们借助数据处理软件或硬件来完成此项工作。6 李明宇，赵亮，姜军. 动作捕捉技术应用研究调查报告Z. 科技信息常见动作捕捉系统主要设备组成如图1所示：图1 动作捕捉系统基本组成人体关节树在人体模型树的基础上捕获到的运动数据是人体模型中各个关节点的三维坐标的集合. 采用三维坐标来描述运动是一种非层次化方法,运动描述中各个关节点的位置参数相互独立,其中任意一点的位置变化不会引起其他点的位置变化,这样就很容易违背人体模型中的骨架长度不变的约束,导致在运动编辑时必须求解复杂的长度约束方程. 在运动编辑和运动重定向中,希望保留原运动的某些运

13、动属性(如运动姿势). 但由于人体角色与动画角色的骨架长度不同,采用非层次化运动表示很难满足这种要求. 为建立人体的运动模型,必须对人体模型中相连各肢体和这些肢体之间的运动连带关系进行描述. 现提出一种层次化的运动描述方法,把人体关节看成是一棵树. 将关节看成点,将关节之间的骨骼看成是链,就可以按照运动关系将各肢体链接起来. 以腰关节为根结点,对于相邻的两个关节,设定靠近腰关节为父结点,连接在父结点之下的关节就设定为子结点.父结点运动时,子结点必须跟着运动. 但是子结点运动时,父结点不一定动.为了表达人体模型的层次结构,可选用树结构来进行描述（图2）。7 殷俊, 张凯, 崔晋, 郑洁. 游戏动

14、画中的动作捕捉J. 江苏大学学报，2006，27(5):454-457.图2 人体关节树动作捕捉技术研究现状研究现状由于动作捕捉技术的重要性和未来将会对人类生活的各个方面产生极大影响，越来越多的技术人员投入到动作捕捉技术领域进行研究。目前在发达国家，由于起步较早，动作捕捉技术已经进入了实用化阶段。电影阿凡达的上映，引出了一股3D潮流。在我们身临其境地欣赏着美轮美奂的影片时，我们不知道，这背后的一切都离不开动作捕捉技术的应用8 鲍玉珩，李 悦. 阿凡达 的奇幻影视空间用技术演绎电影的华丽J. 电影评价，2010,6:53-54.。动作捕捉技术在很早以前就已经应用在电脑动画的制作中，随着技术的成熟

15、，越来越多的影视工作室将其运用到电影制作中，以卡梅隆为代表的好莱坞导演，一直都是新金属的引领者。说道动作捕捉技术，就不得不提新西兰的威塔工作室，其先进的动作捕捉技术不仅为阿凡达的制作添上浓墨重彩的一笔，同时也在指环王三部曲、金刚等大片中起着决定性作用。9 朱梁 . 法师归来威塔与指环王的视觉效果制作J. 北京电影学院学报，2004，03：78-80.同时美国公司开发的3D suit动作捕捉套装，主要应用于动画电影领域。不仅在电影制作领域，动作捕捉技术已经见见走进人们的日常生活。微软的Kinect10 林填锋，杨洁霞.基于kinect 的人体识别技术的一些改进J. 电脑知识与技术,2012,8(

16、27):5220-5223是视频式动作捕捉技术的集大成者，应用于体感领域，开辟了新式游戏玩法。微软公司最近又发布了基于SoundWave技术的手势捕捉技术，用于人机交互，极大地改进了人机交互体验。另外，基于手势的人机交互开发，leap motion公司推出了精确度达0.01毫米的leap 3D设备。除以公司为代表的研发外，许多高校也进行了人体动作捕捉技术的研究。其中，MIT的媒体实验室的有形媒体小组，研发出了一种基于动作捕捉技术的增强现实技术-T(ether)。只需要一个特制手套和一台ipad，用户就可以实现像科幻电影中那样的虚拟场景。由于国内这方面的研究起步较晚，因此还没有成熟的商用技术推向

17、市场。但由于动作捕捉技术越来越重要的地位，目前国内不少高校实验室开始了此方面的研究。常见动作捕捉技术介绍不同的观察角度，造就了不同的分类方法，动作捕捉技术也是如此。粗略地说，如果从人们对人体运动捕捉的需求深浅来区分，可以分为全身运动捕捉和细节运动捕捉两类（脸部、手部等）；如果从动作捕捉是否需要实时应用来区分，可以分为实时捕捉和非实时捕捉两类；如果从动作捕捉的原理来区分，则需要详细说明一下分类方法。常用的运动捕捉技术从原理上说可分为光学式、机械式、电磁式、声学式、视频式、惯性式等六种。几种捕捉方式在定位精度、实时操控、便捷性、价格成本、多Object 捕捉性能等方面各有优劣，相辅相成。光学式动作

18、捕捉11 张金剑, 陈福民. 光学动作捕捉中的摄像机标定J. 计算机应用，2004，24（6）：178-181.是目前较为常用的方法，主要运用在电影和游戏中的动作捕捉，表情捕捉。光学式运动捕捉通过分布在空间中固定位置的多台摄像机对目标上特定光点（Maker）的监视和跟踪来完成运动捕捉的任务。目前常见的光学式运动捕捉大多基于计算机视觉原理。光学式动作捕捉的优点：(1) 表演者活动范围大，无电缆、机械装置的限制； (2) 表演者可以自由地表演，使用很方便；(3) 采样速率较高，一般可达每秒60帧的速率，可满足大多数动作捕捉的需求；(4) Marker的价格便宜，便于扩充。 光学式动作捕捉的缺点：(

19、1) 系统整体造价高昂，一套光学式动作捕捉系统的造价常高达数十万甚至数百万；(2) 系统对环境要求较高，表演者活动空间范围有限。光学式动作捕捉系统对场地的光照及反射情况十分敏感，易造成Marker的误采集，因此对场地的限制条件较高；(3) 后期处理成本大，实时性表现不佳。由于运动中各Marker很容易互相混淆和遮挡，从而产生错误的动作捕捉结果，因此需要人工后期介入处理数据。由于数据量巨大，通常一段5分钟的动作捕捉结果需要一个动作捕捉师3天的工作才能完成后期的数据处理。机械式动作捕捉机械式运动捕捉依靠机械装置来跟踪和测量运动轨迹。典型的系统由多个关节和刚性连杆组成，在可转动的关节中装有角度传感器

20、，可以采集关节转动角度的变化情况，以此重绘该时刻被捕捉对象的形态。机械式运动捕捉的一种应用形式是将欲捕捉的运动物体与机械结构相连，物体运动带动机械装置，从而被传感器实时记录下来。X-Ist的FullBodyTracker是一种颇具代表性的机械式运动捕捉产品。机械式动作捕捉的优点：(1) 成本低；(2) 精度高，可以较好的还原运动姿态；(3) 实时捕捉，由于数据量较小和数据处理过程简单，可以实现实时捕捉；(4) 可以同时捕捉多个对象，同光学式相比，排除亮点标记的相互影响，干扰较小。机械式动作捕捉的缺点：使用极不方便，机械结构对表演者的动作阻碍和限制很大。由于装置较难用于连续动作的实时捕捉，需要操

21、作者不断根据剧情要求调整装置的姿势，因此主要用于静态造型捕捉和关键帧的确定；电磁式动作捕捉是目前较为常用的解决方案。系统主要由电磁发射源，接收传感器和数据处理单元所组成。由电磁发射源产生一个低频的空间稳定分布的电磁场，被捕捉对象身上佩戴着若干个接收传感器在电磁场中运动，接收传感器切割磁感线完成模拟信号到电信号的转换，再将信号传送给数据处理单元，数据处理单元则根据接收到的信号推算出每个传感器所处的空间方位。电磁式动作捕捉优点：(1) 记录信息丰富，因为它记录的是六维信息，即不仅能得到空间位置，还能得到方向信息，这一点对某些特殊的应用场合很有价值；(2) 速度快，实时性好，动画系统中的角色模型可以

22、同时反应，便于排演、调整和修改；(3) 装置的定标比较简单，技术较成熟，鲁棒性好，成本相对低廉。电磁式动作捕捉缺点：(1) 为了减低抖动和干扰对动作捕捉的影响，一般采样频率被限定在了15HZ左右，因此对高速运动比如跑步等的捕捉效果失真度较高；(2) 对环境要求严格，在表演场地附近不能有金属物品，否则会造成电磁场畸变，影响精度；(3) 系统的允许表演范围小，特别是电缆对表演者的活动限制比较大，对于比较剧烈的运动和表演则不适用。声学式动作捕捉传统声学式主要由超声波产生器，接收器和处理单元组成。超声波产生器不间断的向外发射超声波，接收器内部由34个超声波探头组成，通过超声波到达不同探头的时间差以计算

23、出对应接收器的空间位置和运动方向。传统声学式动作捕捉优点：利用超声波的穿透性很好的解决人体的遮挡问题，并且成本低廉。传统声学式动作捕捉缺点：(1) 对运动的捕捉有较大延迟和滞后，实时性较差；(2) 精度一般不很高；(3) 声源和接收器间不能有大的遮挡物体，受噪声和多次反射等干扰较大；(4) 由于空气中声波的速度与气压、湿度、温度有关，所以还必须在算法中做出相应的补偿。微软Sound Wave技术12Sidhant Gupta，Dan Morris，Shwetak N Patel，Desney Tan. SoundWave : Using the Doppler Effect to Sense

24、GesturesR. Austin,Texas, USA. 2012.其原理利用的同样是是多普勒效应，但并不需要额外的超声波产生器，接收器和处理单元，而是依靠麦克风和扬声器来感知和理解你的动作。给电脑配备特定的超声波软件，依靠其麦克风和扬声器发出恒定的20-22KHz的超声波，依靠多普勒效应确定物体的大小，移动速度和运动方向。Sound Wave技术优点：(1) 不受环境光线强弱的影响；(2) 实时性好，没有明显延迟；(3) 硬件要求低，适用性广泛，PC及智能手机，装上该软件即可使用；(4) 与操作与娱乐兼容，即使扬声器播放着音乐，也可以照常操作。 Sound Wave技术缺点：(1) 不善于

25、捕捉一些像捏手指的小动作；(2) 有局限性，目前该技术仅局限于手势的动作捕捉，还未开发至人体的大规模动作捕捉。视频式动作捕捉技术13 于明卓. 基于DV视频的动作捕捉系统研究D. 沈阳.：沈阳工业大学.，2007主要模仿人眼的原理，利用空间两个摄像头在某一时刻的所拍摄的两帧影像之间的对比识别出捕捉对象和完成对捕捉对象的定位。视频捕捉分为有标记和无标记两种方式。有标记方式原理和光学动作捕捉系统是一致的，增加了颜色匹配算法，运用计算机图像分析技术捕捉视频中的动作信息。适用于创作计算机动画。无标记方式成熟的的商用版本是微软的Kinect。Kinect将摄像机和CMOS红外传感器结合，首先生成3D环境

26、，并利用骨架追踪处理，对景深图像进行像素级评估，同时采用分割策略从噪音中提取出有用信号。最后判断出人体部位运动情况。视频动作捕捉技术优点：(1) 成本低廉；(2) 采用仿生学原理，对运动对象没有限制，对运动范围也没有限制；(3) 实时性表现优秀。视频动作捕捉技术缺点：(1) 实现难度大，算法复杂，处理数据量较大；(2) 精度有待提高。惯性式动作捕捉技术是最近比较热门的研究领域，发展空间巨大。该技术依靠贴附于人体表面的惯性传感器测量单元（包括陀螺仪、加速度计、磁传感器以及数字信号处理器）来采集数据，并通过无线装置传输到处理终端，经过算法处理，将动作信号和3D人体模型进行拟合，从而实现人体的动作捕

27、捉。14 张海鹏，党幼云.基于MEMS传感器的人体运动捕捉系统J. 西安工程大学学报，2012，26(1).图2 惯性动作捕捉系统结构图惯性动作捕捉技术优点：(1) 没有空间限制，在户外最大可达1公里范围进行动作捕捉 ；(2) 测量的加速度和角速度非常精准，陀螺仪的工作精度非常高；(3) 安装部署简单，从收到设备到进行捕捉，在仅仅的15分钟内就可以完成安装与校准，非常方便；(4) 人体动作动态性好，适合大幅度、较激烈的动作捕捉；(5) 采样率高，惯性系统获得的100Hz数据是有效的运动数据，使得动作捕捉数据更加流程，减少了冗余数据的处理，减小了后期处理时间；(6) 适用性好，可以实现非人体的动

28、物模型的动作捕捉，例如猫、狗与马等的动作捕捉；(7) 成本较低。惯性动作捕捉技术缺点：(1) 由于测量的模型与真实人体的差距，获得绝对的位置数据非常困难，需要借助其他辅助手段；(2)传感器会由于安装的不牢固导致误差；(3)容易受到外界磁场干扰；(4)数据采集单元的体积稍大，还需进一步优化，达到小型化甚至微型化。应用领域将动作捕捉技术用于计算机动画制作之中，可极大地提高动画制作的水平。它大大地提高了动画制作的效率，降低了成本，而且使动画制作过程更为直观，效果更为生动。目前，动作捕捉技术不仅仅可以应用于计算机动画制作，在其他领域也有非常广泛的应用前景。人机交互15 董士海. 人机交互的进展及面临的

29、挑战J. 计算机辅助设计与图形学学报，2004，16（1）：1-11.表情和动作是人类情绪、愿望的重要表达形式，动作捕捉技术完成了将表情和动作数字化的工作，提供了新的人机交互手段，比传统的键盘、鼠标更直接方便，不仅可以实现“三维鼠标“和”手势识别”，还使操作者能以自然的动作和表情直接控制计算机，并为最终实现可以理解人类表情、动作的计算机系统和机器人提供了技术基础。虚拟现实系统16 陈浩磊，邹湘军，陈 燕. 虚拟现实技术的最新发展与展望J. 中国科技论文在线，2011，6（1）：1-14.为实现人与虚拟环境及系统的交互，必须确定参与者的头部、手、身体等的位置与方向，准确地跟踪测量参与者的动作，将

30、这些动作实时检测出来，以便将这些数据反馈给显示和控制系统。这些工作对虚拟现实系统是必不可少的，这也正是动作捕捉技术的研究内容。机器人遥控17 阮国强. 移动机器人无线编程遥控系统D. 华中科技大学.机器人将危险环境的信息传送给控制者，控制者根据信息做出各种动作，动作捕捉技术将动作捕捉下来，实时传送给机器人并控制其完成同样的动作。与传统的遥控方式相比，这种系统可以实现更为直观、细致、复杂、灵活而快速的动作控制，大大提高机器人应付复杂情况的能力。在当前机器人全自主控制尚未成熟的情况下，这一技术有着特别重要的意义。互动式游戏18 仲伟. 体感游戏中玩家的肢体动作对空间认知的作用研究D. 哈尔滨工业大

31、学.可利用动作捕捉技术捕捉游戏者的各种动作，用以驱动游戏环境中角色的动作，给游戏者以一种全新的参与感受，加强游戏的真实感和互动性。体育训练19 冯利正， 陈 健. 运动捕捉技术在体育运动中的应用J.杭州师范学院学报，2005,05.动作捕捉技术可以捕捉运动员的动作，便于进行量化分析，结合人体生理学、物理学原理，研究改进的方法，使体育训练摆脱纯粹的依靠经验的状态，进入理论化、数字化的时代。还可以把成绩差的运动员的动作捕捉下来，将其与优秀运动员的动作进行对比分析，从而帮助其训练。另外，在人体工程学研究20 杨立强，刘西刚，秦立斌等.人机工程学领域人体建模技术发展综述J. 装甲兵工程学院学报，200

32、6，20（2）：59-63.、模拟训练21 唐钢. 人体典型运动生物力学仿真分析D. 上海交通大学.、生物力学研究等领域，动作捕捉技术同样大有可为。可以预计，随着技术本身的发展和相关应用领域技术水平的提高，运动捕捉技术将会得到越来越广泛的应用。动作捕捉技术面临的难题及发展趋势面临的难题虽然动作捕捉技术已经发展了几十年，但由于系统的复杂性和先进性，依然有很多难题有待解决。下面将介绍目前动作捕捉技术领域面临的难题。环境限制问题现阶段电影、游戏方面使用的技术多为光学式动作捕捉技术，该技术需要在表演者的身体各部位贴上反光标记，在光线复杂的环境中，易造成光点的误采集。另外，该技术需要多个摄像机同时工作，

33、因此相机的布置也受到空间的限制，一般该装置只适合在室内使用，这样就对大动作的捕捉产生了限制。经过改进后，大都抛弃了反光标记，而以红外装置替代，虽然该种方法有一定的先进性，但环境限制的问题依然没有解决。22 李豪杰，林守勋，张勇东.基于视频的人体运动捕捉综述J. 计算机辅助设计与图形学学报.2006，18(17).数据处理难题动作捕捉系统需要处理大量的数据。尤其是视频式动作捕捉技术，通过摄像头实时传送数据到处理单元，需要大量的空间资源，数据量的巨大同时降低了处理效率。如何有效地处理大量的数据，是目前急需解决的一大难题。算法轻量化问题为提高动作捕捉系统的精确度和实时性，需要复杂的算法来支持。就目前来看，主流动作捕捉技术的算法都过于发杂，因此加大了对处理器的要求和能耗的增加。同时过于复杂的算法也不易于向普通用户推广。算法的轻量化是动作捕捉技术发展趋势的要求。精确度问题目前常见的动作捕捉系统其精确度最高仅维持在毫米级别。难以对复杂或微小的动作进行精确捕捉。在体感游戏领域，微软的Kinect虽然可以感知玩家的绝大多数动作，但在处理较复杂动作时依然有较大不足，