动作捕捉课堂笔记

1、动作捕捉技术与应用笔记笔记来源 石壮壮 蒋兰 手打 石壮壮第一讲 动作捕捉概述1、 动作捕捉是一门综合计算机图形学、电子、机械、光学、计算机视觉/软件等技术捕捉表演者的肢体、表情，产生三维数据，对这些数据进行分析、处理的过程。（技术方法）（sample、record）3D2、 获取动作信息的方法： 模型模拟、艺术造型、动作捕捉。3、 捕捉动作的特点： 1）真实性；2）速度快；3）可控性；4）经济性；5）可编辑性。4、 动作捕捉的产生和发展5、 动作捕捉系统的类型1）机械式（传感器）优点：实时、成本低、精度高、易标定、无电磁干扰、捕捉范围大、易携带缺点：捕捉动作有限、传感器配置不灵活、易损坏、采

2、样速率低、无全局位移2）电磁式发射源、接受传感器、数据处理显示优点：六维信息（位置 x、y、z + 旋转）、实时性好、速度快、标定简单、相对便宜、可多人同时捕捉缺点：电磁干扰、范围有限、比光学式采样速率低、容易出现噪音、配置不灵活3）声学式发送器、接受器、处理单元优点：技术相对简单4）光学式：通过对目标特定光点的监视和跟踪来完成运动捕捉的任务。两台摄像机同时拍到，可确定物体的空间位置。高速拍摄运动轨迹主/被动式优点：数据准确、捕捉空间大、速度快、标定简单、表演者受限小、可多人同时捕捉、标识球数目可变缺点：昂贵、数据需要处理、数据可能丢失、现场光需要控制、实时性局限位置传感光学电信号6. 捕捉的

3、动作类型肢体动作、局部肢体动作、面部表情、皮肤动作、动物与玩偶第二讲 捕捉系统的构成及技术分析 （以光学系统为例）1、动作捕捉系统的构成（1） 传感器 固定在运动物体上，把位置信息转化成捕捉装置可接收的信息。（2） 信号捕捉设施 位置信号的捕捉：对光学动作捕捉系统，高分辨率红外摄像机（3） 数据传输设备 将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进行处理。 实时、准确、多通道传输、同步（4） 数据处理部分（使用计算机软件） 根据应用类型和应用目的，处理成所需要的形式。通常用计算机软件来实现。&*一种典型的光学动作捕捉系统的构成 东方新锐 DVMC-8820三维捕捉系统1）DVMC

4、-8820传感器 轻质和表面高反射材料制成2） DVMC-8820信号捕捉设施 专用近红外高感度摄像机，采用高感度近红外（C1）传感器转换成电信号。3）DVMC-8820数据传输设备多路视频控制器 （1）高性能工作站 （2）标识点特征学习软件 用于学习三维运动捕捉系统所采用的高反射标识球的特征是适应捕捉空间环境变化、实现高精度标识点识别的辅助工具软件。具有实现图像显示、灰度调节、标识点形状识别、中心演算等功能。生成的参数文件支持三维运动捕捉系统的三维空间标定。运动捕捉中的实时标识点精度识别。 从视频信号中通过特征学习，找到特征点。 （3）高精度三维空间标定软件 通过三维空间位置标定（静态标定）

5、和空间范围标定（动态标定）实现三维空间的精确标定。 （4）高精度三维动作数据采集软件 核心软件 采集、自动数据匹配等处理得到三维数据（DRS格式） （5）三维运动数据编辑/通用数据格式转换软件 对DRS格式的三维动作数据进行处理和格式转换。 *VICON、魔神、DVMC 这是其他典型的光学运动捕捉系统 *短焦视野大、长焦视野小 *区别灰度、光斑大小（去噪） *多目成像3D格式文件 *转换系数（22参数）/系统定标（6个或者以上靶点）2、 视频的采集与处理1）视频采集系统：（1） 视频采集系统结构及其文件性能参数（2） 采集的数据量-通道数目与采集速度（3） 同步控制 视频采集系统的基本构成光学

6、镜头、图像传感器、A/D转换器、逻辑控制器、信号处理器、缓存与输出接口2）内容处理：（1） 数据格式（包含格式说明+数据内容两部分）；（2） 内容（数据）读取；（3） 数据分析（灰度、面积、不规则）确定标志球；注意球的位置、去噪*标识点特征学习软件。3、标定与三维重建 （1）基本原理（两目成像） 利用CCD摄像机（两个摄像机）的透视规则 两个二维数据三维数据 （2）标定的概念 利用6个已知靶点24个方程22个未知数，这叫做系统定标。 用以求出双摄像机测量系统的变换矩阵A、B。 4、识别与追踪 （1）识别 目的：将标识球三维空间重建坐标分组、根据使用目的加以编号（将光斑映射到骨骼系统，每一个光斑

7、对应相应的骨骼） 方法：将表演者贴上反光点的静态姿势撷取下来，以人工方式在计算机中标定出每一个反光点的编号。将标识好的资料储存下来，成为参考样板。往后计算机可利用这个样板完成标识工作。 （2）追踪 目的：获得正确的以标识点为簇的三维空间轨迹信息，是光学式系统最为重要的一项技术。当一个演员身贴26/28或者更多反光点在摄像机前运动。在时间轴上看空间位置变化。计算机分析摄影机位置、反光点数量，经过复杂的运算，得到标识点的移动信息。追踪方法追踪速度：干扰 *Kalman滤波 S（k+1)=FS（k)+Gn(k) 如何补空是技术难点/缺陷。第三讲、捕捉数据的编辑和处理（数据处理、存储、管理）1、 基础

8、知识（1）数据类型 位移数据：光学、电磁、表情、玩偶、实时 旋转数据：机械、电磁、骨骼膜体 光学式旋转数据的产生： 光学式动作捕捉只获得位移数据（六个自由度、六维信息） 通过位移数据和骨骼结构计算得到（2）坐标系 位移数据： 三维坐标系：笛卡尔坐标系 /球坐标系 /柱坐标系 三维笛卡尔坐标系 左/右手系 物体坐标和世界坐标（3） 变换 变换类型：scale rotation 变换顺序：不要随意改变变换顺序（4）欧拉角 旋转数据 欧拉角：通过绕三个正交坐标轴的旋转来表示。 偏航 俯仰 横滚 欧拉角存在二义性，即一个朝向可以用多组欧拉角表示。 缺点：万向节死锁（有两个坐标轴重叠，不可以再旋转） 这

9、是致命缺陷。 所以要求不能围绕同一根轴连续旋转两次。 （5）四元数 在表示旋转和朝向方面，优于EULER角。具有表示紧凑、朝向插值稳定的优点。 （四元数与旋转的关系） 高维看低维 四元数的结构：实部+虚部 q=(实部s,虚部v) 2、数据处理 为何进行数据处理？ 局部丢失、噪声、时空失真 数据处理的方法：插值、去噪、滤波平滑、刚体补间（1）插值（解决数据丢失的问题） 1）线性插值 用直线（匀速直线）方程代表其轨迹。 认为轨迹是直线，容易实现。 缺点：不真实；大部分物体非直线运动；大部分运动随时间非线性；位置连续但是速度不连续） 认为是匀速运动则导致时空失真。 2）样条插值 常见的样条曲线：he

10、rmite、bezier、catmull-rom、b-splines、NURBS.（2） 去噪 先去噪，后插值（3） 滤波平滑： 空间幅值、时间频域、高/低带通（4） 刚体补间： 解决数据丢失或者遮挡的问题 通过刚体上的相对位置信息补充丢失的信息。 例如，通过3个球位置关系，得出第4个球的位置信息。 3、数据存储（各种格式文件结构共同点：分块、分层；存储内容：静态骨骼和动作数据）（1） C3D数据文件格式 用于动画、生物力学、步态分析 该文件格式设计考虑了： 1）可存储直接获取的模拟数据以及由此处理得到的三维数据。 2）能够存储材料方面，如标识球位置和力传感器的信息、记录过程信息，如采样频率和

11、日期以及动作类型、捕捉对象信息，如姓名和年龄以及身体信息。 3）二进制文件。 4）可添加新数据。 结构： 1）头部分 文件第一块 很快地了解文件内容 第一个字指向参数部分 包含轨迹数、模拟通道数目、采样速率等信息 2）参数部分： 文件的第二部分 长度可变，包含文件内容必要信息，如名字、地址、维数、数据类型；参数分组，一参数一组。3）数据部分： 包含3D、2D数据（2）ASF（骨骼文件）/AMC（运动捕捉）数据文件格式 每个关节有自己的变换顺序，其他文件格式中，变换顺序固定。 文件包含全局和局部旋转数据。 ASF数据文件格式： 骨骼信息 初始姿态；AMC使用 分SECTION；冒号分割；关键词说

12、明 子segment与父segment间不可有偏移，且只有一个根节点。（3）BVH数据文件格式 早期为BVA（只有动作数据，无骨骼结构数据，转换顺序固定） BVH（有动作数据，有骨骼结构信息，而且允许骨骼不同部位具有不同的转换顺序） 规范简洁、应用广泛、灵活易编辑、初始姿态定义缺陷、某些地方不能应用BVH数据文件格式内容：骨骼层次（从关键词HIERARCHY起）+动作数据。（4） TRC数据文件格式动作分析的一种文件格式可以存储身体动作数据和面部表情数据（5）CSM数据文件格式 为character studio用以载入marker数据。 可以保存任何类型的marker数据，但是在应用中需注意

13、与标识球配置一致。 数据按照给定的关节顺序，非显性。（6） FBX数据文件格式 FILMBOXMOTIONBULILDER 内容：ASCII或者二进制文件 文件被分割为section，每个section都包含关键词。第四讲 基于动作捕捉的作品制作过程1、 前期准备 包括拟定捕捉计划、动作捕捉准备、制定捕捉流程。 重要性： 节约时间和成本、避免数据处理等麻烦、获得好的作品2、 作品方案 （1）故事脚本：叙述故事； 对每一场景应包含标题、动作、对话、人物名称、过渡、镜头 以动作为重点，如果动作比较复杂、时间比较长，可以分段，如果一整段捕捉的话反而会降低效率。 （2）角色设计 特性：外型、各部位的比

14、例尺寸、运动特性、有无配件、按设计定义动作捕捉方式、骨架结构 （3）故事板 脚本的2D可见表达 包含人物、时间、风格、摄像、编辑、声音。 容易修改、赢得观众的心 （4）分镜表/拍摄程序表 分镜表是动作列表 多个镜头多个分镜；一个摄像头一个分镜 （5）动态分镜 基于时序、视觉、声音元素。 了解时序效果，这对故事情节和节约资金是必要的。3、 动作捕捉准备 （1）演员 合适的演员 面部表情捕捉、注意角色面部、发声与表演者之间的适合程度、注意与表演者的年龄吻合。 （2）道具 作用：标识球的放置位置和数目、道具和演员/道具之间的关系 属性：外部媒体 （3）服装和标识球 在演员到之前要提前准备好。 表演服

15、装必须适合演员及其表演动作。 注意标识球的大小和固定方式 （4）标识球簇 了解动作捕捉系统的局限性 了解待捕捉的动作的特点 掌握一定的解剖和结构知识 标识球集合应保证获得所需的有用数据（5）拍摄程序表/分镜表 应该包括一系列待捕捉的动作，它们包含作品的关键信息 拍摄程序表为项目的所有成员，包括演员和客户服务 拍摄程序表帮助你了解在什么时候、那个演员、什么地方进行动作捕捉 在发布拍摄程序表之前应多次检查（6） 捕捉日程表 应描述每个动作捕捉应该如何实施、需要什么条件 应描述动作捕捉什么时候正式开始、什么时候结束、什么时候休息 尽量遵循捕捉日程表 4、动作捕捉与作品的制作过程（1）进行硬件构成 脚

16、架构成移动灵活性，但每次都要矫正 摄像头固定在墙角 （2）设定捕捉空间 不拼凑：追踪简单、无边界、质量好 拼凑：空间大 捕捉空间应该光线较暗，墙面与地面反光比弱，应提供一个充足、连续的三维捕捉空间，确立最佳捕捉空间。 （3）参数校准 通过校验，系统可以知道每个摄像机的位置以及他们彼此之间的相对位置以及它们空间坐标的原点 调节每个摄像机的灵敏度、以确保跟踪点在每个摄像机的相对范围内可以清楚地显示出来。 调整软件参数的门限 动态校验：要求工作人员在校验区内挥动校验棒 静态校验：确定捕捉空间原点以及x、y、z轴 注意： 1）操作人员尽可能让更多的摄像机“看到”，尽可能挥到最大空间。 2）不要将挥动棒

17、直接指向摄像机 3）尽量避免自然光 4）排除干扰点，清除其他跟踪点，同时检查每个摄像机的视野内是否有其他摄像机。 （4）跟踪点安装 视强度和复杂度而定 一般会在演员身上安装2832个跟踪点，身体左右对称放置。 每套运动捕捉系统都会提供标准文件，列出身体上需要放置跟踪点的部位名称表，以及各个部位之间的连接关系和相对运动关系。 跟踪点的定位需要考虑到人体的整个骨骼结构，以及身体各个部分之间的关系。 （5）静态捕捉 目的：1、让摄像机看到演员身上所有的标识点，各点之间的关系要相对稳定，手工标识跟踪点。 2、生成可进行跟踪点辨识的参考样板，为以后该系列运动捕捉生成的三维数据提供自动标识功能，产生需要的

18、骨架运动效果 3、为其他运动分析程序提供可参考的变量和参数等。 演员确定一个固定的姿势，要可被探测到所有标识点并进行标识标识点。 （6）动态捕捉 正是动作捕捉开始；依据捕捉计划进行；系统生成二维数据文件；启动重建功能，生成三维数据文件。 注意： 1、注意表演位置和活动范围，避免演员在运动中遮挡MARKER. 2、固定好MARKER的位置，防止跟踪点借位/丢失，从而无法捕捉或自动识别不正确的标识点。 3、注意调节捕捉的灵敏度，过高，会增加不存在的点，过低则相反。 4、若表演动作剧烈，则需要增加运动捕捉的加速度值，以防止跟踪点运动轨迹不完全。 5、系统根据轨迹估计下一个位置，并且以此点为中心，预算

19、半径的估算范围。MARKER的半径值大小可稍大于跟踪点半径。 （7）数据编辑 1、人工生成虚拟跟踪点，对点运动轨迹手工编辑、修改； 2、将无法自动识别的点手动标识，重新生成链接关系； 3、利用刚体学，对点轨迹的部分丢失，可以拷贝形状相似的轨迹，进行刚体补间； 4、丢失较多的可以用系统工具完全修补； 5、修改、编辑运动的弯曲程度； 6、删除不真实的跟踪点； 7、添加运动位移，增加运动的真实性； 8、根据现有的运动生成反向的运动数据； 9、对数据进行重新采样，生成不同频率的数据； 10、制作出运动的关键帧。 （8）动作数据与角色绑定 标识球数据 1、将T型姿态的标识球数据匹配到T型姿态的ACTOR。 2、匹配标识球，让系统知道数据驱动的骨骼； 3、匹配好数据的ACTOR用于直接驱动3D人物模型动作； （9）渲染与后期制作第五讲