基于视频的人体运动捕捉

1、基于视频的人体运动捕捉video-based human motion capture 2005-11-10提纲研究背景及意义研究现状结合运动模型和多种测量的人体运动跟踪总结1.1 研究背景在竞技体育运动中，对运动员的动作进行定量的运动分析是提高训练水平的重要科学手段自动描绘出运动员的重心轨迹和动作线条图，获得技术动作的基本生物力学参数。1.2 研究意义定义从一个或多个已同步视角的图像序列中恢复出人体姿态参数(如关节角度、关节点位置等)的过程 1.2 研究意义（续）广泛的应用需求智能监控：gait recognition、 elder care、 abnormal behavior detec

2、tion人机交互：posture recognition gesture recognition运动分析：sports and rehabilitation medicine虚拟现实：video game、teleconferencing动画和影视制作视频标注和检索1.3 研究意义（续）重要的学术价值涉及到计算机视觉中的许多基本问题如运动检测和分割、目标定位和识别、刚体和非刚体跟踪、场景恢复与表示、多摄像机数据融合等融合了图像处理、计算机图形学、人体运动学、最优化和机器学习等多学科的理论，是很具挑战性的研究工作研究热点IJCV 、PAMI 、CVPR、ICCV2.研究现状难点问题主要方法典型系

3、统2.1 难点问题最早的工作J. ORourke and N. I. Badler, Model-based image analysis of human motion using constraint ropagation, IEEE Transactions on PAMI,1980, 2(6): 522-536 D. Hogg, Model-based vision: A program to see a walking person, Image and Vision Computing, 1983,1(1): 5-20鲁棒性、准确性、速度2.1 难点问题（续）2.2 主要方法自顶向

4、下（Top-down）自底向上（Bottom-up）自顶向下与自底向上相结合（ Top-down / Bottom-up ）2.2.1 Top-downModel-based Human Body Tracking预测匹配修正使用各种约束和先验知识，处理遮挡2.2.1 Top-down（contd）自顶向下的基于模型的人体运动跟踪处理框架优化方法局部优化法:梯度法、动力学法、局部搜索概率搜索法：Kalman滤波、粒子滤波2.2.1 Top-down（contd）2.2 Bottom-up形状分析识别法概率推理2.2.1形状分析法通过启发式知识，对轮廓/骨架等特征进行分析，得到身体主要关节点/特

5、征点形状分解2.2.2 识别法模板匹配运动库检索函数影射通过训练数据建立底层特征与姿态参数的映射关系映射方法：NN，SVM，RVM，Bayesian、HMM2.2.3 概率推率法身体部分的检测人脸检测、肤色区域检测、矩形拟合、基于模板的肢体检测等 人体结构配置的推理通过贝叶斯推理求解满足约束的最大后验概率 推理方法：DP，BP，MCMC，MFMC2.2.3 概率推率法（续）2.3 Top-down/Bottom-up Top-down 优点：可使用各种约束和先验知识，处理遮挡；跟踪结果精确缺点：需要初始化，跟踪失败；速度慢Bottom-up优点：不需要初始化，速度快缺点：结果不够精确，难于处理

6、遮挡问题2.3 Top-down/Bottom-up(contd)函数映射和基于模型的跟踪相结合关键帧匹配和基于模型的跟踪相结合困难在于如何结合2.4 典型系统3.结合运动模型和多种测量的人体运动跟踪目的在首帧初始化后通过自动跟踪获得人体主要关节点运动参数，用于运动分析。方法Model-based TrackingHuman body modelDynamical modelObservation modelParticle filtering3.结合运动模型和多种测量的人体运动跟踪(续)Human body model2D SPM模型包含关节角度和肢体长度变化因子Dynamical model由前面已知的状态预测当前状态二阶自回归模型(ARP)3.结合运动模型和多种测量的人体运动跟踪(续)Observation model模型与图像数据的匹配度量Region (color histogram)Shape (edge Chamfer matching)Particle filteringAnnealed particle filtering3.结合运动模型和多种测量的人体运动跟踪(续)