【ch07】铰链运动分析及人体姿态估计

铰链运动分析及人体姿态估计工业和信息化部“十二五”规划教材计算机视觉第七章01人体模型及观测似然函数人体模型由10个主要部分组成，且包含15个关节点，但不同的是本章所采用的模型是三维模型，每个肢体都用一个圆台来近似。本章所采用的姿态参数是15个关节点的三维坐标，这样选择的优点是关节点的位置坐标比起用于描述肢体姿态的平移加旋转方式更加直观。人体模型人体模型及观测似然函数图7.1人体模型。人体模型及观测似然函数同时对于不同的算法，均可以用统一的方式通过比较关节点估计值与真实值之间的距离来衡量误差。但缺点是在通过自由的选择关节点坐标来寻找姿态参数的过程中，得到的肢体参数是通过其两端的关节点来确定的。人体模型及观测似然函数这意味着：第一，肢体的自旋转是无法通过两个肢体端点确定的，但由于模型中选择的基于圆台的表示是选择对称的，因此对于该模型来说没有影响；第二，肢体的长度会在搜索过程中发生改变。人体模型及观测似然函数观测似然函数本章在对模拟退火的粒子滤波算法和非参数置信传播算法两种算法进行实验时，采用同样的观测似然函数，它们基于图像边缘信息和人体外轮廓，主要做法参考相关文献，在此处进行简要介绍。人体模型及观测似然函数02模拟退火的粒子滤波算法粒子滤波算法模拟退火的粒子滤波算法粒子滤波（ParticleFilter）算法的思想是基于MonteCarlo方法，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型中。其核心思想是通过从后验概率中抽取的随机状态粒子来表示其分布，它是一种顺序重要性采样法（SequentialImportanceSampling）。简单来说，粒子滤波算法是指通过寻找一组在状态空间传播的随机样本对概率密度函数近似，以样本均值代替积分运算，从而获得状态最小方差分布的过程。这里的样本就是粒子，当样本数量趋于无穷大时，可以逼近任何形式的概率密度函数。模拟退火的粒子滤波算法在计算机视觉中，粒子滤波常用于跟踪问题。因为对于计算机视觉问题的模型复杂性及图像噪声千扰，使得其概率分布难以用高斯模型近似，而粒子滤波作为一种非参数估计方法适合解决该类问题。模拟退火的粒子滤波算法以上两个步骤如图7.2所示。模拟退火的粒子滤波算法模拟退火算法模拟退火算法的主要目的是避免采样过程陷入局部极小。在进行粒子滤波时，若初始粒子生成在一个位于局部极小的错误解附近，则在后面的迭代中，粒子倾向于始终停留在该局部极小值附近。模拟退火的粒子滤波算法在采用模拟退火算法后，给参数λ设定一个较小的值（在物理学中，该值为温度的倒数，也就是给定一个较高的起始温度）。这使得原本陡峭的极小值点变得平滑，便于粒子生成在更广泛的状态空间内，同时能够探索更多可能的解。模拟退火的粒子滤波算法然后再不断地增大λ并重复采样过程，排除概率较小的局部极小值，直到结果收敛于全局最优解。在退火过程中选取的一系列参数λ=λμ，…，λ需要同时兼顾速度性和可靠性。退火参数增大的速度越慢，结果收敛至全局最优的可能性越大，但也需要更加繁重的计算量。模拟退火的粒子滤波算法从图7.3中可以看到，初始的退火目标函数乃是对原目标函数进行了相当程度平滑后的形状，这使得粒子能够在更广阔的范围内采样，从而避免其陷入局部极小。模拟退火的粒子滤波算法模拟退火的粒子滤波03非参数置信传播算法非参数置信传播算法是一种解决图模型统计推断问题的算法，直到近几年，该算法才被引入姿态估计和跟踪问题中。非参数置信传播算法将离散情况的置信传播算法扩展至连续变量空间，其主要思想是利用粒子群非参数化表示算法中的消息和置信度。非参数置信传播算法在离散空间中，当状态的可能取值数为L时，b为一个L维的矢量。其中，每个维度值都代表该节点位于相应值的后验概率。当问题转化到连续空间时，b是由概率变为该连续空间的一个概率密度函数，同理m也是。非参数置信传播算法粒子可以直接通过概率采样或重要性采样得到，然后用其计算在该分布上的期望值，如均值或高次均值等。在确定了每个节点上的粒子集合S”后，可以通过吉布斯采样生成符合图模型上联合分布的样本。非参数置信传播算法04人体运动估计在原理上，模拟退火的滤波粒子算法与非参数置信传播算法的差异如图7.4所示。人体运动估计对于模拟退火的滤波粒子算法，其姿态作为一个整体在时间轴上为一个马尔可夫链，即第k帧的姿态依赖于第k-1帧的姿态。而对于非参数置信传播算法，每个部位姿态在时间上都依赖于上一帧的姿态，在空间上与其他相邻部位有关。而为了更加深入地探索和验证两种算法的差异，则需从实验结果中观察。人体运动估计在过去的20年中，许多提出的算法都是为了更好地解决人体姿态估计及跟踪问题。在这些算法中，对于连接体的图模型表示带动了一系列的研究工作。该模型中各个肢体部分通过特定的构想排列在一起，每个部分的观察函数都通过一个图片表示，而部分间的连接函数通过类似弹簧的势能函数表示。人体运动估计该算法的独到之处在于认为当人体的主要部位（如头部、躯干和四肢）投影到图像上时，均可以用矩形近似，如图7.5所示。人体运动估计除非参数置信传播算法外，同样存在其他算法求解人体姿态。如Fischler和Elschlager通过图模型在训练数据中学习外观参数和空间关系参数，然后利用广义距离变换作为有效估计最大后验概率的算法。值得一提的是，以上提到的这些算法均利用了训练数据或通过手工标定给出外观函数，而本章所用的外观函数仅与边缘和外轮廓相关，因此更加具有通用性。人体运动估计条件随机场（ConditionalRandomFields，CRF）最早由Lafferty等人于2001年提出，其模型思想的主要来源是最大熵模型，解决模型的三个基本问题用到了HMMS 模型中提到的方法，如Forward-Backward方法和Viterbi方法，而其参数训练部分有所不同。条件随机场理论人体运动估计我们可以把条件随机场看成一个无向图模型或马尔可夫随机场，它是一种用来标记和切分序列化数据的统计模型。该模型是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率，而不是在给定当前状态条件下，定义下一个状态的分布。人体运动估计下面给出一个例子来说明最大团的划分，如图7.6所示。人体运动估计从理论上讲，无向图G的结构可以是任意的，然而在构造模型时，条件随机场采用了最简单和最重要的一阶链式结构，如图7.7所示。人体运动估计人体与外观模型如图7.1（b）所示，本章所采用的简化人体模型共包含10个肢体部位。每个肢体的姿态都是图模型中节点的隐状态。在这个图模型中存在着两种边缘关联，分别代表时间上的关联和空间上的关联。空间上的关联所表示的是相连肢体在物理上的连接约束，而时间上的关联是指对于连续两帧来说，同一肢体的位置不会发生大的变化。人体运动估计图7.8是检测出来的人体姿态的不同关节位置示意图。人体运动估计05本章小结目标跟踪算法属于目前计算机视觉中的研究热点，各种不同的数据集层出不穷。公开的数据集如OTB50，OTB100，VOT系列数据和UAV数据，再加上近期深度学习在视觉领域的成功应用，使得算法在数据集上的性能快速提升。本章小结一是自上而下的方法，即先对各个人体进行检测，再对每个个体进行姿态估计，也就是说自上而下的多人体姿态估计分为个体检测及单人姿态估计（单人人体关键点检测）两部分；二是自下而上的方法，即先对图片整体进行关键点检测，再将识别出的关键点根据热力图、点与点之间连接的概率和图论知识，基于PAF（部分亲和字段）将关键点连接起来进行聚类，即将各关键点分类形成不同个体。本章小结目前自上而下方法的代表性算法有G-RMI，CFN，RMPE，MaskR-CNN和CPN，而对关键点之间的关系进行建模的代表性算法有PAF，AssociativeEmbedding，PartSegmentation和Mid-RangeOffsets，总体而言自上而下方法的效果优于自下而上方法，即自上而下方法的各个算法在MSCOCO数据集上运行出现最好效果的概率是72.6%，而自下而上方法在MSCOCO数据集上运行出现最好效果的概率是68.7%。本章小结并且