一种特征点跟踪方法

一种特征点跟踪方法

0征点跟踪方法面部特征的跟踪是计算机视觉的一个基本而挑战的研究主题。在人类互动（hci）、人类识别、人类形象动画等领域发挥着非常重要的作用。视频的人脸特征点跟踪分为未标注的人脸运动数据获取方法和基于标注的人脸运动数据获取方法。第一种方法对取得的人脸图像,使用图像分析和计算机视觉的技术提取人脸特征点及运动信息,如光流、Snake、可变形模板等方法。光流法是目前运动图像分析的重要方法。因光流可以从单个像素的角度进行特征点的跟踪而得到广泛的应用。在外界环境和跟踪点周围的纹理特征都变化不大的情况下,光流跟踪速度快且结果准确。本文在使用ASM人脸定位方法获得人脸的特征数据后,运用光流法对人脸特征点进行跟踪。1特征搜索知识能限制所产生的变化范围ASM(主动形状模型)是常用的获得人脸形状的方法。ASM的主要特点在于应用统计的方法来对某一类目标图像建立模型,通过在模型中引入待提取目标物体的先验知识,将特征搜索结果限制在模型可能的变化范围内。这一特点使它适用于对同一类物体(例如人脸图像)形状特征的搜索。已有的ASM考虑了脸颊、眼睛、鼻子和嘴巴这些部位的特征点(见图1(a)),参考MPEG-4针对脸部制门的人脸特征参数的标准,在人脸的前额部分增加了一些特征点(见图1(b)),形成完整的人脸轮廓。2光流场及其在目标运动信息的表现当物体在运动时,它在图像上对应点的亮度模式也在运动。这种图像亮度模式的表观运动(apparentmotion)就是光流。光流表达了图像的变化,由于它包含了目标运动的信息,因此可被观察者用来确定目标的运动情况。由光流的定义可以引申出光流场,它是指图像中所有像素点构成的一种二维(2D)瞬时速度场,其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。所以光流不仅包含了被观察物体的运动信息,而且还包含有关景物三维结构的丰富信息。光流表达了图像的变化,由于它包含运动目标的信息,因此可被观察者用来确定目标的运动情况。光流的运动是计算机运动视觉中一个重要部分,是利用运动图像序列中的灰度图像数据的时域变化和相关性,确定图像像素的运动情况。2.1光流场的计算1981年,Horn和Schunck首次提出了计算光流场的基本等式。对一个图像序列,其亮度用I(x,y,t)来表示。首先定义两个假设:(1)在图像的大部分区域,亮度值I(x,y,t)只与其所在的坐标x,y有关;(2)运动或静止物体上任何一点的亮度值不随着时间而变化。对于图像上一个运动的物体或者某物体上一个运动的点,假设经过时间dt后其位移为(dx,dy)。对亮度I(x,y,t),用泰勒级数进行展开为:I(x+dx,y+dy,t+dt)=I(x,y,t)+∂I∂xdx+∂I∂ydy+∂I∂tdt+⋯(1)t+dt)=Ι(x,y,t)+∂Ι∂xdx+∂Ι∂ydy+∂Ι∂tdt+⋯(1)公式(1)中的省略号为x,y,t的更高阶偏导数。根据假设2有:I(x+dx,y+dy,t+dt)=I(x,y,t)(2)则有:∂I∂xdx+∂I∂ydy+∂I∂tdt+⋯=0(3)∂Ι∂xdx+∂Ι∂ydy+∂Ι∂tdt+⋯=0(3)定义dxdt=u‚dydt=vdxdt=u‚dydt=v,并与公式(3)相结合,除以dt,得到:−∂I∂t=∂I∂xu+∂I∂yv(4)-∂Ι∂t=∂Ι∂xu+∂Ι∂yv(4)公式(4)称为光流约束公式。光流场计算基本等式在速度平面上确定了一条光流约束线,这条直线上的任何一点(u,v)都满足基本公式,可作为图像上所求点处的待选速度。通常称为法向速度。可由下式求出:v=−It(∇I)∥∇I∥22(5)v=-Ιt(∇Ι)∥∇Ι∥22(5)因此,利用基本等式求光流场,只能确定沿梯度方向的速度分量,而垂直于梯度方向的速度分量却不能求出,是一个不确定问题。这个问题在光流场计算中称为孔径问题。孔径问题表明,由基本等式只能求出光流沿梯度方向的速度分量。因而,要准确计算光流场,需要寻求其他的约束条件。由光流计算中的一个基本公式无法得出未知量u和v,必须加入其他约束才能够唯一确定光流场。研究者们从不同角度入手引入不同的约束,从而产生了不同的光流分析方法:Lucas&Kanada技术、Horn&Schunch技术以及块匹配技术等。本文运用Lucas&Kanada技术来实现跟踪。Lucas&Kanada技术是一种局部优化方法,采用加窗加权的方法增加约束条件,进行光流的计算,即对于每个局部区域,使用最小平方和的方法进行极小化。该方法把光流场的计算变为了线性系统的解。如果在一个邻域内梯度变化丰富,则可得到唯一的光流值。2.2影响原理及仿真光流跟踪方法在光照等因素变化缓慢的情况下,其跟踪结果比较准确、快速。但由于后一帧以前一帧为参考,随着时间的推移不可避免会产生一定的累积误差,从而使跟踪结果变得越来越不准确,甚至失败。本文从实际应用需要的角度考虑,在选用Lucas-Kanade光流算法和将拉普拉斯金字塔图代替灰度图的基础上,提出将初始帧和当前帧的前一帧有机结合起来,共同作为当前帧的参考,即当前帧为2个参考帧的加权和:Ic=w1I0+w2Ic-1。其中,I0为初始帧,Ic-1为当前帧的前一帧,Ic为当前帧。w1、w2为权值,其和为1,具体计算公式如下:w1=1/e01/e0+1/ec−1×a1/e01/e0+1/ec−1×a+1/ec−11/e0+1/ec−1×bw2=1/ec−11/e0+1/ec−1×b1/e01/e0+1/ec−1×a+1/ec−11/e0+1/ec−1×b(6)w1=1/e01/e0+1/ec-1×a1/e01/e0+1/ec-1×a+1/ec-11/e0+1/ec-1×bw2=1/ec-11/e0+1/ec-1×b1/e01/e0+1/ec-1×a+1/ec-11/e0+1/ec-1×b(6)权值w1和w2的确定与两个因素有关:(1)e0和ec-1,分别为利用I0和Ic-1对Ic进行光流跟踪的误差,值越大,对当前帧的影响越小。(2)a和b,分别为根据I0和Ic-1对Ic跟踪的初始影响因子。由于I0中特征点用ASM结合手工调整进行精确定位,能够准确代表特征点所在的局部特征,因此认为其对Ic的准确性影响应较Ic-1大。本文设a=0.6,b=0.4。当特征点位置变动稍大时,根据I0对Ic-1的跟踪不如根据Ic-1对Ic的跟踪准确。因此,本文对当前帧Ic用I0和Ic-1的加权和得到。以上方法较好地修正了当特征点运动幅度、纹理变化均不太大的情况下用光流跟踪产生逐渐偏移的问题,获得了较好的跟踪结果。此外,本文用拉普拉斯金字塔图代替了通常的灰度图作为光流跟踪的输入图像,也提高了一定的准确性。3光流法跟踪特征点本文首先输入一段100帧的视频,对第一帧视频人脸图像进行ASM特征点定位,同时对有偏差的点采用手工调整。不考虑跟踪头部刚体运动及表情变化的细节,只跟踪对表情变化有代表性的3组共22个特征点,如图2中的Frame0所示。其