正面视角下运动人体步态特征提取与识别研究

1、LOGO指指导教师导教师：陈华陈华正面正面视角视角下下运动运动人体步人体步态态特征提取特征提取与识别研与识别研究究n班班级级：检测检测-2n学学生：沈林生：沈林n学号学号：111203021100 背景 随着我们逐渐迈入数字时代，安全问题的日益重要，生物特性识别技术以其良好的安全性，有效性，不易取代性，受到人们的重视。与众多生物特性识别相比较 ，近年来人体步态特征识别不断 受到研究者的青睐。背景背景意义意义步态识别的优点：非侵犯性、远距离识别、隐蔽和伪装。 因为具有这些优点，可以用到一些像人脸识别，指纹因为具有这些优点，可以用到一些像人脸识别，指纹 识别不易识别的地方。例如：银行劫匪经常戴着面

2、具，识别不易识别的地方。例如：银行劫匪经常戴着面具， 眼镜和手套，这时没法使用人脸识别和指纹识别。因眼镜和手套，这时没法使用人脸识别和指纹识别。因 此步态识别可以是和其他生物识别一起识别，起到一此步态识别可以是和其他生物识别一起识别，起到一 种互补作用。种互补作用。国外研究现状国外研究现状 该研究计划项目该研究计划项目 2000 年年 9 月由美国国防部高月由美国国防部高级项目研究署级项目研究署 DARPA 提出，目的是为了在民提出，目的是为了在民用和国防等场合下，增强免遭恐怖袭击的能力，用和国防等场合下，增强免遭恐怖袭击的能力，提高自动保卫能力，其任务是开发大范围、多模提高自动保卫能力，其任

3、务是开发大范围、多模式的视频监控技术以实现人体在远距离下的身份式的视频监控技术以实现人体在远距离下的身份识别。识别。 在过去的二十年里，研究人员和专家已经提出了在过去的二十年里，研究人员和专家已经提出了很多步态识别的算法，主要应用于侧面视角的数很多步态识别的算法，主要应用于侧面视角的数据库。据库。 国内研究现状国内研究现状 我国对人体步态分类识别的研究起步较晚，但是我国对人体步态分类识别的研究起步较晚，但是近年来某些高校和研究所在这一领域还是取得丰近年来某些高校和研究所在这一领域还是取得丰硕的果实。硕的果实。 归国博士谭铁牛等人领导的中科院自动化所是其归国博士谭铁牛等人领导的中科院自动化所是其

4、中的领军人物。中的领军人物。 在这一领域进行研究的研究机构还有清华大学生在这一领域进行研究的研究机构还有清华大学生物医学工程研究所，浙江工程学院模式识别研究物医学工程研究所，浙江工程学院模式识别研究中心，浙江工程学院信息电子学院等等。中心，浙江工程学院信息电子学院等等。 主要研究步骤主要研究步骤视频输入视频输入trafficObj2= mmreader(F:新建文件新建文件夹夹081-bkgrd-000.avi); %用用mmreader读读入背景入背景视频视频文件文件frameQTY2=get(trafficObj2,NumberOfFrames);bg=read(trafficObj2,2

5、0);imwrite(bg,frame_20.jpg);bg=imread(frame_20.jpg);%读读取原背景取原背景图图片片bg=rgb2gray(bg);trafficObj1= mmreader(F:新建文件新建文件夹夹081-bg-01-000.avi); %用用mmreader读读入入视频视频文件文件预处理步骤预处理步骤 去噪去噪 灰度灰度 b=read(trafficObj1,72); img=rgb2gray(b); J=imabsdiff(double(img),double(bg);%减法减法 不会出现负数不会出现负数 F = mat2gray(J); img=imn

6、oise(F,salt & pepper,0.02);%加入椒盐噪声加入椒盐噪声 F=medfilt2(img);%中值滤波中值滤波 B=medfilt2(F); I1=imcrop(B,0 0 320 147);%选择上半身区域选择上半身区域 I2=imcrop(B,0 148 320 240); subplot(2,2,1);imshow(I1);xlabel(上半身灰度图像上半身灰度图像); subplot(2,2,3);imshow(I2);xlabel(下半身灰度图像下半身灰度图像);上下半身分开处理上下半身分开处理u当我们采用背景减差法进行正面视角的目标检测当我们采用背景减

7、差法进行正面视角的目标检测时，针对所采用的视频特点：比如遇到人体穿着时，针对所采用的视频特点：比如遇到人体穿着与背景相似即前景和背景颜色相近的情况时，很与背景相似即前景和背景颜色相近的情况时，很难从噪声中将运动目标区域完全地提取出来，常难从噪声中将运动目标区域完全地提取出来，常常会出现两种情况：第一种情况，当取较小阈值常会出现两种情况：第一种情况，当取较小阈值时，人体上半部分空洞较小，但人体下肢区域常时，人体上半部分空洞较小，但人体下肢区域常常会出现大面积的阴影。第二种情况，当取较大常会出现大面积的阴影。第二种情况，当取较大阈值时，人体下肢区域的阴影面积较小，但是人阈值时，人体下肢区域的阴影面

8、积较小，但是人体上半会出现大面积的空洞体上半会出现大面积的空洞二值化二值化 %阈值二值化阈值二值化 bw1=im2bw(I1,0.08); bw1=imfill(bw1,holes);%将原图填充孔洞将原图填充孔洞 bw2=im2bw(I2,0.28); m1,n=size(bw1); m2,n=size(bw2); subplot(2,2,2);imshow(bw1);xlabel(上半身二值化图上半身二值化图像像); subplot(2,2,4);imshow(bw2);xlabel(下半身二值化图下半身二值化图像像);上下半身灰度图像上下半身灰度图像填充空洞图像填充空洞图像去除白块去除白

9、块u L num = bwlabel(bw);%黑背景甄黑背景甄别白块块的大小别白块块的大小u for i=1:numu if numel(find(L=i) 1020u bw(L=i) = 0;u end髋点髋点u 根据人体在解剖学中的比例关系，对髋关节进行准确的定根据人体在解剖学中的比例关系，对髋关节进行准确的定义义P点点uP点横坐标的定位与髋关节类似：点横坐标的定位与髋关节类似：uYp=0.66H，u从左至右扫描人体二值化图像的第从左至右扫描人体二值化图像的第Yp行，行，u得到最左边为得到最左边为1的像素点的像素点Xpl和最右边为和最右边为1的像素点的像素点Xpr。 Xp=Xpl+（Xp

10、r-Xpl）/2p点算法点算法u Y1=round(y0+0.66*H);u m n=size(LL); % 图像大小图像大小u for j=1:nu if B(round(Y1),j)=255u X1L=j;u break;u endu endu for j=1:nu if B(round(Y1),j)=255u X1R=j;u end u endu X1=X1L+(X1R-X1L)/2; % 髋关节横髋关节横坐标为坐标为X1P点图像点图像左右脚最低点形成角度左右脚最低点形成角度use=strel(disk,2);uIl=imopen(Il,se);uLl num = bwlabel(Il)

11、;u for i=1:numu if numel(find(Ll=i)50u Il(Ll=i) = 0;u endu enduLl,num =bwlabel(Il,8);uxl,yl=find(Ll=1); ua=max(xl);use=strel(disk,2);uIr=imopen(Ir,se);u Lr num = bwlabel(Ir);u for i=1:numu if numel(find(Lr=i)50u Ir(Lr=i) = 0;u endu endu Lr,num =bwlabel(Ir,8);uxr,yr=find(Lr=1); ub=max(xr); BAC对对于正面步于

12、正面步态态，在人，在人从远从远到近的到近的过过程中，程中，随随着人体左右腿的着人体左右腿的摆动摆动，人体左右脚最低点人体左右脚最低点(A点和点和B点点)连线间连线间的高低距离差的高低距离差(BC)会产会产生的生的一定的角度一定的角度 BAC，我，我们简称为们简称为人体下肢角度人体下肢角度。下肢角度的周期下肢角度的周期u 随着人体行走一个周期时左右腿抬脚的幅度不同，随着人体行走一个周期时左右腿抬脚的幅度不同， BAC的大小也会发生变化，并且这角度的大小同样呈现周的大小也会发生变化，并且这角度的大小同样呈现周期性变化期性变化。动态特征动态特征同一个人的最后一个周期的波谷、波谷值是几乎不同一个人的最

13、后一个周期的波谷、波谷值是几乎不变的，也即最后一个周期中人体左右脚最低点间的变的，也即最后一个周期中人体左右脚最低点间的高低距离差所产生的角度高低距离差所产生的角度( BAC)正切值的最大正切值的最大值和最小值是几乎不变的。而不同人之间的最后一值和最小值是几乎不变的。而不同人之间的最后一个周期中人体左右脚最低点间的高低距离差所产生个周期中人体左右脚最低点间的高低距离差所产生的角度的角度( BAC)正切值的最大值和最小值却相差正切值的最大值和最小值却相差较大较大。所以采用平滑后的步态周期图像中的最后一。所以采用平滑后的步态周期图像中的最后一个周期中的波峰、波谷值作为人体的一个重要动态个周期中的波

14、峰、波谷值作为人体的一个重要动态步态特征。步态特征。平滑处理平滑处理动态特征提取动态特征提取提取了提取了 6 个人的角度特征个人的角度特征( BAC正切值最大和最小值正切值最大和最小值)Hu矩矩u不变矩的定义最早是在不变矩的定义最早是在 1962 年由年由M.K.Hu提出提出的。它是常被用来识别区域形状的连续函数，并的。它是常被用来识别区域形状的连续函数，并且具有尺度、旋转、平移不变性等特点且具有尺度、旋转、平移不变性等特点。实际在。实际在离散情况下，尺度不变性是不成立的。离散情况下，尺度不变性是不成立的。u徐学强等在前人原有的研究成果上提高了研究深徐学强等在前人原有的研究成果上提高了研究深度

15、，考虑到边界、区域和离散这三种状态并对度，考虑到边界、区域和离散这三种状态并对Hu 矩进行统一，得到一组新的同样满足尺度、旋转矩进行统一，得到一组新的同样满足尺度、旋转、平移不变性的表达式，我们把它们叫做统一、平移不变性的表达式，我们把它们叫做统一Hu 矩。矩。统一统一Hu矩矩u数字图像是二维数字图像是二维离散的，离散的，所以选择所以选择统一统一Hu矩矩u提取提取6个人的步态个人的步态序列，每个人序列，每个人60个个步态序列，在普通步态序列，在普通条件，正面视角下条件，正面视角下提取提取常用模式识别常用模式识别1. 统计模式识别统计模式识别 2.句法模式识别句法模式识别 3.人工神经网络人工神

16、经网络4.支持向量机支持向量机 支持向量机是一个功能强大的分类器，这种学习算支持向量机是一个功能强大的分类器，这种学习算法是一种在分析数据和模式识别中新出现的算法，法是一种在分析数据和模式识别中新出现的算法，常用于分类识别和回归分析。它通过结构风险最小常用于分类识别和回归分析。它通过结构风险最小化原则建模，将期望风险降到最低，能够较好地解化原则建模，将期望风险降到最低，能够较好地解决小样本学习问题。给定一些标记好的训练样本决小样本学习问题。给定一些标记好的训练样本 , SVM算法输出一个最优化的分隔超平面。算法输出一个最优化的分隔超平面。向量机向量机SVMu支持向量机核函数的分类支持向量机核函

17、数的分类 (1) 线性的核函数线性的核函数(2) 多项式的核函数多项式的核函数 (3) 径向基函数径向基函数(RBF)(4) Sigmoid 核函数核函数步态识别是一种线性分类，所以采用线性核函数步态识别是一种线性分类，所以采用线性核函数。基于统一基于统一 Hu 矩和下肢角度特征融合的识别矩和下肢角度特征融合的识别u步态周期虽然可以反映人体行走的快慢程度，但步态周期虽然可以反映人体行走的快慢程度，但是无法反映出人体的运动学特征，而下肢角度特是无法反映出人体的运动学特征，而下肢角度特征征(人体左右脚最低点所形成的角度正切值人体左右脚最低点所形成的角度正切值)属于属于动态特征，可以直接体现出人体步

18、态运动过程中动态特征，可以直接体现出人体步态运动过程中抬脚的高低幅度。利用动静特征融合的思想，将抬脚的高低幅度。利用动静特征融合的思想，将统一统一 Hu 矩特征和人体下肢角度特征进行融合可矩特征和人体下肢角度特征进行融合可以更好的表征运动人体的步态特征，从而提高步以更好的表征运动人体的步态特征，从而提高步态识别的识别率。态识别的识别率。识别比较识别比较结论结论u 将步态识别主要分为目标提取、周期检测、特征提取和分将步态识别主要分为目标提取、周期检测、特征提取和分类识别这四个过程组成针对本文所用视频的特点，提出了类识别这四个过程组成针对本文所用视频的特点，提出了采用背景减除法检测运动人体，并对使用背景减差法进行采