动态人脸识别技术与应用研究

1、C A S I P P 动态人脸识别技术与应用研究动态人脸识别技术与应用研究 报告人报告人: 徐从东徐从东 导导 师师: 肖炳甲肖炳甲 研究员研究员 罗家融罗家融 研究员研究员 蒸脸器哪个牌子好 http:/ C A S I P P 报告主要内容报告主要内容 一、系统概述一、系统概述 二、研究现状二、研究现状 三、下一步工作三、下一步工作 C A S I P P 一、系统概述一、系统概述 系统设计为基于动态图像的人脸识别系统，设计本系统设计为基于动态图像的人脸识别系统，设计本 系统的目的是通过前端的摄像头判断某一视野是否系统的目的是通过前端的摄像头判断某一视野是否 有人，如果有人则对其身份进行

2、鉴定有人，如果有人则对其身份进行鉴定,进而作出一进而作出一 些必要的反应。些必要的反应。 C A S I P P 前前 端端 摄摄 像像 头头 图像采集图像采集 人脸检测与分割人脸检测与分割 人脸识别人脸识别 特征库管理特征库管理 人脸特征库人脸特征库 一、系统概述一、系统概述 蒸脸器品牌排行榜 http:/ C A S I P P 二、研究现状二、研究现状 图像采集图像采集 图像采集是指将前端摄像头传过来的信号采图像采集是指将前端摄像头传过来的信号采 集为视频和图片。主要内容：集为视频和图片。主要内容： （1）采集摄像头传来的视频信号 （2）对采集到的视频进行分割与取帧 （3）对处理后的视频

3、的再现 在Windows操作系统下，采用VFW方法， 对数字摄像头进行操作，用VC6.0编程。 （已完成） C A S I P P 二、研究现状二、研究现状 根据采集的图像，确定图像中是否有人脸，如根据采集的图像，确定图像中是否有人脸，如 果有则确定人脸的位置，并转化成标准大小的果有则确定人脸的位置，并转化成标准大小的 人脸图像。此处我们采用基于皮肤颜色的人脸人脸图像。此处我们采用基于皮肤颜色的人脸 检测方法。首先在图像中检测人的皮肤，确定检测方法。首先在图像中检测人的皮肤，确定 皮肤的位置，以此作为人脸的候选区域。再在皮肤的位置，以此作为人脸的候选区域。再在 这些候选区域中检测脸部特征，进一

4、步确定人这些候选区域中检测脸部特征，进一步确定人 脸区域。脸区域。 人脸检测与分割人脸检测与分割 蒸脸器有用吗 http:/ C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 第一步：光线补偿 第二步：将RGB图像转化为YCBCR图像 第三步：建立皮肤颜色的高斯分布模型 第四步：用高斯模型检测出图像中的皮肤区域 第五步：求出皮肤区域中皮肤色调的马氏距离图 第六步：用主成份分析法确定皮肤区域是否是人脸 C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 第一步：光线补偿 第二步：将RGB图像转化为YCBCR图像 目的是减小外界光照的影响

5、C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 第三步：建立皮肤颜色的高斯分布模型 皮肤颜色服从高斯分布： )()(2/1 2/1 1 |2 1 )|( s s T s cc s eskincp （1）收集皮肤图像样本（收集了一些皮肤图像样本） （2）统计计算出皮肤颜色高斯分布的参数 C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 第三步：建立皮肤颜色的高斯分布模型 （2）统计计算出皮肤颜色高斯分布的参数（颜 色分量只取CB与CR分量） 均值与协方差： n j js c n 1 1 n j T sjsjs cc n 1 )( 1

6、1 C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 第四步：用高斯模型检测出图像中的皮肤区域 根据上面的高斯模型，可以直接计算出颜色c 是皮肤的可能性的概率，也可用从颜色向量c 到均值向量的Mahalanobis距离来度量，计算公 式如下： )()()( 1 ss T ss ccc C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 第四步：用高斯模型检测出图像中的皮肤区域 （1）计算图像的马氏距离 （2）根据马氏距离确定图像中各点像素是否 是皮肤像素 （3）对皮肤像素进行膨胀与腐蚀 （4）去除假区域 （5）确定可能的人脸区域并缩放到

7、标准人脸 图像大小。 步骤如下： 用MATLAB进行编程 C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 原始图像根据马氏距离确 定的皮肤像素 C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 对皮肤像素进行 膨胀与腐蚀 去除假区域 C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 确定的可能人脸区域 C A S I P P 二、研究现状二、研究现状 人脸检测与分割人脸检测与分割 第五步：求出皮肤区域中皮肤色调的马氏距离图 （计算方法与前面完全一样） 第六步：用主成份分析法确定皮肤区域是否是人脸 （与特

8、征脸法类似，此处是用的马氏距离图） C A S I P P 二、研究现状二、研究现状 根据前面检测的人脸图像，计算其特征，根据这 些特征判断是不是已知的人脸，从而确定人的身 份。这些特征可以是具体的，也可是抽象的。 人脸识别人脸识别 为了便于计算，可以将人脸图像作为高维空间的 一个点或一个向量，将这个高维向量映射到维数 较低的向量空间，并用映射空间的向量表示人脸 图像，来进行人脸识别。 C A S I P P 二、研究现状二、研究现状 人脸识别人脸识别 特征脸法：在人脸识别中，用主成份分析方法对人 脸图像的原始空间进行转换，即构造人脸图像数据 集的协方差矩阵，对之进行正交变换，求出协方差 矩阵

9、的特征向量，再依据特征值的大小对这些特征 向量进行排序，每一个向量表示人脸图像中一个不 同数量的变量 ，这些特征向量表示特征的一个集合， 它们共同表示一个人脸图像。在人脸识别领域，人 们能常称这些特征向量为特征脸 。每一个体人脸图 像都可以确切地表示为一组特征脸的线性组合。 C A S I P P 二、研究现状二、研究现状 人脸识别人脸识别 采用MATLAB进行编程实现，仿真对象是ORL（Olivette Research Lab) 标准人脸库 算法训练过程算法训练过程 1 构造训练样本集构造训练样本集trainingSet 即从人脸图像目录中读取多个人脸图像即从人脸图像目录中读取多个人脸图像

10、 到到trainingSet 中；中； 2 计算出所有训练样本的平均脸计算出所有训练样本的平均脸meanImage 和各训练样本相对于平均和各训练样本相对于平均 脸的差值图像脸的差值图像differenceImages； 3 用特征值分解的方法求差值图像用特征值分解的方法求差值图像differenceImages 的特征值和特征向的特征值和特征向 量量Eimage Eval； 4 求训练集中的每个差值图像相对于各特征向量上的投影值求训练集中的每个差值图像相对于各特征向量上的投影值xuWeight 构成的特征脸向量；构成的特征脸向量； 5 计算每一类的平均投影值计算每一类的平均投影值xuAveW

11、eight（对于最近邻法不需要这一对于最近邻法不需要这一 步）步） C A S I P P 二、研究现状二、研究现状 人脸识别人脸识别 算法识别过程算法识别过程 1 读取一幅待识别图像读取一幅待识别图像recogniseImage 2 求取该图像相对于平均脸求取该图像相对于平均脸meanImage 差值图像差值图像recDiffIm 3 求差值图像求差值图像recDiffIm 在各特征向量上的投影在各特征向量上的投影weight 4 求该投影值求该投影值weight构成的向量与各类的构成的向量与各类的xuAveWeight构成的向量之构成的向量之 间的欧氏距离间的欧氏距离xuDiffWeigh

12、t （基于夹角最小法则：该投影值基于夹角最小法则：该投影值weight构成的向量与各训练样本的构成的向量与各训练样本的 xuWeight构成的向量之间的夹角余弦构成的向量之间的夹角余弦 ） 5 判断与最小的欧氏距离判断与最小的欧氏距离xuDiffWeight则该图像属于该类则该图像属于该类 （基于夹角最小法则：判断最小的夹角余弦所对应的训练样本所属类基于夹角最小法则：判断最小的夹角余弦所对应的训练样本所属类 为该图像的类别为该图像的类别） C A S I P P 主要包括对皮肤图像库的管理、对已知人脸图 像库的管理，对各种学习方法的管理和计算出 的人脸各种表征值的管理。 人脸特征库管理人脸特征库管理 二、研究现状二、研究现状 C A S I P