动态人脸识别技术与应用研究

1、C A S I P P动态人脸识别技术与应用研究动态人脸识别技术与应用研究 报告人报告人: 徐从东徐从东导导 师师:肖炳甲肖炳甲 研究员研究员罗家融罗家融 研究员研究员C A S I P P报告主要内容报告主要内容 一、研究的目的和意义一、研究的目的和意义二、研究历史与现状二、研究历史与现状三、研究的一般过程三、研究的一般过程四、系统设计四、系统设计五、技术关键点五、技术关键点六、进度安排六、进度安排C A S I P P一、研究的目的和意义一、研究的目的和意义人脸识别的一般概念：根据场景中的静态图像或人脸识别的一般概念：根据场景中的静态图像或视频，利用给定的人脸数据库信息，鉴别或确认视频，利

2、用给定的人脸数据库信息，鉴别或确认该场景中的一位或多位人的身份的过程。该场景中的一位或多位人的身份的过程。 C A S I P P一、研究的目的和意义一、研究的目的和意义近年来，随着计算机技术的迅速发展，生物特征的自近年来，随着计算机技术的迅速发展，生物特征的自动识别技术得到广泛研究与开发，如指纹识别、掌形动识别技术得到广泛研究与开发，如指纹识别、掌形识别等。人脸识别是基于脸像的身份鉴别，旨在使计识别等。人脸识别是基于脸像的身份鉴别，旨在使计算机具有通过脸像来鉴别身份的功能，是一种依托于算机具有通过脸像来鉴别身份的功能，是一种依托于图像理解、模式识别、计算机视觉等高技术的智能系图像理解、模式识

3、别、计算机视觉等高技术的智能系统，与其它人体生物特征识别技术相比具有直接、友统，与其它人体生物特征识别技术相比具有直接、友好、方便的特点，是最自然直接的手段，易于为用户好、方便的特点，是最自然直接的手段，易于为用户所接受。所接受。 C A S I P P一、研究的目的和意义一、研究的目的和意义人脸识别技术应用前景广泛人脸识别技术应用前景广泛, ,可用于银行、海关的监控可用于银行、海关的监控系统及自动门卫系统等。特别是在非接触环境和不惊系统及自动门卫系统等。特别是在非接触环境和不惊动被检测人的情况下，人脸识别技术的优越性远远超动被检测人的情况下，人脸识别技术的优越性远远超过已有的指纹等检测方法。

4、自美国过已有的指纹等检测方法。自美国“911”“911”事件以来，事件以来，这一技术引起广泛关注。作为最容易隐蔽使用的识别这一技术引起广泛关注。作为最容易隐蔽使用的识别技术，人脸识别成为当今国际反恐和安全防范最重要技术，人脸识别成为当今国际反恐和安全防范最重要的手段之一。的手段之一。 C A S I P P二、研究历史与现状二、研究历史与现状 （一）在人脸识别方面，人类最早的研究工（一）在人脸识别方面，人类最早的研究工作至少可追朔到二十世纪五十年代在心理学作至少可追朔到二十世纪五十年代在心理学方面的研究和六十年代在工程学方面的研究。方面的研究和六十年代在工程学方面的研究。 心理学：心理学：J.

5、 S. Bruner The perception of people 1954工程学：工程学：Bledsoe Facial Recognition Project Report 1964 C A S I P P二、研究历史与现状二、研究历史与现状（二）关于人脸的机器识别研究开始于二十（二）关于人脸的机器识别研究开始于二十世纪七十年代。世纪七十年代。 M.D. Kelly Visual Identification of People by Computer 1970 Picture Processing System by Computer Complex and Recognition o

6、f Human Faces Kanades Ph. D. Thesis 1973C A S I P P二、研究历史与现状二、研究历史与现状（三）（三）2020世纪世纪9090年代以来，随着高精度高性年代以来，随着高精度高性能计算机的出现，人脸识别方法有了重大突能计算机的出现，人脸识别方法有了重大突破，才进入了真正的机器自动识别阶段。破，才进入了真正的机器自动识别阶段。在用静态图像或视频图像做人脸识别的领域中，国际在用静态图像或视频图像做人脸识别的领域中，国际上形成了以下几类主要的人脸识别方法：基于几何特上形成了以下几类主要的人脸识别方法：基于几何特征的人脸识别方法；基于模板匹配的人脸识别方法；

7、征的人脸识别方法；基于模板匹配的人脸识别方法；基于基于K-L交换的特征脸方法；隐马尔可夫模型方法；交换的特征脸方法；隐马尔可夫模型方法；神经网络识别方法；基于动态链接结构的弹性图匹配神经网络识别方法；基于动态链接结构的弹性图匹配方法；利用运动和颜色信息对动态图像序列进行人脸方法；利用运动和颜色信息对动态图像序列进行人脸识别的方法等。识别的方法等。 C A S I P P二、研究历史与现状二、研究历史与现状近几年来，国际上发表有关人脸识别方面的论文数量近几年来，国际上发表有关人脸识别方面的论文数量大幅度增加，每年的国际会议上关于人脸识别的专题大幅度增加，每年的国际会议上关于人脸识别的专题也屡屡可

8、见。与此同时，一些科研单位和公司开始将也屡屡可见。与此同时，一些科研单位和公司开始将研究成果转移为实用产品，如研究成果转移为实用产品，如Miros公司的公司的TrueFace，Visinocs公司的公司的FaceIt，以及以及Zn Bochum Gmbh公司研公司研制的制的ZN-Face等等 C A S I P P二、研究历史与现状二、研究历史与现状（四）国内关于人脸识别的研究始于（四）国内关于人脸识别的研究始于2020世纪世纪8080年代，研究主要集中于部分高等院校和科年代，研究主要集中于部分高等院校和科研院所。研院所。 四川大学周激流等运用积分投影法提取面部特征的关键四川大学周激流等运用积

9、分投影法提取面部特征的关键点并用于识别点并用于识别 ；南京理工大学杨静宇等采用奇异值分；南京理工大学杨静宇等采用奇异值分解方法进行人脸识别研究解方法进行人脸识别研究 ；南京邮电大学顾庆寿等提；南京邮电大学顾庆寿等提出一种基于自适应神经网络判决树的人脸识别方法，综出一种基于自适应神经网络判决树的人脸识别方法，综合利用多种神经网络模型和特征提取算法。合利用多种神经网络模型和特征提取算法。中科院自动化所、公安部等单位也进行了人脸识别方面中科院自动化所、公安部等单位也进行了人脸识别方面的研究的研究 。C A S I P P二、研究历史与现状二、研究历史与现状（五）在人脸识别研究中存在的主要困难（五）在

10、人脸识别研究中存在的主要困难 人脸识别研究的困难主要存在于两个方面：人脸模式的人脸识别研究的困难主要存在于两个方面：人脸模式的可变性和外界场景的复杂性。可变性和外界场景的复杂性。 人脸模式的可变性主要包括：人脸图像的大小、人脸的人脸模式的可变性主要包括：人脸图像的大小、人脸的姿态、肤色、表情和遮避的可变性。姿态、肤色、表情和遮避的可变性。 外界场景的复杂性主要包括：复杂的图像背景、不可控外界场景的复杂性主要包括：复杂的图像背景、不可控的光照条件等。的光照条件等。 由于以上的两个方面的原因，使人脸识别研究很难取得由于以上的两个方面的原因，使人脸识别研究很难取得较满意的结果。较满意的结果。C A

11、S I P P三、研究的一般过程三、研究的一般过程输入图像或视频输入图像或视频人脸检测与分割人脸检测与分割特征提取特征提取人脸识别人脸识别输出识别结果输出识别结果C A S I P P三、研究的一般过程三、研究的一般过程输入图像或视频输入图像或视频人脸检测与分割人脸检测与分割特征提取特征提取人脸识别人脸识别输出识别结果输出识别结果人脸检测与分割人脸检测与分割：从任意的场景中检测人脸的存从任意的场景中检测人脸的存在并进行定位，提取出一个人脸。在并进行定位，提取出一个人脸。 C A S I P P三、研究的一般过程三、研究的一般过程输入图像或视频输入图像或视频人脸检测与分割人脸检测与分割特征提取特

12、征提取人脸识别人脸识别输出识别结果输出识别结果特征提取是指根据已知数据库中的人脸的表征方法，从人特征提取是指根据已知数据库中的人脸的表征方法，从人脸图像中提取出该人脸图像的表征值。人脸的表征方法很脸图像中提取出该人脸图像的表征值。人脸的表征方法很多，通常的方法有几何特征、代数特征、特征脸、固定特多，通常的方法有几何特征、代数特征、特征脸、固定特征模板等。征模板等。C A S I P P三、研究的一般过程三、研究的一般过程输入图像或视频输入图像或视频人脸检测与分割人脸检测与分割特征提取特征提取人脸识别人脸识别输出识别结果输出识别结果人脸识别：根据人脸的表征方法，选择适当的匹配策略将人脸识别：根据

13、人脸的表征方法，选择适当的匹配策略将得到的人脸与数据库中的已知人脸相比较，确定是否为已得到的人脸与数据库中的已知人脸相比较，确定是否为已知的人脸。知的人脸。 C A S I P P四、系统设计四、系统设计系统设计为基于动态图像的人脸识别系统，设计本系统设计为基于动态图像的人脸识别系统，设计本系统的目的是通过前端的摄像头判断某一视野是否系统的目的是通过前端的摄像头判断某一视野是否有人，如果有人则对其身份进行鉴定有人，如果有人则对其身份进行鉴定,进而作出一进而作出一些必要的反应。些必要的反应。 C A S I P P四、系统设计四、系统设计前前端端摄摄像像头头图像采集图像采集人脸检测人脸检测人脸识

14、别人脸识别特征库管理特征库管理人脸特征库人脸特征库C A S I P P四、系统设计四、系统设计图像采集图像采集图像采集是指将前端摄像头传过来的信图像采集是指将前端摄像头传过来的信号采集为视频和图片。对于市场上常用号采集为视频和图片。对于市场上常用的数字摄像头，在的数字摄像头，在WINDOWS系统中，系统中，我们可采用我们可采用VFW方式或者方式或者DIRECTSHOW 方式来采集摄像头传方式来采集摄像头传过来的数字信号。过来的数字信号。C A S I P P四、系统设计四、系统设计根据采集的图像，确定图像中是否有人脸，如根据采集的图像，确定图像中是否有人脸，如果有则确定人脸的位置，并转化成标

15、准大小的果有则确定人脸的位置，并转化成标准大小的人脸图像。此处我们采用基于图像颜色的人脸人脸图像。此处我们采用基于图像颜色的人脸检测方法。首先在图像中检测人的皮肤，确定检测方法。首先在图像中检测人的皮肤，确定皮肤的位置，以此作为人脸的候选区域。再在皮肤的位置，以此作为人脸的候选区域。再在这些候选区域中检测脸部特征，进一步确定人这些候选区域中检测脸部特征，进一步确定人脸区域。脸区域。 人脸检测人脸检测C A S I P P四、系统设计四、系统设计光线补偿光线补偿 人脸检测人脸检测颜色模型转换颜色模型转换 构造皮肤颜色模型构造皮肤颜色模型皮肤区域检测与分割皮肤区域检测与分割 人脸区域的确定人脸区域

16、的确定 C A S I P P四、系统设计四、系统设计根据检测的人脸图像，计算其特征，根据这些根据检测的人脸图像，计算其特征，根据这些特征判断是不是已知的人脸，从而确定人的身特征判断是不是已知的人脸，从而确定人的身份。份。 人脸识别人脸识别确定人脸的表征方法确定人脸的表征方法 构造人脸的特征模型构造人脸的特征模型 计算特征值进行身份鉴定计算特征值进行身份鉴定C A S I P P四、系统设计四、系统设计主要是对已知人脸的学习，并将得到的特征值主要是对已知人脸的学习，并将得到的特征值保存到人脸特征库中保存到人脸特征库中 人脸特征库管理人脸特征库管理确定已知人脸的图像确定已知人脸的图像 确定学习算

17、法确定学习算法 特征库自动和人工管理特征库自动和人工管理C A S I P P五、技术关键点五、技术关键点 （一）皮肤颜色模型的构建（一）皮肤颜色模型的构建皮肤颜色模型皮肤颜色模型决定决定皮肤检测、人脸检测的精度，要构皮肤检测、人脸检测的精度，要构造合适的皮肤造合适的皮肤颜色颜色模型，首先必须确定使用何种颜色模型，首先必须确定使用何种颜色模型，在此基础上，统计分析人的皮肤颜色的分布规模型，在此基础上，统计分析人的皮肤颜色的分布规律，确定分布模型，根据大量的皮肤样本，求出该模律，确定分布模型，根据大量的皮肤样本，求出该模型的参数值，完成模型构建。型的参数值，完成模型构建。C A S I P P五、技术关键点五、技术关键点 （二）人脸表征方式确定与人脸特征模型构造（二）人脸表征方式确定与人脸特征模型构造人脸表征方式的选取与人脸特征模型构造密切相关，表人脸表征方式的选取与人脸特征模型构造密切相关，表征方式选择和人脸特征模型构造的恰当与否，决定着人征方式选择和人脸特征模型构造的恰当与否，决定着人脸识别算法的精度。脸识别算法的精度。 C A S I P P五、技术关键点五、技术关键点 （三）已知人脸的特征的学习算法（三）已知人脸的特征的学习算法已知人脸的特征的学习算法是特征库管理模块的核心，已知人脸的特征的学习算法是特征库管理模块的核