动态人脸识别技术与应用研究ppt课件

1、C A S I P P动态人脸识别技术与运用研讨动态人脸识别技术与运用研讨 报告人报告人: 徐从东徐从东导导 师师:肖炳甲肖炳甲 研讨员研讨员罗家融罗家融 研讨员研讨员C A S I P P报告主要内容报告主要内容 一、研讨的目的和意义一、研讨的目的和意义二、研讨历史与现状二、研讨历史与现状三、研讨的普经过程三、研讨的普经过程四、系统设计四、系统设计五、技术关键点五、技术关键点六、进度布置六、进度布置C A S I P P一、研讨的目的和意义一、研讨的目的和意义人脸识别的普通概念：根据场景中的静态图像或人脸识别的普通概念：根据场景中的静态图像或视频，利用给定的人脸数据库信息，鉴别或确认视频，利

2、用给定的人脸数据库信息，鉴别或确认该场景中的一位或多位人的身份的过程。该场景中的一位或多位人的身份的过程。 C A S I P P一、研讨的目的和意义一、研讨的目的和意义近年来，随着计算机技术的迅速开展，生物特征的自近年来，随着计算机技术的迅速开展，生物特征的自动识别技术得到广泛研讨与开发，如指纹识别、掌形动识别技术得到广泛研讨与开发，如指纹识别、掌形识别等。人脸识别是基于脸像的身份鉴别，旨在使计识别等。人脸识别是基于脸像的身份鉴别，旨在使计算机具有经过脸像来鉴别身份的功能，是一种依托于算机具有经过脸像来鉴别身份的功能，是一种依托于图像了解、方式识别、计算机视觉等高技术的智能系图像了解、方式识

3、别、计算机视觉等高技术的智能系统，与其它人体生物特征识别技术相比具有直接、友统，与其它人体生物特征识别技术相比具有直接、友好、方便的特点，是最自然直接的手段，易于为用户好、方便的特点，是最自然直接的手段，易于为用户所接受。所接受。 C A S I P P一、研讨的目的和意义一、研讨的目的和意义人脸识别技术运用前景广泛人脸识别技术运用前景广泛, ,可用于银行、海关的监控可用于银行、海关的监控系统及自动门卫系统等。特别是在非接触环境和不惊系统及自动门卫系统等。特别是在非接触环境和不惊扰被检测人的情况下，人脸识别技术的优越性远远超扰被检测人的情况下，人脸识别技术的优越性远远超越已有的指纹等检测方法。

4、自美国越已有的指纹等检测方法。自美国“911911事件以来，事件以来，这一技术引起广泛关注。作为最容易隐蔽运用的识别这一技术引起广泛关注。作为最容易隐蔽运用的识别技术，人脸识别成为当今国际反恐和平安防备最重要技术，人脸识别成为当今国际反恐和平安防备最重要的手段之一。的手段之一。 C A S I P P二、研讨历史与现状二、研讨历史与现状 一在人脸识别方面，人类最早的研讨任一在人脸识别方面，人类最早的研讨任务至少可追朔到二十世纪五十年代在心思学务至少可追朔到二十世纪五十年代在心思学方面的研讨和六十年代在工程学方面的研讨。方面的研讨和六十年代在工程学方面的研讨。 心思学：心思学：J. S. Bru

5、ner The perception of people J. S. Bruner The perception of people 19541954工程学：工程学：Bledsoe Facial Recognition Project Report Bledsoe Facial Recognition Project Report 1964 1964 C A S I P P二、研讨历史与现状二、研讨历史与现状二关于人脸的机器识别研讨开场于二十二关于人脸的机器识别研讨开场于二十世纪七十年代。世纪七十年代。 M.D. Kelly Visual Identification of People by

6、 Computer 1970 Picture Processing System by Computer Complex and Recognition of Human Faces Kanades Ph. D. Thesis 1973C A S I P P二、研讨历史与现状二、研讨历史与现状三三2020世纪世纪9090年代以来，随着高精度高性年代以来，随着高精度高性能计算机的呈现，人脸识别方法有了严重突能计算机的呈现，人脸识别方法有了严重突破，才进入了真正的机器自动识别阶段。破，才进入了真正的机器自动识别阶段。在用静态图像或视频图像做人脸识别的领域中，国际在用静态图像或视频图像做人脸识别的领

7、域中，国际上构成了以下几类主要的人脸识别方法：基于几何特上构成了以下几类主要的人脸识别方法：基于几何特征的人脸识别方法；基于模板匹配的人脸识别方法；征的人脸识别方法；基于模板匹配的人脸识别方法；基于基于K-L交换的特征脸方法；隐马尔可夫模型方法；交换的特征脸方法；隐马尔可夫模型方法；神经网络识别方法；基于动态链接构造的弹性图匹配神经网络识别方法；基于动态链接构造的弹性图匹配方法；利用运动和颜色信息对动态图像序列进展人脸方法；利用运动和颜色信息对动态图像序列进展人脸识别的方法等。识别的方法等。 C A S I P P二、研讨历史与现状二、研讨历史与现状近几年来，国际上发表有关人脸识别方面的论文数

8、量近几年来，国际上发表有关人脸识别方面的论文数量大幅度添加，每年的国际会议上关于人脸识别的专题大幅度添加，每年的国际会议上关于人脸识别的专题也屡屡可见。与此同时，一些科研单位和公司开场将也屡屡可见。与此同时，一些科研单位和公司开场将研讨成果转移为适用产品，如研讨成果转移为适用产品，如Miros公司的公司的TrueFace，Visinocs公司的公司的FaceIt，以及，以及Zn Bochum Gmbh公司研公司研制的制的ZN-Face等等 C A S I P P二、研讨历史与现状二、研讨历史与现状四国内关于人脸识别的研讨始于四国内关于人脸识别的研讨始于2020世纪世纪8080年代，研讨主要集中

9、于部分高等院校和科年代，研讨主要集中于部分高等院校和科研院所。研院所。 四川大学周激流等运用积分投影法提取面部特征的关键四川大学周激流等运用积分投影法提取面部特征的关键点并用于识别点并用于识别 ；南京理工大学杨静宇等采用奇特值分；南京理工大学杨静宇等采用奇特值分解方法进展人脸识别研讨解方法进展人脸识别研讨 ；南京邮电大学顾庆寿等提；南京邮电大学顾庆寿等提出一种基于自顺应神经网络判决树的人脸识别方法，综出一种基于自顺应神经网络判决树的人脸识别方法，综合利用多种神经网络模型和特征提取算法。合利用多种神经网络模型和特征提取算法。中科院自动化所、公安部等单位也进展了人脸识别方面中科院自动化所、公安部等

10、单位也进展了人脸识别方面的研讨的研讨 。C A S I P P二、研讨历史与现状二、研讨历史与现状五在人脸识别研讨中存在的主要困难五在人脸识别研讨中存在的主要困难 人脸识别研讨的困难主要存在于两个方面：人脸方式的人脸识别研讨的困难主要存在于两个方面：人脸方式的可变性和外界场景的复杂性。可变性和外界场景的复杂性。 人脸方式的可变性主要包括：人脸图像的大小、人脸的人脸方式的可变性主要包括：人脸图像的大小、人脸的姿态、肤色、表情和遮避的可变性。姿态、肤色、表情和遮避的可变性。 外界场景的复杂性主要包括：复杂的图像背景、不可控外界场景的复杂性主要包括：复杂的图像背景、不可控的光照条件等。的光照条件等。

11、 由于以上的两个方面的缘由，使人脸识别研讨很难获得由于以上的两个方面的缘由，使人脸识别研讨很难获得较称心的结果。较称心的结果。C A S I P P三、研讨的普经过程三、研讨的普经过程输入图像或视频输入图像或视频人脸检测与分割人脸检测与分割特征提取特征提取人脸识别人脸识别输出识别结果输出识别结果C A S I P P三、研讨的普经过程三、研讨的普经过程输入图像或视频输入图像或视频人脸检测与分割人脸检测与分割特征提取特征提取人脸识别人脸识别输出识别结果输出识别结果人脸检测与分割：从恣意的场景中检测人脸的存人脸检测与分割：从恣意的场景中检测人脸的存在并进展定位，提取出一个人脸。在并进展定位，提取出

12、一个人脸。 C A S I P P三、研讨的普经过程三、研讨的普经过程输入图像或视频输入图像或视频人脸检测与分割人脸检测与分割特征提取特征提取人脸识别人脸识别输出识别结果输出识别结果特征提取是指根据数据库中的人脸的表征方法，从人脸图特征提取是指根据数据库中的人脸的表征方法，从人脸图像中提取出该人脸图像的表征值。人脸的表征方法很多，像中提取出该人脸图像的表征值。人脸的表征方法很多，通常的方法有几何特征、代数特征、特征脸、固定特征模通常的方法有几何特征、代数特征、特征脸、固定特征模板等。板等。C A S I P P三、研讨的普经过程三、研讨的普经过程输入图像或视频输入图像或视频人脸检测与分割人脸检

13、测与分割特征提取特征提取人脸识别人脸识别输出识别结果输出识别结果人脸识别：根据人脸的表征方法，选择适当的匹配战略将人脸识别：根据人脸的表征方法，选择适当的匹配战略将得到的人脸与数据库中的人脸相比较，确定能否为的人脸。得到的人脸与数据库中的人脸相比较，确定能否为的人脸。 C A S I P P四、系统设计四、系统设计系统设计为基于动态图像的人脸识别系统，设计本系统设计为基于动态图像的人脸识别系统，设计本系统的目的是经过前端的摄像头判别某一视野能否系统的目的是经过前端的摄像头判别某一视野能否有人，假设有人那么对其身份进展鉴定有人，假设有人那么对其身份进展鉴定,进而作出进而作出一些必要的反响。一些必

14、要的反响。 C A S I P P四、系统设计四、系统设计前前端端摄摄像像头头图像采集图像采集人脸检测人脸检测人脸识别人脸识别特征库管理特征库管理人脸特征库人脸特征库C A S I P P四、系统设计四、系统设计图像采集图像采集图像采集是指将前端摄像头传过来的信图像采集是指将前端摄像头传过来的信号采集为视频和图片。对于市场上常用号采集为视频和图片。对于市场上常用的数字摄像头，在的数字摄像头，在WINDOWS系统中，系统中，我们可采用我们可采用VFW方式或者方式或者DIRECTSHOW 方式来采集摄像头传方式来采集摄像头传过来的数字信号。过来的数字信号。C A S I P P四、系统设计四、系统

15、设计根据采集的图像，确定图像中能否有人脸，假根据采集的图像，确定图像中能否有人脸，假设有那么确定人脸的位置，并转化成规范大小设有那么确定人脸的位置，并转化成规范大小的人脸图像。此处我们采用基于图像颜色的人的人脸图像。此处我们采用基于图像颜色的人脸检测方法。首先在图像中检测人的皮肤，确脸检测方法。首先在图像中检测人的皮肤，确定皮肤的位置，以此作为人脸的候选区域。再定皮肤的位置，以此作为人脸的候选区域。再在这些候选区域中检测脸部特征，进一步确定在这些候选区域中检测脸部特征，进一步确定人脸区域。人脸区域。 人脸检测人脸检测C A S I P P四、系统设计四、系统设计光线补偿光线补偿 人脸检测人脸检

16、测颜色模型转换颜色模型转换 构造皮肤颜色模型构造皮肤颜色模型皮肤区域检测与分割皮肤区域检测与分割 人脸区域确实定人脸区域确实定 C A S I P P四、系统设计四、系统设计根据检测的人脸图像，计算其特征，根据这些根据检测的人脸图像，计算其特征，根据这些特征判别是不是的人脸，从而确定人的身份。特征判别是不是的人脸，从而确定人的身份。 人脸识别人脸识别确定人脸的表征方法确定人脸的表征方法 构造人脸的特征模型构造人脸的特征模型 计算特征值进展身份鉴定计算特征值进展身份鉴定C A S I P P四、系统设计四、系统设计主要是对人脸的学习，并将得到的特征值保管主要是对人脸的学习，并将得到的特征值保管到

17、人脸特征库中到人脸特征库中 人脸特征库管理人脸特征库管理确定人脸的图像确定人脸的图像 确定学习算法确定学习算法 特征库自动和人工管理特征库自动和人工管理C A S I P P五、技术关键点五、技术关键点 一皮肤颜色模型的构建一皮肤颜色模型的构建皮肤颜色模型决议皮肤检测、人脸检测的精度，要构皮肤颜色模型决议皮肤检测、人脸检测的精度，要构造适宜的皮肤颜色模型，首先必需确定运用何种颜色造适宜的皮肤颜色模型，首先必需确定运用何种颜色模型，在此根底上，统计分析人的皮肤颜色的分布规模型，在此根底上，统计分析人的皮肤颜色的分布规律，确定分布模型，根据大量的皮肤样本，求出该模律，确定分布模型，根据大量的皮肤样本，求出该模型的参数值，完成模型构建。型的参数值，完成模型构建。C A S I P P五、技术关键点五、技术关键点 二人脸表征方式确定与人脸特征模型构造二人脸表征方式确定与人脸特征模型构造人脸表征方式的选取与人脸特征模型构造亲密相关，表人脸表征方式的选取与人脸特征模型构造亲密相关，表征方式选择和人脸特征模型构造的恰当与否，决议着人征方式选择和人脸特征模型构造的恰当与否，决议着人脸识别算法的精度。脸识别算法的精度。 C A S I P P五、技术关键点五、技术关键点 三人脸的特征的学习算法三人脸的特征的学习算法人脸的特征的学习算法是特征库管理模块的中心，该人脸的特征的学习算法是特征库管理模