人脸活体检测关键技术研究报告

1、. -. . 可修编.1621.381 1 6 4 6TP391公开：_密级：_：_ 单位代码：_硕士学位论文论文题目：人脸活体检测关键技术研究 1111082021*华成学 号：_电路与系统姓 名：_信息科学与工程学院专 业 名 称：_王让定 教授学 院：_指 导 教 师：_论文提交日期：2021年 4月 15日.1A Thesis Submitted to Ningbo University for the Masters DegreeThe Gordian Technique research on Face Liveness DetectionCandidate： Huacheng L

2、iuSupervisors：Professor Rangding WangFaculty of Information Science and EngineeringNingbo UniversityApril15, 2021独 创 性 声 明本人重声明：所呈交的论文是我个人在导师指导下进展的研究工作及取得研究成果。尽我所知，除了文中特别加以标注和致的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大学或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何奉献均已在论文中做了明确的说明并表示了意。假设有不实之处，本人愿意承担相关法律责任。签名：_ 日期

3、：_关于论文使用授权的声明本人完全了解大学有关保存、使用学位论文的规定，即：学校有权保存送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或局部容，可以采用影印、缩印或其他复制手段保存论文。的论文在解密后应遵循此规定签名：_ 导师签名：_ 日期：_. -. . 可修编.1人脸活体检测关键技术研究摘 要人脸识别系统正面临着照欺骗的威胁,因为一合法身份的照片也可以入侵人脸识别系统。人脸图像包含着丰富的图像特征信息，是复杂的机器视觉模式。数字化的人脸图像有形状，纹理，轮廓等一系列信息，可以表征年龄，肤质，人脸真伪，身份等。比方一宽240像素，高320像素大小的RGB图像，像素维数可达24

4、0320维，可见它反映一个人的信息是相当丰富的,也可以用来区分图像的真伪。随着科学技术不断进步，计算机迅速开展，模式识别为图像取证开创了一片新天地。针对人脸真实图像和欺骗照片的特征差异，本文用不同方式提取数字照片的纹理统计信息，研究了鉴别人脸真实性的方法，本文算法只需要采集单图像就能识别是真实人脸还是欺骗的照片，从获取的人脸图像规律出发，在人脸识别的活体检测中取得了良好的性能。(1) DCT变换能够将活体真实人脸图像的大部重要信息映射到DCT域低频局部，而高频局部大多为噪声。考虑到可以在DCT域将高频噪声因素去除，而低频系数更好的反映真实人脸与翻拍人脸的差异，提出了将人脸图像进展均值滤波、直方

5、图均衡后再提取DCT系数低频系数作为特征，用SVM分类器能很好地将真伪人脸区分开来。(2) 图像的纹理特征是场景组织构造的真实反映，不同的纹理算子描绘了图像灰度信息的分布规律。纹理分析是图像处理技术中一种重要的手段。纹理是表征活体真实人与翻拍照片轮廓细节信息的有效方式，因此选择适宜的纹理描述算子可以将两者区分开。选取灰度共生矩阵，边缘方向直方图，LBP等作为图像特征提取的研究目标。通过实验分析，提出了基于Tamura纹理特征和LAP纹理等检测算法，在区分活体真实人照片与翻拍照片上得了很好的效果。(3) 数字图像直方图在图像的分析与观察中占有重要地位，一幅图像的直方图描述了不同色阶在当前图像中的

6、比例，反映了色彩的统计规律，它在图像模式识别和图像分割中有着重要意义。在研究了真实人脸照片和假冒的翻拍照片之后，发现两类照片直方图呈现不同分布，因此提出了基于HSV颜色直方图的活体检测方法。(4)由于图像的像素灰度值可构成一个矩阵，可以用矩阵的奇异值来描述图像关键词：活体检测，人脸识别， 翻拍照片， 纹理特征的在属性。奇异值是对矩阵中数字信息的本质反映，而且奇异值对矩阵中的数字轻微波动并不敏感，具有镜像稳定性、比例不变性、旋转不变性等优点，在进展图像识别时鲁棒性更强。经实验发现，用不同方式提取图像的奇异值在区分能力上，也有较大差异。因此本文提出了一种合理的特征提取方式，用来进展活体检测。The

7、 Gordian Technique Research on Face Liveness DetectionAbstractFace recognition system is under threat, because we can login in a face recognition system by using a face image of the valid user. Face image contains rich information, which is a ple* pattern of machine visions. Digital face image conta

8、ins a series of information, such as shape, te*ture and contour which can be used to characterize the age, skin, identity and etc. For e*ample, a color image, with width of 240 pi*els and height of 320 pi*els, has 230400 dimensions. So it is abundant to reflect the face information. With the continu

9、ous progress of science and technology, the rapid development of puter science, pattern recognition has broken new ground for image forensics. Therefore, it is great significance to authenticate whether the scene of the digital image is authentic.In this paper, according to the difference between re

10、al images and false photos, te*ture and statistical feature are e*tracted in different ways, several algorithms are proposed to identify whether the face in front of the camera is alive or not. The algorithms the paper proposed only utilize a single image to identity. The method proposed in this pap

11、er has been further improved pared to the former method, and showed a good performance. First,discrete cosine transformation can be used to map the import face information to the low frequency of DCT domain. However, there are varieties of noise in the high frequency part of the image. Considering t

12、he noise factor can be eliminated by removing the high frequency part, we propose to use the low-frequency coefficients to serve as feature, and the SVM classifier will be used to classify the face samples. Second,te*ture is one of the most import features for image, which represents the gray level

13、distribution of the pi*els in the neighborhood. Te*ture analysis plays an important role in the image research. Te*ture is an effective way to characterize the difference between the live face and the impostor. So the two class photos can be taken apart by choosing the suitable te*ture descriptor. S

14、elect the gray level co-occurrence matri*(GLCM), HOG ( Histogram of Gradient) of the image as the research target .pared with the other descriptors, The tamura te*ture and LAP te*ture we proposed achieved very good results.Third,the histogram of digital image plays an important role in the analysis

15、and observation of an image. Histogram of an image describes the different color gradations of image, which reflects the statistical law of the color, and it is also very useful in pattern recognition and image segmentation. After heavy researches on the real face photos and fake reproductions of ph

16、otos, we found the two kind of photos show different distribution in histogram, so the algorithm based on HSV color histogram is put forward.Fourth,because the pi*el gray values of the image can be used to form a matri*, the singular values of matri* can be used to describe the inherent attribute of

17、 the image. Singular value reflect the essential rules of an image, and the singular value is stable, scale invariance, rotation invariance and other advantages, which is more robust in pattern recognition . A number of e*periments show that distinguishing ability are tremendous differences when the

18、 singular feature are e*tracted in different ways. This paper presents a reasonable method for feature e*traction, which is used for face liveness detection.Key words：face liveness detection, face recognition, recaptured photos, te*tural features.1目 录 TOC o 1-3 h z u HYPERLINK l _Toc386394738引言 PAGE

19、REF _Toc386394738 h 1HYPERLINK l _Toc3863947391 绪论 PAGEREF _Toc386394739 h 3HYPERLINK l _Toc3863947401.1 研究背景和研究意义 PAGEREF _Toc386394740 h 3HYPERLINK l _Toc3863947411.2 国外研究现状 PAGEREF _Toc386394741 h 5HYPERLINK l _Toc386394742基于视频场景的活体检测方法 PAGEREF _Toc386394742 h 5HYPERLINK l _Toc386394743基于单照片活体检测方

20、法 PAGEREF _Toc386394743 h 11HYPERLINK l _Toc386394744多膜态活体检测技术 PAGEREF _Toc386394744 h 14HYPERLINK l _Toc386394745研究现状小结 PAGEREF _Toc386394745 h 15HYPERLINK l _Toc3863947461.3 本课题研究思路及主要容 PAGEREF _Toc386394746 h 16HYPERLINK l _Toc3863947472 图像数据库构建和相关理论分析 PAGEREF _Toc386394747 h 18HYPERLINK l _Toc38

21、63947482.1用于活体检测的人脸图像库构建 PAGEREF _Toc386394748 h 18HYPERLINK l _Toc386394749现有人脸库介绍 PAGEREF _Toc386394749 h 18HYPERLINK l _Toc386394750活体检测图像库构建 PAGEREF _Toc386394750 h 19HYPERLINK l _Toc3863947512.2翻拍图像与真实人脸图像生成原理 PAGEREF _Toc386394751 h 20HYPERLINK l _Toc3863947522.3 常用的图像处理技术 PAGEREF _Toc38639475

22、2 h 21HYPERLINK l _Toc3863947532.3.1 图像灰度化 PAGEREF _Toc386394753 h 21HYPERLINK l _Toc3863947542.3.2 图像的直方图均衡化 PAGEREF _Toc386394754 h 21HYPERLINK l _Toc3863947552.3.3 同态滤波 PAGEREF _Toc386394755 h 22HYPERLINK l _Toc3863947562.4基于Adaboost的人脸检测方法 PAGEREF _Toc386394756 h23HYPERLINK l _Toc3863947572.5 SV

23、M分类器理论 PAGEREF _Toc386394757 h 26HYPERLINK l _Toc3863947582.6 本章小结 PAGEREF _Toc386394758 h 28HYPERLINK l _Toc3863947593 基于HSV颜色空间直方图的活体检测技术研究 PAGEREF _Toc386394759 h 29HYPERLINK l _Toc3863947603.1 双线性插值法 PAGEREF _Toc386394760 h 29HYPERLINK l _Toc3863947613.2 RGB颜色空间到HSV颜色空间转换 PAGEREF _Toc386394761 h

24、 29HYPERLINK l _Toc3863947623.3 基于HSV颜色直方图活体检测 PAGEREF _Toc386394762 h 30HYPERLINK l _Toc3863947633.4 实验效果验证 PAGEREF _Toc386394763 h 33HYPERLINK l _Toc3863947643.5 本章小结 PAGEREF _Toc386394764 h 35HYPERLINK l _Toc3863947654 基于DCT系数的活体检测算法 PAGEREF _Toc386394765 h 36HYPERLINK l _Toc3863947664.1 离散余弦变换 P

25、AGEREF _Toc386394766 h 36HYPERLINK l _Toc3863947674.2 图像预处理 PAGEREF _Toc386394767 h 37HYPERLINK l _Toc3863947684.3 图像DCT变换并提取DCT系数 PAGEREF _Toc386394768 h 37HYPERLINK l _Toc3863947694.4数据采集与实验分析 PAGEREF _Toc386394769 h 38HYPERLINK l _Toc3863947704.5 本章小结 PAGEREF _Toc386394770 h 40HYPERLINK l _Toc386

26、3947715 基于SVD和HSV直方图活体检测算法 PAGEREF _Toc386394771 h 41HYPERLINK l _Toc3863947725.1 图像的奇异值提取 PAGEREF _Toc386394772 h 41HYPERLINK l _Toc3863947735.2图像奇异值特征的优点 PAGEREF _Toc386394773 h 42HYPERLINK l _Toc3863947745.2.1 稳定性 PAGEREF _Toc386394774 h 42HYPERLINK l _Toc3863947755.2.2 转置不变性 PAGEREF _Toc38639477

27、5 h 42HYPERLINK l _Toc3863947765.2.3 旋转不变性 PAGEREF _Toc386394776 h 42HYPERLINK l _Toc3863947775.2.4 镜像不变性 PAGEREF _Toc386394777 h 43HYPERLINK l _Toc3863947785.3 基于奇异特征分解的图像特征提取 PAGEREF _Toc386394778 h 43HYPERLINK l _Toc3863947795.4 实验 PAGEREF _Toc386394779 h 44HYPERLINK l _Toc3863947805.5 本章小结 PAGER

28、EF _Toc386394780 h 47HYPERLINK l _Toc3863947816 基于Tamura纹理和LAP的活体检测研究 PAGEREF _Toc386394781 h 49HYPERLINK l _Toc3863947826.1 Tamura纹理特征提取 PAGEREF _Toc386394782 h 49HYPERLINK l _Toc3863947836.1.1 粗糙度 PAGEREF _Toc386394783 h 49HYPERLINK l _Toc3863947846.1.2 比照度 PAGEREF _Toc386394784 h 49HYPERLINK l _T

29、oc386394785方向度 PAGEREF _Toc386394785 h 50HYPERLINK l _Toc3863947866.2 LAP特征提取 PAGEREF _Toc386394786 h 50HYPERLINK l _Toc3863947876.3 LAP与Tamura纹理特征实验 PAGEREF _Toc386394787 h 52HYPERLINK l _Toc3863947886.4本章小结PAGEREF _Toc386394788 h 53HYPERLINK l _Toc3863947897 总结与展望 PAGEREF _Toc386394789 h 54HYPERLI

30、NK l _Toc3863947907.1本文工作总结 PAGEREF _Toc386394790 h 54HYPERLINK l _Toc3863947917.2研究工作展望 PAGEREF _Toc386394791 h 55HYPERLINK l _Toc386394792参考文献 PAGEREF _Toc386394792 h 57HYPERLINK l _Toc386394793在校研究成果 PAGEREF _Toc386394793 h 61HYPERLINK l _Toc386394794致 PAGEREF _Toc386394794 h 62.1引 言生物认证技术是一门用于人身

31、份验证的新兴技术，在现阶段主要有虹膜识别、指纹识别、声纹识别、手写笔迹识别和人脸识别等。从上世纪70年代开场，生物认证技术在学术界引起了广泛重视，随着计算机运算速度和对人体生物特征认识的不断深入，生物识别逐渐从实验室走向实际应用。目前，生物特征已经应用到了门禁系统、公安机关侦查、用户密码等方面。传统的身份验证方式有钥匙、网络密钥等。在门禁系统中，钥匙是使用非常广泛的一种，但非法分子可以模仿原来的钥匙伪造，而且开锁的工匠对锁的构造了如指掌，可以轻松破解各种门锁。网络密码也有许多缺点，如容易遗忘、容易遭受黑客攻击等。互联时代改变了人们的生活方式，同时也蕴藏着各种信息平安隐患。如今，储蓄卡、信用卡、

32、电子支票和电子钱包等电子支付手段使消费方式变得越来越便捷。由于密码存在自身的一些缺陷，平安问题是迫切需要解决的问题。因为生物特征识别技术可以弥补传统密码的缺乏，抑制容易被遗忘，暴力破解，黑客软件截获等缺点，生物识别技术具备下一代新型密码的潜力。人的生物特征不能被盗走的，无法猜测和独一无二的，人的生物特征又是极其丰富的，因此它可以用来取代传统的认证方式。人脸识别在公安侦察、门禁系统和摄像监视系统中广泛使用。它可以在智能视频系统中鉴别人的身份，可以取代指纹识别，虹膜识别。指纹识别易受汗液等异物影响，虹膜识别对设备要求太高，因此人脸识别有着具大的优势。然而，生物认证技术的平安可靠性是社会应用的前提。

33、随着虚拟物品，虚拟货币等电子交易的普及，身份认证的平安问题成了各行各业备受关注的问题。比方人脸识别中照片和视频攻击对人脸认证系统带来了巨大的平安隐患，而人造的塑料指纹，可以破解指纹识别系统，语音合成可以攻击传统的语音识别系统。由于这些仿冒手段的出现，对身份人脸识别的开展带来了不利的影响，阻碍着技术的开展和取代传统密码的可能。欺骗身物认证系统的方法归纳起来有复制、刻印和人工塑造等。了解和研究欺骗的方法是防患平安漏洞的有效方式。在电子货币日趋盛行的今天，平安问题正受到严峻挑战。如何在识别前检测生物信息的真实性是保证身份认证系统平安认证的前提。近年来，在人脸识别系统中活体检测技术已经显得非常重要，也

34、在学术界掀起了一股热潮。新加坡吴天冲教授率先构建了手机翻拍照片库，并在ICME等学术会议上讨论了应对照片欺骗人脸识别的策略。谭晓阳和翼所在的团队先后在CCPR、ECCV等会议上发表相关论文数篇。现有的活体检测方法主要判断人脸是否有生理活动，由于视频欺骗也有生理活动、检测复杂度高等多种弊端，还不能真正应用于实际中。人脸识别的平安问题还没有得到解决，人脸活体检测的研究还处理在起步阶段。由于真实人脸与欺骗照片成像存在本质差异，本课题探究了两类图像的纹理信息和统计特征的先验知识，用模式识别方法对人脸图像进展辨识。本文从真人脸与欺骗人脸在相机中成像的差异出发，提出了几种非常实用的人脸活体检测算法，与以往

35、的算法相比有复杂度低、不需要人主动配合、鲁棒性强等优点。1 绪论1.1 研究背景和研究意义随着生物特征识别技术1的日臻完善，人脸识别2，指纹识别3等生物特征识别将在身份验证中扮演着重要角色，作为主流技术的人脸识别，有着认证自然，可视化并符合人类习惯的优点。它可以取代比较频繁使用的密码，而且密码在一定条件下可以被别人破译，甚至遗忘。人的生物特征有着唯一并不可取代的特点，不用去记住长串的密码，不用担忧被别人截获等许多优点。人脸识别已经在最近几十年取得了飞速的开展，并且已经逐渐应用到各行各业中，人脸识别技术作为当今有效的身份认证方案，其应用围势必扩大，而且会给人们带来了更多的便利。但伴随着一些问题也

36、发生了，一些不法分子，利用一些技术仿冒人的生物特征去欺骗识别系统。给合法用户带来了经济财产损失，造成社会纷扰。为了更平安的进展身份认证和检测身份来源的真实性，活体检测技术就诞生了。对认证系统进展欺骗的对象一般都是刚性的，僵硬的物体，因此通过活体检测技术来防欺骗也是很有意义有效的手段。图 1.1 人脸识别中活体检测技术意义Fig 1.1 the face liveness detection technology in face recognition在我们生活环境中，人脸认证系统中主要容易受到这种手段欺骗：(1)用偷拍的照片假冒真实人；(2)在公开场合录的视频或网上公开的视频片段；(3)用计算

37、机辅助软件设计的三维模型欺骗;(4)用蜡或塑料等材质构造的三维雕像欺骗。其中，照片欺骗是最轻易、最简单的欺骗方法。由于信息技术已经渗入到我们生活的各个方面，因此对于我们大多数人而言，一个人的脸部图像通常是非常容易获取的。比方，从博客等个人空间下载、不知情的情况下通过照相机抓拍等。图1.1显示了打印的照片欺骗人脸识别系统的过程。入侵者可能将人脸图片在图像采集设备前旋转、翻转、弯曲、摇摆等方法造成一种类似于合法用户的真人效果去欺骗认证系统。所以到了人脸识别系统走向应用的阶段，验证获取的人像是现实活体人脸还是进展欺骗的照片是必不可少的一个环节。图 1.2 用数码照片对人脸识别系统进展欺骗Fig 1.

38、2 spoofing face recognition systems by digital image图1.2展示了用高清的数码照片对人脸识别系统欺骗的一种方式。用高清照片对人脸识别系统欺骗是具有很大威胁的一种手段，这种高清图像呈现出的效果和真实人脸的效果非常相似，而合法用户的脸部照片可以通过隐秘的针孔摄像头获取。并且这种方法录取的视频具有各种姿态，可以从视频中截取各式各样的照片，这种照片可以采集到人脸许多特征，如脸部表情、眼睛开闭状态等。三维模型4具有人脸的三维信息，然而这些信息是刚性的并且缺少生理信息。因此我们认为，在现有的技术环境和阶段，塑造鲜活的三维模型是不可能的，并且能塑造的也是姿

39、态僵硬，面无表情的物体，在现有的技术下要仿造一个活人的三维模型是非常困难的。因此，用照片欺骗人脸识别系统是最为常见的方式。人类在区分是真实人脸或者是假冒人脸是轻易而举的事，因为人类能够很容易的识别出很多是活体的物理特性，比方，人脸表情变化、嘴部变化、头部旋转、眼睛变化。然而，捕获这些细节特征对于计算机而言是非常困难的，而在不受控的环境之下，会更加的困难。目前商用的人脸识别系统通常是基于用可见光或者近红外光采集得到的数字图像。因此，这些系统通常可以划分为两类:基于二维图像的人脸识别系统和基于立体空间信息三维人脸识别系统。二维人脸识别系统收集、处理单一的二维人脸图像;三维人脸识别系统采用诸如各模式

40、照明光或者旁轴视角来构建人脸的三维模型。人脸识别中的活体检测算法、图像真伪鉴别是保证当前社会信息平安的另一把钥匙，正是由于社会迫切的需要，数字图像领域的各种真假区分技术应运而生。当年，华南虎事件闹得沸沸扬扬，最后才被认定为伪造的照片，这也是数字取证技术的典型应用。检测数字信息的真实性为保障每个人社会权益提供了可靠的依据。综上所述，人脸识别中用活体检测技术是抵御对生物特征识别系统攻击的一种有效方法，对提高系统的平安和可靠性是必不可少的。基于图像的真实人活体检测技术是不需要人主动配合，本钱低廉，平安可靠的一种方式，是一个很值得关注的一个领域。因此照片与活体人脸的鉴别问题已成为信息技术领域的一个重要

41、课题。1.2 国外研究现状人脸识别技术可追溯到上世纪六七年代，国人脸识别技术始于80年代，取得了令人瞩目的成果。然而人脸识别中的活体检测技术却是近些年来才着手研究的，伴随着人们对平安意识的逐渐提高而产生。从2000年后，人脸识别技术逐渐走向市场，人们开场关心人脸识别平安问题，于是构建了模型来模拟活体人与假冒物体对识别系统的欺骗。2002年，L. Thalheim通过实验发现，用照片或简短的视频画面可以轻易地入侵人脸识别系统，绕过了身份的验证5。人脸识别的平安隐患得以更加表达，因此人们越来越意识到活体检测的重要性。类似地，Matsumoto等人用发现用画质非常清晰的照片也可以攻击虹膜识别系统，这

42、给生物认证识别系统的平安性敲响了警钟。指纹识别系统中利用断点、分叉点和转折点作为特征点，这些点是系统提取特征信息的主要依据。然而，Willis发现指纹的这些纹路信息容易用蜡和硅胶等材料仿制。他针对电容式和光感式指纹识别系统做了一些实验，发现用仿制的假指纹能够顺利地进入大局部的系统42。同时，Tsutomu Matsumoto教授也对活体指纹系统的攻击方法进展了一些测试，发现11种常用的指纹识别方法容易被树胶制作的假指纹欺骗，通过概率超过三分二。T. Masuko43,44等研究了语音身份认证系统的特点，他用隐马尔可夫模型合成的语音可以成功欺骗语音识身份认证系统，通过率达80%。所以用高斯混合模

43、型训练的语音识别系统可能会受到语音变换技术的欺骗45。H. Cheng等人通过实验发现，用塑料或石膏制作的人工手来仿冒人的手形。假冒的手形可以欺骗手形识别系统46。活体的人包含有各种生理信息，包括可见的和不可见的。不可见的包括血液流动，心跳等。而可见的有脸部肌肉活动，眼睛闭合，嘴唇活动等。 基于人生理信息的活体检测技术有许多，如在指纹中还可以使用温度传感器31、阻抗测量32，检测汗液33，皮肤光谱反射属性34等方法。在这些方法中都有一个共性，都需要其它设备加以辅助，大大增加了适应的难度。而且被用来检测的设备也容易遭受其它欺骗，所以不用增加其它设备的方法还是首要考虑的方式。活体检测技术是最近几年

44、兴起来的一个领域，是起步较晚，被人们关注较少的领域。当前人脸活体检测主要由这些方法：基于单照片的光线反射分量分析6，多照片序列统计分析，结合生理活动、联合语音识别的多膜生物特征融合等。基于视频场景的活体检测方法在人脸识别的过程中，系统会提取人脸图像的特征信息。而人的高清照片与真实人有着几乎一样的特点，因此传统的身份识别系统可以用照片去欺骗。从人脸的成像特点和照片生成环境出发，可以别离出抗欺骗更可靠的算法来保证认证系统的平安性。也为人脸识别的迅速推广适用打下根底。为了增强系统鲁棒性，学者们提取假冒物体与真人身份的特征加以区分，以到达平安认证个人身份信息的目的。近期有些研究者利用人脸表现活动的形式

45、来判断是否是活体真人，因为照片是外表静止的，不具有这些特性。随着技术不断开展更新，学者们首先提出了用人的生理活动来判断是否是活体真人的方法来抵抗照片和视频欺骗。如霖等41人用是否有眨眼动作和场景上下文线索来检测是否有活体特征。如果受到了假冒照片或视频攻击，摄像系统将物体场景映入显示系统时，它会包括回放视频的播放器边界。但如果是真实人脸它的场景会是连续的。他们通过几种算子分析比照场景的差异来区分是否是活体真实人。麻省理工学院Pentland12, 40所在团队将眼睛、鼻子和嘴巴作为特征点，从人脸部运动中估计这些特征点的三维深度坐标。他们的一个根本出发点是考虑到照片毕竟是一个平面构造，则照片中上述

46、特征点所对应的三维深度坐标应当是接近的或是一样的，而活体人脸的这些特征点所对应的三维深度坐标必然有所不同。可以用Hession，Hairr作为特征算子来定位图像的特征点，由于形变的图像特征点相应的位置不发生变化，可以用这些特征点来重构三维深度信息。真实场景中的人体会发生左右摆动，头部旋转等动作，所以计算得到的深度信息会随着时间呈现不同的波动，而静止照片的深度却是几乎不变的。但这种活体检测策略需要使用者头部发生一定幅度的运动，因为当使用者处于静止状态时深度值几乎是不变的。在图1.3中，描述了活体真实人脸和静止照片在摄像头面前的深度曲线。图 1.3 真实人脸和静止人脸深度信息曲线Fig 1.3 t

47、he depth curve of the real face and spoofing face有攻击者在使用照片进展欺骗时，通过将照片进展弯曲，也会使三维人脸深度信息发生变化。另一方面，该策略中三维深度坐标的估计采用了扩展卡尔曼滤波模型，因此算法复杂度也是一个问题。还有此种方法受光照变化，噪声等影响，鲁棒性不高。瑞典哈勒姆斯塔德大学K.Kollreder等人提出了人机交互法，要求判别者在摄像头面前默读0到9的几个数字，计算机获取唇部的图像，然后提取唇部的图像特征。按图1.4所示方法将唇分成六个区，每个区域对就一个投影方向，然后通过模糊均值聚类。用这种方法可以确定20个点，并在附近截取一块面

48、积，在这块图像上提取40维特征，这样就得到了总大小为160维的特征向量，如果截取连续视频流的5帧作为样本，就可以用5160维向量表示一个读音的特征，将提取到的特征用监视学习的支持向量机进展识别。图 1.4 人的口型特征提取Fig 1.4 the feature e*traction of the mouth shape 另外，利用光流场13分析人脸各个部位的活动信息，从而实现人脸活体检测，这也是人脸活体检测中相当典型的一种思路。最典型的工作是Kollreider研究团队所开展的工作15-17。这种方法一般需要用户配合，而且必须有高清的成像设备用来捕获脸部眼、嘴等细节的变化，但是在外部照片远近变

49、化左右移动时也会呈现这种线性光流变化，因此也有一些考虑不周全的方面。为了抑制这种方式的缺点，他又使用了一种全新的光流方法，对于构造量和视频流中的动态图像估计有较好的作用。在实验的过程中，他观察了动态的光流变化，发现3图片就能很好地描述光学能量。于是采用了Gabor滤波器18来实现。Gabor滤波器能很好地描述人的视觉特征，有供选用的多种特征。他将获得的特征用支持向量机分类器来归类。他们通过实验发现人脸在旋转运动时，对于真实活体人脸而言，在人脸中间区域如鼻子产生的二维运动相对于人脸两侧区域如耳朵要大一些，而对于照片而言，人脸不同区域的二维运动幅度是一样的。该方法也同样要求使用者头部做出少量运动，

50、同时由于光流估计算法的性能容易受到光线强度变化的干扰，另一方面也无法解决攻击者成心弯曲照片的行为。图1.5显示了用光流进展活体检测的画面。光流的计算公式如 公式1.1当在水平面发生的运动较大时，就用下面公式计算，值： 公式1.2当在垂直面发生较大运动时，计算公式如1.3 (公式1.3)图 1.5 用光流法进展活体检测Fig 1.5 face liveness detection by optical-flow kollreider定义公式1.4来度量人脸的活泼度。 公式1.4)通过L来度量物体运动的值，根据活体因子的大小来判断是否是活体人脸。实验证明这是一种非常有效的活体人脸检测方法。除此之外

51、，还有稳定性和平安性比较高的人脸热红外分析方法19-21，热红外成像与可见光不同，它应用了热辐射情况。人脸是活体本身是温度分布的曲面，分布各不一样。但它受周围环境的影响较大，也可能有遮挡物隔离的情况发生。热红外检测系统正在开发阶段，而且需要专用的额外设备，代价较大。因此在用户一般情况不会使用。基于光流的方法还有检测指纹弯曲运动36、脸部运动等37。邓刚22提出了基于眨眼状态的活体检测方法，该方法将对眼睛分为睁开和闭住两个状态，通过训练睁开和闭眼的样本建立模型，用二分类SVM分类器来判断是哪种状态。它假设真实人眼睛是睁着的，如果判定眼睛是闭住的，则它就认定是活体真实的，这种方法也有一些缺点，如果

52、照片人脸是本身就是闭住的，将直接通过认证，无法抵抗照片攻击。HyungKeun Jee等人利用5连续的人眼图像序列作为活体检测依据，将采集到的人眼图像进展二值化，测试发现活体二值化的活体人眼图像比照片人眼图像变化明显。因此采用汉明距离计算连续5帧图像的距离，通过实验设定一个阈值来判别是否是活体真实人脸37，图1.6表示了这种方法的流程图。图 1.6 利用二值化的人眼汉明距离进展活体检测Fig 1.6 face liveness detection by hamming distance of binary eyesHyung-Keun Jee测试的样本如图1.7所示，其中a组图为原始人脸图像，

53、b组图是经过商图法规整化后的图像。图1.8中a组图、b组图分别显示了照片人脸的二值化人眼和活体人脸的二值化人眼，可以观察到两者呈现一定的区别。经测试，在普通的嵌入式平台上识别真假人脸平均耗时400ms，准确率达93.5%。这种方法的缺点是无法抵抗视频的攻击。ab图 1.7 测试样本Fig. 1.7 face samples used for testingab图 1.8活体人脸和欺骗人脸二值化后的人眼部位Fig. 1.8 the binary images of real and spoofing eyes大学计算机科学学院霖和纲所在的团队创造了另一种预防视频回放攻击的方法41。分别用Gabo

54、r、SIFT和LBP等特征描述算法子对人脸图像和背景图像进展特征点的定位和特征值提取,如图1.9所示，然后用欧氏距离度量两个特征点的相似度，并测试了这几种方法的准确率。实验发现，基于补偿的Gabor算子在进展活体和伪装视频判断时有更好的检测准确率，优于SIFT和LBP等方法。图 1.9 基于尺度空间的特征点定位Fig. 1.9 feature position by multi-scales spaces由于Gabor描述算子可以在多个方向、多个尺度上对图像进展特征描述，而且Gabor小波更符合人的视觉感知特性。它能很好地提取目标的局部空间和频域空间信息，在特定参数下可构成紧框架，对目标边缘敏

55、感，而对环境变化的影响较小，背景和人脸的差异对Gabor特征影响较为敏感。LBP算子则采用8领域，半径为1的来提取特征。SITF算子则更具备强大的局部特征检测功能，能抵抗形变，光照等影响。活体检测度量因子如公式(1.5)所示。 (公式1.5)在式1.5中表示人脸图像所在背景的Gabor特征，而表示人脸图像中的Gabor特征。如果此种方法与相位补偿相结合更能减少光照、照片扭曲和照片晃动等欺骗手法。中科院模式识别实验室所在团队提出用多种人脸线索来检测人脸47，考虑背景的连续性、人脸的非刚性等。用低秩稀疏矩阵来描述人脸的非刚性，用混合高斯模型对背景进展建模，判断人脸场景是否在连续人脸背景中，同时用小

56、波变换来判断获取的图像质量是否存在带状效应。基于单照片活体检测方法基于图像分析的活体检测是不需要人主动配合，最自然的方式。翼等10,11人分析了静态照片与活体真实人序列图像的傅里叶频谱成分。通过建立一个高频动态描述算子来测量人脸的活泼度。比较以往其它方法，这种方法有许多优点，更好的实用性。但受光照变化不稳定时检测效果会受到影响。因为平面照片没有三维深度信息，只要分析各图像序列中的高频成分。对于动态变化的脸部，受环境噪音等影响，高频信息会更加丰富。即使是照片来回摆动，上下左右移动，但它只是二维的，部表情姿态不会出现任何变化。因此可以假想如果是照片，摄像头所获得的图像序列的频谱方差比姿态变化的活体

57、真实人频谱方差小。真实人由于身体是活动的，所以高频成分能量比照片分布更多，图1.10显示了活体真实人脸与欺骗的照片的高频能量曲线。通过设定一个高频能量阈值，来区分是否是活体真实人。他通过实验测量真实人与照片的高频与低频局部的比例，然后在通过实验得出这个阈值的大小。图 1.10 真实人脸和欺骗照片能量曲线图Fig. 1.10 the energy curve of real face and spoofing photoPei*oto23等以提出一种能在弱光下检测面部是否是活体真实人的方案，能将显示在屏幕和打印在纸上的高质量翻拍的图像检测出来。他认为经过翻拍过的图像轮廓会变得模糊，真实感会发生变

58、化。因此他用高斯差分滤波器滤掉高频噪声，获得中高频的轮廓信息，用直方图统计轮廓信息。然后用稀疏逻辑回归函数将两类图像分类判别。YU等7学者对纸上的翻拍进展了分析研究，发现照片拍摄并翻的照片反射分量直方图呈瑞利分布，而自然获取的反射分量直方图呈高斯分布，可用这一特性可区分真人与欺骗的假冒人，它们的各自直方图如图1.11所示。这种方法一定程度上可以用来有防御翻拍的数码照片攻击。用这个原理进展照片欺骗检测的流程如图1.12所示。图 1.11 华南虎的真实照片与仿冒照片反射分量直方图Fig 1.11 the histogram of reflect lights distribution 图 1.12

59、 照片反射分量直方图分析流程Fig 1.12 the analysis flow-chart of the real face and recaptured faceGAO8等分析研究了真实照片与翻拍的在LCD的照片的纹理差异,提取真实人与翻拍照片像素的光滑度，比照度等特征来加以分类区分。他通过设想真实人包含更多的纹理细节来确认是真实人，而经过翻拍的过的照片是由于图像质量退化，可确认为是假冒的，不具有活体特征。京等9人用离散双树复小波，离散双树小波分解真人图像与翻拍图像，并通过阈值法滤掉高频噪声，然后原始图像减去重构的差值图像，获得噪声图像，再提取噪声图像均值，方差等特征。把得到的特征通过SV

60、M分类器24,27分类。他提出的另一种方法是判断获取的照片是否经过二次压缩，来确认是否是经过翻拍的照片。Robson Schwartz25融合了获取的图像梯度直方图27，颜色直方图28，灰度共生矩阵29等特征，用偏最小二乘分类分类器进展分类，在NNUA图像库30上取得良好的效果。 2021年，M Hanuma Teja统计了照片人脸与活体人脸图像的DCT系数能量，发现各自能量直方图有所不同，因此将连续几帧图像的DCT能量作为判别活体人脸的依据，但这种方法往往受外界因素影响较大，如果阈值选取不合理对检测性能影响较大48。同时，GahyunKim等人在2021年提出了基于单照片的活体检测方法，他们