基于矩阵分解的单样本人脸识别算法研究分析 数学与应用数学专业

目录摘要 )则属于第类。3.3 方法对比本文算法和原有的基于矩阵分解的单样本人脸识别算法技术对比如表3.1所示。从表3.1可以看出，原有的基于矩阵分解的单样本人脸识别算法在虚拟样本重建的过程中，采用的矩阵分解技术和虚拟样本生成标准有所差异，而且基于LUD的单样本人脸识别算法由于对原样本的转置图像进行了虚拟样本重建，所以比基于SVD的单样本人脸识别算法多一张虚拟样本图像。两种算法在特征提取过程中，均使用了2D-LDA算法，但是投影矩阵投影时有所不同。本文算法是原有基于矩阵分解的单样本人脸识别算法的基础上的改进，保留了原算法虚拟样本重建和特征提取的方法和准则，但是在进一步的分类识别中，使用自适应权重将两种算法得到的距离进行加权融合。所以，本文算法在使用最小距离准则进行分类时的距离不是常用的距离公式直接计算出的距离，而是加权距离。表3.1三种基于矩阵分解的单样本人脸识别技术对比基于矩阵分解的单样本人脸识别算法虚拟样本重建特征提取算法分类识别算法矩阵分解技术虚拟样本生成标准虚拟样本个数基于SVD的单样本人脸识别算法SVD使用三个最重要的基础图像1张2D-LDA（左乘）最小距离准则基于LUD的单样本人脸识别算法LUD当虚拟图像能量大于等于原图像的92%时，重建完成2张2D-LDA（右乘）最小距离准则基于WMD的单样本人脸识别算法SVD和LUD两种分解算法均使用原来的阈值SVD：1张LUD：2张2D-LDA最小距离准则3.4本章小结本章详细介绍了基于加权矩阵分解的单样本人脸识别算法的算法框架，包括预处理、特征提取、自适应加权和分类识别四个部分。在预处理部分，将样本预处理为行列一致的灰度图像。在特征提取过程中，使用SVD和LUD两种方法进行矩阵分解，分别进行样本重建得到两个虚拟样本图像集合，与预处理得到的训练样本集合结合得到新样本集。并采用2D-LDA算法计算新样本集合对应的投影矩阵，用投影矩阵对原样本集分别投影，得到基于SVD的判别特征集合和基于LUD的判别特征集合。在适应加权部分，使用基于SVD的判别特征集合和基于LUD的判别特征集合计算出两个集合对应的自适应权重，并将自适应权重用于进一步的分类识别部分。基于加权矩阵分解的单样本人脸识别算法是在基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法上的改进，通过加权融合让2D-LDA投影子空间进一步扩展，扩大了分类识别时的求解可能性。

第四章 单样本人脸识别仿真实验所有的创新与改进都需要实践和实验的验证支撑，为了验证基于加权矩阵分解的单样本人脸识别算法的有效性，我们使用MATLAB软件，选取了三个广泛使用的人脸库，以基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法作为对照组，进行了一系列的实验。本章展示出了不同情况下的三种算法的识别结果，并对识别结果进行了详细的分析。4.1 MATLAB工具介绍MATLAB，中文名为矩阵实验室（MatrixLaboratory），是美国MathWorks公司出品的商业数学软件。它将矩阵计算、数值分析、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计等众多科学领域提供了一种有效方便的解决方案，被广泛用于数值分析、数值和符号计算、工程与科学绘图、控制系统设计与仿真、数字图像处理、数字信号处理、通讯系统设计与仿真和金融工程等[23]。和其他软件相比，MATLAB具有以下优点：（1）具有高效的数值计算和符号计算功能，帮助用户减轻繁杂的数学运算分析的压力。（2）具有完备的图形处理功能，可以实现科学数据的可视化。（3）具有友好的用户界面和接近数学表达式的自然化语言，便于编程和人机交互，使学者易于学习和掌握。（4）具有功能丰富的应用工具箱，为用户提供了大量方便实用的处理工具，可以方便地实现用户的各种需求。4.2 人脸库介绍在实验中，我们选取了三种被广泛使用的人脸库作为数据集进行实验，这三个人脸库分别是：ORL人脸库[24]、FERET人脸库[25]和AR人脸库[26]。4.2.1ORL人脸数据库 ORL（OlivettiResearchLaboratory）人脸数据库诞生于英国剑桥Olivetti实验室。数据库中包含了40个不同年龄、不同性别和不同种族的对象，每个对象10张图像，共计400张图像。对于不同的对象，光照、面部表情和面部细节均有差异（如笑与不笑、戴眼镜与不带眼镜、眼睛睁着与闭着等），不同的图像的人脸姿态也有变化，其深度旋转和平面旋转可达20度，人脸尺寸也有最多10%的变化。部分图像如图4.1所示。在实验中，所有的图片大小都预处理为大小的灰度图像。图4.1ORL人脸库中的部分图像4.2.2FERET人脸数据库 FERET数据库是目前最大的人脸数据库。它诞生于美国国防部发起的一个为了促进人脸识别研究的进一步发展和实用化的人脸识别技术工程，由美国军方研究实验室提供。现阶段仍在不断扩充，包含了不同性别、不同种族和不同年龄的超过1000个对象的10000多张图像。在实验中，我们选取了200个对象的1400张灰度图像进行实验，每个对象7张图像。所有图像尺寸均被预处理为。部分图像如图4.2所示。图4.2FERET人脸库中的部分图像4.2.3AR人脸数据库 AR人脸数据库是由AleixMartinez和RobertBenavente在计算视觉中心建立起来的。该数据库由126个人（70个男人和56个女人）组成，包括了超过4000张彩色图像。图像的面部表情、光照和遮挡均有变化。图像的拍摄分为两个时期，间隔14天，每个人都在两个时期分别拍摄了一组图像。在实验中，我们选择AR人脸库的两个子集（子集1和子集2）进行实验。子集1和子集2分别对应于两个时期的100个对象的一组图像，每组图像有7张，每个子集共700张图像。部分图像如图4.3所示。实验过程中，所有图像都被预处理为灰度图像，且图像的大小为。（a）子集1（a）子集2图4.3AR数据库中的部分图像4.3 实验结果和分析本文提出了基于加权矩阵分解的单样本人脸识别算法，即基于WMD（WeightedMatrixDecomposition）的单样本人脸识别算法。该算法在自适应方差权重的计算和最后分类识别部分都涉及到距离计算问题，所以不同的距离度量对算法的识别率有很大的影响。同时，在特征提取过程中构成投影矩阵的不同投影向量数量直接影响到图片的降维数和提取的判别性特征质量，在特征提取过程中起着非常关键的作用。训练样本的质量也是单样本人脸识别算法另一个重要的影响因素。所以，我们从不同的距离度量方法、不同的投影向量数量和不同的训练样本三个角度进行了一系列的实验。4.3.1距离度量影响分析 为了研究不同距离度量对该算法的影响，并选择合适的距离作为算法的距离度量标准，我们选择了三个广泛使用的距离进行实验，具体包括曼哈顿距离（公式(3.5)）、余弦距离（公式(3.6)）和欧氏距离（公式(3.7)）。实验过程中，经验选择投影向量的数量为10，使用每个对象的第一张图像作为训练样本。基于WMD的单样本人脸识别算法在ORL人脸库、FERET人脸库和AR人脸库的两个子集上的识别结果如表4.1所示。表4.1在不同距离度量算法下四个数据集上的识别率（%）距离ORLFERETAR子集1AR子集2平均结果曼哈顿距离73.6157.0066.5073.6767.70余弦距离57.2248.3378.3373.0064.22欧氏距离72.5057.6745.6764.5060.09从表4.1中可以看出，在ORL数据库上，使用曼哈顿距离的算法表现最好，使用余弦距离的算法识别能力较弱；在FERET数据库上，使用欧氏距离的算法表现最好，使用余弦距离的算法识别效果较差；而在AR数据库上，使用欧氏距离的算法在两个子集上识别效果均不理想，在子集1上，使用余弦距离的算法识别效果最好，而在子集2中，使用曼哈顿距离的算法识别效果最好。总体上看，不同的距离度量算法对算法的识别性能有很大的影响。采用余弦距离或欧氏距离的算法在不同数据库上表现有优有劣，都存在识别性能不稳定的情况。而相较于其他两种算法，采用曼哈顿距离的算法能在不同的数据库上都维持较好的识别效果，具有一定的鲁棒性。所以在基于WMD的单样本人脸识别算法中，我们采用曼哈顿距离作为自适应方差计算和基于最小距离准则分类器中的距离度量算法。4.3.2投影向量数量影响分析 为了研究投影向量数量对识别算法性能的影响，我们使用不同数量的投影向量进行了一系列的实验。实验过程中，投影向量的数量从1逐渐增加到25，并且我们使用每个对象的第一张图像作为训练样本。 图4.4分别展示了在ORL人脸库、FERET人脸库和AR人脸库的两个子集上三个算法的识别结果，表4.2展示了三种算法在四个数据集上的最高识别率，括号中为对应的投影向量数量。从图4.4中我们可以看出特征提取过程中构成投影矩阵的不同投影向量数量对三表4.2三种算法在不同投影向量数量下四个数据集的最高识别率（%）算法ORLFERETAR子集1AR子集2LUD69.17(15)48.67(8)71.17(22)73.67(19)SVD73.06(10)52.67(2)40.00(6)35.00(18)WMD75.83(4)59.83(6)74.50(25)81.50(22)(a)ORL数据库三种算法的识别结果(b)FERET数据库三种算法的识别结果(c)子集1三种算法的识别结果(d)子集2三种算法的识别结果图4.4三种算法在不同投影向量数量下的识别率种算法的识别效果还是有一定影响。在投影向量数量较少时，投影向量数量的变化会引起识别率较大的变化，而当投影向量数量增加时，识别率逐渐趋于稳定。在ORL人脸库和FERET人脸库上，基于SVD的单样本人脸识别算法比基于LUD的单样本人脸识别算法识别率高且更稳定。在AR人脸库的子集1和子集2上，基于SVD的单样本人脸识别算法识别率较低，识别结果不如人意，而基于LUD的单样本人脸识别算法识别性能较好，且识别率随着投影向量数量的增加而不断提高。基于WMD的单样本人脸识别算法是基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法的加权融合，从图4.4中可以明显看出，基于WMD的单样本人脸识别算法相较于其他两种算法，在不同的人脸库上都能保持较好的识别效果。这是因为基于WMD的单样本人脸识别算法通过自适应方差加权将两种基于矩阵分解的单样本人脸识别算法进行融合，扩展了2D-LDA的投影子空间和求解范围，让两种算法取长补短，在复杂环境下具有一定的鲁棒性和稳定性，不同情况下也能维持较好的识别性能。从图4.4和表4.2中可以看出在ORL人脸库和FERET人脸库上，基于WMD的单样本人脸识别算法在投影向量数量较少时识别效果更好，而在AR人脸库的子集1和子集2上，基于WMD的单样本人脸识别算法在投影向量数量较多时具有较好的识别性能。但是，投影向量数量过多或者过少都不能保证算法在不同情况下的识别正确率，所以出于一般化的考虑，我们选取10作为投影向量最佳的数量。4.3.3 训练样本影响分析在单样本人脸识别实验中，我们通常选取每个对象的第一张图像作为训练样本。在这一节中，为了研究不同训练样本对算法的影响，我们分别选取每个对象的不同图像作为训练样本进行训练。在本节实验中，投影向量的数量为10。图4.5分别展示了三种算法在ORL人脸库、FERET人脸库和AR人脸库的两个子集上的识别结果，表4.3展示了三种算法在四个数据集上的最高识别率，括号中为对应的训练样本序号。表4.3三种算法在不同训练样本下四个数据集的最高识别率（%）算法ORLFERETAR子集1AR子集2LUD71.67(2)48.50(6)67.17(1)68.17(1)SVD75.83(3)62.50(4)52.83(5)43.83(2)WMD79.17(3)62.50(4)72.00(5)73.67(1)通过观察图4.5，我们可以看出，不同质量的训练样本包含的身份信息不同，对三种算法的识别率有很大的影响。较好的单训练样本可能包含对象更多的身份信息，在特征提取的过程中提取出更具有判别性的特征，可以提高算法识别率。从图4.1和图4.5(a)中可以看出，ORL数据库中每个人的第三张图像姿态最为端正，且表情和光照变化较小，所以采用这张图像作为训练样本时算法的识别性能较好。从图4.2和图4.5(b)中可以看出，FERET人脸库中每个人的第一张到第六张图像有一些角度和表情的变化，但变化不大，所以将这些图像作为训练样本时，三种算法的识别效果较好。但是最后一张图像光线过暗，在未进行光照补偿的情况下，特征提取过程中提取出的特征不如前几张图像，所以算法的识别性能大大下降。从图4.3、图4.5(c)和(d)中可以看出，每个对象的第四张图像中的人脸表情都有很大的变化，并且第六张和第七张(a)ORL数据库三种算法的识别结果(b)FERET数据库三种算法的识别结果(c)AR子集1三种算法的识别结果(d)AR子集2三种算法的识别结果图4.5三种算法在不同训练样本下的识别率图像的光照有很大的变化，对测试样本的分类识别产生了很大的干扰，所以三种算法在这些样本作为训练样本的情况下识别性能较差。 从表4.3和图4.5中可以看出，在四个数据集上，基于WMD的单样本人脸识别算法的最高识别率比基于SVD的单样本人脸识别算法或基于LUD的单样本人脸识别算法的最高识别率都要高。在使用不同的训练样本时，基于WMD的单样本人脸识别算法都能保持较好的识别性能，进一步体现出了基于WMD的单样本人脸识别算法对于复杂环境和训练样本的质量具有较好的鲁棒性。4.4 本章小结 本章首先介绍了实验的软件MATLAB和实验中使用的三个人脸库，然后详细分析对比了基于WMD的单样本人脸识别算法、基于SVD的单样本人脸识别算法或基于LUD的单样本人脸识别算法在三个广泛使用的人脸库上的实验结果。从不同的度量算法、不同投影向量数量和不同训练样本三个角度进行了实验，实验结果表明基于WMD的单样本人脸识别算法通过自适应加权的算法，在原有的基于矩阵分解的单样本人脸识别算法的基础上进一步扩展了2D-LDA的投影子空间，扩大了求解的范围，对复杂光照、表情变化、姿态变化和训练样本的质量都具有良好的鲁棒性，具有较好的识别性能。

第五章总结与展望5.1 总结人脸识别是当前模式识别研究领域的研究热点之一，有着广泛的应用前景。单样本人脸识别问题是人脸识别中的难点之一，有着重要的实际应用价值。本文主要以基于矩阵分解的单样本人脸识别算法为研究对象，对两种现有的基于矩阵分解的单样本人脸识别算法进行了详细的说明，并在这两种算法的基础上提出了一种基于WMD的单样本人脸识别算法。并使用MATLAB软件在三个广泛使用的人脸库上验证了三种算法的识别性能。本文主要贡献如下：（1）详细介绍了2D-LDA算法，对基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法的算法流程进行了详细的阐述。（2）在原有的基于矩阵分解的单样本人脸识别算法的基础上，提出了新的基于WMD的单样本人脸识别算法。该算法使用2D-LDA对预处理后的训练样本进行判别性特征的提取和降维，能在得到有效判别性特征的同时提高算法的识别效率，并将基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法通过自适应方差权重进行加权融合，进一步扩展2D-LDA投影时的子空间大小，从而扩大识别时的求解范围。让原有的两种算法取长补短，提高识别的正确率和鲁棒性。（3）在实验阶段，使用MATLAB软件，选取了三个广泛使用的人脸数据库进行实验与分析，对比三种算法在不同情况下的识别效果，并对识别性能进行了分析。5.2 展望然而，本文的研究工作还不够，还存在以下不足：（1）对给定的图像的预处理只进行了灰度化和尺寸调整的操作，未进行光照补偿、姿态角度调整等预处理，使得图片信息仍具有较多的干扰因素。（2）矩阵分解加权时仅使用了SVD和LUD两种常见的矩阵分解算法，现有的矩阵分解还有很多种，在以后的工作中可以考虑在保证算法的识别性能的前提下，替换或加入更多的矩阵分解算法。（3）在特征提取过程中，仅使用了2D-LDA进行特征整体特征的提取，未使用图像的局部特征信息。在进一步的研究中，可以采用分块等算法提取出图像的局部信息，使用局部信息和整体信息来进行识别分类。（4）在算法的分类识别部分，直接采用了最小距离准则进行分类，但分类器也对算法的识别性能有着很大的影响。在以后的研究中，会进一步致力于构造能更好进行人脸特征识别的分类器。总之，单样本人脸识别研究是一项具有一定挑战性但十分重要的工作，针对现在存在的这些问题，如何研究出一种更完善的解决算法还需要不断努力，进一步深入研究和探讨。

攻读学士学位期间主要的研究成果论文发表ZhangM,ZhangL,HuC.SingleSampleFaceRecognitionBasedonGlobalLocalBinaryPatternFeatureExtraction[A].//InternationalConferenceonNeuralInformationProcessing[C],Guangzhou:Springer,2017:530-539.专利申请张朦,张莉,王邦军,张召,李凡长,一种单样本人脸识别算法及系统,申请号:201710107890.X.张朦,张莉,王邦军,张召,凌兴宏,姚望舒,李凡长,一种单样本人脸识别算法、装置、设备及可读存储介质.申请号:201810007877.1.软件著作权张朦,张莉.基于LBP直方图的复杂光照单样本人脸识别仿真平台软件V1.0,软件著作权登记号:2018SR004246.张朦,张莉,基于加权矩阵分解的单样本人脸识别仿真软件平台V1.0,软件著作权登记号:2018SR004246.竞赛获奖张朦.基于二次规划的加权单样本人脸识别.苏州大学第十七届“挑战杯”大学生课外学术科技作品竞赛三等奖.张朦.基于全局LBP的单样本人脸识别.苏州大学第十八届“挑战杯”大学生课外学术科技作品竞赛一等奖.科研项目张朦.复杂光照下的单样本人脸识别.苏州大学第十八批大学生课外学术科研基金项目.项目编号:KY2016065A.张朦.基于全局LBP的单样本人脸识别.苏州大学第十九批大学生课外学术科研基金项目.项目编号:KY2017073A.王喆,张朦,窦清昀,李甜甜,张小菲.表情识别算法研究.2016年苏州大学校级大学生创新创业训练计划项目.项目编号:2016xj033.

参考文献李子青.人脸识别技术应用和市场分析[J].中国安防,2007,8:42-46.ZhaoW,ChellappaR,PhillipsPJ,etal.Facerecognition:aliteraturesurvey[J].ACMComputingSurveys,2003,35(4):399-458.李晓东.人脸识别算法研究[D].南京：东南大学,2009.黄非非.基于LBP的人脸识别研究[D].重庆：重庆大学,2009.GuanS,LiX.Improvedmaximumscatterdifferencediscriminantanalysisforfacerecognition[J].MeasurementandControl,2009:368-371.BledsoeWW.Man-machinefacialrecognition[M].PaloAlto:PanoramicResearchIncorporation,1966:1-20.YangC,ShiS,LiL,etal.Facerecognitionwithsingletrainingsamplebasedonlocalfeaturefusion[A].//TenthInternationalSymposiumonDistributedComputingandApplicationstoBusiness,EngineeringandScience[C],Wuxi:IEEE,2012:165-169.赵汝哲,房斌,文静.自适应加权LBP的单样本人脸识别算法[J].计算机工程与应用,2012,48(31):146-149.杨秀坤,岳新启,汲清波.基于HOG和DMMA的单样本人脸识别[J].计算机应用研究,2015,2:627-629.KanM,ShanS,SuY,etal.Adaptivediscriminantlearningforfacerecognition[J].PatternRecognition,2013,46(9):2497-2509.WangJ,PlataniotisKN,LuJ,etal.Onsolvingthefacerecognitionproblemwithonetrainingsamplepersubject[J].PatternRecognition,2006,39(9):1746-1762.MajumdarA,WardRK.Pseudo-Fisherfacemethodforsingleimageperpersonfacerecognition[A].//IEEEInternationalConferenceonAcoustics,SpeechandSignalProcessing[C],LasVegas:IEEE,2008:989-992.KimTK,KittlerJ.Locallylineardiscriminantanalysisformultimodallydistributedclassesforfacerecognitionwithasinglemodelimage[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2012,27(3):318-327.KirbyM,SirovichL.ApplicationoftheKLprocedureforthecharacterizationofhumanfaces[J].IEEETrans.PatternMach.Intell,1990,12(1):103-108.HuangJ,YuenPC,ChenWS,etal.Component-basedLDAmethodforfacerecognitionwithonetrainingsample[A].//IEEEInternationalWorkshoponAnalysisandModelingofFacesandGestures[C].Nice:IEEE,2003:120-126.GaoQX,ZhangL,ZhangD.FacerecognitionusingFLDAwithsingletrainingimageperperson[J].AppliedMathematics&Computation,2008,205(2):726-734.KoçM,BarkanaA.AnewsolutiontoonesampleprobleminfacerecognitionusingFLDA[J].AppliedMathematics&Computation,2011,217(24):10368-10376.HuC,YeM,JiS,etal.Anewfacerecognitionmethodbasedonimagedecompositionforsinglesa