人脸识别：法医学中的一些挑战(中文翻译)

1、人脸识别：法医学中的一些挑战AnilK.Jain,BrendanKlareandUnsangPark密歇根州立大学摘要：人脸识别已经成为刑事侦查员经常使用的一种有效检验工具。和自动化人脸识别相比，法医人脸识别的需求更加迫切，因为它能够处理不理想条件下所拍摄的面部信息，并对后续法律程序肩负着重要责任。本研究讨论了自动化人脸识别领域的一些进展，他们影响到法医人脸识别的研究。讨论了法医人脸识别领域的一些研究进展，包括面部老化、面部标志、法医素描识别、录像中的人脸识别、近红外人脸识别、软生物统计学等。最后讨论了法医人脸识别研究领域当前的一些局限和未来研究的方向。关键词：人脸识别；法医学；面部标志；老化

2、；法医素描；录像中的人脸；无约束的人脸识别I、引言人脸识别是根据人的面部特征确定其身份的一种技术。过去二十年间，自动化人脸识别得到广泛研究。它在很多应用领域能够发挥重要作用，例如访问控制、视频监视、政府发行的身份证明进行备份（例如，护照、驾驶证）。人脸识别系统通常有两种应用场景：验证和识别1。在验证场景中，对两张面部图像的进行测量，并确定两者是否匹配。在识别场景中，计算给定的人脸图像（probe探测图像）和大型数据库中所有的人脸图像（gallery档案图像）之间的相似性。匹配程度排名第一的图像被返回，进而确定个体身份。理想状态下,两种场景检验都可以在“关灯”模式下运行，也就是说，系统可以在无需

3、人类参与的情况下做出身份识别。自动化人脸识别技术的表现已经得到美国国家标准与技术研究院的一组测试的检验，他们使用FERET方法进行评估17。人脸识别供应商测试（TheFaceRecognitionVendorTest,FRVT）和人脸识别大挑战（FaceRecognitionGrandChallenge,FRGC）继续保持这种基准,其参与者既包含产业界，也包含学术界。在FRVT200213中，人脸图像来自正面姿势、正常光线条件下的大量档案图像（来自37437名罪犯的121589张人脸图像）。最近对FRVT20064的测试包含了验证场景；对高分辨率图片（400像素）和3D图片，表现最好的系统显示

4、的拒绝错误率为0.01、错误识别率0.001。FRVT2006所使用的测试图片图1所示。图1、FRVT2006使用的面部图像。（a）控制光线，中性表情（IPD=400相素），（b）控制光线，微笑，（c）不控制光线，微笑（IPD=400相素），（d）3D形状和肌理，IPD代表瞳孔之间的距离。尽管在有控制的场景中自动化人脸识别系统取得了巨大成就，但是在一些特定场景和法医场景中，FRVT错误率太高，不能反映人脸识别系统的准确性。在上述场景中，对周围的照明、案犯的姿势、传感器的分辨率、压缩程度等，都不能进行严格的假设（参见图2）。CSI效应使民众对人脸识别能力的技术发展水平，留下了一种虚假的印象。与之

5、相反，初期大量的人脸识别设备（prototypedeployments）（例如2001年在坦帕举行的超级杯33和2006年在德国举行的Meinz火车站测试36）没有达到需要的匹配精度。另一方面，为数不多的人脸生物统计技术获得成功，例如澳大利亚的Smartgate34、香港与中国的边境控制系统35，它们希望使用者能够在一种约束的环境下进行合作。除了这些外部变量对人脸识别精确性的影响之外，现实世界中的法医场景还存在大量的内部变量（例如面部老化、表情和美容化妆等），它们会进一步降低识别的精度，而且通常在控制研究中也无法复制。图2、法医学中经常遇到的人脸图像。（a）嫌疑犯照片，（b）死人的图像，（c）

6、法医素描，（d）闭路电视框架，（e）近红外图像法医科学，或简称法医学，都是运用科学原理去分析执法机构收集来的数据。为了证明或推翻嫌疑人的罪行，在这一领域中更加注重法律体系下的高可信度。法医学中的一些应用案例包括，包括血液飞溅分析、土壤分析、病理学、DNA鉴定、鞋印比对、潜在的指纹检查、监控录像分析。这些例子展现了法医学的数据范围，其中主要目标之一是确定嫌疑人的身份。指纹和DNA医学鉴定是法医学中最可靠、最便捷的两种识别技术，自动化人脸识别技术需要继续发展，需要探索一套工具，以确定罪犯身份，尤其是监控摄像中的罪犯身份。法医人脸识别这方面的进展，也是FBI“下一代鉴定程序（NextGenerati

7、onIdentificationprogram）的目标之一。在法医学中，人脸识别技术历史悠久。第一篇报告发生于1871年的英国法庭，试图通过比对一些人脸图像确定罪犯。法国犯罪学家AlphonseBwertillon在1882年研发了第一个人脸识别的系统方法。第一篇自动化人脸识别的文章由Bledsoe等于于1966年发表，该项目被称作“人-机”,因为一系列面部特征都由人从图像中抽取而来。这些特征被输入计算机后，进行自动匹配从一系列特征点中（例如瞳孔中心、眼睛的内角和外角、视窗的顶点等）计算了20个距离，用以测量人脸图像的相似性。以包含2000多张图像的数据库为基础，人-机系统能稳定的超越人类。以

8、人脸图像为基础，Goldstein和Harmon37还使用这22个描述特征（对人脸、头发和眉毛的形态学描述）进行识别。他们将这些特征提供给一些受过培训的陪审员和计算机，让他们完成识别任务。Goldstein和Harmon总结说，从一个包含255名被试的数据库中识别一个人需要6种不同的特征，并预测说，从包含4*106的档案图像中识别一个人需要14种特征。使用以灰度像素值的局部直方图为基础的一系列面部参数，Kanade研制出第一个全自动人脸识别系统38。不久之后，其他的许多人脸自动识别系统也被研发出来。主成分分析法（PCA）第一次被Sirovich用来进行图像压缩40，Truk和Pentland则

9、将其用于图像识别41。经过排序的一系列特征向量和一系列基本图像相对应，反映人脸图像之间的差异。包含多种方法的PCA大大减少了计算机的负担，并激发了人脸识别的大量研究。另一个流行的人脸识别方法是线性判别分析（LDA），它以费雪的线性判别为基础。在LDA中，每个被试都冠以独立的类别标记，使其识别精度比PCA更高。其他有名的方法还包括弹性束图像匹配（ElasticBunchGraphMatching,EBGM）25和基于图片特征的局域二元模式（LocalBinaryPattern,LBP）43。表1对人脸识别领域的表征工作进行了汇总。表1自动化人脸识别研究历史中的表征工作汇总Approetc/Dcf

10、UihcfseflealionAccuracyBledsoeeteiL2920lutikirisuch汕viidllio1monill.wicJlhofeyes-etc-(tirs!semi-ulnnuliLnlhud.)N/ArN/A*(juldslincindHdrnKiii|37|22ihilurcsinckidintisimplemorphok崔i询descripticmaboLLtface?hdiireyebrows.亡1c.255iiieiucsnl7subjects53%Kanade58Localhi*站屮(firstfullyauloiKilicliethod)20im也gck

11、of20subjects75%Turk也】id卩enlkniJ41JPriucipalconvenientanalysis(PCAorEiucntauc)2L500iiratiusof16subjects100%Bclhuinuuicl*L26LinearDiscriminantAnalysisfLDA)160imajicsof16subj比“(YiluDB)99.4%Ahnnunul“L43LinealBinaryPattenis(LBP)1.196Subjucis(FERETDB)97%*meunatbcgobLunil屮y卩口卩吒，hcinJrEiKLUondboill山：吊paperw

12、aslumiiJathp:Vun.wikipcdidwiki/FatktlrvcugnitHjp沪肥m法医学领域用到的大多数图像都是入案照片（正面姿势、正常光照、最小表达）,而探测的人脸图像通常具有不同的姿势、照明、分辨率和形态（如红外、视频录像等）。例如,监视探头拍摄的人脸图像和潜指纹起到相同的作用,图像识别的难易程度取决于流动的模糊、姿势和遮挡程度（occlusion）。随着监控录像设备数量的迅速增长（参见图3）,精确、稳定的视频人脸识别技术的进展对于执法机构至关重要。出现在传真、打印机、扫描文件中的人脸图像都会进入法医学领域49。图3、中国街道上的监控摄像机5051仅在北京就有大约400

13、，000个监控摄像头覆盖了100%的公共区域（如学校，医院，地铁等）法医人脸识别从自动化人脸识别中独立出来（图4），是由许多原因造成的。例如低质量的探测图像，提高成功匹配机会的元数据的使用，在法庭上提供坚实证据的需要等。典型的医学人脸识别情景是从一个大的人脸图像档案库开始的，如入案照片、驾驶证图等。例如，thePinellasCountySheriffsOffice的人脸识别系统，其数据库包含六百多万张人脸图像3，由入案照片（在逮捕罪犯时拍摄）和弗罗里达州汽车管理局的照片构成。自动化人脸识别系统需要这样一个大的人脸档案图片数据库。鉴于法医学查询的照片是在非理想条件下捕捉的（例如，off-pos

14、e、低分辨率的闭路电视，来自自动取款机的图像，法医素描或来自社会网站的图像等），因此来自自动化识别系统的排名前N的个体被认为是犯罪嫌疑人（softsuspect）,随后这些犯罪嫌疑人会被法医专家通过手动检测，以确定正确匹配。这种手动检测程序需要经过标准化，以降低判断的主观性。国家科学院（theNationalAcademies）在其识别法医科学协会的需要（IdentifyingtheNeedsoftheForensicSciencesCommunity）报告中，提供给了13条具体的建议。这些建议强调，需要将对法医证据的检查和解释进行标准化。需要注意的是，即使两个图像的匹配分数很高，在法庭上也不

15、具有充分的说服力。调查人员需要用人脸识别技术来确定若干嫌疑人；需要运用其他途径的额外信息和支持证据，去发现可能性最大的犯罪嫌疑人。inspeclionProbeMiiniiyAuluinidiunulchMunnilI:.niijlchMumia1：1maIIhCiullcrvA(D】*kzvM*TopNcindidtilesunDyljhas.c(Dsarcknm-T】图4、法医人脸识别过程示意图。当比较两个图像时检测程序完全是手动的，它是半自动的搜索大型数据库。在许多情景中，法医人脸识别并不是全自动的。总之，如下特征将法医人脸识别和自动化人脸识别进行了区分：1、探测图像的质量并不理想（例如

16、，部分人脸，off-pose，高压缩和低分辨率）2、需要考查排名前N的匹配者，而不是只考查排名第一的人本文的目的在于提高人们对法医学人脸识别中重要挑战的认识和理解。我们提出了法医人脸识别领域的一些主要课题，包括年龄差异的人脸识别，基于匹配与检索的面部标志，法医素描与入案照片的匹配，视频监控中的人脸识别（闭路电视、ATM摄像头等），以及近红外线图像与照片的匹配等。II、法医人脸识别的一些挑战本节将讨论集中人脸识别技术领域的进展对法医学人脸识别的重要作用。之所以选择这几个特定的问题，受到我们正在进行的研究的影响。A、面部老化许多人脸识别的情景，在探测照片和档案图像之间都存在显著的年龄差异。随着探测

17、照片和档案图像之间年龄差异的增加，人脸识别系统的精确度通常会下降。一些人脸识别系统会碰到这种年龄差异：（1）识别失踪的儿童；（2）对数据库中的嫌疑人进行检测（例如执法或DMV数据库）。面部老化是一个复杂的过程，它能影响人脸的形状和肌理（例如肤色或皱纹）。老化过程在不同的年龄组会有不同的表现。在年轻的年龄组中（W18岁），面部生长是其主要特征。而在年龄较大的群组中（18岁），老化的主要特点是较大的肌理改变、较小的形状改变。图5显示了FG-NET7和M0RPH31数据库中二个罪犯的老化差异。正如所预测的，较年轻的人面部相貌改变更大。除了面部老化，还有一些其他因素影响面部相貌，从而使得人们通过这两个

18、公共领域纵向脸部数据库进行老化模式研究时，变得更加困难。Age25H)16M2940Imagesofasujjject;froEntheFG-NETdatabase7Age253640434(b)ImagesofasubjectficmtheMORPHdalabawe35图5、因为老化而导致的面部变化Li等人32为年龄差异人脸识别提供了判别老化模型和生成老化模型。生成模型学习了3D领域的参数老化模型，生成合成图像，缩小探测图片与档案图片之间的年龄差距。生成3D老化技术使用了姿势相关法(posecorrectionmethod)和3D领域的老化模型。3D模型特别适合捕捉因3D特征老化而引发的老化

19、模式。由于无法获取3D老化数据库，只能以2D人脸老化数据库构建3D老化模型。判别模型的显著特点在于，能跨越年龄差距更好的识别人脸图像。图6显示了判别老化模型和生成老化模型的框架。图7呈现的匹配结果的例子显示，老化模型提高了主要的人脸识别仪器一aceVACS21的精确性。使用上述老化模型，对MORPH数据库中10000名罪犯的10000张入案照片进行人脸识别检验，一次就能识别出来的比率提高了8%32。AlJurDdiri:mnuj-ddlTrrlnirisett-aae-M?paratEfLim旳曲euh和leamir网ILcamanpeardfiCEfilingpatternBuilddass

20、iFiert：Ninimiztwi：hirt-sjuaactgnationKm血tmqmtStn/een-SUitijettV3ri3tCRAginqamuEatwri图6可识别和生殖衰老模型的示意图表7、存在老化的人脸识别样本，它虽然商业匹配失败了却成功提出了老化模型，第一行显示的是数据库图像，第二行显示的是同一个人的采集图像B、面部标志局部面部标志特征，例如疤痕、痣、雀斑等，在法医领域的人脸图片匹配方面起着重要作用（参见图8）22。由于高分辨率传感器的应用、手动识别兼容性的发展，以及人脸图像数据库的容量不断增大，人脸标志的应用变的越来越有价值。通过提高人脸识别系统的匹配速度与精度，局部面部

21、标志特征可以发挥独特作用，可以调查、解释、开发法医领域的人脸图像。这一信息对法医专家非常重要，可以为他们在法庭上提供证据，最终确定犯罪嫌疑人23。表8、具有特殊面部标志的人脸图像。（a）大片胎记（b）疤痕（c）泪滴纹身。目前在执法单位和相关安全机构中，大多数照片识别法都包含人工确认阶段。受害人或目击者会经常通过语言描述或手绘素描提供识别信息。Spaun2223介绍了一种在执法机构执行的面部检测程序（五步人工检验程序，即ACE-V24）,该程序的一个主要步骤是确定“类别”特征与“个体”特征。类别信息包括整体面部轮廓、头发颜色、假发特点、鼻子形状、是否有雀斑等。个体特征包括脸上雀斑的数量和位置、疤

22、痕、纹身、牙齿缺口、嘴唇褶皱、皱纹的数量和位置等。自动化人脸识别程序不仅会缩短时间、降低人工过程的主观性，还会更加稳定、精确。此外，计算机辅助的自动化化特征抽取和表征可以帮助检验过程标准化，让检验过程更加高效。传统的人脸识别系统通常利用局部或全部肌理特点编码人脸图像。然而，这些技术不直接的利用局部标志（例如伤疤和痣），而是通常输入一个完整的人脸图像。为了填补这一空白，Park和Jain提出了面部标志的自动检测过程（如图9所示）。Llcppi口StDED311二11些二FE-StUJSp&jltC.tKtieE丄址Sail?ntregiond-rte-:ilooi表9、自动标记检测示意图当面部标

23、志模式被用作一种软生物统计学指标时，已经被证明是可靠的5。Park和Jain发展了一个框架，使用面部标志，通过文本查询（textquery）检索罪犯5。文本查询允许侦查员检索一列罪犯，他们包含某些面部标记的组合，例如“左脸颊上的痣“”和”“额头上的伤疤”等。人们不会指望面部标记检索系统能够确定唯一的罪犯。相反，它可以用来过滤候选人。证人可以提供一些信息，嫌疑人左脸颊上有颗痣，或者前额上有块疤。即使不存在探测的脸部图片的情况，也可以利用这些信息用自动化的方式去检索符合标准的一组罪犯。再加上其他的人口统计学信息（例如性别，年龄，身高），刑侦人员可以只去调查剩下的几十个人。除了没有人脸图像时进行人脸

24、检索之外，图10显示的成对图像表明，直接使用面部标记可以提高匹配精度（当它与商业识别仪器结合使用时）。图10第一、二行显示的示例图像并没有出现在匹配的第一位，但和面部标志匹配得分结合使用时，他们出现在了匹配的第一位。第三、第四行列出的是双胞胎的面部图像，除非使用面部标志，否则他们不会被正确地匹配在第一位。面部标志对于识别双胞胎至关重要9。以213名罪犯的213张照片作为探测图片，以10213名罪犯的10213张照片作为档案图片，使用面部标志之后，FaceVACS第一匹配的正确率提高了大约0.5%5。表10、有助于提高匹配性能的面部标志比对图像示例（a）（b）前二行是采集和数据库的图像后二行是双

25、胞胎的两个图像（c）（d）面部标志检测结果C、法医素描识别当无法获取嫌疑犯的照片时，法医素描就会派上用场。法医素描是法医艺术家根据目击证人的描述复现一个人的面部相貌。法医素描历史悠久，以往，素描会被制作成宣传页广泛散发，法律执行部门希望有人能够认出素描中的人。法医素描会被误导，因为证人回忆的错误，这会导致法医艺术家画的素描不准确。画出一幅法医素描需要耗费大量时间，因此他们通常只画出那些凡有重大过错的罪犯（例如杀人犯和性犯罪）。将法医素描和嫌疑犯照片数据库进行比对的能力非常重要。商业性的人脸识别系统通常不会将法医素描和面孔照片进行比对。为了填补这种空白，Klare等人6制定了一种框架体系，可以将

26、法医素描和照片进行比对，该系统允许侦查员使用法医素描去匹配大容量的面孔数据库，该方法6使用局域二元模式15和SIFT特征算子16将素描和照片的结构进行编码。这两个特征算子在素描和照片的模态方面性能良好。使用特征算子将素描和照片进行表征，使用多重线性识别子空间在一个框架中将面部图像分片进行纵向扫描，该技术称为局域特征识别分析（LocalFeature-basedDiscriminantAnalysis,LFDA）。LFDA比商业识别系统进步很大。例如，当用49张探测图片和包含10159名罪犯的档案数据库进行比对时，种族和性别被过滤之后，LFDA包含排名前50的准确率为44.9%。同样是种族和性别

27、被过滤，FaceVACS系统排名前50的准确率为26.53%。使用特殊的素描识别系统，例如LFDA,对于扩大法医素描识别的能力非常必要。法医素描识别的一个主要困难在于，见证人无法正确回忆案犯的相貌。图11呈现了两个例子，信息库中储存的照片thetopretrievedphotograph（第二列）虽然不正确，但比素描（第一列）更接近罪犯的真实照片（第三列）。图11、法医素描识别中匹配失败的例子6。图片来自18。D、录像中的人脸识别因为监视镜头分布广泛，录像人脸识别越来越重要。如果可以通过视频流自动识别人脸，就可以利用已经存在的监视镜头网络，这将大大降低个体身份确认的难度。但是，录像人脸识别经常

28、需要处理人的侧脸，而且会面临严重的光线变化。图12（a）所呈现的画面，来自一段视频数据53。来自同一段视频流中同一对象的多张画面，可以让系统选择使用质量最好的面孔图像（例如正面姿势或图像居中）。短暂的信息，例如动态面部表情的变化，也可以用以进行面孔识别48。来自常规监视摄像头的面孔图像，大多数分辨力较低，可以将静态摄像头和PTZ（Pan-Tilt-Zoom,旋转-俯仰-缩放）摄像头串联使用。例如，图12（b）展示了远距离人脸识别任务中，来自静态摄像头和PTZ摄像头的广角图像和特写镜头44。当个体出现时，静态摄像头会触发PTZ摄像头，PTZ摄像头继而获取高质量的人脸图像。表12、录像中的面部图像

29、。（a）录像中五个连续的画面。（b）静态摄像头和PTZ摄像头所拍摄的全景和特写。有许多方法可以克服录像中姿势和亮度的变化。例如，Volker和Blanz30建议使用一种景色合成技术，使用3D变形模型，从一张2D图像合成一张3D脸部模型。这种方法只需要一张单独的图像，姿势随意，但是这种匹配过程会花费几分钟，并且最初需要手工对齐。Park和Jain4使用动作-结构方法，利用从频率获得的面部标志来推断3D面部形状。3D建模和PTZ摄像头的使用将识别准确率分别提高了40%和98%。3D建模人脸识别实验使用了CMUFaceInAction（FIA）数据库53中的331名被试，PTZ摄像头实验使用了一个私

30、人数据库和MORPH数据库（20名探测图片和10020名档案图片）。E、近红外人脸识别近红外人脸图像的使用，被认为可以克服变化照度的影响4546。和素描识别类似，NIR人脸识别被用于多种多样的人脸识别脚本，此时的影像图库是标准照片。NIR和可见（VIS）光谱所需要的面孔图像如图13所示。图13、近红外面孔图像（第一行）和对应的照片（第二行）。在监控录像中，近红外面孔图像具有获取面孔图像的理想属性。图像来自47。Klare和Jain45提供了一个以特征为基础的框架，可以用来匹配NIR面孔探测图像和清晰的档案图库。无论是NIR还是VIS面孔图像，都用SIFT和LBP描述符来呈现。随机子空间框架和稀疏图画匹配器一起使用。使用公共HFB数据库47,把Klare和Jain建议的方法和商务匹配器联合使用时，FaceVACS21的正确接受率达到94%，错误接受率为1.0%。考虑到将NIR和VIS面孔图像进行匹配时精确度如此之高，监视系统也应该考虑使用NIR镜头，以弥补照度问题。因为人的眼睛对NIR光线不敏感，NIR摄像机系统可以偷偷地监测NIR光线，而不惊动当事人。这种优势允许通过调整光线，来提高特定环境下的人脸识别。F、软生物统计学使用人脸图像可以确定软生物统计信息，这种系统是法医人脸识别领域的另一项有效工具。生物属性的人口统计学信息（例如种族、性别、年龄）依靠低质量的