生物认证技术市公开课获奖课件

1、 自感人脸辨认技术 Automatic face Recognition Technology 电自081 曹宇驰 10080643 电自081 李书天 10080667 电自082 陈骥川 10080666 12月第1页第1页2人脸辨认意义与感性结识人脸辨认现实状况人脸辨认过程人脸辨认办法人脸关键技术人脸辨认系统开发与试验工具第2页第2页3人脸辨认感性结识人脸辨认意义人体生物认证技术人脸辨认系统第3页第3页人脸辨认是一个活跃研究领域，是人类视觉最杰出能力之一。即使人脸辨认准确性要低于虹膜、指纹辨认，但由于它无侵害性和对用户最自然、最直观方式，使人脸辨认成为最容易被接受生物特性辨认方式。第4页

2、第4页人脸辨认是人体生物认证技术一个，首先我们谈谈人体生物认证技术人体生物生物特性包含生理特性和行为特性两大类。 人体生理特性主要包含人脸、指纹、掌纹、掌形、虹膜、视网膜、静脉、DNA、颅骨等，这些特性是与生俱来，是先天形成； 而行为特性包含声纹、署名、步态、耳形、按键节奏、身体气味等，这些特性是由后天生活环境和生活习惯决定。这些生物特性本身固有特点决定了其在生物认证中所起作用是不同。表1对各种生物认证技术作了一个简朴比较。第5页第5页生物特性辨认：人脸 脸部热量图 指纹 手形 手部血管分布 虹膜 视网膜 署名 语音 第6页第6页7基于生物特性身份认证生物特性=生理特性+行为特性生理特性与生俱

3、来，如DNA、脸像、虹膜、指纹等行为特性后天习惯使然，如字迹、步态等第7页第7页8人体生物特性起源于老式身份认证问题基于知识身份认证容易忘掉容易被盗容易袭击基于令牌身份认证容易丢失容易被盗容易伪造知识+令牌第8页第8页第9页第9页10惯用生物特性比较生物特性普遍性独特性稳定性可采集性性能接受程度防欺骗性人脸HighLowMediumHighLowHighLow指纹MediumHighHighMediumHighMediumHigh手形MediumMediumMediumHighMediumMediumMedium虹膜HighHighHighMediumHighLowHigh视网膜HighHig

4、hMediumLowHighLowHigh署名LowLowLowHighLowHighLow声音MediumLowLowMediumLowHighLowA. Jain, L. Hong and S. Pankanti. “Biometrics: Promising Frontiers for Emerging Identification Market”， Communication ACM, 第10页第10页人脸辨认意义Bill Gates: 以人类生物特性进行身份验证生物辨认技术，在此后多年内将成为IT产业最为主要技术革命第11页第11页12生物特性评估普遍性 Universality 唯

5、一性 Uniqueness 恒久性 Permanence 易采集性 Collectability 系统性能 Performance (achievable identification accuracy, resource requirements, robustness) 用户接受程度 User Acceptance防欺骗能力 Resistance to Circumvention第12页第12页13各种生物特性市场份额统计第13页第13页生物认证技术市场收入预测14第14页第14页15人脸辨认应用人脸辨认系统在金融、证券、社保、公安、军队及其它需要安全认证行业和部门有着广泛应用典型应用罪犯

6、调查访问控制人员考勤重用门票驾驶执照电子商务信用卡准考证身份证第15页第15页人脸辨认人脸辨认因辨认方式友好、可隐蔽而备受学术界和工业界关注（但人脸辨认不是万能）第16页第16页17人脸辨认军事应用导弹基地、军火库房等要地门禁或通道控制核能设施等主要军事装备启动控制第17页第17页几种人脸辨认系统简介1.中科奥森人脸辨认系统2.南京理工人脸辨认3.深圳康贝尔人脸辨认系统 第18页第18页1.中科奥森人脸辨认系统第19页第19页本系统采用了当前最先进人脸检测与辨认技术，含有些人脸获取隐蔽，辨认速度快，检测与辨认率高，鲁棒性好、安全性高和实用以便等长处，可广泛应用于家庭安全监控、办公室安全监控、通

7、道监控等诸多方面，推广应用前景领域遍及家庭、办公、军队、政法、银行、物业、海关、互联网等。 第20页第20页第21页第21页第22页第22页1.中科奥森人脸辨认系统（续）国际首创近红外人脸辨认关键技术，包括算法思绪、软件技术、以及光学和电子硬件设计。 国内首创中远距离(不小于5米)人脸辨认关键技术和系统。该系统能够在中远距离快速准确、稳定地跟踪多个人脸，并能在侧脸，后脑勺状态保持跟踪，算法达到国际先进水平。将人脸辨认与智能监控相结合是一项全新技术。 自主产权处理了环境光照对人脸辨认不利影响等国际难题，实现了快速准确可靠、不受环境光照影响人脸辨认技术，能预防照片模型等非法袭击，系统性能达到国际领

8、先水平。该系统已在我国深圳-香港通关口岸成功运营多年。 通过中国信息安全产品测评认证中心身份认证产品与技术测评中心权威测评。 系统产品丰富,能够支持从几种人到万人级辨认,。并采用国际原则接口，能够无缝接入既有安全防备系统。 支持各种数据库系统，可建立高效索引机制实现快速查询。模块化组网方式，集合TCP/IP和RS485总线传播长处，适合各种形式或规模应用。 支持与其它密码/生物特性辨认等技术逻辑组合运算，实现更严格安全管理.。含有自主知识产权关键技术，包括下列功效：近红外/可见光人脸辨认、人脸图像对比和检索、监控状态下中远距离人脸辨认，场景智能监控及报警等。第23页第23页其领军人物李子青李子

9、青, 获湖南大学学士、国防科大硕士、英国Surrey大学博士学位。辞去新加坡南洋大学终身教职，加盟微软亚洲研究院。年作为“百人计划”入选者来到中科院自动化所，现为 中科院自动化所生物辨认与安全技术研究中心主任。第24页第24页在微软研发人脸辨认系统 EyeCU，比尔.盖茨接受CNN采访为之解说。在中科院自动化所研发“AuthenMetric 中科奥森”人脸辨认系统和智能视频监控系统，已包括北京奥运会和边境检查等多个国家重大安所有门实行并发挥作用。第25页第25页北京奥运揭幕式人脸辨认门票查验现场观众人脸身份验证 第26页第26页中科院人脸辨认技术成功用于奥运会揭幕式8月8日，数万名观众由国家体

10、育场鸟巢100多个人脸辨认系统快速身份验证关口有序入场，参与北京奥运会揭幕式。据悉，该验证系统是由中科院自动化所研制。第27页第27页第28页第28页第29页第29页2.南京理工人脸辨认南京理工人脸辨认其领军人物是杨静宇老专家。杨静宇专家于19821984年在国际模式辨认领域权威美国伊利诺斯大学CSL试验室T.S. Huang专家指导下从事模式辨认理论研究。 一生功勋卓越：他先后在国内外学术刊物和国际学术会议上发表论文余篇，出版论（译）著本，指导【博士后】研究人员人，培养【博士】硕士人。第30页第30页第31页第31页他培养57多名博士，如今都已成为各个单位骨干。其中最著名是：杨健博士（32岁

11、当专家），获全国百篇优秀博士论文提名奖，他在模式辨认顶级刊物IEEE TPAMI上发表两篇论文，当前已经分别被国内外学者和专家引用180多次和近60次。刘克专家曾取得了第三届霍英东教育基金会青年教师基金和青年教师奖。洪子泉博士在国际上初次提出了基于代数特性人脸辨认办法。金忠专家发表在Pattern Recognition上关于不相关判别分析论文，曾收到著名Thomson公司贺信，祝贺该论文被引用次数位于同一领域引用次数最高百分之一以内。 第32页第32页，杨专家在相继接受国际著名学术期刊Pattern Recongnition Letters主编、Neurocomputing主编邀请，加盟上述

12、两大国际学术期刊编委会，成为两大国际学术期刊编委(Associate Editor)。上述两大国际学术期刊对遴选编委会组员要求非常高，Pattern Recongnition Letters在中国仅有四位编委，杨健专家是当前中国编委中最年轻一位，其它三位分别来自清华大学、中国科学院和微软亚洲研究院杨老师初次提出2DPCA办法和在判别分析方面研究结果已引起国内外相关领域学者广泛关注。国内模式辨认研究领域权威、西安交通大学校长郑南宁院士最近在国际著名期刊IEEE Intelligent Systems上发表题为“中国图象处理和模式辨认50年回顾”论文中，着重指出了杨专家在基础研究方面四项研究结果，

13、并强调说“2DPCA与2DLDA办法是本世纪初源于中国”。 第33页第33页“911”事件是生物特性认证技术在全球发展一个转折点。“911”以后生物辨认技术主要性被全球各国政府愈加清楚地结识到。老式身份判别技术面临反恐任务时所表现出来缺点，使得各国政府在研究与应用上对生物特性识技术开始了大规模投资。在美国：三个相关法案（爱国者法案、边境签证法案、航空安全法案）都要求必须采用生物辨认技术作为法律实行确保。总体上来说，国外生物认证技术应用已经进入了以政府应用为主阶段。第34页第34页深圳康贝尔人脸辨认系统第35页第35页第36页第36页第37页第37页人脸辨认门禁系统 人脸辨认大型场馆准入系统 第

14、38页第38页人脸辨认在银行金库应用中国人民银行要求所有金库安防监控系统都要有些人脸辨认功效第39页第39页联合国国际民用航空组织(ICAO)已对188个组员国公布了航空领域使用生物特性认证技术规划，提出将在个人护照中加入生物特性(包括指纹辨认、虹膜辨认、面相辨认)，并在进入各个国家边境时进行个人身份确实认。当前，此规划已经在美国、欧盟、澳大利亚、日本、南韩、南非等国家和地域通过，从底就开始实行了。第40页第40页人脸辨认技术在国外研究现实状况 当前诸多国家展开了相关人脸辨认研究，主要有美国，欧洲国家，日本等，著名研究机构有美国MITMedia lab,AI lab,CMU（卡耐基-梅隆大学）

15、Human-Computer Interface Institute，Microsoft Research,英国Department of Engineering in University of Cambridge（剑桥大学）等。综合相关文献，当前办法主要集中在下列几种方面： 第41页第41页综合相关文献，当前办法主要集中在下列几种方面：（1）模板匹配 （2）示例学习（3）神经网络 （4）基于隐马尔可夫模型办法除此以外，基于AdaBoost人脸辨认算法，基于彩色信息办法，基于形状分析办法，以及多模态信息融合办法，国外都进行了大量研究与试验。第42页第42页研究现实状况国际上对人脸及人脸面部表

16、情辨认研究现在逐步成为科研热点。国内外诸多机构都在进行这方面研究,尤其美国、日本。进入90 年代,对人脸表情辨认研究变得非常活跃,吸引了大量研究人员和基金支持,EI 可检索到相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门研究组进行这方面研究。其中MIT、CMU、Maryland 大学、Standford 大学、日本城蹊大学、东京大学、ATR 研究所奉献尤为突出 。国内国内清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有些人员从事人脸及人脸表情辨认研究 第43页第43页人脸辨认技术在国内研究现实状况 国内关

17、于人脸自动辨认研究始于二十世纪80年代，主要研究单位有中科院自动化所计算所， 清华大学，南京理工大学，哈尔滨工业大学，复旦大学，北京科技大学等，并都取得了一定结果。 第44页第44页国内研究工作主要是集中在三大类办法研究：基于几何特性人脸正面自动辨认办法基于代数特性人脸正面自动辨认办法基于连接机制人脸正面自动辨认办法。第45页第45页周激流实现了含有反馈机制人脸正面辨认系统，利用积分投影法提取面部特性要点并用于辨认，取得了比较满意效果。他同时也尝试了“稳定视点”特性提取办法，即为使辨认系统中包括3D信息，他对人脸侧面剪影辨认做了一定研究，并实现了正，侧面互相参考辨认系统。彭辉、张长水等对“特性

18、脸”办法做了进一步发展，提出采用类间散布矩阵作为产生矩阵，进一步减少了产生矩阵维数，在保持辨认率情况下，大大减少了运算量。程永清，庄永明等对同类图像平均灰度图进行SVD分解得到特性脸空间，每一幅图像在特性脸空间上投影作为其代数特性，然后利用层次判别进行分类。张辉，周洪祥，何振亚采用对称主元分析神经网络，用去冗余和权值正交相结合办法对人脸进行特性提取和辨认。该办法所用特性数据量小，特性提取运算量也较小，比较好地实现了大量人脸样本存储和人脸快速辨认。北京科技大学王志良专家主要研究人工心理，建立了以数学公式为基础心理学模型。 第46页第46页人脸辨认过程第47页第47页48人脸辨认过程登记过程辨认过

19、程一对一验证过程一对多区别过程第48页第48页49登记过程第49页第49页50一对一验证过程第50页第50页51一对多区别过程第51页第51页自感人脸辨认系统所谓自感人脸辨认系统，是指不需要人为干预，能够自动获取人脸图像并且区别出其身份系统 一个自感人脸辨认系统至少要包括三个部分，即数据采集子系统、人脸检测子系统和人脸辨认子系统 “人脸辨认”有时是指整个自感人脸辨认系统所做工作，有时是指人脸辨认子系统所做工作数据采集子系统人脸辨认子系统人脸检测子系统自感人脸辨认系统辨认结果：He is !第52页第52页人脸检测与人脸辨认研究内容(1)人脸检测（Face Detection） 人脸检测（Fac

20、e Detection）是指在输入图像中拟定所有些人脸（假如存在）位置、大小、位姿过程。人脸检测是自感人脸辨认系统中一个关键环节。(2)人脸辨认 人脸辨认细分为两类，一类是回答我是谁问题，即辨认（Identification），另一类是回答这个人是我吗？即确认（Verification）。显然，用于Identification模式辨认系统对算法运算速度要求要高于Verification模式辨认系统。第53页第53页从人脸自动识别技术所依据理论来讲，人脸检测与人脸识别都是模式识别问题。人脸检测是把全部人脸作为一个模式，而非人脸作为另一个模式，人脸检测过程就是将人脸模式与非人脸模式区分开来。人脸识

21、别是把每一个人人脸作为一个模式来对待，不同人脸属于不同模式类，人脸识别过程是将属于不同人脸归于各自模式。换句话说，人脸检测强调是人脸之间共性，而人脸识别则要区分不同人脸之间差异，二者同属于模式分类问题。第54页第54页第55页第55页应用人脸辨认第56页第56页第57页第57页人脸检测与人脸辨认评价原则定义1：检测（Detection）指对人脸图像进行检测和定位过程。定义2：拒检（Detection Rejection）指不能正常检测到人脸或人脸不能定位以及人脸检测失败。定义3：拒检率DRR（Detection Rejection Rate）指被拒检人脸图像占统计总数百分比，用百分比表示。定义

22、4：比对（Matching）指以人脸特性与另一人脸特性比较过程。定义5：匹配相同度（Similarity）人脸特性比正确输出结果，代表参与比正确两个人脸特性相同程度。用0到1之间小数表示，该数字愈大表示比正确人脸特性相同程度愈大，该数字愈小表示参与比正确人脸特性相同程度愈小。第58页第58页定义6：错误回绝FR（False Rejection）指定某匹配相同度为鉴定阈值，在来自于同一个个体人脸特性之间比对，其结果（匹配相同度）小于设定阈值。即指授权人不能被正确接受比率。定义7：错误接受FA（FalseAcceptance）指定某匹配相同度为鉴定阈值，在来自于同一个个体人脸特性之间比对，其结果（

23、匹配相同度）不小于设定阈值。即指非授权人错误判断为授权人比率。定义8：错误回绝率（False Rejection Rate）指发生FR比对次数占总统计比对次数百分比，用百分比表示，也叫拒真率。定义9：错误接受率FAR（FalseAcceptance Rate）指发生FA比对次数占总统计比对次数百分比，用百分比表示，也叫错误通过率，或认假率。定义10：相等错误率EER（Equal Error Rate）指在某给定匹配相同度下，FAR与FRR相等时错误率，即FAR=FRR。第59页第59页定义11：登陆时间（Enrollment Time）从一幅人脸图像获取后，进行人脸检测、定位和特性提取所花费时

24、间，此时间是数学统计平均值，用毫秒（ms）表示。定义12：比对时间（Matching Time）比较两张人脸特性所花费时间，此时间包括文献读写时间数学统计平均值，用毫秒（ms）来表示。或者是将一张人脸特性与一定数量人脸特性进行比对所花费时间总和，表示为毫秒/万人。定义13：首选辨认率（First Hit）匹配相同度最大人脸是正确人比率。即将辨认结果按照匹配相同度从大到小排列，排在第一位人脸就是正确被辨认人比率。定义14：累计辨认率（Firs n Hit）正确辨认结果在前N个候选人中比率。即将辨认结果按照匹配相同度从大到小排列，在前N个结果中存在被辨认人比率。第60页第60页本征脸（eigenf

25、ace）办法是人脸辨认基准技术，并已成为事实上工业原则该方法基于主成份分析（PCA）PCA是将分散在一组变量上信息集中到某几个综合指标（主成份）上数学方法，实际上起着数据降维作用，并确保降维过程最大化保留原数据差异这对最大化类间差异（即不同人之间差异）并最小化类内差异（即同一人不同图像间差异）很有效用PCA将2维数据降到1维例子，绿色点表示二维数据，PCA目的就是找到这样一条直线，使得所有点在这条直线上投影点之间平均距离最大。也就是最大化地保留了原数据差别性第61页第61页本征脸办法直接计算C 本征值和本征向量是困难，能够通过对矩阵 做奇异值分解间接求出m值选择：假如将本征向量恢复成图像，这些

26、图像很像人脸，因此称为“本征脸” M. Turk & A. Pentland, JCN91第62页第62页本征特性（eigenfeature）办法利用PCA分析眼、鼻、嘴等局部特性，即本征特性办法 R. Brunelli & T. Poggio, TPAMI93 A. Pentland et al., CVPR94这事实上相称于：为若干主要特性建立本征空间，然后将多个本征空间集成起来第63页第63页本征脸 vs. 本征特性本征脸利用全局特性，本征特性利用局部特性，两者各有优势待辨认图像本征脸辨认结果本征特性辨认结果 A. Pentland et al., CVPR94第64页第64页本征脸 v

27、s. 本征特性(2)(1)(3)(4)难题能否自动拟定：该用哪些特性？（眼睛？鼻子？嘴？）特性确切位置在哪儿？（从哪儿到哪儿算眼睛？）将两者结合，能够得到更加好辨认效果同样，这事实上相称于：为若干主要特性建立本征空间，然后将多个本征空间集成起来由于嘴部受表情影响很严重，因此未考虑嘴部特性第65页第65页试验结果 X. Geng & Z.-H. Zhou, unpub04FERET人脸数据库上结果(3)(2)(1)(4)(2)(1)(3)(4)待辨认图像出现在算法返回前Rank个图像中SEME选择特性本征脸+本征特性所用特性第66页第66页SEME可扩展性SEME训练（计算）开销很大，但只需训练

28、一次 X. Geng & Z.-H. Zhou, unpub04将FERET人脸数据库上选择出本征空间集成直接用于ORL（左）和BioID（右）这两个人脸数据库结果第67页第67页人脸辨认关键问题1.人脸面部形态（面型、眼睛、鼻子）2.人脸辨认中视觉特性 （早期MARR理论框架3个层次计算理论、 算法、实现机制；现多层次）3人脸辨认中光照问题4.人脸辨认中姿态问题第68页第68页关键技术人脸检测图像预处理人脸特性选择人脸辨认第69页第69页学科基础面部运动测量技术图像处理技术人脸检测跟踪技术面部特性提取算法面部特性模式辨认算法第70页第70页面部特性提取算法几何特性提取统计特性提取（主成份、2

29、维主成份、线性判别分析法、独立成份分析法）频率域特性提取（Gabol、离散余弦）运动特性提取代数特性提取第71页第71页面部特性模式辨认算法线性判别分析（Fisher 线性判别）支持向量机SVM贝叶斯网络隐马尔可夫模型及其基本问题人工神经网络模糊模式辨认第72页第72页人脸辨认系统设计与实现人脸辨认系统总体设计人脸辨认系统算法设计人脸辨认系统实现第73页第73页人脸辨认系统开发与试验工具Intel 开源计算机视觉库OpenCV简介Intel 开源计算机视觉库OpenCV第74页第74页OpenCV概述 目录1 什么是OpenCV 2 主要特性 3 谁创建了它 4 新特性 5 从哪里下载 OpenCV 6 假如在安装/运营/使用 OpenCV 中碰到问题 7 OpenCV参考手册 8 中文翻译者 第75页第75页什么是OpenCV OpenCV是Intel开源计算机视觉库。它由一系列 C 函数和少许 C+ 类构成，实现了图像处理和计算机视觉方面诸多通用算法。opencv自带sample里面有诸多辨认例子，有些人脸视频跟踪，尚有画图，也有定位人脸。 第76页第76页总纲：用C/C+编写开源计算机视觉库。 目的是为了实时应用。 独立于操作系统/硬件/图形管理器。 通用图像/视频载入、保留和获取模块。 底层和高层应用开发包。第7