测试技术培训人脸检测与识别技术

会计学1测试技术培训人脸检测与识别技术2目录人脸检测与识别技术介绍人脸检测与识别技术原理银晨公司人脸检测与识别技术算法人脸检测与识别技术在数字监控系统应用海康威视人脸检测产品介绍人脸检测系统验收标准应用黑盒测试用例建立方法建立产品人脸检测模块的测试用例第1页/共41页3人脸检测与识别技术人脸检测与识别技术包括三个阶段人脸的检测facedetection图像中是否存在人脸？人脸的定位facelocalization，人脸的特征提取facialfeatureextraction若有人脸，将其分割出来并定位其特征人脸的识别facerecognition图像中的人脸是谁的？是Mary吗？第2页/共41页4人脸检测与识别的一般原理原理图输入图像人脸检测面部特征点定位人脸建模分类判别身份信息关键是特征提取和人脸建模，也就是采用什么样的特征描述人脸的问题。而且对于基于光学图像的人脸识别而言，这些特征必须是可以从图像中获得的。第3页/共41页5人脸检测技术定义：人脸检测—判断一幅图像中是否存在人脸，如果存在的话，给出图像中所有人脸的大小和位置。第4页/共41页6银晨人脸检测技术算法基于横纹灰度重心模板匹配的人脸检测算法横纹-水平条状区域，灰度低于周围区域。重心-横纹的重心。模板-人脸面部器官构成的横纹的分布模式。--基于Adaboost的人脸检测算法第5页/共41页7银晨人脸检测技术算法灰度投影：横纹-水平条状区域，灰度低于周围区域。第6页/共41页8银晨人脸检测技术算法人脸重心模板匹配灰度特征检查第7页/共41页9银晨人脸检测技术算法算法的优点：多尺度的检测功能对深度旋转不太敏感可以同时检测多个人脸第8页/共41页10银晨人脸识别技术人脸识别包括：创建模板和匹配模板两个阶段。在对图像进行人脸检测和定眼位后，即可获得建模所需的标准人脸图像。在P42.8GCPU的机器上，整个建模过程需要90ms。人脸模板分单人脸单模板，单人脸多模板和多人脸单模板三种。模板长度从200字节到10000字节。第9页/共41页11银晨人脸识别技术算法原理面部器官特征点定位—根据一幅图像中已知人脸的大小和位置，定位面部器官特征点的位置。第10页/共41页12面部器官定位为什么要定位特征点？进行识别前，归一化人脸图像。为什么要首先定位眼睛的位置？在人脸图像中，眼睛部位的灰度分布有着较为明显和稳定的特征。相对于人脸的其他器官，眼睛的位置比较容易确定基于区域增长搜索的人眼定位算法优点：对人脸平面内旋转、左右深度旋转不敏感。受光照条件变化影响小速度快第11页/共41页13每页标题确定眼眉区域求取眼睛中心坐标

第12页/共41页14银晨人脸识别技术算法原理人脸特征提取—从人脸图像中，从识别的角度，提取反映这张人脸属性的数字特征。第13页/共41页15银晨人脸识别技术算法原理建立面纹编码第14页/共41页16银晨人脸识别技术算法原理特征比对—比较两个人脸的数字特征，给出相似度度量。例如：欧氏距离欧氏距离：（∑（Xi-Yi）2）1/2，即两项间的差是每个变量值差的平方和再平方根，目的是计算其间的整体距离即不相似性。

马氏距离第15页/共41页17银晨人脸识别技术算法原理面纹编码特征化第16页/共41页18银晨人脸识别技术算法原理对比第17页/共41页19银晨人脸识别技术算法原理识别第18页/共41页20银晨人脸识别技术算法原理银晨一个典型的自动人脸识别系统包含人脸的图像人脸检测面部器官定位人脸特征提取特征比对识别结果人脸检测结果面部器官定位结果人脸特征串人脸库第19页/共41页21在监控系统中的应用第20页/共41页22在监控系统中的应用金融电力智能小区党政机关机场、车站、码头等重要口岸其它公共场所…第21页/共41页23海康威势人脸检测产品由海康威视与银晨合作推出基于海康威数字视频监控产品平台基于银晨的人脸检测算法第22页/共41页24海康威势人脸检测产品人脸检测≠人脸识别人脸检测(Detection)图像中是否存在人脸？位置？个数？人脸识别(Identification)图像中的人脸是谁的？目前的产品只提供人脸检测功能第23页/共41页25海康威势人脸检测产品硬件：通过在海康威视现有产品平台上扩展实现先期在4004HC+上实现后续产品可以和海康威视目前HC、HC+、HCS、HF、MD混用软件：所有功能和API与原有SDK完全兼容新增人脸检测和原有功能可以独立使用第24页/共41页26海康威势人脸检测产品检测：基于单帧图像，分辨率：CIF检测结果：2CIF人脸个数人脸信息(位置、大小)返回原始图像返回图像：原始采集图像，无损，未经过处理完整图像，非人脸局部图像图像格式原始图像：高质量，适合图像处理YUV4:2:0JPEG压缩：硬压缩、低数据量、直接存储有损压缩占用一定的硬件资源第25页/共41页27海康威势人脸检测产品APISetFaceDetection第26页/共41页28海康威势人脸检测产品SetFaceDetectionHANDLE

hChannelHandle通道BOOL

bEnable启/停UINT

nFrameInterval检测的帧间隔FACE_DETECTION_CALLBACK

pFunc回调函数BOOL

bCompress返回图像是否压缩UINT

nCompressQuality压缩图像的质量第27页/共41页29海康威势人脸检测产品得到检测结果,回调函数说明FACE_DETECTION_CALLBACKUINT

nChannel通道号UINT

nFaceCount人脸个数FACE_INFO*pFaceInfo

人脸详细信息char*pData原始图像UINT

nDataSize图像数据大小UINT

nImageWidth图像宽度UINT

nImageHeight图像高度typedefstruct{ short x; 在图像中人脸起始横坐标值

short y; 在图像中人脸起始纵坐标值

short width; 人脸的宽度

short height; 人脸的高度}FACE_INFO;第28页/共41页30

Video人脸检测nImageWidthnImageHeightnFrameIntervalxYwidthheightbCompress=

0bCompress=

1pData(YUV4:2:0)nDataSize=nImageWidth×nImageHeight×1.5YnImageWidth×nImageHeightUnImageWidth/2×nImageHeight/2VnImageWidth/2×nImageHeight/2nDataSize=文件长度存储pData(JPEG)第29页/共41页31海康威势人脸检测产品：DEMO第30页/共41页32海康威势人脸检测产品性能指标检测速度：≈40ms/帧与图像复杂性、人脸个数关系不大

1路人脸检测≈2路4CIF录像≈8路CIF录像图像压缩速度：高质量（90）：≈8ms中质量（50）：≈5ms低质量（10）：≈3ms检测帧率决定系统性能针对一般办公场景第31页/共41页33海康威势人脸检测产品应用限制现有摄像机的画面多是针对较大场景监控，而要识别人脸，则对光照、人脸尺寸、清晰度、姿态角度有一定要求。尺寸范围：最小人脸24×24象素姿态：左右偏转<45°上下俯仰<15°平面旋转<10°漏检率<3%，误检率<5%（一定条件下）第32页/共41页34海康威势人脸检测产品后续改进嵌入式产品人脸识别性能优化功能完善多区域检测重复人脸过滤面部器官位置、特征图像突出显示自定义图像检测解码检测第33页/共41页35人脸检测系统验收标准一、建议摄像机(JVC)或三星一体机镜头

焦距

采集有效距离

视觉范围

标准C/CS接口

5-50mm

3米~6米

0.70~1.2米

视频信号：1Vp-p,图像色信号、同步信号幅度符合标准

第34页/共41页36人脸检测系统验收标准二、工程要求1、摄像头安装高度为1.7米至2.5米之间，针对人脸俯仰角不超过30度，摄像头正面对人。2、环境光照要求光照度大于200

勒克斯（lux），小于800

勒克斯（lux），另外左右脸和上下脸光照度差小于50勒克斯（lux）；3、对于采集的面像尺寸大小，保证左右眼距离至少30像素，即人脸大小至少60*60像素；4、被拍摄人是正面照，而且为平视（在±10度范围之内），平面倾斜角不超过±15度，深度旋转角±15度；5、如果要识别，人在视频中停留时间不少于10秒，而且为