深度学习--人脸识别

1、Deep Learning Identity-Preserving Face Space Related works for feature learning1. Learning-based descriptors2 Deep modelsNetwork ArchitectureXianhao Gan本征脸（eigenface ）方法是人脸识别的基准技术，并已成为事实上的工业标准, 该方法基于主成分分析（PCA）PCA是将分散在一组变量上的信息集中到某几个综合指标（主成分）上的数学方法，实际上起着数据降维的作 用，并保证降维过程最大化保留原数据的差异。这对最大化类间差异（即不同人之间的差异）

2、并最小化类内差异 （即同一人的不同图像间的差异）很有效用PCA将2维数据降到1维的例子，绿色点表示二维 数据，PCA的目标就是找到这样一条直线，使得所 有点在这条直线上的投影点之间的平均距离最大。 也就是最大化地保留了原数据的差异性。本征脸方法如果将本征向量恢复成图像，这些图像很像人脸, 因此称为“本征脸”。本征脸法认为图像的 结构信息对于识别最重要，计算本征值和对应的本征向量作为代数特 征进行识别，具有无需提取眼、嘴、鼻等几何特征的优点，但 在单样本时识別率不们J,且在人脸模式数较大时计算量大。M. Turk & A. Pentland, JCN91本征特征(eigenfeature

3、 )方法利用PCA分析眼、鼻、嘴等特征，即本征特征方法R. Brunelli & T. Poggio, TPAMI93A. Pentland et al., CVPR94这实际上相当于：为若干重要的特征建立本征空间，然后将多个 本征空间集成起来本征脸vs本征特征*卷矗吊诵峑高蒔社:去征承诵i甬扃範特征，二者各有优势A. Pentland et al., CVPR94A. Pentland et al., CVPR94待识别图像本征脸识别结果本征特征识别结果A. Pentland et al., CVPR94本征脸vs本征特征将二者结合，可以得到更好的识别效果同样，这实际上相当于：为若干

4、重要的特征建立本征空间，然 后将多个本征空间集应起来由于嘴部受表情影响 很严重，因此未考虑 嘴部特征难题一一能否自动确定:该用哪些特征？（眼睛？鼻子？嘴？）特征的确切位置在哪儿?（从哪儿到哪儿算眼睛?深度模型(Deep models)受限波尔兹曼机RBM深度信念网络DBN卷积受限波尔兹曼机CRBM混合神经网络受限波尔兹曼机CNN-RBM"深度模型”是手段，“特征学习”是目的!深度学习1 什么是深度学习？2.深度学习的基本思想3.深度学习的常用方法1) 自动编码机(AutoEncoder)2) 稀疏编码(Sparse Coding)3) 受限波尔兹曼机(Restrict Boltzma

5、nn Machine ,RBM)什么是深度学习?2006年，加拿大多伦多大学教授、机器学习领域的 泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在 科学上发表了一篇文章，开启了深度学习在学术界 和工业界的浪潮。深度学习是机器学习研究中的一个新的领域，其动 机在于建立、模拟人脑进行分析学习的神经网络，它模 仿人脑的机制来解释数据，例如图像，声音和文本，它 是无监督学习的一种。深度学习的实质，是通过构建具有器学习模型和海量的训练数据，來学习更有用的特征, 从而最终提升分类或预测的准确性。深度学习的基本思想假设我们有一个系统S,它有n层（S1,Sn）,它的输入是I

6、,输出是O,形象地表示为：I =>S仁S2=> =>Sn => O,如果输出O等于输入I,即输入I经过这个系统变化之后没有任何的信 息损失。输入层隐藏层输出层深度学习的常用方法:1 .自动编码机(AutoEncoder)Deep Learning最简单的一种方法是利用的特点，自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自动编码器就必须捕捉可以代表输入数据的最重要的因素，就像PCA那样，找到可以代表原信 息的主要成分。1）给定无标签数据，用非监督学习学习特征predictiontargetpredictionErrorError稀疏自动编码器(Spa

7、rse AutoEncoder):如果在AutoEncoder的基础上加上L1的Regularity限制(L1主要是约束每一层中的节点中大部分都要为0, 只有少数不为0,这就是Sparse名字的来源)，我们就可以得到Sparse AutoEncoder法。-input： X code： h WTX-loss：厶（X;W） = |"力 X+入工”I稀疏自动编码器(Sparse AutoEncoder)InputPatchFiltersFeaturesSparse Coding2稀疏编码(Sparse Coding)如果我们把输出必须和输入相等的,同时利用线性代数中 的概念，即0二+ &

8、amp;2恤2+ an*(Dn, ©是基，坷是系数，我们可以得到这样一个优化 问题：Min 11-01,其中I表示输入，O表示输岀。通过求解这个最优化式子，我们可以求得系数坷和基 这些系数和基就是输入的另外一种近似表达。因此，它们可以用来表达输入I,这个过程也是自动 学习得到的。如果我们在上述式子上加上L1的Regularity 限制，得到：Min 11-01 + u*(laj + la2l + . + lan I)3受限波尔兹曼机RBM假设有一个二部图(二分图)，每一层的节点之间没有链接，一 层是可视层，即输入数据层(V), 层是隐藏层(h),如果假设所 有的节点都是随机二值变量节

9、点(只能取0或者1值)，同时假设 全概率分布p(v,h)满足Boltzmann分布，我们称这个模型是 Restricted BoltzmannMachine (RBM)。L深度信念网络(Deep Belief Networks )深度信念网络是一个包含多层隐层（隐层数大于2） 的概率模型，每一层从前一层的隐含单元捕获高度相关 的关联。DBNs是一个概率生成模型，与传统的判别模型 的神经网络相对，生成模型是建立一个观察数据和 标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做亍评估。典型的DNBs，可视数据v和隐含向量h的关系可 以用概

10、率表示成如下所示形式：DBN structure3RBM2h1Visible layervHidden layersDirected belief netsHinton et al., 2006P(v, h叭,H)二 P( V I H )P(H I h2).j(hl 山2)p(hZ , h，)卷积波尔兹曼机(Convolutional RBM)InputC1S2 C3 S4 CRBM是为识别二维图像信息而特殊设计的一个多层感知器。概念示范：输入图像通过与m个可 训练的滤波器和对加偏置进行卷积, 在C1层产生m个特征映射图，然后 特征映射图中每组的n个像素再进 行求和，加权值，加偏置，通过一 个

11、Sigmoid函数得到ni个S2层的特征 映射图。这些映射图再进过滤波得 到C3层。这个层级结构再和S2样 产生S4。最终，这些像素值被光栅 化，并连接成一个向量输入到传统 的神经网络，得到输出。卷积波尔兹曼机(Convolutional RBM)卷积波尔兹曼机(Convolutional RBM)a权值共享Fullyconnected neural netLocally connected neural net Spatial CQrrelation local Setter to pvt resources elsewhere1Example： 1000x1000 imoeIM hidde

12、nunitf 10MU pormtersHiExample 1000x1000 imae IM hiakfefl units Filter size： 10x10 100M panafneters减少参数的方法：/每个神经元无需对全局图像做感受，只需感受局部区域(Feature Map),在高层会将这些感受不同局部的神经元综合起來获得全局信息。 /每个神经元参数设为相同，即权值共享，也即每个神经元用同一个卷 积核去卷积图像。多滤波器情形Learn multipJe filtersEg： 1000x1000100 FiltersFilter Size： 10x1010K parometers口每

13、层隐层神经元的个数按 滤波器种类的数量翻倍口每层隐层参数个数仅与滤 波器大小、滤波器种类的多 少有关例如：隐含层的每个神经元都连接 10x10像素图像区域，同时有100种 卷积核(滤波器)。则参数总个数 8 为：(10x10+1) xl00=10100个不同的颜色表示不同种类的滤波器卷积波尔兹曼机(Convolutional RBM)隐层神经元数量的确定OExompie： 1000x1000 image LM hidden units Filter srze： 10x10 100M parametersSTATTONAftlTy? Statistics is Simikxr at differ

14、ent locationsRanz神经元数量与输入图像大 小、滤波器大小和滤波器的 滑动步长有关。例如，输入图像是1000x1000像素，滤 波器大小是10x10,假设滤波器间没有 里叠，即步长为10,这样隐层的神经 元个数就是(1000x1000 )/ (10x10)=10000个口卷积过程:用一个可训练的滤波器fx去卷积一个输入的 图像(第一阶段是输入的图像，后面的阶段就是FeatureMapT),然后加一个偏置bx,得到卷积层Cx。口子釆样过程:每邻域n个像素通过)Q步骤 变为一个像素，然后通过标量Wx+i加权，再增加偏Sbx+1, 然后通过一个sigmoid激活函数，产生一个大概缩小n

15、倍的 特征映射图5+1。Fl P特征脸法FIP (Face Identity-Preserving)特征学习 采用的是一种多层深度模型，不像DNB与DBM 只利用全局特征，它结合了的特征，网络架构类似于(卷积波尔兹曼机)，但FIP是一种 的特征学习方式，并且FIP要求 能重建恢复正面的人脸，因此这种方法对姿态和 光照变量具有更好的鲁棒性。(a) LBP： Local Binary Pattern(局部二值模式)(b) LE:an unsupervised feature learning method,PCA(c) CRBM:卷积受限波尔兹曼机FIP:Face IdentityPreservi

16、ngFIP深度模型网络架构(Architecture of the deep network)Reconstruction LayerFeature Extraction LayersHPn0=%X96w V15X5Loully Connoted and Pooling05X5 LocallyX Connected andPooling ,AT*av?|KWWW-224X24X3224n2=24X 24X32H“96X 96coftnectal5X 5Lcxal»vConnected映射图32£=1,它是通过一个包含32个子矩阵的权第一个特征提取层中，Xo经过Xi层后产生32个特征 重矩阵Wi滤波后，对Xo的某个局部特征的稀疏保留。IF1 =附明;；昭2W? e Rno43X# =扛0)? = V2