卷积神经网络详述

1、卷积神经网络摘要：卷枳神经网络是近年來广泛应用丁模式识别、图像处理等领域的一种高效识别克法，它JI冇结构简 单、训练参数少和适应性强等特点。本文从卷积神经网络的发展历史开始，详细闸述了卷枳神经网络的网 络结构、神经元模型和训练算法。在此基础上以卷枳神经网络任人脸检测和形状识别方面的应用为例，简 m介绍了卷枳神经网络在工程上的应用，并给出了设讣思路和网络结构。关键字：模空：结构：训练算法：人脸检测：形状识别o引言卷枳神经网络是人匚神经网络的一种己成为当洲语音分析和图像识别领域的研究热点， 它的权值共享网络结构使z更类似生物神经网络，降低了网络模型的复杂度，减少了权值 的数昴。该优点在网络的输入是

2、多维图像时表现的更为明显，使图像可以直接作为网络的输 入，避免了传统识别算法中复杂的特征提取和数据逍建过程。卷枳网络是为识别二维形状而 特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具 有高度不变件。1卷积神经网络的发展历史1962年Hjbel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field) 的概念，1984年I本学者Fukushima卑感受野概念提出的神经认知机(neocoginh-on)uj以 看作是卷积神经网络的第-个实现网络，也足感受野概念在人工神经网络领域的苜次应用。 神经认知机将一个视觉模式分解成许多子模式(特

3、征)，然后进入分层递阶式相连的特征平面 进行处理，它试图将视觉系统模熨化，使其能够在即使物体有位移或轻微变形的时候，也能 完成识别。神经认知机能够利用位移恒定能力从激励模式中？习，并且可识别这些模式的变 化形，在K后的应用研究中，Fukushima将神经认知机丄耍用于手写数字的识别。随后，国 内外的研究人员提出多种卷积神经网络形式，在邮政编码识别和人脸识别方而衍到了大规模 的应用。通常神经认知机包含两类神经元，即承担特征抽取的S-尤和抗变形的C-7iio S-JL'I1涉 及两个巫耍参数，即感受野与阈值参数，前者确定输入连接的数II，后者则控制对特征了模 式的反应程度。许多学若一直致力

4、J：提高神经认知机的性能的研究:在传统的神经认知机中， 每个S元的感光区中由C元带來的视觉模糊fit呈正态分布。如果感光区的边缘所产生的模 糊效果耍比中央來得人，S-兀将会接受这种卑正态模糊所导致的更人的变形容忍性。我们希 望得到的是，训练模式与变形刺激模式在感受野的边缘与氏中心所产生的效果之间的羞并变 得越來越大。为了有效地形成这种非正态模糊，Fukushima提出了带双C尤层的改进吃神经 认知机。Trotm等人提出了动态构造神经认知机并口动降低闭值的方法叮，初始态的神经认知机 各层的神经元数I丨役为零，然后会対J：给尢的陶用找到合适的网络规模。在构造网络过程中， 利用一个反馈信号來预测降低

5、阈值的效杲，再咸这种预测來调节阈值。他们指出这种自动 阈值调节后的识别率与手匸设置阈值的识别率相若，然而，上述反馈信号的只体机制并未给 出，并且在他们后來的研究中承认这种自动阈值调节是很因难的。Hildebrandt将神经认知机看作是一种线性相关分类器，也通过修改阈值以使神经认知机 成为最优的分类器.Lovell W用Hildebrandt的训练方法却没冇成功。对此，Hildebrandt解 释的是，该方法只能应用输出层，而不能W用J网终的每一层。事实上，Hildebrandt没自 考点信息在网络传播中会逐层丢失。Van Ooyen和Niehuis为提高神经认知机的区别能力引入了一个新的参数。

6、事实上，该 参数作为一种抑制信号，抑制了神经尤村匝复激励特征的激励。多数神纟仝网络在权ffl中记忆 训练信息。根据Hebb学习规则,某种特征训练的次数越多,在以后的识别过程中就越容易 被检测。也有学者将进化计算理论与神经认知机结合（巴通过减谢对迪复性激励特征的训 练学习，而使得网络注意那些不同的特征以助提高区分能力。上述都是神经认知机的发展 过程，而卷积神经网络可看作是神经认知机的推广形式，神经认知机是卷积神经网络的一种 特例。卷枳神经网络本身可采用不同的神经元和学习规则的组介形式。其中一种方法是來用 MF神经元和KP学习规则的组合，常用于邮政编码识别中还有一种是先归化卷积神经 网络，然厉神经

7、尤计算出用输入信号将权值和归一化处理后的值，再单独训练每个隐层得到 权值，最麻获胜的神经元输出活性，这个方法在处理二值数字图像时比较可行，但没有在大 数据邓小得到验证。第三种方法综介前两种方法的优势，即釆用McCulloch-Pitts神经兀代 替复杂的基丁神经认知机的神经元。在该方法中，网终的隐层和神经认知机-样，是-层一 层训练的，但是冋避了耗时的谋羞反向传播算法。这冲神经网络被称为改进的神经认知机。 随厉神经认知机和改进的神经认知机作为卷积神经网络的例子，广泛用各种识别任务中， 比如人数据库的人脸识别和数字识别。卜面详细介绍卷枳神经网络的原理、网络结构及训练 算法.2卷积神经网络2网络结

8、构卷枳神经网络是一个多层的神经网络，每层由多个二维平面组成，I佃每个平面由多个独 立神经元组成。网络中包含一些简单元和复杂元，分别记为S尤和C元。S元聚介在一起 组成s而，s面聚合在一起组成s层，用u表示.C元、C面和C层（U,）之间存在类似的 关系。网络的任一中间级由S层与C-层串接而成，而输入级只含一层，它直接接受二维视 觉模式，样本特征提取步骤己嵌入到卷积神经网络模型的互联结构中。一般地，U,为特征 提取层，每个神经元的输入与前层的局部感受野相连，并提取该局部的特征，"1该局部 特征被提取厉，它与比他特征间的位置关系也随之确定下來：Uc是特征映射层，网络的每 个计算层由多个特征

9、映射组成，每个特征映射为一个平面，平面上所有神经尤的权值相等。 特征映射结构采用影响西数孩小的sigmoid函数作为卷枳网络的激活函数，使得特征映射几 冇位移不变性。此外，111 J'-个映射而上的神经元共亨权值，因而减少了网络门由参数的个 数，降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层（S层）都紧跟着一 个用來求局部平均与二次提取的il PG（C-层），这种特右的两次特征提取结构使网络在识别 时对输入样本有较高的畸变容忍能力1101.网络中神经元的输出连接值符合“最大值检出假说”吧 即在某小区域内存在的个 神经元集介中，只有输岀最大的神经元才强化输出连接值。所以若神

10、经尤近旁存在冇输出比 其更强的神经元时，其输出连接值将不彼强化。根据二述假说，就限定了只有一个神经元会 发生强化。卷枳神经网络的种元就是某S-面上垠人输出的S-元，它不仅可以使其口身强化， 而且还控制了邻近元的强化结果.因而，所冇的s兀渐渐提取了儿乎所冇位置上相同的特 征。在卷积神经网络早期研究中占主导的无监怦学习中，训练一种模式时需花费相当长的时 间去自动搜索一层上所有尤中只有最大输出的种尤，帀现在的有监督学习方式屮，训练模式 同它们的种元皆由教师设定。图1是文献12中卷积神经网络的腆熨结构图。将原始图像直接输入到输入层（Uci）,原 始图像的大小决定了输入向杲的尺寸，神经元提取图像的局部特

11、征，因此每个神经尤都与前 一层的局部感受野相连。文中便用了 4层网络结构,羸层由S层和C层组成.每层均包含 多个平面，输入层直接映射到口2层包含的多个平面上。每层中各平而的神经元提取图像中 特定区域的局部特征，如边缘特征，方向特征等，在训练时不断修正S层神经元的权值。 冋一平面上的神经元权伉相同，这样町以有相冋程度的位移、旋转不变性。S层中每个神经 元局部输入窗口的大小均为5x5,由于同一个平面上的神经元共享一个权值向量,所以从一个平mi到卜一个平面的映射町以看作是作卷积运算，s-层可看作是模糊滤波器，起到二次特 征捉取的作用。隐层与隐层z间空间分辨率递减，而毎层所含的平面数递増，这样可用检

12、测更多的特征信息。IC： 24x24. I 个平面4个住H核,3«3个金 ilifi16个卷职5«5*43C： 6*6. 16个平曲4i 10个絵 山神经元2G 12>12. 4平2S«24-24. 4个平血4个卷枳M： 5*516个卷枳孩:3-3图1卷积神经网络结构图Fig1 The structure of convolutional neural network2. 2神经元模型在卷积神经网络中，只冇S尤间的输入连接是可变的，而其他元的输入连接是固定的。 用U订(ki» n)表示第1级，第ki个S-面上，一个S-元的输出，用U<i(ki

13、» n)表示在该级第 4个C-面上一个C-元的输出。其中,n是一个二维坐标，代表输入层中神经元的感受野所 在位置，在第-级，感受野的面积较小，随后随着1的增大而增加。r 31I 1 + X X «i(v,k1_1,k)ucl_1(k1_1,n +v) |u . (k, n ) = r. (k I "" 1 I“卫ILM+i式(2.1)中ai(v, k”,，k)和bt(k)分别表示兴奋性输入和抑制性输入的连接系数:rx(k) 控制特征提取的选择性，毘值越大，对噪音和特征畸变的容错性越差，它是一常杲，它控制 看位每一 S-层处的单个抑制子平面中每个神经元的输

14、入：r：(k)的值越人，与抑制性成比 例的兴奋性就得越人，以便能产生-个菲零输出，换句话说就是相当好的匹配才 能激活神 统兀，然而因为n(k)还需乘以(p (),所以“伉越大就能产生越大的输出，相反，小的n(k) 许不太匹配的神经元兴奋,但它只能产生一个比较小的输出'(P G)为非线性函数.v 是个矢量,表示处J n感受野中的前层神经元n的用对位置,為确定S神经元要提取特征 的大小代表n的感受野。所以式中对v的求和也就包含了指定区域当中所有的神经元:外 而对勺k“的求和，也就包含了前一级的所有子平而，因此在分子中的求和项有时也被称 作兴奋项，实际匕为乘枳的和，输入到n的神经元的输出都乘

15、匕它们相应的权值然后再输出 到6。(2. 2)f x, x > 0 0(X)= <0, x v 0式(2. 2)衷示的是指定某级(笫1级)、某层(S-层)、某面(第4个S-面)、某元(向彊为 D处)的一个输出。对丁一个S-尤的作用函数可分为两部分，即兴奋性作用函数和抑制性作 用函数。兴奋性作用使得膜电位上升，而抑制性作用起分流作用。兴奋性作用为：(2 3)E 2 a1(v,k1_1,k)iicl_1(k1_1,n + v) ki-i ve 州S尤与K前一级C层的所冇C面均冇连接，所连接的C元个数由该S级的参数感受野 Ai唯一确定。网络中另一个重要的神经元是假设存在的抑制性神经元V-

16、元U“ (n),它位于S-面上 満足以卜三个条件:环元的抑制作用彩响整个网络的运作；C-尤与V-尤间存在看固泄的连 接：V元的输出爭先设为篡个C-元输出的平均值。可以用它來衣示网络的抑制性作用，发 送一个抑制信号给(k“ n)神经元，从与 (U n)类似的尤接收它的输入连接值， 并输出：2 ¥%(“)二 S 工 Ci(v)iic_(ki，n + v)(2,4)< ki-i ve Ax>权qv)是位丁 V尤感受野中的v处的神经元相连的权值，不而耍训练这些 ffb但它们应随看|v |的增加血单调减小。内此.选择式2 5的归一化权値。C!(2 5)式2 5中的归一化常磧C由式2

17、.6给出，具中：r(v)是从v处到感受野中心的归一化距离:Kl-1c() = 2 s alKl-1 ve AjC神经元的输出山式27给曲r(v)(26)ud (kn)= K«I 1 + S Ji(ki，k_) Y d(v)UR (k,n + v)K.-i-lveD,|l"(n)L(2.7)上式中屮(X)为,x > 0 以 x)=?0 + x10,x < 0(2.8)式中0为一常ki是第1级中的S子平面的数量.D)是C元的感受野。因此,它和特征的大小相对应。di(v) 上同二；'：加丄忆7刎乂 它是I v | |汕山勺迎阪M以Amk/v引泮儿TiJJ、心氐

18、： 子平而处收到信号，那么ji(ki,ku)的值为，1否则为0。最后，S层的V,神经元的输出为 Kl-1= Z Z cU(v)u$1(kj5n + v) K1 KHV.(29)图2为卷积神经网络中不同神经元之间的连接关系图，从图中可以很清楚地看出各种不同神 经九之间的连接关系。4兴奋的抑制的可受usl - 5"討! V-元A兴命的固定"占；C元图2卷积神经网络中不同神经元间的连接Fig? The connections convolutional neural n& work amon g differ ent neurons13卷积网络的训练过程神经网络用r模式识

19、别的主流是有指导学习网络，无指导学习网络更多的是用聚类分 析。对j韦指导的模式讲别，由任一样本的类别是已知的，样本在空间的分布不再是依据 其口然分布倾向來划分，而是耍根据同类样本在空间的分布及不同类样本z间的分离程度找 一种适为的空间划分方法，或者找到一个分类边界，使得不同类样本分别位不同的区域内。 这就需耍一个长时间比复杂的学习过程，不断调榕用以划分样本空间的分类边界的位置，使 尽可能少的样本被划分到非同类区域中。由本文主要是检测图像屮的人脸，所以可将样本 空间分成两类：样本空间和II样本空间，因而木文所使用的学习网络也是仃指&的学习网络。 卷积网络在本质上是一种输入到输出的映射，它

20、能够学习大帚的输入与输出之间的映射关 系，血不需耍任何输入和输出之间的秸确的数学表达式，只耍用已知的模式対卷枳网络加以 训练，网络就具有输入输出对之间的映射能力卷积网络执行的是有导师训练,所以其样本集是由形如:(输入向量，理想输出向量的向最对构成的。所有这些向量对,都应该是来 源网络即将模拟的系统的实际“运彳f”结果。它们可以是从实际运行系统屮采集來的。在 开始训练前，所冇的权都应该用一些不同的小随机数进行初始化。“小随机数”用來保证网 络不会内权值过大而进入饱和状态，从而导致训练失败；“不同”用來保证网络可以正常地 学习。实际上，如果用相同的数去初始化权矩阵，则网络无能力学习。训练算法主耍包

21、括4步，这4步被分为两个阶段：第一阶段，向前传播阶段： 从样本集中取一个样本(X,Y，将X输入网络： 计算相应的实际输出Opo在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是由式(27)计算：0p=Fn (F?(Fi (XpWd>) W<2)W<n,)第二阶段，向后传播阶段 计兌实际输川Op与相应的理想输出Yp的芥： 按极小化谋差的方法调松权矩阵。这两个阶段的作一般应受到精度耍求的控制，在这里，用式(28)计算Ep。作为网络关J笫p个样本的误差测度。而将网络关整个样本集的谋差测度定义为： E=EEp

22、o如前所述，Z所以将此阶段称为向后传播阶段，是对应J输入倍号的正常传播而言的。 因为在开始调榕神经元的连接权时，只能求出输出层的误差，而直他层的误差耍通过此误差 反向逐层后推才能得到。有时候也称Z为误差传播阶段。为J'更淸楚地说明本文所使用的卷 积神经网络的训练过程,首先假设输入层、中间层和输出层的单元数分别是N、L和M。 X=(xO,xl,xN)是加到网络的输入欠彊,H=(hO,hl,hL)是中间层输出矢届,Y=(yO,yl,yM) 是网络的实际输出欠鼠，并且用D=(dO,dl,dM)來表示训练组中并模式的II标输出欠鼠输,11到隐单兀J的权值是V”，而隐单九J到输出单元k的权值是w

23、Jko另外用e k和0 J 來分别表示输出单元和隐含单元的阈值。于是,中间层各单元的输出为式(2 9)：(2.9)(2 10)H-1h厂f(£V严+勺)而输出层务单元的输出是式(210)：L-1y> = fS w«hj + e、F(x)其中f0)是激励函数采用S型函数式(211)：(111)在上述条件下，网络的训练过程如下：1) 选定训练组。从样本集中分别随机地选収300个样本作为训练组。2) 将各权值V” w%和阈值<pje k fa成小的接近j： o的随机值，并初始化梢度控制参数£和学习率a o3）从训练组中取一个输入模式X加到网络，并给定它的目标

24、输出欠量D。4）利用式（29）计算出一个中间层输出矢量H再用式（210）计算出网络的实际输出 矢Y.5）将输出欠最中的元索yk与H标欠磺中的元索血进行比较，计算出M个输出误差项 式（2.12）：(2 12)6匕 （dk - yk）yk （1 - yk）对中间层的隐单元也计算出L个i昊差项式（213）：(2 13)6）依次计算出各权值的调整駁式（2 14）和式（2.15）：収牡仍（a«】+ L）（血牡1）+l）d、*AV_(n) « (a<l+N) (AVn - 1) + 1) h.和阈值的调整量式(2 16)和(2 17)：A/n) = (a /(1+ L)(Aq(n

25、- 1)+ 1)拿 <5、A外(n) (a<l+L)(A(n+ 巧7) 调整权值式(218)和式(2 19)：(n + 1) =(n)+ ZkV(n)(n +1)八；(!)+'； (n)调整阈值式(2 20)和(221)：8、(n + 1) - 8、(n) + &、(n) 外(n + 1) = 0j(n)+ Qj(n)(114)(2 15)(2.16)(2 17)(2.18)(2.19)(2 20)(2.21)8）当k毎经历1至M后，判断指标是否满足粘度耍求：EW£ ,其中E是1 2总课差换数，FLe = -2 （d、- y、）。如果不满足，就返冋（3）,

26、继续迭代。如杲满足就进入下一步。9）训练结束，将权值和阈值保存在文件中。这时可以认为各个权值已经达稳定，分类器形成。再一次进行训练时，直接从文件导出权值和阈值进行训练，不需要进行初始化。24卷积神经网络的优点卷积神经网络cnn主耍用來识别位移、缩放及；t他形式扭曲不变性的一维图形。rti r CNN的特征检测层通过训练数据进行学习,所以在使用CNN时,避免了显示的特征抽取，而 隐式地从训练数据中进彳J：学习：再音由同一特征映射而上的神经尤权值相同，所以网络可 以并彳J：学习，这也是卷积网络相对神经尤彼此相连网络的一人优势。卷枳神经网络以其局 部权值共享的构在语音识别和图像处理方面有着独特的优越

27、性，其布局更搖J 的生物神经网络，权值共亨降低了网络的复杂性.特别是多维输入向员的图像可以ri接输入 网络这一特点避免了特征提取和分类过程中数据巫建的复杂度。流的分类方式儿乎都是农j统计特征的，这就意味着在述行分辨前必须捉収某些特征。 然你 显式的特征提取并不容易，在一些w用问题中也并非总是可靠的。卷枳神经网络，它 避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络明显冇别丁其 他基神经网络的分类器，通过结构晅组和减少权值将特征提取功能融合进多层感知瓠 它 可以直接处理灰度图片，能够直接用丁处理基于图像的分类。卷积网络较一般神经网络在图像处理方面有如卜优点：a）输入图像和网络

28、的拓扑结构 能很好的吻介；b）特征提取和模式分类同时进彳J：,并同时在训练中产生：C）权巫共享可以 减少网络的训练参数，使神经网络结构变得更简单，适应性更强.3卷积神经网络的应用3.1基丁卷积网络的形状识别物体的形状是人的视觉系统分析和识别物体的某础，儿何形状是物体的本质特征的表 现，并貝仔平移、缩放和旋转不变等特点，所以在模式识别领域，对J：形状的分析和识别貝 有十分重要的意义，而二维图像作为三维图像的特例以及分，因此二维图像的识别是 三维图像识别的咸础。物体形状的识别方法可以归纳为如下两类，氏中，第一类是展物体 边界形状的识别，这种边界的特征主耍有周长、角、弯曲度、宽度、高度、直径等，第二

29、类 是卑物体所覆孟区域的形状识别，这种区域的特征上耍何面积、侧度、矩特征等，上述两 类方法都适用J物体形状的结构或区域的识别。卷积神经网络也足-种城物体边界形状的 识别.它既可以识别封闭形状同时对不対闭形状也冇校高的识别率。图3试验用卷枳神经网络旳结构图Fig3 The structure of convolutional neural network图3是所用的网络结构.U。是输入层.Ue是识别层。Us为特征提取层.的输入是 光感受器的像素位图，该层只是提取一些相对简单的像素特征，随厉儿层的S元提収一些 更为复杂的像索特征.随着层数的增加，提取的待征也相应递増：Uc是特征映射提取高阶特征.提

30、取这些窩阶特征时不盅耍提取像简单特征那样的将确位克信息。 网络屮S-元的闭值是预先设定值，训练时权值的更新皋J-Fukushima提出的增强釵学习规则，如式(2 10)所示，网络的训练方式采用的是无监粋7习方式。 图4与图5是部分实验样本图亍 I图4祁分训练样不图Fig4 Part of the training sanple plans图5部分测试样本图Fig 5 Fart of the test sample plans样本分为三角形四边形.八边形圆形四类.每类10个共80个样本实验训练时釆 用40个样本，测试时采用卿余的40个样本.瑕终的识别结果如表2所示。表1训练后网络参数Tablei

31、 Network parameters after train ng级数S-层包含的S面数S 元数第一级1632第二级19290第三级15272第四级789表2识别结來Table3. 2 Recognition results待识别形状识别结果三角形10个全对四边形10个全对八边形10个全对圆形对9个，另一个错识成四边形识别错误样本如图6所示:图6测试出错样本Fig 6 The sample error m test识别错误的原因是由r训练所用样本模式较少，不能覆盖所有的恻形模式，以至该测 试模式输入网络时，与z相近的四边形模式获胜，最终得到错误的输出结果。这里釆用卷枳 神经网络进彳形状识别1

32、1的主要是为了脸证卷积神经网络的模式识别能力，所以虽然釆用的 样本图片较少，但已经能够说明卷积网。络在形状识别时冇较高的识别率和抗畸变性，而识 别前的车牌字符由前期处理（定位、分割）能力的局限性，具有一定的噪声和变形，冈此可 以将卷积神经网络应用丁车牌识别系统。32卑丁卷积网络的人脸检测卷积神经网络与传统的人脸检测方法不同，它是通过直接作用丁输入样木，用样本來训 练网络并最终实现检测任务的。它是非参数熨的人脸检测方法，可以省去传统方法中建模、 参数伸I以及参数检验、巫建模吃等的 系列复杂过乩本文x対图像中任意人小、位胃、姿 势、方向、狀色、面部表情和光照条件的人脸，提出了一种皋J：卷积神经网络

33、（Convolutional Neui-alNetworks,简称CNN）的人脸检测方法。设计了一个输入层节点数为400、输出层节 点数为2、四层隐藏层的CNN网络。网络结构如图7。3x3卷积2 x 2子抽样20* 20输入图像9x 9图像/个用经元输出18x18图像8谕经元图7卷积网络结构Fig1 The structure of convolutional neural network输入、输出层的设计:卷积神经网络是一种分层型网络,具有输入层、中间层（隐含层）和输出层的三层结构。对尸一个神经网络，中间层町以勺两个以上，而其有一个中间层的神 经网络则是-种卑本的神经网络模型。实验农明，增加

34、隐含层的层数和隐含层神经尤的个数 不一定能够提高网络的精度和衷达能力。使用输入窗口的大小都是20X20,这是通常能使 用的最小窗II，这个窗口包含了人脸非常关键的部分。因此，可将输入层节点数设计为400, 对应于20X20图像窗口中按行展开的各个像素考虑到本文使用卷积神经网络是用作分类 器，其类别数为2（即人脸和非人脸），所以输出层的节点数为2。隐藏层的设计：隐藏层为四层，分别是图像特征増强的卷积层、数据缩减的子抽样层、 和两个激活甫数层其结构如图7所示。设计方法如下：卷枳层的设计：信号的卷枳运算是信号处理领域中址亜耍的运算比如，在图像处 理、语音识别、地震勘探、超声诊断、光学成像、系统辨识及

35、其他诸多信号处理领域中。卷 积运算一个重要的特点就是，通过卷积运算，可以使原特征増强，并且降低噪音。在进 行人脸检测时使用离散的卷积核，对图像进行处理。由离散卷积核只需耍进行优先次的加 法运算，而丄是整数运算，没有浮点运算，计算机可以迅速的计算出结果。本文选定的四个 卷积核.分别为两个拉普杓斯兌子和两个Sobel功缘算子。输入图像分别经过这四个卷积核 的卷积得到四个18X18的待测图像。其中拉普拉斯算子是图像的整体特征増强。而Sobel 边缘算子则强化了边缘特征。子抽样层的设计：利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理 吊嗣时保留仃用信息.本以把卷积层输出的四个图像作为输入

36、,分别进彳J： 了抽样运算肩输出 四个9X9图像。而该图像保留了原图像的绝大部分有用信息。子抽样点的值是原图像相邻 四个点的平均值。激活函数层：本层分为阿层激活函数层，一层为通过与抽样层输出的四个图像分别进行 全连结，得到四个屮间输出。第二层为冇四个中间结來连接的四个激活函数并与输出层连接， 得出网络判断结果.这层有9X9X4+1X4个激活西数参数需耍训练。激励两数的选择：网络的拓扑结构和训练数据确定后，总误并函数就完全由激励西数决 定了，因此，激发函数的选择对网络的收敛性八仃很直要的作用。对每一个人匚神经兀來说, 它可以接受组来自系统中其他神经元的输入信号，每个输入对应_个权,所以输入的加权

37、 和决定该神经尤的激活状态。按照卷积网络算法的嗖求，这吐神经元所用的激活函数必须是 处处可导的。在设人工神经网络的分类系统中，不仅网络的结构设il IE常重要，而II训练数据 的收集也十分重耍在人脸检测系统中除了选择好的人脸样本外同时还耍解决从衣駁年人脸 图像中选择非人脸样木的问题。对人脸样本图像还耍进行一些预处理，以消除噪音和光线 差异的影响。为了提高网络的健壮性，收集各种不同类型的人脸样本：为了得到更多的样本, 并提高ifc转不变性和宛度可变性的能力，对初始人脸样本集中的部分图像进行一些变换。然 后是关于非人脸样本的收集，这足片EJ：神经网络的检测方法中的 个难题，按鹽常用的 Bootst

38、rap处理方法，可以从大磺的图像中收集这吐边界样木，同时根据卷枳神经网络的特 点，做出一些改进，降低随机性，提高了效率。在获得图像数据后，通过一些归一化和预处 理步骤，减小图像噪川的影响和消除图像宛度及对比度的怎异，捉高数据的针对性和鲁棒性， 得到统计的方法进行学习处理样本的最展本的特征向彊，然后使用这些特征向届训练网络。 4总结本文首先阐述了卷积神经网络的原理。卷枳神经网络是在神经认知机的果础上为了处理 模式识别问题而捉出的网络。此网络是多层的分级神经网络，每层的神经元都是相同类型的， 或简单，或复杂，或是超复杂的神经元，在每层之间都有非常稀少并且固定模式的连接。介 绍了昂本的卷枳神纟仝网络

39、结构及貝神纟仝尤模熨，接看讨论了卷枳神经网络的训练过程，半需 耍的特征12预先确泄，那么就采用灯监督算法，网络层一层地学习，反Z则进行无监督学 习。报后简耍的介绍了卷积神经网络在形状识别和人脸检测中的应用。I前，卷积神经网络已经被应用二维图像处理、模式识别、机器视觉、形状讲别、智 能交通等领域，并且能够很好的解决各个领域中的问题。参考文献1 王天臭基于卷积洌络的二位特征提取学位论文1古林:H 乙2006.2 >仪斤 圾卷枳神经网络的模式分炎器J XHX学学报,2003,21(2): 19*233 Sx.on Haykin裔叶世他史忠检诽神经网络贩理».北京*机械工业出版社.20

40、04.I 肖曲旭卑住枳网络的人脍检测的研究9实现学位论文北京：华北电力大学.20095 乩璐.卷秋神经网络的研究及冀餐车牌识别系统中的应用学位论文.合肥含肥I.业人学2006.6 顷隹玲形宦京.增K式卷枳神经网络及英住人脸检测屮的应用JJ.系统伪眞学报，2009,21 (8):2111-21157 赵念宏，杨绍也马増颈 肚于卷枳神绅M络LtIet-5的车牌7符识别研究J1.系统仿真学报,2010,22(3) 638-6118 T H Hildebrandt, Optimal Training of Thresholded Linear Correlation Classifiers, IEEE

41、 Transactions on ITeural Networks Z(6),PP 577 - 588, Hov (1991)9 K Fukushima. ''Beococni tron A selfor cam zinc neural-network no del for a Mechani sm of Pattern recognition unaffected by shift in position. Biol. Cybtrn vol 36 pp 193 202 198010 C Neubauer. Shape, position and size xnvari ant

42、 visual pattern recognition based on principles of neocognitron and perception in Artificial Heural Hetvorks 1 Alexanderandj Iaylcr Eds. Amsterdam the Netherlands Horth一 Holland, vol. 2. 1992. PP 833 -837II D Lovell et al Com ent s onOptioal Tr ainin( of Thrtsholdtd Linear Corr <1 at 1 on Classi

43、fi erIEEE Trans . OnHeural Networks 1(2), PP 367 369, March(1993).12 E Fukushi*Analysis o£ the process of visual pattern recognition by the neocognitron"Hern*al Hetorks vol 2. pp 113-121. 198913 VanOoyen andB Hi exthui s> PatttrnRecocni tion in the Keococxu tronls ImprovedbyHeuronal Ada

44、ption Bi ologi calCybernetiesTO, pp 17-53 (1993).14 石大明.刘海涛.舒文豪结合进化计算的神经认知机计算机学报 2001. 246):46847315 Claus Heubauer Evaluation o£r Convolutional Menral Networks for VisutLlRecogni11 on« Heural Hetwoks vol 9 no . L pp 685-696 (1998)16 K Fukushima and H Tarn gawa, Use of di fferent thresholds in learning and recognition BeuroeomPuting vol 11 pp.1-17. 199617 G W Cottrell EMPATH Fact, emotion, and gender recogni lion using holons. in Advances in neural Information Proctssins Sys18 K Bourlard and I Kaop Autoassoziat 1 on by ultilayei*perceptrons and singular value decomposition &qu