基于侧链连接卷积神经网络的手掌静脉图像识别

1、基于侧链连接卷积神经网络的手掌静脉图像识别摘要:针对手掌静脉图像数量少且质量参差不齐，进而导致掌脉识别系统的性能降低的现象，提出一种基于侧链 连接卷积神经网络的手掌静脉图像识别方法。首先，在ResNet模型的基础上，用卷积层和池化层提取掌脉特征。然 后，采用指数线性单元（ELU）激活函数、批归一化（BN）和Dropout技术来改进和优化模型，以缓解梯度消失、防止过拟 合、加快收敛及增强模型泛化能力。最后，引入稠密连接网络（DenseNet）,使提取到的手掌静脉特征更具丰富性和有 效性。在两个公开库和一个自建库上分别进行实验，结果表明所提方法在三个数据库上的识别率分别为99.98%、 97. 9

2、5%、97. 96%。可见该方法能有效提高掌脉识别系统的性能，且更适用于掌脉识别的实际应用。关键词：手掌静脉识别；ResNet;指数线性单元激活函数;批归一化;Dropout;稠密连接网络Palm vein image recognition based on side chain connected convolution neural networkAbstract： To overcome the performance degradation of palm vein recognition system due to the small quantity and the uneven

3、 quality of palm vein images， a palm vein image recognition method based on side chain connected convolutional neural network was proposed. Firstly，palm vein features were extracted by convolution layer and pooling layer based on ResNet model. Secondly，the Exponential Linear Unit(ELU)activation func

4、tion，Batch Normalization(BN)and Dropout technology were used to improve and optimize the model，so as to alleviate gradient disappear，prevent over fitting，speed up convergence and enhance the generalization ability of the model. Finally， Densely Connected Network (DenseNet) was introduced to make the

5、 extracted palm vein features more abundant and effective. Experimental results on two public databases and one self-built database show that， the recognition rates of the proposed method on the three databases are 99. 98%，97. 95%，97. 96% respectively，indicating that the proposed method can effectiv

6、ely improve the performance of palm vein recognition system，and is more suitable for the practical applications of palm vein recognition .Key words: palm vein recognition; ResNet; Exponential Linear Unit (ELU) activation function; Batch Normalization (BN); Dropout; Densely Connected Network (DenseNe

7、t)0引言随着社会的发展，科学技术得到了极大提升，信息安全越 来越受重视，人们对个人身份识别技术的要求也越来越高。 密码、磁卡等传统的身份识别认证方式由于存在丢失、复制和 被盗用的风险，已经不能满足当前人们的需要，由此，基于生 物特征的身份识别技术应运而生E。生物特征（包括显性生 物特征和隐性生物特征）识别技术是根据人们的生理或行为 特征进行识别的技术。显性生物特征由于易被复制和伪造， 其安全性和唯一性比隐性生物特征低。生物特征识别主要包 括步态、人脸、掌纹、指纹等显性特征识别，以及声音、虹膜等 隐性特征识别。步态识别简单易行，但易被模仿，安全性较 差。声音识别简单便捷，但有被录音窃取的风险，

8、安全隐患较 大。人脸识别具有较好的特征多样性和唯一性，识别效果好, 但难以分辨面容相同或相似的双胞胎及多胞胎，并会受到因 年龄出现的老化现象的影响，稳定性较差。掌纹、指纹识别具 有较高的唯一性、便捷性和可接受性，但由于掌纹属于表皮特 征,易磨损、易被复制，安全性较低。虹膜识别具有较高的安 全性、稳定性和唯一性，但识别装置成本昂贵,不适用于普通 的大众场所,应用的广泛性和普遍性受到极大的限制。手掌 静脉识别，是根据手掌静脉特征进行识别的技术，是生物特征 识别领域的一种新型识别技术。手掌静脉（以下简称“掌脉”） 属于隐性特征，位于表皮之下，结构复杂，难以被复制，具有较 高的唯一性、安全性和稳定性，

9、比人脸识别更稳定，比掌纹、指纹识别更安全，比虹膜识别更具应用的普遍性口。目前,掌脉识别的研究受到广大研究学者的关注，传统的 掌脉识别大致分为三类:1)基于结构特征的方法，提取静脉的 结构特征，一般是线特征或点特征。主要方法有方向梯度直 方图旬、尺度不变特征变换河、二维密度函数等。2)基于纹 理特征的方法，提取静脉的纹理特征，一般是方向、幅度、相位 特征。主要方法有Gaussian-Radon变换6、局部二值模式 Gabor滤波器Radon变换9、小波变换101等。3)基于子空间 的方法,是将静脉转换到不同的子空间中，将图像看成高维向 量或矩阵，再利用投影变换等方法，将其转换成低维向量或矩 阵,

10、并在这个子空间中提取特征。主要方法有主成分分析11 、 线性判别分析心、局部保持投影司等。虽然传统的识别方法已经取得了较好的识别效果，但其 识别过程较为复杂,往往需要人工干涉。人工设计提取的图 像特征通常是图像的浅层特征,表达能力有限,有效特征信息 不够充分，且人工设计的方法稳健性较差,受外界条件的影响 较大。随着深度学习的发展以及硬件环境的改善和提高，利 用深度学习的方法进行掌脉图像识别已经成为研究重点J 深度学习卷积神经网络具有较强的特征表达能力，不需要人 工设计特征，在图像分类、图像分割和目标检测等领域已经取 得了较好的成绩。但是由于网络模型的学习能力较强，输入 输出之间的非线性关系复杂

11、，易出现过拟合现象，且网络的训 练需要大量的数据，而掌脉数据库的数据量相对较少，图像质 量也相对较差。针对上述问题，本文提出了一种基于侧链连接卷积神经 网络的手掌静脉识别方法。首先，采用泛化性能较好的网络 模型ResNet提取深层次掌脉特征,其残差模块可缓解网络退 化。其次，引入指数线性单元(Exponential Linear Unit, ELU) 激活函数、批归一化(Batch Normalization, BN)和Dropout技术 改进模型,能缓解梯度消失，防止过拟合,加快收敛，增强模型 泛化能力。最后，融入稠密网络思想，加入稠密连接,将原始 图像输入多层卷积层，增强特征的丰富性和有效

12、性。用本文 提出的方法分别在香港理工大学PolyU数据库、中国科学院 自动化研究所CASIA数据库和自建库上进行实验，并与其他 现有的识别方法进行比较，实验结果验证了本文方法在实际 应用中的优越性能。1 本文方法1.1残差模块ResNet网络是He等在2016年提出的一种深层卷积神 经网络模型。在网络研究中，随着网络的加深,会出现梯度消 失和梯度爆炸的问题，使具有一定深度的卷积神经网络难以 训练,模型性能不升反降。为削弱这种影响，可以通过构建残 差模块(Residual block)对不同网络层进行跳跃连接(Skip connection)，从而增强网络性能。因此，残差网络以其优越的 性能被广

13、泛应用于图像分类识别领域。残差模块的结构如 图1所示。对于一个由若干层堆积的网络结构而言，当输入数据为 X时，学习的特征记为H (X),规定在获得H (X)的同时，通过 线性变换和激活函数得到残差：F (X) = H (X) - X这样，实际学习到的特征为：Hfin我(X ) = F (X) + X(2)如此，极端情况下，即使网络层是冗余层，即F (X ) = 0,则 该卷积层实现的是恒等映射，网络性能与网络特征参数没有 改变。通常情况下,F (X ) 0,网络总能学到新的特征，从而 保证反向传播时的梯度传递，消除网络退化和梯度消失 问题。| Conv|ReLu fConvI F(X)+X|

14、I F(X)+X +H-ReLu图1残差模块Fig. 1 Residual block1.2小卷积核残差网络卷积神经网络利用不同大小的卷积核提取掌脉特征，用 全连接层对特征进行融合,来提取更深层次的特征信息。卷 积层主要包括两部分:一部分是线性变换阶段的卷积操作；另 一部分是非线性阶段的激活函数操作。其中，卷积核是卷积 层重要的一部分,用于提取图像的边缘、角度、形状等特征。 而激活函数主要是引入非线性，强化网络的学习能力。随着 网络层数的深入，卷积核及训练参数也随之增加,特征提取过 程中易发生过拟合状况。卷积神经网络中的池化层，可针对 不同的区域提取具有代表性的特征,能缩减参数,提高网络计 算

15、速度，可当作对输出特征的再次提取过程。相较于卷积，池 化操作拥有平移不变特性,对微小的变化具有较好的鲁棒性。研究发现，卷积核的尺寸越大，获得的感受野越大，需要 的参数量也随之增多l61o掌脉图像通常将纹理特征用于特征 识别，有些不同个体的掌脉图像纹理特征相似度较高，主要依 靠微小的细节特征进行区分。为了提取细微的特征，并尽可 能地减少模型参数，显著提高掌脉识别系统的性能，使模型更 适用于掌脉识别的实时应用，本文采用小卷积核残差网络 (Small convolution Kernel Residual Network, SK-ResNet)对手 掌静脉图像进行有效识别，选择3x3的卷积核进行实验

16、。本文在ResNet网络的基础上加以改进，将第一层的卷积 核设置为3x 3,剩余卷积层的卷积核大小也设置为3x 3,并 叠加足够的卷积层弥补小卷积核对感受野带来的影响。网络 的分类函数采用softmax函数，学习率统一设置为0. 000 1。 改进的网络结构如图2所示，基于ResNet-18，将其简化成8 层，大大减少了模型参数,节省了存储空间和运行时间，更适 用于掌脉图像数据库。1.3激活函数激活函数主要解决神经网络中的线性不可分问题，将非 线性激活函数叠加在每层的线性变换之后,能够使学习能力 更强,拟合效果更好。传统的ResNet网络采用修正线性单元 (Rectified Linear u

17、nit, ReLu)激活函数，ReLu 计算简单，具有线性、非饱和性的特点，能有效缓解梯度下降,提供稀疏表达 性。ReLu激活函数计算式如下:x， x 0 ReLu (x ) = |o, x WO由式(3)可见，当x取值为1时，会在梯度过小时,导致梯 度消失；当x取值小于等于0时，随着训练的进行，会出现神经元凋亡现象，导致权重无法更新。图2小卷积核残差网络结构Fig. 2 Architecture of SK-ResNetELU激活函数l7，融合了 sigmod和ReLu，具有左侧软饱 和性，右侧无饱和性，右侧线性部分使得ELU对输入变化或 噪声的鲁棒性更好。ELU的输出均值接近于0元凋亡现象

18、，导致权重无法更新。图2小卷积核残差网络结构Fig. 2 Architecture of SK-ResNetx，x 0EL (x)= , x WO将激活函数用ELU代替ReLu,弥补了 ReLu的不足，同时 尽量保持了 ReLu的单侧抑制优势，使残差模块的结构得到了较好的改进,残差结构的改进如图3所示。|Conv|Conv|ELU | ConV|图3改进后的残差模块Fig. 3 Improvedresidual block1. 4 L2正则化和Dropout技术批归一化(BN)lsl，利用小批量上的均值和标准差，不断 调整神经网络中间输出，从而使整个神经网络在各层的中间 输出的数值更稳定，能够

19、在一定程度上缓解过拟合问题;其 次,批归一化也能使模型的收敛速度得到一定程度的提升。Dropout技术是Hinton等|91在2012年提出的，通过使部分 隐层节点设置为0,忽略部分特征检测器，来提高模型的性 能,降低过拟合现象。即在神经网络的前向传导过程中，随机 选择部分神经元，使其激活值按照特定的概率暂时停止工作， 从而增加模型的泛化能力，以防止过拟合现象的发生。1.5稠密网络连接稠密连接网络(Densely Connected Network, DenseNet)是 Huang等20在2017年针对光学图像处理提出的一种神经网络 模型,具有强大的特征提取功能。在传统的深度网络中，每一 层

20、提取的特征都相当于对输入数据的一个非线性变换。因 此，随着网络的加深，会增加变换的复杂度。DenseNet摒弃了 传统的网络连接方式,采用了一种较为密集的网络连接形式, 直接从最优特征的角度出发，设置特征复用和旁路连接。DenseNet将网络的任一层与后续所有层之间直接建立连 接,这种稠密连接的方式使得每层学习的特征图都可以被后 续的网络层接收，即网络中每一层都接受它前面所有层的特 征作为输入,相当于每一层都直接连接输入层和损失层，从而 使梯度消失现象得以缓解，网络结构更加紧密，提取到的特征 更加丰富。其输出公式如下：X1= H ( X0，X,-,Xl-1)(5)其中，X0，X1，“,X,_1

21、表示第0,1,“,Z- 1层的特征图拼接 矩阵。图4为DenseNet的网络连接图，由图4可看出，网络中任 意一层的输入都是前面所有层输出的叠加，大量的特征被复 用，从而加强了特征的传播，使提取到的特征更加丰富，并在 一定程度上缓和了梯度消失。在建立稠密连接时，当特征图 的大小发生改变时，层与层之间不能直接连接，可借助下采样 来改变特征图的大小，从而顺利地建立网络连接。图4 DenseNet网络连接Fig. 4 Network connection ofDenseNet虽然ResNet和DenseNet都采用了网络连接的方式，但残 差连接和稠密连接是不同的。区别在于ResNet中的残差连 接是

22、采用模块之间相加的方式，而DenseNet中的连接是图像 通道维度上的连接。DenseNet中增长率k表示输出特征映射 的维度，这里k=12。网络的跨层连接如图5所示。引?(a)残差连接(b)稠密连接图5网络跨层连接Fig. 5 Network cross-layerconnection1.6基于侧链连接卷积神经网络针对掌脉数据库样本量少、图像质量参差不齐,进而导致 识别率低的现象,根据侧链连接的结构，在ResNet模型的基 础上重新设计新的结构，并用此模型对掌脉图像进行分类 识别。图6为本文方法的网络结构。如图6所示，网络的传播过 程可描述为：图像经输入层传入下一层侧链连接的模块 (Resi

23、dual dense block)提取特征，按图中连接依次传输，最后 对特征进行全局平均池化，整合空间信息,经Dropout层输入 到全连接层输出分类结果。其中，侧链连接部分是将残差连 接和稠密连接的两组特征叠加，传递给下一层。本文提出的基于侧链连接卷积神经网络改进和优化了传 统的ResNet模型，并将稠密连接以侧链连接的方式融入到 ResNet模型中。与传统的网络模型相比，该方法具有一定的 优势。首先,利用泛化能力较强的ResNet网络模型提取深层 掌脉特征，其残差模块能有效缓解网络退化问题。其次，采用 ELU代替ReLu激活函数能有效缓解梯度消失，批归一化和 Dropout技术能防止过拟合

24、,减少网络误差，加快收敛。最后， 稠密连接将原始图像输入多级卷积层,能加强所提特征的丰 富性和有效性。Fig. 6 Network structure of proposed method2实验与结果分析2. 1数据库与运行环境为定量评价本文识别方法,分别对两个公开数据库和一 个自建数据库进行实验。两个公开数据库分别是PolyU和 CASIA数据库。PolyU库采用完全接触式采集,受平移、旋转 等的影响小，图像质量高。采集250人的左右手各6幅，分两 次采集，间隔时间9天，共6 000幅图像，本文只采用第一次采 集的3 000幅图像。CASIA库采用完全非接触式采集，受平 移、旋转的影响较大，

25、图像质量差。采集100人的左右手各6 幅，共1 200幅图像。自建数据库为本实验室独自采集建立的 数据库，简称“自建库”，采用半接触式采集,受平移、旋转的影 响较小，但会受光照等采集环境的影响，图像质量低。采集 300个学生的左右手各6幅，共3 600幅图像，采集装置2|如 图7所示。图7自建库手掌静脉图像 采集装置Fig. 7 Palm vein image acquisitiondevice for self-built database为更好地训练模型的性能,对现有数据库进行图像增强 和扩充。采用Lou等22提出的方法进行掌脉图像增强，并对 图像进行旋转变化,旋转角度分别为：-5。、-1

26、0。、5。、10。，即每 幅图像由1幅扩充为5幅。为更好地测试模型的识别效果，将 数据库按照类别划分为训练集和测试集，每类的前4幅及其 扩充图像为训练集，剩余图像为测试集，从而保证训练集与测 试集互不相交。实验的运行环境如下：Tensorflow2. 20rc, Matlab R2019b DeepLearning toolboxo 硬件平台为：Ubuntu 18. 04LTS 系统， CPU AMD EPYC 7742,基础频率 2. 25 GHz，最高 Boost 频率 3.4 GHz,内存 16 GB,GPU Nvidia Telsa K80 24 GB显存。 2.2性能评价指标在掌脉图

27、像识别模型的评价中，主要采用正确识别率 (Correct Recognition Rate, CRR)来衡量系统性能。CRR是正 确识别比率，是正确识别的次数与识别的总次数的比值。识 别系统的算法性能越好,CRR值越大，计算式为：VCCRR = -x 100%(6)VS其中：Vc表示正确识别的次数;Vs表示识别的总次数。2.3参数选择2. 3. 1 ELU激活函数实验为了选择对掌脉数据库最有效的ELU激活函数取值，在 原始的8层小卷积核ResNet网络基础上，仅采用ELU代替 ReLu激活函数，即SK-ResNet+ELU,并以此网络模型进行掌 脉识别。分别在各掌脉数据库上进行实验,计算识别率

28、，借此 判断ELU激活函数缓解梯度消失的效果。ELU激活函数的取 值范围设为(0,1,间隔设置为0.1。表1给出不同的ELU取 值对识别率的影响，由表1可知，当ELU的取值为1时，模型 在三个数据库上的识别效果达到最优。由此可见,ELU激活 函数对梯度消失现象有一定的缓解作用，使模型的识别效果 进一步提高。表1不同ELU值对CRR的影响Tab. 1 Effects of different ELU values on CRRELU值识别率/%PolyUCASIA自建库0. 195. 0256. 4066. 330. 293. 5072. 6076. 630. 392. 9264. 5080.

29、150.493. 4449. 6578. 680. 595. 6460. 4575. 870. 693. 4846. 9074. 800. 795. 3242. 6066. 270. 895. 1455. 5577. 880.992. 1464. 3582. 401.096. 8473. 1584. 472. 3. 2 Dropout 实验为了找到对掌脉数据库效果最好的Dropout值，在原始的 8层小卷积核ResNet网络基础上，仅将Dropout层添加到平均 池化层之后，即SK-ResNet+Dropout，并以此网络模型进行掌 脉识别。分别对各掌脉数据库进行实验，计算识别率，以此判 断D

30、ropout技术缓解过拟合的效果。Dropout中p表示每个节 点有p概率被抛弃，其取值范围为(0,1),间隔设置为0.1。 表2展示了不同Dropout取值对识别率的影响。由表2可以看 出，当Dropout的取值为0. 1时，在三个数据库上的效果达到 最好，一定程度上降低了过拟合风险，提高了模型的识别率。 2.4对比分析为了定量评价本文识别方法的识别效果，将本文方法与 目前识别效果较好的几种传统识别方法以及几种典型的网络识别效果。模型进行比较。其中：Qiu等5采用多方向的Gabor滤波器， 提取静脉的尺度及方向信息，进行静脉识别，计算识别率； 娄梦莹等。口采用Gauss-Radon变换进行掌脉识别，构建6个方 向的邻域模板，提取掌脉方向特征从而进行识别。针对目前 的几种典型的网络模型，利用AlexNet网络241、GoogleNet网 络5分别对掌脉图像进行识别，并对ResNet模型不断改进， 将逐步改进实验用于掌脉识别，依次记录SK-ResNet.SK- ResNet+BN、 SK-ResNet+BN+ELU、 SK-ResNet+BN+ELU+ Dropout以及加入稠密连接后的本文方法模型的实验结果。 不同识别方法的识别效果如表3所示。由表3可知，针对图像 质量不一的小样本掌脉数据库，与其他识别方法相比，本文基 于