深度学习理论基础

深度学习的理论基础2.1深度学习原理深度学习，相对机器学习中的“浅层学习”方法，深度学习所需的神经元网络层数更多[16]。传统的机器学习依靠人为提取样本单层特征，结果的特征缺乏可以进一步表达图像的构造;而深度学习可以直接自动的从训练网络里提取所需要的结构特征，自动提取的特征解决了人工提取特征存在主管偏差的因素。对于一个层网络（,…），有输入是，得到输出是，即为：=>=>=>…..=>=>，如果和相等，即可认为经过网络处理后没有损失。设处理得到，再对处理得到，得到：和的相关不会超过和的相关。这表明网络不会增加数据，会损失数据。如果结果相等，可以得到经过每一个神经元都没有丢失，即所有都是的等价。对于深度学习网络，首先我们有大量的原始数据，即大量的，在本课题中为大量的眼底图像图像。我们可以寻找一个层深度网络，调整网络结构后，输入等于输出，那么输入的结构即可以通过，…,来得到。深度学习的核心方法为拥有多个层，…,的网络，即让层的输入为。通过这种方法，就可以获得输入信息结构特征。这就是深度学习的核心结构。深度网络主要有3类，如图2.1所示。图2.1深度神经网络分类结构在本次课题中，主要用到前馈深度网络(FFDN)，其中卷积神经网络(CNN)在数字图像处理中有十分巨大的发展，将会运用到眼底图像的质量分类实验中。2.2前馈深度网络最传统有效的\o"深度学习知识库"\t"/kai940325/article/details/_blank"深度学习结构为深度前馈网络，即为前馈神经网络。设计一个理想函数。如一个深度前馈网络，可以将变换为输出。一个前馈网络定义了，通过迭代变量，获得与原始图像的参数误差最小的估算值。数据输入进入网络，接着经过的处理，最终输出，因此为“前馈”。这个过程中不存在将输出回代到原始数据或者改变函数的构造。循环神经网络就是存在这种回代到的构造的网络。深度卷积神经网络属于不存在循环的前馈神经网络．前馈深度网络对于深度学习的研究人员来说是非常有意义的。各种金融应用的原理中都需要用到这种网络结构。深度卷积神经网络，同样属于前馈网络，特别适用于做图像处理和图像分类。至于前馈网络的进一步发展，循环神经网络，在其他方面有所建树。比如，语音处理特别适合循环神经网络[17]。前馈神经网络能够形象地形容成各种神经元的结合。比如，我们可以有三个函数,,，我们可以将其级联，得到，这种级联特征进一步发展就成为深度网络。通过如此的函数表达，就是第一层神经元，就是第二层神经元，就是第三层神经元。函数总个数即网络总层数等于网络的深度。深度学习网络的末尾的神经元即为输出。在深度学习中，构造尽量接近无损失的完美的。原始图像存在各种干扰，原始数据将要在网络的各种层级被处理。输入都需要一个值。原始数据规定了结果对所有的目标，即为获得一个与误差最小的结果。前馈神经网络产生目标结果的方法十分重要，同时原始图像对单一神经元不会直接作用，而是作用于网络整体。因为科学家们在研究生物学后获得灵感，所以前馈神经网络被这样称呼。所有的神经元都均可以被看作具体的带方向的值。从此可以发现在前馈神经网络中，向量中的参数就是神经元。这些神经元就是单个的变量。变量通过处理其他变量的输入，输出变量结果。的确定也是在因为科学家们在研究生物学后获得灵感。神经网络这类算法用于得出某种结构。2.2.1单层卷积神经网络单层卷积神经网络的3个阶段如图2.2．图2.2单层卷积神经网络的3个阶段卷积阶段，使用了局部感受野（卷积核）和权值共享两种技巧来减少网络参数。一.局部感受野。受到生物学的启发．有学者认为计算机图像处理和人类视觉的都是关注局部，对注意力范围之外的图像感受较弱。神经网络最佳的方法是对局部图像进行图像处理，然后在最后几层把之前处理过的局部结构叠加，获得了总体的结果。二.权值共享。一般认为，同一幅图像的局部的结构与该图像其他部分可以通用。即在部分网络处理得到的特征能用全局图像上。输入是由个大小的数组构成的三维数组．每个输入数组记为．而输出即为三维数组，由个大小的数组构成．连接输入特征图和输出特征图的权值记为，即可训练的局部感受野，卷积核的大小为．输出的三维数组为(2.1)式中:*为二维离散卷积运算符;是可训练的偏置参数．非线性阶段，对网络处理后的结果变换，变换一般利用激活函数，以解决网络输出结果为线性，在某些情况无法解决．非线性阶段将提取的特征作为输入，使用激活函数进行处理。常用的4种激活函数的公式为sigmoid:(2.2)tanh:(2.3)softsign:(2.4)ReLU:(2.5)其函数形态如图2.3所示．图2.3四种非线性操作函数下采样阶段，即池化层。利用通过局部感受野获得的结构去处理图片，计算量会很大。并且，在输入学习数据严重缺乏时，容易出现过拟合。为了解决这个问题，我们采用了池化的方法。从权值共享与局部感受野两种方法中我们可以了解到，为了描述大的图像，可以采取方法为：对局部的特征进行统计处理。这些统计特征不仅数据量小的多，方便处理。这种方法就叫做池化，分为平均池化或者最大池化[18]。平均池化为计算池化范围内数组的均值;最大池化则为计算池化范围内的最值输出到下个阶段。输出后，数据量有效地缩小了，同时依然具有原始图像的结构。2.2.2卷积神经网络如图2.4所示，级联卷积神经网络。目前的深度卷积神经网络，采取很多层神经网络的级联。多层局部感受野的能够把单层学到的部分结构综合，随着网络层增加，学到的数据结构就越具体．图2.4卷积神经网络模型设计深度卷积神经网络，需要采取一些独特的训练方式，如图2.5所示．图2.5卷积神经网络训练过程对于卷积网络的任意一层L，其第i个输入特征和第j个输出特征之间的权值的更新公式为(2.6)当L层是卷积网络的最后一层时，如图2.6(a)所示，为(2.7)式中:为第j个预期标签;为非线性映射函数的导数;j=1，2，…，．式(2.6)中，当L层不是最后一层时，如图2.6(b)所示，L+1层是其下一层，则为(2.8)式中:为第L+1层输出特征的数目;m=1，2，…，+1;为L层第j个输出(作为L+1层的第j个输入)与L+1层第m个输出之间的权值．图2.6卷积神经网络第层权值更新(实线为与计算相关的连接关系)2.2.3深度卷积神经网