深度学习在图像处理中的应用

深度学习在图像处理问题中的应用目录手写数字识别的例子深度学习到底是什么卷积神经网络卷积神经网络的经典结构常见的图像处理问题卷积神经网络的问题手写数字识别的例子问题：对手写邮政编码的识别每张图像是28*28的灰度图像，常用784维的向量x表示。目的是设计一个算法（函数、机器…），输入是上述向量x，输出是数字y(0,1,2…9)。手写数字识别的例子解决方法方案1：根据手写数字图像中笔画的形状、粗细的特点来人为的制定一些规则，基于这些规则判断输入图像是哪个数字。方案2：通过训练集(xi,yi)i=1,2…N学习一个模型f的参数，使y=f(x)y=f(x)7941训练(Train)推断(Inference)规则a.有且仅有一个中空的区域规则b.中空区域的下方有较大的连通区域数字9同时满足规则a和规则b判定为目录手写数字识别的例子深度学习到底是什么卷积神经网络卷积神经网络的经典结构常见的图像处理问题卷积神经网络的问题特征提取y=f(x)7941训练(Train)推断(Inference)y=f(x)7941训练(Train)推断(Inference)特征提取特征提取将原始图像直接作为分类器的输入，效果并不好。常用的分类器有LogisticRegression,DecisionTree,SupportVectorMachine等于是研究人员就根据图像的特点，提出一些特征，把对图像提取的特征输入到分类器，效果提升了。常用的特征有直方图，梯度直方图，SIFT等。特征提取9?边缘提取y=f(x)分类器9?边缘提取直方图y=f(x)分类器9?边缘提取直方图y=f(x)分类器稀疏编码9?y=f(x)分类器1.不需要专业知识2.多层学习特征学习特征提取………………………………………………y=f(x)分类器9?1.图像的二维结构被破坏2.全连接网路权重（参数）数量太多，容易过拟合，需要大量训练样本9?y=f(x)分类器特征学习深度学习深度神经网络在图像中应用广泛的最主要原因是：效果好！………………………………………………y=f(x)分类器9?目录手写数字识别的例子深度学习到底是什么卷积神经网络卷积激活池化生物学依据卷积神经网络的经典结构常见的图像处理问题卷积神经网络的问题卷积神经网络卷积卷积池化池化y=f(x)分类器特征学习向量化卷积操作卷积操作的特点二维（或多维）运算，保持图像的结构关系………………向量化……全连接神经网络卷积神经网络输入图像向量化后再输入到神经网络中，图像的二维（或三维）结构关系被打破。输入图像直接输入卷积神经网络中，保持图像的二维（或三维）结构关系。卷积操作的特点局部感知，减少参数数量图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因此，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。卷积操作的特点参数共享，减少参数数量采用局部感知后，参数依然非常多。由于卷积的操作是为了提取图像特征，而图像特征与位置无关，于是可以采用参数共享的策略。卷积操作的特点多卷积核一个卷积核只能学习一种特征多卷积核可以学习多种特征非线性激活操作非线性激活操作不是卷积网络特有的，一般的神经网络也会有非线性激活操作。如果没有非线性激活，神经网络只有线性表达，表达能力不够强。x11x121x21x221x31w211w221b21x31=w311*x21+w321*x22+b31x21=w211*x11+w221*x12+b21x22=w212*x11+w222*x12+b22=w311*(w211*x11+w221*x12+b21)+w321*(w212*x11+w222*x12+b22)+b31=w’1*x11+w’2*x12+b’池化操作池化操作可以对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；另一方面进行特征压缩，提取主要特征。84182305092071408894卷积神经网络特征学习卷积卷积池化池化y=f(x)分类器向量化分类器全连接卷积神经网络与人类视觉卷积神经网络卷积神经网络在图像中应用广泛的最主要原因是：效果好！分类器全连接目录手写数字识别的例子深度学习到底是什么卷积神经网络卷积神经网络的经典结构常见的图像处理问题卷积神经网络的问题卷积神经网络的经典结构LeNetAlexNetVGGGoogleNetResNetDenseNetLeNet用于对10类问题的分类（MNIST）最早的卷积神经网络conv2的卷积实际上并不是5∗5∗6∗16的，而是对6个featuremaps做了一些选取池化的方法与现在略有不同使用高斯分布进行分类，而不是现在主流的softmax5*5conv,6,stride/1,pool/25*5conv,16,stride/1,pool/2fc,120fc,84fc,10INPUT:32*32AlexNet11*11conv,96,stride/4,pool/25*5conv,256,stride/1,pool/23*3conv,384,stride/13*3conv,384,stride/13*3conv,256,stride/1,pool/2INPUT:224*224*3fc,4096fc,4096fc,1000用于对1000类问题的分类（Imagenet）使用了ReLU的非线性激活使用了dropout使用了LRN对featuremaps进行归一化VGGGoogleNetResNetDenseNet目录手写数字识别的例子深度学习到底是什么卷积神经网络卷积神经网络的经典结构常见的图像处理问题分类检测分割视线估计卷积神经网络的问题分类分类器全连接…LeNet/AlexNet/VGG…检测检测分割Inference的加速方法ModelTheoreticallyExperiments#Parameters#FLOPModelSizeTimeBeforePruning16050096411648307260.18M37.22msAfterPruning17944563861636486.49M8.75msReduceReduce88.82%Reduce90.62%Reduce89.22%Reduce76.49%ThetimeistestonNVIDIATeslaK80.Andtheinputofthemodelis416*416.Theoretically,pruningreducesthenumberofparametersby10×andcomputationby10×.Infact,themodelcanbepruned1/10ofitsoriginalsizewithoutimpactingaccuracy,andspeedup4x.Afterpruningthetimeofthemodelis24millisecondtestonJetsonTX1.Input(float)Output(float)MinMaxQuantizeQuantizedReluDequantizeEightBitMinMaxE