计算机视觉应用开发课件：语义分割网络

语义分割网络常见的语义分割网络01任务编码器-解码器02任务U-Net结构解析03任务学习目标了解常见的语义分割网络掌握编码器-解码器的网络结构掌握U-Net语义分割网络结构1常见的语义分割网络1常见的语义分割网络目前，在语义分割任务中，绝大多数的主流算法都是基于深度学习，尤其是卷积神经网络。2015年，加州大学伯克莱分校的jonathanlong等人提出了用于语义分割的全卷积神经网络(fullyconvolutionalnetworks，FCN)，在语义分割方面进行了开创性的工作，解决了像素分割的问题。全卷积神经网络提出将传统神经网络后面的全连接层全部替换为卷积层，这也是全卷积名字的由来。基于卷积神经网络的语义分割技术也由此快速发展起来。同年，U-Net网络也别提出，U-Net网络是一种典型的“编码器-解码器”结构，这种结构也是目前一种比较主流的语义分割结构。采用相似结构的还有segnet，基于“编码器-解码器”结构的语义分割网络U-Net和segnet都有着很好的性能，在分割任务中有着较好的表现。2编码器-解码器2编码器-解码器编码器（encoder）：编码器本身就是一连串的卷积神经网络，由卷积层，池化层组成。卷积层负责提取图像的特征，池化层对图像进行下采样并且将尺度不变特征传送到下一层。概括地说，encoder对图像的低级局域像素值进行归类与分析，从而获得高阶语义信息。解码器（decoder）：既然encoder已经获取了所有的物体信息与大致的位置信息，那么下一步就需要将这些物体对应到具体的像素点上。decoder对缩小后的特征图像进行上采样，然后对上采样后的图像进行卷积处理，目的是完善物体的几何形状，从而弥补encoder中池化层将物体缩小造成的细节损失。2编码器-解码器在CNN中在卷积神经网络中，图片先经过卷积层，然后再经过线性层，最终输出分类结果。其中卷积层用于特征提取，而线性层用于结果预测。从另一个角度来看，可以把特征提取看成一个编码器，将原始的图片编码成有利于机器学习的中间表达形式，而解码器就是把中间表示转换成另一种表达形式。编码器：将输入编程成中间表达特征。解码器：将中间表示解码成输出。在RNN中RNN同样也可以看成一个编码器-解码器结构，编码器将文本编码成向量，而解码器将向量解码成我们想要的输出。编码器：将文本表示成向量。解码器：将向量表示成输出。3U-Net结构解析3U-Net结构解析U-Net是在ISBIChallenge比赛上提出的一种分割网络，能够适应很小的训练集（大约30张图）。3U-Net结构解析将输入进行2次3×3的卷积操作之后，再进行一次2×2的最大池化，同时卷积核数目翻倍（1-64-128-256-512-1024），进行四次这样的down（下采样）操作。然后进行2次3×3卷积，取一半的卷积核进行上采样（转置卷积），再剪切对应down层的featuremap和上采样得到的featuremap拼接在一起，然后重复这样的过程。最后输出是深度为n_classes个featuremap，进行分类。

这个featuremap拼接的操作，就是上一节中所讲的特征融合。U-Net的特征融合方式采用的是concat，可以恢复部分的语义信息，从而保证分割的精度。相似的，在FCN中（语义分割开山之作），是通过featuremap相加（add）的方式来恢复语义信息的。3U-Net结构解析U-Net还有以下几个优点：（1）5个poolinglayer实现了网络对图像特征的多尺度特征识别。（2）上采样部分会融合特征提取部分的输出，这样做实际上是将多尺度特征融合在了一起，以最后一个上采样为例，它的特征既来自第一个卷积block的输出(同尺度特征