现代机器学习 课件 第14章 胶囊网络

第14章胶囊网络14.1胶囊网络简介14.2胶囊的定义14.3胶囊网络的结构14.4动态路由算法14.5胶囊网络的损失函数14.6胶囊网络典型算法14.7胶囊网络的应用本章小结

14.1胶囊网络简介在胶囊网络结构中,胶囊是一组神经元,其活动向量代表特定类型实体的实例化参数。活动向量的长度表示实体存在的概率,所以其数值必须在0到1之间,用向量方向来表示姿势(位置、大小、方向)、速度、色调、纹理等姿态信息。并且胶囊网络通过保持向量方向不变,缩小其长度的非线性方法来确保胶囊向量的输出长度不超过1。相比于卷积神经网络,胶囊网络有更好的特征提取能力和泛化能力,适用于小样本问题。胶囊网络以简单的结构、更少的网络层数达到了更好的泛化效果。

通过胶囊网络,详细的姿态信息(如相对位置、旋转、

厚度、倾斜、大小等)被保存。此外,在卷积神经网络中使用池化操作会丢失很多重要的信息,因为只有最活跃的神经元才能被选出来传递给下一层,这也是空间信息丢失的原因。例如图14.1,尽管这看起来并不是一张人脸图,但它的每一个部分都是正确的。人类很容易认识到这不是一张正确的脸,但卷积神经网络很难判断这张脸不是真的,因为它只寻找图像中的特征,而并没有关注这些特征的姿态信息。图14.1一张错误的人脸图

针对上述卷积神经网络丢失信息的问题,胶囊网络的解决方法是:用向量来表示特征,向量的模表示特征存在的概率,向量的方向表示特征的姿态信息。胶囊网络的工作原理可

以概括为:所有关于特征状态的重要信息都将以向量的形式封装于胶囊中。

胶囊网络的主要优势如下:

(1)胶囊网络的引入使模型充分利用空间关系,将数据关系编码成活动向量而不是标量,其长度和方向分别表示物体存在的概率和物体的姿态参数。

(2)胶囊网络通常仅由3层网络构成,显著降低了网络复杂度,并获得高精度的分类效果。

(3)实现了一种动态路由协议,在两层之间加强紧密联系的胶囊之间的权重,减小联系不紧密的胶囊之间的权重,通过这种动态路由来捕获部分整体关系。

(4)与CNN输出标量不同,胶囊网络输出活动向量,用向量对实例参数建模,实现更精细的特征提取。

14.2胶囊的定义

胶囊作为一组神经元,其输出向量表示了特定物体的实例化参数。向量的长度代表了物体存在的概率,方向表示了实例化参数。同一层级的胶囊通过变换矩阵预测更高级别胶囊的实例化参数。因为胶囊是用一组向量来代替神经网络中的单个神经元的,因此,胶囊网络中的每一层神经网络都包含几个基本的胶囊单元,它们与上层网络中的胶囊交互传递信息。

一个胶囊的输出是一个向量,同一层的胶囊通过转换矩阵对更高级胶囊的实例化参数进行预测。当多个预测一致时,一个更高级别的胶囊就会被激活。这种“协议路由”比最大池化这种非常原始的路由形式有效得多,因为最大池化仅关注下一层中最活跃的特征而忽略其余特征。

一般来说,神经网络隐藏层中的所有数据都称为网络的神经元。在卷积神经网络中,这些神经元以特征图的形式参与运算,通过对输入图像进行卷积得到特征图。多个特征图

形成一个隐藏层,通过卷积运算,可以从较浅的隐藏层得到较深的隐藏层。

深、浅隐藏层之间的关系通过卷积运算确定,由卷积算子“滑动”到每个完整的特征图中完成。因此可以说深隐藏层与浅隐藏层之间的关系是静态联系。而胶囊网络可以看成是卷积神经网络的一个变种。在胶囊网络中,将一个胶囊定义为一组神经元,这些神经元可以是一个向量,也可以是一个矩阵。多个胶囊构成一个隐藏层,两个隐藏层之间的关系由动态路由算法确定。与卷积神经网络隐藏层的特征映射不同,胶囊的组成是灵活的。动态路由算法不通过模板计算,而是计算两个隐藏层中每个胶囊之间的关系。动态路由算法实现了深、浅隐藏层之间的动态连接,使模型能够自动选择更有效的胶囊,提高了模型的性能。

14.3胶囊网络的结构

以MNIST数据集为例,如图14.2和图14.3所示,整个结构分为两部分:编码器和解码器。编码器用于获取图像输入,旨在从数据中提取有助于分类任务的相关特征,提供最准确和有用的信息,提高网络的可靠性。解码器用于改进网络参数的微调过程。编码器分为三个部分:普通卷积层、初级胶囊层、密集胶囊层。图14.2胶囊网络的编码器图14.3胶囊网络的解码器

普通卷积层L1:是模型的第一层,用来准备数据,其目标是将输入数据排列成输入到后续胶囊层的特征,应用卷积滤波器,然后进行批归一化处理,利用整流线性单元

(RectifiedLinearUnit,ReLU)激活函数得到输出特征立方体。

初级胶囊层L2:输入为L1层的输出,由若干个胶囊组成,每个胶囊由若干个胶囊单元组成。胶囊输出激活向量,使其能探测到类别特征及特征的各种变化,使得网络具有等变化特性。这些输出向量提供了一种更通用的数据结构,每个向量代表输入数据的不同特征,使得数据的附加细节(例如方向、颜色或相对位置)等详细信息可以被保存,这是胶囊网络不同于标准卷积神经网络模型的地方。用输出向量的方向代表实例参数,模代表寻找的类别特征包含在输入数据中的概率。使用非线性squashing函数(后面介绍)将激活向量的模压缩至0到1之间,同时保持激活向量的方向不变。

密集胶囊层L3:与L2之间通过动态路由连接,按指定路线在两层的胶囊之间传输信息。两层的胶囊之间存在一些高度相似的连接,动态路由算法还通过加强这样的连接,并删除弱连接来捕捉数据关系。L2层胶囊将其输出乘上权重矩阵来计算预测向量。如果预测向量与L3层胶囊的输出具有较大的积,则通过自顶向下的反馈,实现增加此胶囊与L3层胶囊的耦合系数,减小其他胶囊耦合系数的效果。动态路由算法模拟了人类大脑中负责视觉感知和理解的神经元之间的分层通信,具体步骤见14.4节。

相比于编码器,解码器的目的是改进网络参数的微调过程。解码器以编码器的输出为输入,通过若干个全连接层生成与原图尺寸相同的特征图。解码器用于指导网络参数的微

调,如图14.4所示是胶囊网络的解码器重建的MNIST数据。由图可以看出,解码器保留了输入数据中重要的细节。图14.4胶囊网络的解码器生成的MNIST数据

14.4动态路由算法

在传统卷积神经网络里,一个神经元一般会进行如下的标量操作:(1)输入标量并对标量加权;(2)对加权后的标量求和;(3)对上一步的加权求和结果进行非线性变换,生成新标量。

其中,cij是由动态路由迭代过程确定的耦合系数,且胶囊i与第l+1层中所有胶囊之间的耦合系数总和为1。cij通过对bij进行“routingsoftmax计算”来确定,即

其中,bij是胶囊i应耦合到胶囊j的对数先验概率,其初始值为0。图14.5动态路由算法

14.5胶囊网络的损失函数

14.5.1编码器的损失函数编码器的最后一层密集胶囊层的主要目标是获得与图像类别数nclasses相同个数的活动向量vi,i=1,2,…,nclasses。因此对于每个输入数据集,可通过胶囊网络均获得一组nclasses个活动向量,其中vi是第i类的胶囊,‖vi‖是预测输入数据属于第i类的概率。网络的损失可以用如下损失函数来计算:

14.5.2解码器的损失函数

解码器网络由几个全连接层组合而成,重建损失用来鼓励胶囊对输入数据的实例化参数进行编码。损失函数如下:

其中:X代表胶囊网络的原始输入数据;X'代表解码器重建的数据。

综上,胶囊网络的损失函数是

其中,θ是正则化因子,用于平衡两个损失度量之间的权重。为了给重建损失分配适当的权重,θ一般设置:θ=0.0005·nclasses。

14.6胶囊网络典型算法

14.6.1CapsuleGAN生成对抗网络主要用于建模图像数据和相关属性的分布,以及其他基于图像的应用,如图像到图像翻译和由文字描述生成图像。生成器和判别器通常被建模为依据DCGAN指导的深层卷积神经网络。受到胶囊网络在CNN方面的优越表现驱动,CapsuleGAN设计了在生成对抗网络判别器中使用胶囊层替代卷积层的框架,胶囊网络在此处执行的是二分类任务。

CapsuleGAN判别器在结构上与CapsNet模型类似。一般而言,CapsNet具有大量的参数,因为每个胶囊产生一个向量输出而不是单个标量;其次,每个胶囊都有与它上一层的所有胶囊相关联的附加参数,用于对其输出进行预测。但是,有必要使CapsuleGAN的判别器保持较少的参数量,原因有两个:

(1)CapsNet是非常强大的模型,很容易在训练过程中过早地开始对生成器进行严厉惩罚,这会导致生成器完全失效或遭受模式崩溃。

(2)动态路由算法的运行速度很慢。

CapsuleGAN判别器的最后一层包含一个胶囊,其长度表示判别器的输入是真实图像的概率。由于边际损失更适合训练CapsNet,因此用边际损失Lmargin替代传统的二元交叉熵

损失来训练CapsuleGAN。CapsuleGAN的目标函数为

图14.6所示是用MNIST数据集分别训练原始生成对抗网络和CapsuleGAN的生成图像比较。由图可以看出,CapsuleGAN和标准卷积GAN都能产生质量相当的清晰图像。然而,使用GAN生成的图像网格在生成的数字类别方面似乎多样性不足。图14.6随机生成的MNIST图片

14.6.2Deep-Conv-Capsule

1.一维深度胶囊网络

如图14.7所示,第一层是输入层,将输入的高光谱图像应用主成分分析降维至m个主成分,并提取每个像素点的光谱向量,第二层和第三层是普通的卷积层(用于获取非线性的

特征图),第四层是第一个胶囊层(胶囊层每个通道会输出多个特征图,而不是一个特征图,胶囊内部包含多个胶囊单元,特征图数量由每个胶囊的胶囊单元个数决定),第五层是卷积胶囊层,最后是全类胶囊层。第四层和第五层,以及第五层和第六层之间使用前文所述的动态路由算法连接。由图14.7可知,一维胶囊网络只使用光谱信息。图14.7一维深度胶囊网络结构图

2.三维深度胶囊网络

如图14.8所示,首先使用EMAP算法降维,并提取每个像素点及其邻域像素点所组成的空间块。与一维深度胶囊网络类似,三维深度胶囊网络也有六层,即输入层、两个卷积层和三个连续的胶囊层。两个卷积层作为局部特征检测器,再采用类似于一维深度胶囊网络的胶囊层进一步提取特征。在最后两个胶囊层中,使用动态路由算法来计算卷积胶囊层和胶囊分类层的输出。与一维深度胶囊网络不同,三维深度胶囊网络的输入数据由一维光谱信息转变为三维空谱信息,由一维卷积运算转换为三维卷积运算。三维深度胶囊网络使用ReLU作为激活函数,同时采用批归一化算法来缓解过拟合问题,提高分类精度。图14.8三维深度胶囊网络结构图

14.6.3FasterMS-CapsNet

胶囊网络在各种视觉任务上展示出了强大的性能。然而,传统的胶囊网络的胶囊层存在参数冗余度高的问题。基于八度卷积的快速多尺度胶囊网络就基于此问题设计,并用于高光谱图像分类。首先,FasterMS-CapsNet算法利用并行卷积设计了多个不同大小的核来提取深度多尺度特征,并且为了有效地减少参数冗余,达到较高的精度,在胶囊层中使用八度卷积(OctaveConvolution,OctConv)代替了传统卷积,提高了胶囊层的精度。其结构如图14.9所示。图14.9快速多尺度胶囊网络结构图

14.6.4MS-CapsNet

胶囊网络在图像分类中取得了明显的效果,但原始的胶囊网络不适用于检测一些内部表征较为复杂的分类任务,基于此问题,多尺度胶囊网络(MS-CapsNet)被提出。该模型对数据的处理主要包括两个阶段:第一阶段通过多尺度特征提取得到结构信息和语义信息;第二阶段将特征的层次编码到多维初级胶囊中。此外,该方法还提出了一种改进的Dropout操作来增强胶囊网络的鲁棒性。

如图14.10所示,MS-CapsNet层次较浅,包含了两个卷积层和一个全连接层。第一层是标准的卷积层,第二层是多尺度´胶囊编码单元,最后一层是密集胶囊层,输出所预测的类别。多尺度胶囊编码单元和密集胶囊层之间由前文所述的动态路由算法连接,网络的损失函数和原始胶囊网络的边际损失相同,用来完成多类分类。图14.10MS-CapsNet结构图

1.多尺度胶囊编码单元

胶囊即胶囊网络中的一组神经元,是一个同时具有方向和长度的向量。胶囊的方向检测实体的特性,例如方向和位置;胶囊的长度表示实体存在的概率。

如图14.11所示,多尺度胶囊编码单元对数据的处理包括两个阶段。

通过对三个分支的使用,可得到多维初级胶囊,再通过不同的权重矩阵计算预测向量,公式如下:图14.11多尺度胶囊编码单元结构

2.胶囊Dropout

Dropout通过使一些隐藏单元失效来缓解网络过拟合。在胶囊网络中,每个胶囊都是一个向量,Dropout必须丢弃一个向量而不是向量中的一些元素,如图14.12所示。图14.12胶囊Dropout

14.7胶囊网络的应用

14.7.1医学图像由于计算量的限制,胶囊网络模型尚未应用于大规模图像分类任务。然而因为其优良的性能,胶囊网络在小样本图像分类中得到了很好的应用。脑瘤被认为是儿童和成人中最致命和最常见的癌症之一。因此,在早期确定正确的脑瘤类型对于制定精确的治疗方案和预测患者对所采用治疗方案的反应具有重要意义。

14.7.2关系抽取

从一个句子中揭示重叠的多重关系是一个具有挑战性的任务。当前大多数神经网络模型的工作都繁琐地假设每个句子被明确地映射为一个特定的关系标签,由于关系的重叠特

征被忽略或很难识别而不能正确处理多个关系。为了解决这一新问题,基于胶囊网络的多标记关系抽取方法被提出。该方法比现有的卷积神经网络或递归网络在识别单个句子中高

度重叠的关系方面表现得更好。为了更好地对特征进行聚类和精确提取关系,该方法设计了基于注意机制的路由算法和滑动边际损失函数,并将其嵌