计算机视觉应用开发课件：无监督的图像增强

无监督的图像增强基于GAN的图像增强01任务Autoaugmentation02任务Randaugment03任务学习目标了解基于GAN的图像增强方法

掌握Autoaugmentation和Randaugment图像增强的方法1基于GAN的图像增强1基于GAN的图像增强生成对抗网络(Generativeadversarialnetworks，简称GANs)是一种无监督生成模型，它隐含地学习底层分布。在GAN框架中，学习过程是两个网络之间的极大极小博弈，一个生成器，生成给定随机噪声向量的合成数据，一个鉴别器，区分真实数据和生成器的合成数据。在深度学习的图像分类中使用GAN来进行数据增强，发现使用GAN直接的数据增强不如其他增强策略有效。但是在少样本学习中，这被证明是使用GANs进行数据增强的一个更有前途的用例。下面还有很多基于GAN的变体来实现数据增强，例如ACGAN，DAGAN，BAGAN。尽管使用GAN进行简单的数据增强有时可以提高分类器的性能，特别是在非常小或有限的数据集的情况下，但使用GAN进行增强的最有希望的情况似乎包括迁移学习或少量学习。随着研究不断提高GAN训练的稳定性和可靠性，将GAN用于数据增强的快速进展将不足为奇。1基于GAN的图像增强UEGAN：基于GAN的无监督图像增强无监督的图像增强生成对抗网络（UEGAN），该网络以无监督的方式从一组具有所需特征的图像中学习相应的图像到图像的映射，而不是学习大量的成对图像。模型基于单个深度GAN，它嵌入了调制和注意力机制以捕获更丰富的全局和局部特征。基于该模型，引入了两种损失来处理无监督图像增强：（1）保真度损失，其定义为预训练VGG网络的特征域中的L2正则化，以确保增强图像之间的内容（2）质量损失，它被定义为相对hingeadversarialloss，以赋予输入图像所需的特性。定量和定性结果均表明，该模型有效地提高了图像的美学质量。2AutoaugmentationAutoaugmentationAutoaugment是Google提出的自动选择最优图像增强方案的研究，这是无监督图像增强的重要研究方向。它的基本思路是使用增强学习从数据本身寻找最佳图像变换策略，对于不同的任务学习不同的增强方法，流程如下：(1)准备16个常用的数据增强操作。(2)从16个中选择5个操作，随机产生使用该操作的概率和相应的幅度，将其称为一个sub-policy，一共产生5个sub-polices。(3)对训练过程中每一个batch的图片，随机采用5个sub-polices操作中的一种。(4)通过模型在验证集上的泛化能力来反馈，使用的优化方法是增强学习方法。(5)经过80~100个epoch后网络开始学习到有效的sub-policies。(6)之后串接这5个sub-policies，然后再进行最后的训练。2Autoaugmentation这是Autoaugmentation在ImageNet上的图像增强效果：23RandaugmentRandaugment考虑到以往数据增强方法都包含30多个参数，为了减少参数空间的同时保持图像的多样性，Randaugment用无参数过程替代了学习的策略和概率。这些策略和概率适用于每次变换(transformation)，该过程始终选择均匀概率为1/k的变换。也就是说，给定训练图像的N个变换，Randaugment就能表示kN个潜在策略。Randaugment方法为：1、设定一个操作集，操作集由14种操作构成：Identity、AutoContrast、Equalize、Rotate、Solarize、Color、Posterize、Contrast、Brightness、Sharpness、ShearX、ShearY、TranslateX、TranslateY。2、Randaugment只有两个参数：N和M。其中N是指在每次增强时使用N次操作（使用的这N个操作，都是从操作集中等概率抽取的，例如操作集中有14种操作，则每种操作被选中的概率为1/14，每张图像的N次增强中，选到的操作可能是一样的），M为正整数，表示所有操作在应用时，幅度都为M。3、使用网格搜索，或者更为高端的方法（如反向传播等）在完整数