第6章 基于CycleGAN的图像风格转换

基于CycleGAN的图像风格转换所谓图像风格转换，是指利用算法学习一类图像的风格，然后将学习到的风格应用到另外一张图像上的技术。随着深度学习的兴起，图像风格迁移获得了进一步的发展，并取得了一系列突破性的研究成果，其出色的风格迁移能力引起了学术界和工业界的广泛关注，具有重要的研究价值。本案例将使用艺术风格图像与现实风景图像数据集，构建CycleGAN网络，进行图像风格转换。一是将艺术风格图像转换成现实风景图像风格。二是将现实风景图像转换成艺术风格。基于CycleGAN的图像风格转换1数据准备目录目标分析2构建网络3训练网络4结果分析5在使用神经网络进行图像风格迁移之前，图像风格迁移的程序设计有一个共同的思路：分析某一种风格的图像，并为该风格建立一个数学或统计模型，再将模型应用到待迁移的图像中。因此带来了一个问题，一个程序基本只能做某一种风格或某一个场景间的转换，存在较高的局限性。所以，传统的风格转换研究的实际应用非常有限。图像风格转换的核心在于获得输入图像的特征表达。卷积神经网络对于图像高层特征的抽取，使得获取特征的表达变得相对容易。因此，随着深度学习技术的兴起，图像风格转换再次回到了大众的视野。背景生活中，图像风格转化的实际运用较少，多数运用偏娱乐性，例如，智能手机相机里的卡通滤镜功能，可以将拍摄的图像转换成卡通风格。本案例将基于CycleGAN进行图像风格转换。CycleGAN是图像风格转换中常用的网络，其特点是样本数据无需配对即可实现转换，例如，将斑马转换成马，如图所示。背景CycleGAN特点就是图像会经过两次风格转换。首先将图像从风格A转换到风格B。然后再从风格B转换回风格A。如果两次转换的效果都比较好，那么转换后的图像应该与输入的图像基本一致。CycleGAN通过对比转换前后的图像，形成了有监督学习，提升了转换效果。背景本小节主要介绍图像风格转换的相关背景、运用领域以及本案例的分析目标和相关流程。利用艺术风格与现实风景图像数据集，可以实现以下目标。让模型将现实风景图像的风格转换成艺术风格。让模型将艺术风格图像转换成现实风景图像的风格。本案例的总体流程主要包括以下4个步骤。加载数据，加载艺术风格与现实风景图像数据集。构建网络，包含残差网络、生成器、判别器及缓存队列。训练网络，计算生成器和判别器的损失，从而对生成器和判别器进行训练。结果分析，对迭代中输出的风格转换图像进行分析。分析目标本案例的总体流程图如图所示，主要包括加载数据、构建网络、训练网络、结果分析4个步骤。分析目标本案例基于PyTorch1.8.1、CUDA10.2和cuDNN8.2.0环境下运行，其中PyTorch1.8.1也可以是CPU版本。本案例的目录包含三个文件夹，分别是code、data和tmp。如右上图所示。所有原始图像数据存放在data文件夹，其中包含了四个文件夹，分别是trainA、trainB、testA、testB，如右下图所示。项目工程结构所有的代码文件放在code文件夹，如图所示。代码运行过程中生成的转换图像会放入tmp文件夹中，如图所示。构建网络包括构建残差网络、生成器、判别器以及缓存队列。其中生成器与判别器是CycleGAN的主要组成部分。项目工程结构1数据准备目录目标分析2构建网络3训练网络4结果分析5本案例使用的数据是艺术风格图像与现实风景图像数据集，包含了四个子数据集。testA文件夹里包含了263张艺术风格图像。testB文件夹里包含了751张现实风景图像。trainA文件夹里包含了562张艺术风格图像。trainB文件夹里包含了6287张现实风景图像。数据准备1数据准备目录目标分析2构建网络3训练网络4结果分析5

构建网络使用残差网络增加浅层网络到深层网络的信息传输，可以解决网络拥有层数较多时，网络准确度出现饱和，甚至出现下降的问题。在定义残差网络block时，ResidualBlock类继承自父类Module，并通过block_layer对象定义残差模块中的网络层。残差网络block生成器的目的是对输入的图像进行风格的转换，生成能够以假乱真的图像。同时，生成器所生成的图像也将作为输入对象提供给下一个生成器或判别器。在生成器中，使用了镜像填充卷积（ReflectionPad2d）由低维的特征生成高维特征，同时使用图像生成的归一化层（InstanceNorm2d）加速模型收敛，最终得到了生成的图像x。生成器Generator判别器的目的是对输入的图像进行判断，判断图像是真实的图像或生成的图像。在判别器中，使用了大量的卷积层用于提取输入图像的特征，在网络的结尾使用avg_pool2d函数进行均值池化。均值池化前的特征维度为torch.Size([10,1,14,14])，池化时对10个[14,14]大小的向量求均值并返回结果。判别器Discriminator训练网络时，每个周期都会读取一定批量大小的数据用于训练。需要注意艺术风格图像与现实风景图像是成对被读取的，图像对中的固定搭配可能会被网络学习到。因此，需要将输入数据的顺序打乱重新分组。定义缓存队列ReplayBuffe。在ReplayBuffer函数中，有如下两种可能。如果缓存池中的图像数量小于阈值max_size，那么返回原图像，并向缓存池增加输入的图像。如果缓存池中的图像数量大于阈值max_size，那么从缓存池中随机选择图像返回，并将输入的图像替换返回的图像。缓存队列ReplayBuffer1数据准备目录目标分析2构建网络3训练网络4结果分析5训练网络的过程。首先需要实例化生成器、判别器和缓存队列。然后设置损失函数和优化器。其次开始训练网络中的生成器和判别器。最后将风格转换的结果输出保存。G_A2B表示生成风格B图像的生成器，G_B2A表示生成风格A图像的生成器，netD_A表示对风格A图像进行判别的判别器，netD_B表示对风格B图像进行判别的判别器。real_A和real_B为输入的真实图像。训练网络生成器的训练过程主要包含如下6个步骤。利用G_A2B将real_B生成same_B，并获取real_B和same_B之间的损失。利用G_B2A将real_A生成same_A，获取real_A和same_A之间的损失。利用G_A2B将real_A生成fake_B，通过netD_B判断fake_B，将netD_B的返回作为损失。利用G_B2A将real_B生成faka_A，通过netD_A判断fake_A，将netD_A的返回作为损失。利用G_B2A将fake_B生成recovered_A，获取recovered_A与real_A之间的损失。利用G_A2B将fake_A生成recovered_B，获取recovered_B与real_B之间的损失。训练网络生成器的训练过程及图像名称解释，如图所示，主要包含6个步骤。训练网络对获得的损失进行加权求和即可得到生成器的总损失，训练完毕的G_A2B生成器需要满足以下3点要求。如果输入是图像real_B，那么生成的图像same_B在总体像素层面上与real_B相同。如果输入是图像real_A，那么生成的图像fake_B会具有B型的风格。如果输入是图像fake_A，那么生成的图像recovered_B在内容上与real_B相同，在风格上与风格B相同。训练完毕的判别器可以满足以下4点要求。判别器netD_A可以对real_A判真。判别器netD_A可以对fake_A判伪。判别器netD_B可以对real_B判真。判别器netD_B可以对fake_B判伪。训练网络训练网络完成后最终的输出结果是4张图像。一张艺术风格的真实图像a_real。一张现实风景图像的真实图像b_real。一张具有艺术风格的现实风景图像a_fake。一张具有现实风景图像风格的艺术图像b_fake。训练网络1数据准备目录目标分析2构建网络3训练网络4结果分析5通过观察训练过程中某些周期的输出结果来分析图像风格转换模型的效果。训练第1个周期时，生成的图像基本是噪声，如图所示。其中a_fake.png为由真实艺术风格图像a_real.png生成的现实风景图像，b_fake.png为由现实风景图像a_real.png生成的艺术风格图像。结果分析训练第200个周期时，模型已经能够生成具有简单色彩的图像，如图所示。训练第560个周期时，生成的图像已经