深度学习技术应用课件：初识图像风格迁移

使用VGG19迁移学习实现图像风格迁移深度学习应用技术项目引导案例

深度学习目前在图像处理领域有众多有价值的应用。本实验将带来图像处理领域里颇具艺术价值的一个分支——图像风格迁移。

由于深度学习的发展，利用卷积网络的深层结构提取的信息，来替代早期人工提取的各种滤镜，能够高效地以自动化方式完成风格迁移任务，即把一张图片的内容和另一个图片的风格合成为一张新的图片，比如给出一个猫的图片和一个梵高的自画像，就可以生成一只梵高的猫。项目引导案例初识图像风格迁移01基于VGG19构建迁移学习模型02基于VGG19构建迁移学习模型02训练模型实现图像风格迁移03思考一下

你知道在使用深度学习之前是怎么实现风格迁移的吗？项目引导案例初识图像风格迁移职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08初识图像风格迁移了解图像风格迁移的发展过程理解图像风格迁移的原理与方法理解特征提取与迁移学习的相关概念能够搭建风格迁移案例所需使用的环境能够使用代码对图片进行压缩、上传等操作能够编写代码生成风格迁移图片。职业能力目标01知识目标技能目标职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08初识图像风格迁移了解图像风格迁移的相关知识及原理，通过调用接口尝试使用风格迁移生成图片。任务描述任务要求学习并了解了图像风格迁移的发展过程；学习了图像风格迁移的原理；掌握云端接口的调用方法；体验风格迁移的实际应用。任务描述与要求02职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08初识图像风格迁移任务分析你知道图片风格迁移的方法有哪些吗？想一想如何调用接口使用风格迁移生成图片？任务分析与计划03任务计划表通过上面的思考，你是否对本任务要完成的工作有所了解？让我们一起来制订完成本次任务的实施计划吧！任务分析与计划03项目名称使用VGG19迁移学习实现图像风格迁移任务名称初识图像风格迁移计划方式自主设计计划要求请用8个计划步骤来完整描述出如何完成本次任务序号任务计划1

2

3

4

5

6

7

8职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08初识图像风格迁移图片风格与纹理204知识储备图像风格迁移1图片风格迁移的方法3特征提取与迁移学习4图像风格迁移的概念04

图像风格迁移，即给定内容图片A，风格图片B，能够生成一张具有A图片内容和B图片风格的图片C。

但如何实现图片C的生成？其实要实现的东西很清晰，首先需要的就是内容上是相近的，然后风格上是相似的。图像风格迁移的概念04举个例子

比如你为了取悦女朋友，可以把你女朋友的大头照(A)，加上毕加索的艺术作品(B)，就会换成一个毕加索的后现代艺术作品（C）。

04

在神经网络之前，早期的图像风格迁移的处理方式多是分析某一种风格的图像。但这种方法有一个明显的缺点，即一个程序基本只能做某一种风格或者某一个场景，因此基于传统风格迁移研究的实际应用非常有限。

2015年，Gatysetal.在两篇论文中提出基于神经网络的图像风格迁移改变了这种现状。使用神经网络进行风格迁移生成图片效果如右图所示。图像风格迁移的概念

04图像风格迁移的简史图像风格迁移的发展如右图所示：图片风格与纹理204知识储备图像风格迁移1图片风格迁移的方法3特征提取与迁移学习41204图片风格与纹理要理解对于计算机来说图片的风格是什么，需要追溯到2000年以及之前的图片纹理生成的研究上。在2015年前所有的关于图像纹理的论文都是手动建模，其中最重要的一个思想是：纹理可以用图像局部特征的统计模型来描述。04图片风格与纹理

这个图片可以被称作栗子的纹理，这纹理有个特征，就是所有的栗子都有个开口。如果使用简单的数学模型表示开口的话，可以认为是某个弧度的弧线相交，而统计学上来说就是这种纹理有两条这个弧度的弧线相交的概率比较大，这种可以被称为统计特征。04图片风格与纹理

有了这个前提或者思想之后，研究者成功的用复杂的数学模型和公式来归纳和生成了一些纹理，但毕竟手工建模耗时耗力。同时，受限于计算机的能力，早期纹理生成的结果并不理想。图片风格与纹理04知识储备图像风格迁移1图片风格迁移的方法特征提取与迁移学习412304传统的图像风格迁移

传统的图像风格迁移可以从两个角度来说：计算机图形学领域计算机视觉领域04

（1）计算机图形学ComputerGraphics，简称CG。输入的是对虚拟场景的描述，通常为多边形数组，而每个多边形由三个顶点组成，每个顶点包括三维坐标、贴图坐标、rgb颜色等。输出的是图像，即二维像素数组。

传统的图像风格迁移传统的图像风格迁移04笔触渲染的方法基于图像滤波基于图像类比的方法图形风格转移在计算机图形学领域可以分为三种方法

但是这些方法都没有大规模落地然而采集成对的数据集在现实场景下几乎是不可能的需要确定某一风格不能简单的扩展到其他风格的迁移但是滤波器的值是算法工程师不断调整出来的，十分的耗时耗力，而且模拟出来的风格种类也是有限的需要成对的数据集图像滤波的方式速度快，效果稳定04（2）计算机视觉ComputerVision

简称CV，输入的是图像或图像序列，通常来自相机、摄像头或视频文件。输出的是对于图像序列对应的真实世界的理解，比如检测人脸、识别车牌。

在计算机视觉领域，风格迁移被视为纹理合成的扩展问题，假如在合成纹理图的时候刻意的保留一些语义信息（即输入图的内容信息），那就得到了风格迁移的结果。传统的图像风格迁移04基于神经网络的图像风格迁移的方法纹理建模方法图像重建方法基于神经网络的图像风格迁移基于神经网络的图像风格迁移04基于统计分布的参数化纹理建模方法基于MRF的非参数化纹理建模方法（1）纹理建模的方法主要将纹理建模为N阶统计量用patch相似度匹配进行逐点合成基于神经网络的图像风格迁移04基于在线图像优化的慢速图像重建方法基于离线模型优化的快速图像重建方法在图像像素空间做梯度下降来最小化目标函数设计一个前向网络，用数据驱动的方式，喂给它很多训练数据去提前训练它，这个训练好的网络只需要一次前向就能输出一张重建结果图像（2）图像重建方法：将风格和内容混合然后还原成一个相应的风格化结果。04基于对抗生成的图像风格迁移

基于GAN的风格迁移其实是属于基于神经网络的风格迁移范围之内的，因为GAN网络本质上就是神经网络。Gatys模型和Gan网络的输入都是噪声图像，输出也是一张图像，经过的网络都是神经网络。不同之处则在于loss的设计方面。基于对抗生成的图像风格迁移04

Gatys模型的loss函数是使用VGG网络去提取风格图片和目标图片的特征做label；提取输出图片的特征做结果，并比较两者的差异作为loss。基于对抗生成的图像风格迁移04

Gan网络由生成器和判别器两个网络组成，生成器负责对输入图片进行重建；其重建结果与真实数据集一起送入判别网络进行判断，判别网络负责分辨生成器的输出结果到底是来自真实数据集的真实图片还是来自其本身的生成图片。图片风格与纹理04知识储备图像风格迁移1图片风格迁移的方法特征提取与迁移学习1234特征提取04

人们发现深度学习可以用来训练物体识别的模型。由于出色的识别效果，VGG19（VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition）成为当时最出名的物体识别网络。特征提取04在Gatys论文（Gatysetal.,2015a）中，提出了一种用深度学习来给纹理建模的方法。Gatys

在VGG19强大且众多的局部特征提取器的基础上嵌套格拉姆矩阵（Gramianmatrix）去计算不同局部特征的相关性，把它变成了一个统计模型，于是就有了一个不用手工建模就能生成纹理的方法。迁移学习04

一个用分类任务训练好的CNN，通常已经具有了对世界大多数图像提取信息的能力，因为图像传递信息的底层机制是相通的，利用VGG19已经训练好的模型作为特征提取器，风格迁移模型可以直接利用这些提取的特征。把已训练好的模型（预训练模型）参数迁移到新的模型来帮助新模型训练，这就是迁移学习。为什么这里要用一个已经训练好的CNN模型呢？04迁移学习

右图清晰地表示了整个方法的过程。一张图片是风格图，一张是内容图，各自作为输入，经过VGG19网络，得到各层卷积层的特征图。从图上你可以看到什么？职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08初识图像风格迁移生成风格迁移图片204任务实施风格迁移体验案例21风格迁移体验案例05在JupyterLab中使用感叹号“!”表示执行来自操作系统的命令。安装命令的参数说明如下：1、安装依赖-i是指向下载源，默认是国外源，但由于国外源下载速度慢，因此这里指向国内源，以便于提高下载速度。数据增强05要实现风格迁移首先需要选定哪张图片作为内容图片，哪张图片作为风格图片。2、选择图片VGG模型搭建05由于存储与图片大小限制，上传的图片分辨率需要限定在1200*1200以下，大小不超过3M。通过编写compress_image()压缩函数实现对上传图片进行压缩。3、图片压缩compress_image()：用于压缩图片，当图片大小超过限定要求时会将图片压缩Image.open()：PIL图像处理中常见的模块，用于打开图片文件。接图片路径，用来直接读取该路径指向的图片os.path.getsize()：获得文件的大小（字节）VGG模型搭建05将本地图片上传至云端，用于接口调用。4、图片上传oss2：云服务相关模块，用来上传以及管理云上文件endpoint：用于存储访问的云服务的终端地址content_url：根据设定的Bucket名称、访问终端地址与文件存放的云端地址，可以确定云端内容图片的URL地址style_url：根据设定的Bucket名称、访问终端地址与文件存放的云端地址，可以确定云端风格图片的URL地址生成风格迁移图片204任务实施风格迁移体验案例21VGG模型搭建05该模块提供对解释器使用或维护的一些变量的访问，以及与解释器强烈交互的函数。sysargv[0]是脚本名称（依赖于操作系统，无论这是否是完整路径名）alibabacloud_imageenhan20190930:用于调用的图像风格迁移SDKalibabacloud_tea_openapi:用于配置与管理秘钥Image.open()：PIL图像处理中常见的模块，用于打开图片文件。接图片路径，用来直接读取该路径指向的图片os.path.getsize()：获得文件的大小（字节）这里用到的是sys.argv，可以看作一个从程序外部获取参数的桥梁，得到的结果为传递给Python脚本的命令行参数列表。职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08初识图像风格迁移任务检查与评价061、请参照评价标准完成自评和对其他小组的互评。2、各组请代表分析本组任务实施经验。项目名称使用VGG19迁移学习实现图像风格迁移任务名称初识图像风格迁移评价方式可采用自评、互评、老师评价等方式说

明主要评价学生在项目学习过程中的操作技能、理论知识、学习态度、课堂表现、学习能力等

评价内容与评价标准序号评价内容评价标准分值得分1理论知识（20%）了解图像风格迁移概念、简史、原理与方法，理解特征提取与迁移学习的相关概念。（20分）20分

2专业技能（40%）风格迁移体验案例（25%）正确的安装依赖库（2分）25分

3正确的选择图片（3分）正确的压缩