深度学习技术应用课件：基于VGG19构建迁移学习模型

使用VGG19迁移学习实现图像风格迁移深度学习应用技术基于VGG19构建迁移学习模型职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于VGG19构建迁移学习模型了解VGG19基本结构原理及优缺点了解利用VGG19实现迁移学习的模型构建思路；熟悉图像噪声来源及常见噪声能够理解迁移学习的原理；能够掌握迁移学习方法；能够掌握风格迁移模型构建方法。职业能力目标01知识目标技能目标职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于VGG19构建迁移学习模型学习使用VGG19模型，基于VGG19模型构筑自己的迁移学习模型。任务描述任务要求学习并了解了迁移学习的原理；学习并使用迁移学习方法改造VGG19模型；掌握基于VGG19模型构建自己的风格迁移模型;实现风格迁移模型输入所需要的噪声图片。任务描述与要求02职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于VGG19构建迁移学习模型任务分析你知道VGG19模型的结构是怎样的？想一想基于VGG19实现迁移学习的模型构建思路？任务分析与计划03任务计划表通过上面的思考，你是否对本任务要完成的工作有所了解？让我们一起来制订完成本次任务的实施计划吧！任务分析与计划03项目名称使用VGG19迁移学习实现图像风格迁移任务名称基于VGG19构建迁移学习模型计划方式自主设计计划要求请用8个计划步骤来完整描述出如何完成本次任务序号任务计划1

2

3

4

5

6

7

8职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于VGG19构建迁移学习模型VGG19实现迁移学习的模型构建思路204知识储备VGG19基本知识1图片噪声3VGG19基本知识04

VGG主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG有两种结构，分别是VGG16和VGG19，两者并没有本质上的区别，只是网络深度不一样。以VGG19举例，VGG19包含了19个隐藏层（16个卷积层和3个全连接层）VGG19基本知识04

conv表示卷积层 FC表示全连接层 depth表示深度 3x3conv表示卷积层使用3x3的卷积核 maxpool表示最大池化 softmax用于将多分类的输出数值转化为相对概率VGG19基本知识041采用堆积的小卷积核优于采用大的卷积核。因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小；2相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果；33个3x3连续卷积相当于一个7x7卷积，其参数总量为3x(9xC^2)，若使用7x7卷积核，其参数总量为49xC^2；27xC2小于49xC2，即减少了参数。VGG19性能提升的原理VGG19模型优点04AVGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3）和最大池化尺寸（2x2）；C验证了通过不断加深网络结构可以提升性能B几个小滤波器（3x3）卷积层的组合比一个大滤波器（5x5或7x7）卷积层好；04VGG19模型缺点

3个全连接层使用了更多的参数，导致VGG耗费更多计算资源与更多的内存占用。VGG19实现迁移学习的模型构建思路204知识储备VGG19基本知识1图片噪声304VGG19实现迁移学习的模型构建思路

VGG19通过卷积操作，每一层神经网络都会利用上一层的输出来进一步提取更加复杂的特征，直到复杂到能被用来识别物体为止，每一层都可以被看作很多个局部特征的提取器。04VGG19实现迁移学习的模型构建思路

由于图像传递信息的底层机制是相通的，已经训练好的VGG19显然具备了图像信息提取的能力。利用VGG19已经训练好的模型作为特征提取器，风格迁移模型的构建只需要稍微做一些修改。VGG19实现迁移学习的模型构建思路04预训练模型构建模型输入层VGG19全连接层全连接层负责的是进行分类工作，与风格迁移任务无关获取卷积层部分的参数构建模型输入层的参数就是生成的图片舍弃掉根据噪声图片与内容、风格差异调整差异VGG19实现迁移学习的模型构建思路204知识储备VGG19基本知识1图片噪声304

图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。噪声的存在严重影响了遥感图像的质量，因此在图像增强处理和分类处理之前，必须予以纠正。

图像中各种妨碍人们对其信息接受的因素即可称为图像噪声。如果把图像看作信号，那么噪声就是干扰信号。图像噪声04图像噪声来源图像获取过程中图像信号传输中两种常用类型的图像传感器CCD和CMOS采集图像过程中，由于受传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声，如电阻引起的热噪声、场效应管的沟道热噪声、光子噪声、暗电流噪声、光响应非均匀性噪声。由于传输介质和记录设备等的不完善，数字图像在其传输记录过程中往往会受到多种噪声的污染。另外，在图像处理的某些环节当输入的对象并不如预想时也会在结果图像中引入噪声。04常见噪声--椒盐噪声图像添加椒盐噪声，就要把图像的像素点的强度值改为黑点或者白点，黑点的强度值是0，白点的强度值是255。原始图像的强度值区间是[0,255]，那么噪声函数中相应点是255或者是-255，加起来就可以达到是0或255的效果。需要注意，椒盐噪声是随机的改变图像中像素点的值为黑点或白点，并不是对每个像素点都进行操作。04常见噪声--高斯噪声高斯噪声是指噪声分布的概率密度函数服从高斯分布（正态分布）的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。高斯白噪声包括热噪声和散粒噪声。在通信信道测试和建模中，高斯噪声被用作加性白噪声以产生加性白高斯噪声。职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于VGG19构建迁移学习模型模型构建04任务实施依赖库的安装与导入1图片处理与保存构建噪声图片1234依赖库的安装与导入05模型构建之间，进行环境安装：1、安装依赖Python3.7tensorflow2.1.0tqdm4.54.1依赖库的安装与导入052、导入依赖库os：对文件夹进行一系列的操作；tensorflow：一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现；numpy：支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库；tqdm：显示进度条工具，可以在Python长循环中添加一个进度提示信息，用户只需要封装任意的迭代器tqdm(iterator)；matplotlib.pyplot：一个绘图库，最常用的可视化工具之一，非常方便创建2D、3D图表，常用于显示图片；matplotlib.image：用于读取图片；依赖库的安装与导入052、导入依赖库typing：Python标准库，用于提供类型提示支持，作用为：（1）类型检查，防止运行时出现参数和返回值类型不符合；（2）作为开发文档附加说明，方便使用者调用时传入和返回参数类型；（3）该模块加入后并不会影响程序的运行，不会报正式的错误，只有提醒。依赖库的安装与导入05设置超参数的目的是为了便于对模型训练中的可变功能进行管理。超参数使用大写英文参数表示，以便于与一般参数进行区分3、超参数设置依赖库的安装与导入05CONTENT_IMAGE_PATH：内容图片路径；STYLE_IMAGE_PATH：风格图片路径；OUTPUT_DIR：生成图片的保存目录；WIDTH：图片特征矩阵的宽度，固定设置为450；HEIGHT：图片特征矩阵的高度，固定设置为300；CONTENT_LAYERS：此参数用于保存自定义的内容特征层及loss加权系数，默认使用[‘conv4_2’,‘conv5_2’]表示内容特征；STYLE_LAYERS：此参数用于保存自定义的风格特征层及loss加权系数，默认使用[‘conv1_1’,‘conv2_1’,‘conv3_1’,‘conv4_1’]表示风格特征。超参数设置，如下：模型构建04任务实施依赖库的安装与导入1图片处理与保存构建噪声图片1234模型构建05该get_vgg19_model函数通过传入层名称来提取所需要的层。目的在于获取VGG19的卷积层，舍弃全连接层1、VGG19模型获取与处理模型构建05tf.keras.applications(include_top,weights)提供了带有预训练权值的深度学习模型，这些模型可以用来进行预测、特征提取和微调（fine-tuning）。这里直接使用tf.keras.applications模块加载预训练的vgg19网络。相关参数有：

（1）include_top:是否包括顶层的全连接层；

（2）weights:None代表随机初始化，imagenet代表加载在ImageNet上预训练的权值；tf.keras.Model()：模型实例化方法，共两种，这里使用传入输入层（input），输出层（output）来实例化，即tf.keras.Model(inputs=inputs,outputs=outputs)。model.trainable：用于控制权重是否被训练，设置为False即冻结所有权重。模型构建052、构建风格迁移模型

tf.keras.Model：通过继承Model类，该方法需要在__init__函数里定义的层；（1）定义输入层：此部分通过加载超参数中定义的内容特征层和风格特征层作为输入层，格式为{层名:加权系数}的字典形式。（2）定义输出层：该部分基于去除全连接层的VGG19网络。并且需要在call函数里实现模型的前向传播。

此部分实现将内容特征层和风格特征层的输出分离，用于后续损失计算。

模型构建052、构建风格迁移模型CONTENT_LAYERS：内容特征层及loss加权系数，已默认在超参数部分定义，后期可根据需要增加、减少层数或调整加权系数；STYLE_LAYERS：风格特征层及loss加权系数，已默认在超参数部分定义，后期可根据需要增加、减少层数或调整加权系数。

模型构建04任务实施依赖库的安装与导入1图片处理与保存构建噪声图片1234图片处理与保存05对于深度学习，归一化主要是为了加快训练网络的收敛性，避免数据尺度差异造成的负面影响。1、图片归一化图片归一化的原因05

当不进行数据归一化处理，反向传播时尺度大的特征值计算得到的梯度也比较大，尺度小的特征值则相对较小，但梯度更新时的学习率是一样的，如果学习率小，梯度小的就更新慢，如果学习率大，梯度大的方向不稳定，不易收敛。通常需要使用最小的学习率迁就大尺度的维度才能保证损失函数有效下降。

通过归一化，把不同维度的特征值范围调整到相近的范围内，就能统一使用较大的学习率加速学习。图片归一化的方法05

图片像素值的范围都在0~255，最简单的图片归一化方法将像素值简单地除以255。

这里归一化使用的是Z-score标准化方法。这种方法给予原始数据的均值和标准差进行数据的标准化。即将每个像素值减去均值的结果除以标准差，经过处理的数据符合标准正态分布。图片处理与保存05加载并处理图片函数：包含图片加载，图片解码，修改图片大小，归一化（调用normalization函数）等操作2、图片加载与处理图片处理与保存052、图片加载与处理image_path：该变量记录读取图片的路径；width：该变量为修改图片的宽度；height：该变量为修改图片的高度。verbose：模式选择，0为静音模式，1为正常模式，有处理进度条。

图片处理与保存05该文件夹生成位置将依据超参数OUTPUT_DIR设定的路径。保存图片结果函数：该函数将被归一化后的图片还原并保存到指定路径。3、保存图片结果图片处理与保存053、保存图片结果image：传入被归一化后的图片；filename：传入还原后图片保存的路径；tf.cast()：执行tensorflow中张量数据类型转换，比如读入的图片是int8，要在训练前把格式转换为float32。tf.clip_by_value()：可将张量中的数值限制在一个范围内，避免运算错误。传入参数分别为待限制张量、限制范围最低值、限制范围最高值。这里将还原后的值限定在0到255之间，符合像素点取值范围；tf.image.encode_jpeg()：对图像进行JPEG编码；tf.io.write_file()：传入地址与变量实现便捷的文件存储。

模型构建04任务实施依赖库的安装与导入1图片处理与保存构建噪声图片1234构建噪声图片05调用先前定义好的图片加载函数，分别传入超参数中定义的内容图片和风格图的地址，生成归一化后的标准化数据。1、图片加载构建噪声图片05tf.Variable(initializer)：变量构造函数，用于创建一个对象类型是tensor的变量2、噪声图片生成initializer：初始化参数，决定了创建的变量初始值和形状；构建噪声图片05np.random.uniform(low,high,size)：从一个均匀分布[low,high)中随机采样，注意定义域是左闭右开，通过该函数实现噪声的生成。2、噪声图片生成low：采样区间的下限，float类型，默认值为0；high：采样区间的上限，float类型，默认值为1；size：输出样本数目，为int或元组(tuple)类型，例如，size=(m,n,k),则输出mnk个样本，默认为输出1个值职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于VGG19构建迁移学习模型任务检查与评价061、请参照评价标准完成自评和对其他小组的互评。2、各组请代表分析本组任务实施经验。项目名称使用VGG19迁移学习实现图像风格迁移任务名称基于VGG19构建迁移学习模型评价方式可采用自评、互评、老师评价等方式说

明主要评价学生在项目学习过程中的操作技能、理论知识、学习态度、课堂表现、学习能力等

评价内容与评价标准序号评价内容评价标准分值得分1理论知识（20%）了解VGG19结构、原理及优缺点，并利用VGG19实现迁移学习的模型构建思路，了解图像噪声的产生及常见噪声类型。（20分）20分

2专业技能（40%）依赖库的安装及导入（10%）正确的安装和导入依赖库（