深度学习应用开发 课件 cha7 2-迁移学习训练方法与技巧

目录1迁移学习方法依据01任务四种迁移学习方法02任务1迁移学习方法依据1迁移学习方法依据迁移学习的训练方法和技巧主要依据两种情况：（1）新数据集的大小如果新数据集的数据量为几万笔数据，就属于大数据集；如果新数据集的数据量为几千或几百笔数据，就属于小数据集。（2）数据集的相似程度新数据集与预训练模型所使用的数据集之间的相似程度。例如，猫与老虎属于相似度高的数据，而猫与桌子则属于相似度低的数据。2四种迁移学习方法2四种迁移学习方法根据新数据集的大小和数据集的相似程度，可以将迁移学习方法分为四种情况：（1）小数据集&相似数据（2）小数据集&不相似数据（3）大数据集&相似数据（4）大数据集&不相似数据2四种迁移学习方法（1）小数据集&相似数据小数据集在庞大的网络架构上训练时容易发生过拟合问题，因此预训练模型的权重必须保持不变。由于新数据集与预训练模型使用的数据集相似性高，新数据集在每一层卷积层都有相似的特征，尤其是更高层的卷积层，因此提取特征的卷积层不需要改变，只对处理特征分类的全连接层进行改变即可。故而我们将最后几层全连接层删除，并加上新的全连接层。2四种迁移学习方法步骤如下：(1）删除全连接层：可以选择删除最后一层的全连接层或删除多层的全连接层。(2）新增全连接层：将新增加的全连接层接在原来的网络架构后面，且最后一层全连接层的输出与新数据集的类别数一样。只训练新增的全连接层。(3）固定卷积层的权重：在训练新的网络架构时，将大部分网络层的权重固定。不进行训练。2四种迁移学习方法（2）小数据集&不相似数据因为小数据集在庞大的网络架构上训练时容易发生过拟合问题，所以预训练模型的权重必须保持不变。由于新数据集与预训练模型使用的数据集相似度低，新数据集只有在低层卷积层有相似特征，更高层卷积层的特征大多不相似，因此只需要保留低层卷积层，其他卷积层和全连接层都删除，并加入新的全连接层，2四种迁移学习方法步骤如下：(1）删除全连接层：删除大部分网络，只保留前面小部分网络层（提取线条、颜色或纹路的网络层）。(2）新增全连接层：将新增加的全连接层接在原来的网络架构后面，且最后一层全连接层输出与新数据集的类别一样。(3）固定卷积层的权重：在训练新的网络架构时，将大部分网络层的权重固定，不进行训练，只训练新增的全连接层。2四种迁移学习方法（3）大数据集&相似数据拥有大数据集一般不需要担心在训练过程中发生过拟合问题，因此可以对整个预训练模型进行训练。由于新数据集与预训练模型使用的数据集相似度高，新数据集在每一层卷积层都有相似的特征，因此提取特征的卷积层不必改变，只改变处理特征分类的全连接层即可。2四种迁移学习方法步骤如下：(1）删除全连接层：可以选择删除最后或多层的全连接层。(2）新增全连接层：在网络最后添加新的全连接层，最后全连接层的输出与新数据集的类别数一样。(3）固定卷积层的权重：在训练新的网络架构时，将大部分网络层的权重固定，不进行训练，只训练新增的全连接层。2四种迁移学习方法（4）大数据集&不相似数据拥有大量的数据集一般不需要担心在训练过程中发生过拟合问题，因此可以对整个预训练模型或全新的随机初始化权重的网络模型进行训练，由于新数据集与预训练模型使用的数据集相似度低，新数据集与大多数网络层的特征都不相似，因此我们先将最后几层全连接层删除，并加上新的全连接层，再对整个预训练模型进行训练。2四种迁移学习方法步骤如下：(1）删除全连接层：可以选择删除最后一层的全连接层或删除多层的全连接层。(2）新增全连接