人工智能应用基础 课件 项目6 生成式人工智能

人工智能应用基础授课人：周老师

技术篇项目6 生成式人工智能01项目描述05项目拓展02项目分析06项目小结03相关知识07项目练习04项目实施目录项目描述01小明在网上商城购物，如果看中了自己喜欢的衣服，可以随时在商城一个叫做在线试衣间的页面给自己的虚拟人物换衣服，这样他就可以更方便的找到适合自己的衣服了。他还发现自己手机里很多智能软件可以生成自己不同风格的照片。这背后一定又是人工智能在发挥作用。但同时他也发现，给虚拟人物更换衣服，或者给自己的照片更换不同的风格好像跟以前学到的图像识别、目标检测都不一样，自己在学习人工智能的道路上似乎又遇到了瓶颈，小明现在急许解开这些谜团。6.1项目描述02项目分析人脸识别、车牌识别属于利用深度学习能完成的最基本的事情，这些任务要求人工智能识别出某些事物，包括图像、声音、文本等，然后给他们进行分类，判断这些事情分别是什么。但还有一类任务，他们不再是做简单的分类，而可以自己生成一些你没见过的事物，小明看到的在线试衣间就属于此类。了解在线试衣间的相关技术，需要学习以下内容：1.

生成式模型2.

图像生成3.图像描述6.2项目分析03相关知识生成式模型生成式人工智能利用某个数据集中的样本来训练机器学习模型。然后，由用户输入某些提示，让模型为我们成生与训练数据类似的输出。6.3相关知识自动编码器自动编码器是一种生成模型，由编码器和解码器组成，它们通常情况下是结构相同的两个神经网络，可以由全连接层组成，也可以是由卷积层组成的。编码器的任务将输入数据转换为一个特征向量，解码器将该特征向量进行解码重建，转换为输入数据的样子，从而使其具备了生成数据的能力。6.3相关知识自动编码器进行图像降噪对于一个训练好的自动编码器模型，只要随机采样一些像素值输入到模型进行编码、解码之后，可以得到与训练集图像类似的新图像，这可以帮我们创建一些新的数字图片。6.3相关知识自动编码器生成新图像也可以随机的改变特征向量中部分值，解码器部分就可以用来从修改过的特征向量创建新的图像，得到与训练集图像类似但不同于训练集中任何一张图像的新图像。6.3相关知识生成对抗模型专业工厂与普通工厂之间生产零件的对抗6.3相关知识生成对抗模型用生成对抗模型训练图像生成器6.3相关知识生成对抗模型核心部件：生成器与对抗器生成器和判别器采取交替训练先训练生成器，然后训练判别器，不断往复，使生成器和判别器的对抗关系形成了一种动态平衡。生成器试图最大化判别器犯错的概率判别器则努力减小这种误判。这种对抗训练机制使得生成器能够生成越来越高质量的数据，同时也提高了判别器的鉴别能力。6.3相关知识生成对抗模型生成图片样例6.3相关知识生成对抗模型生成出手写数字图片6.3相关知识生成对抗模型面对多种手写体时的缺陷，生成器只会生成其一种或几种，就足以通过鉴别器的鉴别6.3相关知识生成对抗模型解决方法：多个生成器组成的生成对抗模型6.3相关知识风格迁移用自动编码器实现6.3相关知识风格迁移用生成对抗模型实现。根据输入的随机噪声来生成数据的，输入不同的噪声就会生成不一样的图像，新图像跟训练数据集相似。6.3相关知识但无法去控制这种随机性。不能控制生成器具体的输出内容，仅仅能保证新生成的图像是逼近训练数据集中出现过的带条件的生成对抗模型将某种条件，如图像、文本或属性标签值添加到随机噪声图像中一起输入到生成器里，通常条件与噪声图像直接拼接在一起即可。生成器的输出就不仅依赖于随机噪声，还要加上条件，而这个条件是我们可以控制的。6.3相关知识带条件的生成对抗模型风格迁移：将一些风格图像作为条件与随机噪声拼接在一起输入到生成器，用来控制生成器输出的图像风格。6.3相关知识带条件的生成对抗模型训练一个手绘风格迁移的模型，在训练生成器生成猫的图片时，将手绘的草图作为条件与噪声一起输入，来控制生成图像的轮廓6.3相关知识文本描述生成图像基于文本描述来生成图像内容6.3相关知识文本描述生成图像将文字作与噪声图像一起作为条件输入生成对抗模型进行训练。训练生成器的图像数据集需要很大，尽可能多的包含文字可能描述的内容。如果文字中提到眼镜，但图像数据集中没有眼镜的图像，那说明生成器从来没有接受过眼镜图像的训练，自然无法生成。6.3相关知识图像描述将图像概括成文本，通过一段文字来描述，从而实现辅助理解一些常人难以理解的图像，又称图像字幕生成。6.3相关知识图像描述常用的流程包括：图像特征提取和将图像翻译为文字。1、使用卷积神经网络提取图像的特征向，特征包括图像中的对象、场景和它们之间的关系。2、将提取的图像特征看作一种文本，输入到某种翻译模型中，根据图像特征中的信息生成符合语法和语义的文本描述，整个过程类似于将图像翻译为文字。6.3相关知识图像描述图像描述任务所需要的数据集是很大的，并且每张图像都有对应人工标记，这些标记内容就是图像的描述文本。标记的内容决定了在遇到类似图片时，会优先生成与标记风格类似的文本。6.3相关知识图像描述样例图像描述基于单词的图像描述方法：先从图像中提取单词，然后由单词组成多个候选句子，最后对这些候选句子进行筛选或合并，形成最终的描述文本。需要一个目标检测模型来提取一副图像中所包含的可识别物体，该物体的类别即可对应要生成的单词，而单词之间的关系可通过物体边界框的位置来确定6.3相关知识04项目实施1、打开EasyDL平台进入页面：/product/face/merge，在该页面中点击“本地上传”按钮来指定目标图和模版图，目标图将与模板图进行融合，输出一张融合后的人脸。——“人脸融合”6.4项目实施2、上传图片自己上传两张图片，分别作为模板图和目标图，并查看最终效果。05项目拓展如果我们要把自己的样子变成喜欢的动漫人物，也可以用条件生成对抗模型来完成。类比风格迁移的话，动漫人物就是一种风格，我们要做的是把动漫中的人物风格迁移到自己的照片中。这种模型要怎么训练你能说出来吗？6.5项目拓展06项目小结自动编码器网络和生成对抗网络，这两个模型都属于自监督学习，在训练时不需要给数据做上标记，而是以数据本身作为学习的目标，这可以节省大量的工作。利用生成式模型，我们可以创造一些原来没有的数据，生成一些意想不到的图像或是文本，比如图像去噪、风格迁移、利用文本生成对应的图像和用文本描述图像内容等。但是为了完成这些任务，模型需要有大量的训练数据，才能保证结果能接受。6.6项目小结07项目练习一、选择题

1. 生成式人工智能的目标是什么？（

）

A. 提高训练速度B. 提高计算效率C. 模拟人类的创造力D. 实现自动化生产2. 生成式模型能够生成哪些类型的数据？（

）A. 文本

B. 图像C. 音频D. 文本、图像、音频和视频等多种类型的数据3. 生成对抗网络的作用是什么？（

）A. 生成逼真的图像、文字、视频等B. 优化数据存储C. 图像识别D. 目标检测6.7项目练习一、选择题

4. 生成式人工智能在文本生成方面的应用不包括以下哪一项？（

）

A. 创作新闻文章B. 生成诗歌C. 编写程序代码D. 实现语音识别5. 以下哪项不是生成式人工智能的关键技术？（

）A. 深度学习B. 样本标签C. 神经网络D. 生成对抗模型6