人工智能通识教程课件 08 AI 的视听应用-绘画、视频与音频生成-02

08AI的视听应用——

绘画、视频与音频生成021本章目标StableDiffusionWebUI的安装与部署StableDiffusionWebUI界面与参数StableDiffusionWebUI应用实践了解StableDiffusion的扩展模型2/65StableDiffusionWebUI

的安装与部署StableDiffusionWebUI简介StableDiffusion是一种基于潜在扩散的机器学习模型StableDiffusionWebUI是基于StableDiffusion模型的图像生成工具的图形界面应用高度灵活、高质量图像生成、开源StableDiffusionAUTOMATIC1111StableDiffusionWebUI基于开发者图像生成技术方面非常知名的开发者或开发团队4/65安装StableDiffusionWebUI安装方式各种安装方式下，生图的整体使用方法基本是一样的，部分细节设置略有差异。例如不同安装方式所提供的大模型不同，或者有些在线创作平台的升级功能需要收费使用5/65本地部署

需要自己从最基础的页面开始，逐一安装需要的插件和模型，这种方式需要用户对于一般的程序部署、StableDiffusion的插件选择等有一定的了解通过官网安装

内置了常用的插件和模型，大大简化了StableDiffusionWebUI的安装工作通过绘世启动器一键安装适合进阶使用者适合新手安装环境要求RTX3060级别的独立显卡最低4G显卡，推荐8GB显卡本地部署方式6/65绘世启动器一键安装什么是绘世启动器B站（bilibili）UP主“秋葉aaaki”制作并发布的免费StableDiffusionWebUI计算机桌面版启动器安装文件及安装顺序启动器运行依赖StableDiffusion的安装文件7/65绘世启动器的版本管理与主界面绘世启动器的“版本管理”界面StableDiffusionWebUI主界面8/65云端部署市面的StableDiffusionWebUI云服务平台揽睿星舟AutoDLOneThingAI端脑云......电脑配置不够，重新购买电脑花销过大，软件带不动？可以选云端部署或者在线平台9/65以AutoDL为例的云端部署方式租用一台计算机按小时计费创建实例选择镜像文件和版本容器实例列表启动SD启动成功主界面10/65在线创作平台典型的在线创作平台CephalonLiblibAI网易的AI设计工坊LiblibAI在线创作平台网易云课堂AI设计工坊在线创作平台11/65StableDiffusionWebUI

界面与参数StableDiffusionWebUI页面参数使用StableDiffusion生成第一张图片如何控制画面尺寸？如何调整画面风格？是摄影作品还是手绘插画？如何控制画面细节？如何根据参考图生成类似的图片？……教师演示操作步骤13/65StableDiffusionWebUI界面功能区14/65选择大模型大模型目录模型下载完成后将其存放到大模型目录每个大模型都使用特定风格图片训练而成，选择大模型就是选择风格15/65StableDiffusion模型核心主模型，决定生成图片的主要风格更多的模型需要额外下载安装训练生成卡通真人16/65模型的选择与下载安装选择大模型下载安装大模型演示案例1:模型的选择与下载安装17/65StableDiffusionWebUI功能区文生图图生图

细节调整和优化后期处理sky,beach,whitecould对图片进行处理人物姿态控制图片提取信息(由SD生成的图片可以直接提取相关参数和标签)图片生成图片图片提取信息文字生成图片加海盗船提示词输入什么是提示词用户输入文本描述（如主题、风格、颜色、细节等信息），用于指导模型生成符合要求的图提示词19/65提示词分类简单与复杂自然语言与标签正向与反向一只小猫简单提示词一只毛茸茸的白猫坐在维多利亚风格的扶手椅上，房间阳光充足，装饰复古复杂提示词一个可爱的长头发的女孩坐在草地上看书自然语言一个女孩，长发，可爱，草地，坐着，看书标签一个女孩，漂亮的正向提示词（希望出现的）丑陋的，变异的手或手指反向提示词（不希望出现的）体现更多细节简洁明确、对接模型、分配权重、更易识别突出希望出现的元素排除不需要的元素，防止错误或不相关生成20/65提示词编辑与翻译StableDiffusion不支持中文提示词提供翻译接口，支持翻译、调整顺序、删减提示词回车后自动翻译提示词21/65参数设定采样方法和迭代步数的设定不同的迭代步数的效果去噪采样22/65参数设定随机种子设置生成图像时的随机性（值=-1，生成图像具有随机性）用于不同时间或设备上复现喜欢的图像或微调设置随机种子后生成图像具有随机性使用上一次生成所用的随机种子数23/65迭代步数的设置演示案例5:使用不同迭代次数生成一只狗的图像使用不同迭代次数生成一只狗的图像迭代次数=1迭代次数=5迭代次数=10注意设置随机种子为“，即上一次生成所用的随机数种子，方便复现结果的比较24/65参数设定宽度和高度设置图像尺寸分辨率生成时间决定决定512×5121024×10242048×2048假设需要

30秒

可能100秒

可能300秒

生成时间与硬件配置以及其他设置也有很大相关性25/65宽度和高度的设置演示案例6:使用不同宽度和高度生成一只狗的图像使用不同宽度和高度生成一只狗的图像512×512512×10241024×10246秒10秒8秒不同运行环境生成时间不同，此处生成时间仅做参考26/65参数设定每次数量和生成次数每次数量是指每批次生成的图像数生成次数则为生成多少批次默认都是1，即只生成一次且每次只生成一张图片增加生成次数，会明显增加生成时间增加每次数量，会明显增大显存使用27/65常用的倍率是1.5x或2x控制噪声水平，通常设置0.3～0.7。0.5以上高重绘，0.3～0.5为低重绘调整生成过程中的步数，步数越多细节通常越丰富，但生成时间也更长指定输出图像的最终分辨率不同的放大算法影响最终图像的清晰度和细节的高重绘选择

参数设定高分辨率修复图像生成后提升其分辨率和细节处理前处理后放大算法放大倍数重绘幅度迭代步数高度和宽度28/65高分辨率修复的设置体验是否设置高分辨率修复的效果演示案例7:体验是否设置高分辨率修复的效果未设置迭代次数=5设置29/65参数设定提示词引导次数控制生成图像与提示词之间的相关性词该数值越大，AI生成的图像越忠于输入提示词，越符合描述图像通常设置为7~12不同提示词引导次数生成的图像30/65提示词引导次数的设置不同提示词引导次数的效果演示案例8:不同提示词引导次数的效果提示词引导次数=2提示词引导次数=5提示词引导次数=10一个金发女孩，手中拿着一本书，坐在草地上，身后有飞过去的白鸽31/65StableDiffusionWebUI

应用实践StableDiffusionWebUI常见的生图功能文生图图生图涂鸦与局部重绘12333/65画面内容：一个小女孩坐在教室里面，教室里有桌椅，小女孩在看书

画面风格：“二次元”风格文生图134/65文生图需求：生成一张准备发在朋友圈的海报画面内容：一个小女孩坐在教室里面，教室里有桌椅，小女孩在看书

画面风格：“二次元”风格01选择大模型02编写提示词03设定绘制参数04生成图像05导出图片实现流程设置不同参数组合、反复验证演示案例9:生成一张准备发在朋友圈的海报35/65第一步：选择大模型下载包含二次元的模型选择一个包含二次元的模型，例如AWPainting36/65第二步：编写提示词从各角度实现描述需求图片内容想象构思图片的内容和场景一个亚洲女孩在教室里坐在桌边，穿着学校的校服，手里拿着一本书，正在学习人物主体特征场景环境光照视角画质......可以再加上“高质量”“迪士尼”等画质、画风37/65第三步：参数设定部分参数设置如下，其他均为默认参数采样器：DPM++2MSDEKarras采样步数：30生成图像尺寸：540像素×960像素（主要考虑手机9∶16的比例）单次生成数量：1进行创作时要耐心探索不同参数组合，反复验证，最终找出最符合自己需求的设置，获得满意的作品38/65第四步：生成图像点击“生成”按钮实现图像生成StableDiffusion生图具有一定的随机性，每一次都会生成一张不同的图片，如果不满意可以继续单击“生成”重新生成，直到满意为止平面风格修复后图像3D风格39/65第五步：导出图片下载保存图片StableDiffusion的outputs目录40/65（需求借鉴图像）图生图241/65图生图需求：某儿童眼镜品牌欲推广产品，想要借鉴一张儿童模特的照片来设计一款手绘风格的海报儿童模特的照片01选择大模型02导入图像03编写提示词04绘制参数设置05生成并调整实现流程设置不同参数组合、反复验证演示案例9:借鉴儿童模特照生成一张手绘风格的海报42/65第一步：大模型选择选择手绘风格选择SeekYou，一个动漫风格的大模型SeeYou模型43/65第二步：导入图像导入需求借鉴图像导入StableDiffusionWebUI的图生图标签页中44/65第三步：编写提示词编写符合需求的提示词标签一个男孩，眼镜，带毛线帽子，毛衣，坐着，看着镜头，微笑除此以外，还可以增加一些画质、画风提示词；反向提示词使用常用的提示词即可45/65第四步：绘制参数设置缩放模式当设定的目标图像的比例与原图比例不一致时，需要设定缩放模式原始图像仅调整大小裁剪后缩放缩放后填充空白调整大小(潜空间放大)强制调整到固定的宽高尺寸（生成图片后缩放）锁定宽高比的前提下进行剪裁保证原有图像比例不变的条件下，对图像边缘进行像素扩充会根据输入的提示词自动决定最佳的图像尺寸和宽高比（生成图片前缩放）46/65第四步：绘制参数设置重绘尺寸重绘尺寸用于设定目标图像的分辨率如果设定的重绘尺寸与原图比例不一致，则需要设定缩放模式在实际工作中，我们开始一般会设定较小的分辨率，待抽卡选中符合要求的图片后，再锁定种子，通过高分辨率修复、插件等功能放大图像47/65第四步：绘制参数设置重绘幅度重绘幅度越大，对原始图像的参考越低重绘幅度越小，对原始图像的参考越大需求借鉴图像不同的重绘幅度对比48/65第四步：绘制参数设置最终绘制参数起始设置如下，后续可以根据生成效果再进行微调●

采样器：UniPC●采样步数：20●

宽高比：保持原始比例，宽设为440像素，高设为659像素●

提示词引导次数：7●

重绘幅度：0.5●

总批数量：449/65第五步：生成并调整调整并反复生成图片及保存根据生成结果，反复调整提示词权重、反向提示词及各个绘制参数的值。最终从生成的多幅图像中选择满意的作品下载并保存需求借鉴图像生成图像保存图像50/65涂鸦3局部重绘51/65涂鸦什么是涂鸦功能允许用户在图像上涂抹一个区域，StableDiffusion会自动根据涂抹区域周围的内容，生成新的内容来填补这个区域加入文本提示、绘图涂抹原图像生成结果52/65局部重绘什么是局部重绘允许对图像的特定区域进行修改而不影响其他部分选择需要重绘的区域

加入提示词原图睁眼变闭眼53/65实战训练—StableDiffusionWebUI的应用任务描述

熟悉StableDiffusionWebUI的应用任务要求实现课堂文生图的示例实现课堂图生图的示例完成时间：20分钟54/65总结213界面基本功能模型选择功能区提示词参数设定StableDiffusionWebUI的参数设置本地部署云端部署在线创作工具StableDiffusionWebUI的安装与部署文生图图生图涂鸦与局部重绘StableDiffusionWebUI的应用实践55/65了解StableDiffusion的

扩展模型了解StableDiffusion的扩展模型各模型选择入口变分自编码器一种风格模型。常被用作外置模型来弥补主模型的VAE功能。小模型（百兆）VAE模型

训练得到新的神经网络模型，向原有模型插入中间层和参数。小模型（百兆）使用率低Hypernetwork模型TextInversion训练，轻量化，单词与其对应向量的映记录，非常小（几十K）Embedding模型模型中插入新的数据处理层，避免修改原有模型的参数资源要求不高。模型文件小（百兆）LoRA模型StableDiffusion模型57/65VAE模型类似滤镜，用于细节与调色主模型一般自带VAE模型，也可以选择外挂VAE提升图片色彩表现58/6