当ChatGPT和Stablediffusion碰撞：谷歌用人类反馈提升文生图效果

当ChatGPT和Stablediffusion碰撞：谷歌用人类反馈提升文生图效果ChatGPT的主要成功要归结于采用RLHF（ReinforcementLearningfromHumanFeedback）来精调语言大模型。近日谷歌AI团队将类似的思路用于文生图大模型：基于人类反馈（HumanFeedback）来精调StableDiffusion模型来提升生成效果。目前的文生图模型虽然已经能够取得比较好的图像生成效果，但是很多时候往往难以生成与输入文本精确匹配的图像，特别是在组合图像生成方面。为此，谷歌最新的论文AligningText-to-ImageModelsusingHumanFeedback提出了基于人类反馈的三步精调方法来改善这个问题。首先第一步是收集人类反馈数据。这里首先基于预训练好的文生图模型（这里采用stablediffusionv1.5）在一系列预定义好的文本上生成图像，然后让人类去进行打分，论文里主要是为了改善文本和图像的对齐能力，所以只采用了简单的二分制：如果生成的图像与文本很好地对齐就是好（1），反之就是差（0）。论文中所设计的文本主要包含三个方面：计数（count）、颜色（color）以及背景（background），在这三个方面原始stablediffusion模型往往表现较差，设计的文本是包含单个方面以及它们的组合，共27528个图像，具体如下所示：第二步是学习一个奖励函数（rewardfunction）。这里基于第一步收集的人类反馈数据训练一个预测人类评分的奖励函数：给定生成的图像和输入的文本，预测生成图像的评分。这里所设计的模型采用CLIP来提取图像和文本的特征，然后两个特征拼接在一起送入一个2层MLP模型进行评分预测，采用MSE损失来进行训练。除了MSE损失外，论文还设计一种辅助任务（promptclassification）来作为一种数据增强来提升奖励函数的泛化能力。具体地是对每个已经打分为好的图像-文本对，额外产生N-1个扰动的文本（和原始文本语义不同），具体的产生方法如下所示：然后基于这些扰动的文本来基于奖励函数对原始的文本进行分类，采用交叉熵损失（这个与自监督学习中的对比损失类似）：所以最终奖励函数的损失为MSE损失和辅助任务的CE损失，加上额外的损失对奖励函数的泛化能力（能够在未见过的数据表现较好，这里未见过的数据指的是人类反馈数据所不包含的数据）比较关键。最后一步就是用学习好的奖励函数来精调stablediffusion模型，这里精调的损失主要包括两个方面：一个是在人类反馈数据集（，这里额外除了用人类标注的数据集外，还额外增加了一些未标注的数据集来增加训练的多样性，其中共23K有标注数据，16K无标注数据）上基于奖励函数加权的生成损失（对于stablediffusion是真实噪音和预测噪音的L2损失）；另外一部分是基于预训练数据集（，这里采用LAION-5B数据集中艺术评分在6.5以上的子集，共627K）的原始生成损失，主要是作为一个正则化项来防止过拟合。值得注意的是，这里并不是基于RLHF方法，而实际上是一种基于半监督学习的精调方法。论文在120个文本上基于人类打分来对原始模型和精调后的模型来进行对比，结果如下所示，可以看到在图像和文本对齐方面，模型效果有明显的提升（50%vs3%），但是在图像生成质量上（fidelity）有稍微的下降（MS-COCO数据集上的FID也有下降），论文认为主要的原因是设计的数据集主要目标是为了对齐文本和图像，数据集的多样性较少，而且采用的预训练数据集只是一个很小的子集，如果采用更大的数据集，应该可以进一步改善这个问题。从消融实验来看，采用未标注数据集和预训练数据集来进行正则化，对于保证图像生成质量还是非常关键的。下面是一些图像生成样例，也可以看出精调后的模型在文本语义对齐上的提升：这个论文只是基于人类反馈在文生图模型上一个尝试，看起来还是有一定的效果，但是主要的问题是图像生成质量出现下降，比如出现过饱和以及失真的图像。虽然加入未标注的数据集和预训练数据集，能在一定程度上改善这个问题：论文的最后给出了未来的改进方向，主要包括：Morenuancedhumanfeedback：增加人类评分的细粒度，不是简单的0和1打分；Diverseandlargehumandataset：扩大数据集，提升多样性Differentobjectivesandalgorithms：采用RLHF方法相信，未来ChatGPT的思路能够真正在文生图模型上发挥更大