解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗

解读ChatGPT背后的技术重点：RLHF、IFT、CoT、红蓝对抗 写开始出现在普罗大众的讨论中。这些晦涩的首字母缩略词究竟是什么意思？为什么它们如此重要？我们调查了相关的所有重要论文，以对这些工作进行分类，总结迄今为止的工作，并对后续LaMDADeepMindSparrowAnthropicAssistant(Anthropic的Claude就是部分Assistant续开发而得的)。队还公布了他们构建开源聊天机器人的计划，并公开分享了路线图(比如LAION团根据是否能公开访问、训练数据、模型架构和评估方向的详细信息对这些AI聊天机器人进BotAssistantAnthropic开否能否限否模型练语大TB是否络✔✔✔✖✖督调✔✔✔✔✔BotAssistant调据大小K到M20LPtGPT的数据✖✖✔✔✔定规则✔✖✔✖✔准、具体趣味性)1、质量(参与度、知识运用)2、安全性(毒性、偏见)1、校直(有帮助，无害，正确)2、证据(来自网络)则印象害、真实)害、诚的众台应商IAmazon我们观察到，尽管在训练数据、模型和微调方面存在许多差异，但也存在一些共性。上述所有聊指令依从(instructionfollowing)」，即遵循用户指定的指令。例GPT从预测文本到遵循指令通常，基础模型的语言建模目标不足以让模型学会以有用的方式遵循用户的指令。模型创建者使文本分类、摘要等经典NLP任务来微调模型外，还在非常多样化的任务集上向基础模型示范各种书面指令及其输出，从而实现对基础模型的微调。这些指令示范由三个主要部分组成——指令、输入和输出。输入是可选的，一些任务只需要指令，如上文使用ChatGPT做开放式文本生成的示例。当存在输入时，输入和输出组成一个「实例(instance)」。给定指令可以有多个输入和实例示例微调模型IFT语言模型自举(bootstrap)生成的实例的集合。在自用少样本技术输入一些样本给LM用于提示它(如上图所示)，随后要求LM生成新的指令、输入和输出。每一轮都会从人工编写的样本和模型生成的样本中各选择一些送给模型。人者之间的工作是使用一小组高质量的种子数据集，然后进行自举生成最终数据集，如Self-高质量众包NLP数据集使用统一模式或不同模板转换为指令。这一系列工作包括T0(Sanh安全地遵循指令SupervisedFinetuning，SFT人类标注数据上微调基础语言模型，以提高有用性和无害性。例如，请参阅下面的表格(摘自Sparrow论文的附录F)。阶段经常被用于提高响应的安全性，而不是接在IFT后面提高指令相应的具体性。将来，这种分安全规则LaMDA据一组规则(论文附录A)在带有安全标注的对话数据集上进行微调。这些规型，该方法使用基于人类偏好的标注数据。在RLHF中，根据人类反馈来对模型的响应进行排(如，根据人类偏好选择文本简介)。然后，用这些带标注的响应来训练偏好模型，该模型用于返回RL优化器的标量奖励。最后，通过强化学习训练对话代理来模拟偏好模型。有关更多详细信息，请参阅我们之前关于RLHF的文章:ChatGPT背后的“功臣”——RLHF技术详解。对话代理的逐步推理来生成输出。使用CoT微调的模型使用带有逐步推理的人工标注的指令数ungoT且对敏感提示，模型不会回避并生成“抱歉，我无法回答这个问题”这样的回答。更多示例，请的附录D。RLHF要点需要非常小的一部分数据来进行指令微调(几百个数量级)；CoT题上不那么回避。对话代理的进一步工作这个博客总结了许多关于使对话代理有用的现有工作。但仍有许多悬而未决的问题有待探索。我RL重要？我们能否通过在IFT或SFT中使用更高质量的数据进行训练来获得T3.鉴于我们有IFT、SFT、CoT和RLHF，预训练有多大的必要性？如何折衷？人们应该使用的最佳基础模型是什么(公开的和非公开的)？4.本文中引用的许多模型都经过红蓝对抗(red-teaming)的精心设计，工程师特地搜寻故障模式并基于已被揭示的问题改进后续的训练(提示和方法)。我们如何系统地记录这些方法的效果并重现它们？Rajanietal.,"WhatMakesaDialogAgentUseful?",HuggingFaceBlog,2023.articlerajani2023ift,author{Rajani,NazneenandLambert,NathanandSanh,VictorandWolf,Thomas},titleWhatMakesaDialogAgentUseful?},alHuggingFaceBlogyear{2023},note{https://huggingface.co/blog/