解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗_第1页
解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗_第2页
解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗_第3页
解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗_第4页
解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗_第5页
已阅读5页,还剩3页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

解读ChatGPT背后的技术重点:RLHF、IFT、CoT、红蓝对抗 写开始出现在普罗大众的讨论中。这些晦涩的首字母缩略词究竟是什么意思?为什么它们如此重要?我们调查了相关的所有重要论文,以对这些工作进行分类,总结迄今为止的工作,并对后续LaMDADeepMindSparrowAnthropicAssistant(Anthropic的Claude就是部分Assistant续开发而得的)。队还公布了他们构建开源聊天机器人的计划,并公开分享了路线图(比如LAION团根据是否能公开访问、训练数据、模型架构和评估方向的详细信息对这些AI聊天机器人进BotAssistantAnthropic开否能否限否模型练语大TB是否络✔✔✔✖✖督调✔✔✔✔✔BotAssistant调据大小K到M20LPtGPT的数据✖✖✔✔✔定规则✔✖✔✖✔准、具体趣味性)1、质量(参与度、知识运用)2、安全性(毒性、偏见)1、校直(有帮助,无害,正确)2、证据(来自网络)则印象害、真实)害、诚的众台应商IAmazon我们观察到,尽管在训练数据、模型和微调方面存在许多差异,但也存在一些共性。上述所有聊指令依从(instructionfollowing)」,即遵循用户指定的指令。例GPT从预测文本到遵循指令通常,基础模型的语言建模目标不足以让模型学会以有用的方式遵循用户的指令。模型创建者使文本分类、摘要等经典NLP任务来微调模型外,还在非常多样化的任务集上向基础模型示范各种书面指令及其输出,从而实现对基础模型的微调。这些指令示范由三个主要部分组成——指令、输入和输出。输入是可选的,一些任务只需要指令,如上文使用ChatGPT做开放式文本生成的示例。当存在输入时,输入和输出组成一个「实例(instance)」。给定指令可以有多个输入和实例示例微调模型IFT语言模型自举(bootstrap)生成的实例的集合。在自用少样本技术输入一些样本给LM用于提示它(如上图所示),随后要求LM生成新的指令、输入和输出。每一轮都会从人工编写的样本和模型生成的样本中各选择一些送给模型。人者之间的工作是使用一小组高质量的种子数据集,然后进行自举生成最终数据集,如Self-高质量众包NLP数据集使用统一模式或不同模板转换为指令。这一系列工作包括T0(Sanh安全地遵循指令SupervisedFinetuning,SFT人类标注数据上微调基础语言模型,以提高有用性和无害性。例如,请参阅下面的表格(摘自Sparrow论文的附录F)。阶段经常被用于提高响应的安全性,而不是接在IFT后面提高指令相应的具体性。将来,这种分安全规则LaMDA据一组规则(论文附录A)在带有安全标注的对话数据集上进行微调。这些规型,该方法使用基于人类偏好的标注数据。在RLHF中,根据人类反馈来对模型的响应进行排(如,根据人类偏好选择文本简介)。然后,用这些带标注的响应来训练偏好模型,该模型用于返回RL优化器的标量奖励。最后,通过强化学习训练对话代理来模拟偏好模型。有关更多详细信息,请参阅我们之前关于RLHF的文章:ChatGPT背后的“功臣”——RLHF技术详解。对话代理的逐步推理来生成输出。使用CoT微调的模型使用带有逐步推理的人工标注的指令数ungoT且对敏感提示,模型不会回避并生成“抱歉,我无法回答这个问题”这样的回答。更多示例,请的附录D。RLHF要点需要非常小的一部分数据来进行指令微调(几百个数量级);CoT题上不那么回避。对话代理的进一步工作这个博客总结了许多关于使对话代理有用的现有工作。但仍有许多悬而未决的问题有待探索。我RL重要?我们能否通过在IFT或SFT中使用更高质量的数据进行训练来获得T3.鉴于我们有IFT、SFT、CoT和RLHF,预训练有多大的必要性?如何折衷?人们应该使用的最佳基础模型是什么(公开的和非公开的)?4.本文中引用的许多模型都经过红蓝对抗(red-teaming)的精心设计,工程师特地搜寻故障模式并基于已被揭示的问题改进后续的训练(提示和方法)。我们如何系统地记录这些方法的效果并重现它们?Rajanietal.,"WhatMakesaDialogAgentUseful?",HuggingFaceBlog,2023.articlerajani2023ift,author{Rajani,NazneenandLambert,NathanandSanh,VictorandWolf,Thomas},titleWhatMakesaDialogAgentUseful?},alHuggingFaceBlogyear{2023},note{https://huggingface.co/blog/

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论