![清华大学(张旭龙):构建智能未来:⼤型语⾔模型的技术创新与实践报告_第1页](http://file4.renrendoc.com/view14/M00/0F/3D/wKhkGWZ6OdyABe0CAAETGzagWMw709.jpg)
![清华大学(张旭龙):构建智能未来:⼤型语⾔模型的技术创新与实践报告_第2页](http://file4.renrendoc.com/view14/M00/0F/3D/wKhkGWZ6OdyABe0CAAETGzagWMw7092.jpg)
![清华大学(张旭龙):构建智能未来:⼤型语⾔模型的技术创新与实践报告_第3页](http://file4.renrendoc.com/view14/M00/0F/3D/wKhkGWZ6OdyABe0CAAETGzagWMw7093.jpg)
![清华大学(张旭龙):构建智能未来:⼤型语⾔模型的技术创新与实践报告_第4页](http://file4.renrendoc.com/view14/M00/0F/3D/wKhkGWZ6OdyABe0CAAETGzagWMw7094.jpg)
![清华大学(张旭龙):构建智能未来:⼤型语⾔模型的技术创新与实践报告_第5页](http://file4.renrendoc.com/view14/M00/0F/3D/wKhkGWZ6OdyABe0CAAETGzagWMw7095.jpg)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
构建智能未来:大型语言模型的技术创新与实践张旭龙/2•大语言模型(LLM)概述与进展•GPT系列技术演进•预训练适配微调•LLM的使用•多模态大型语言模型•MM-LLMs的发展与优势•模型架构设计•模型特点与发展趋势•大型音频模型进展•背景与应用•架构与案例研究3•语言建模(LM)提高机器语言智能•大语言模型(LLM)4•扩展法则:模型性能与模型规模、数据集规模、训练计算量呈幂律关系•涌现能力:在小模型中不存在,但在大模型中出现的能力•上下文学习:无需额外训练,通过给定任务描述和示例来执行新任务•指令遵循:通过自然语言指令描述的混合多任务数据集进行微调后,能很好地遵循指令•逐步推理:使用思维链提示策略,通过包含中间推理步骤的提示来解决复杂任务5•早期探索:OpenAI最初尝试使用循环神经网络(RNN)来实现智能系统,随着Transformer的出现,开发了GPT-1和GPT-2。•GPT-1:基于生成式的、仅解码器的Transformer架构,采用无监督预训练和有监督微调的混合方法,模型主要聚焦于根据给定上下文预测下一个单词。•GPT-2:采用与GPT-1类似的架构,但参数规模扩大到15亿,并使用大规模网页数据集WebText进行训练。GPT-2旨在通过无监督语言建模来执行任务,无需使用标记数据进行显式微调。6•使用代码数据进行训练:2021年7月推出的Codex模型,它在大量GitHub代码上进行了微调,证明了Codex可以解决非常困难的编程问题,并且在数学问题上有显著的性能提升。•与人类对齐:OpenAI很早就开始研究模型与人类对齐,并提出了一系列方法,例如基于人类反馈的强化学习(RLHF)算法。7•重要里程碑:基于之前的探索,OpenAI发布了两个重要的里程碑89•语料库可分为六个组别:Books、CommonCrawl、RedditLinks、Wikipedia、Code、Others别模型训练数据量数据分布GPT-3(175B)3000亿tokenCommonCrawl、WebText2、Books1、Books2和WikipediaPaLM(540B)7800亿token使用了一个由社交媒体对话、过语言维基百科和新闻组成的预训练数据集的训练数据大小为1.0万亿token。从多个数据源中提取训练数据,和StackExchange。•质量过滤:为删除收集到的语料库中的低质量数据•基于分类器的方法•基于启发式的方法•去重:重复数据降低语言模型多样性•隐私去除:敏感或个人信息的用户生成内容•分词:将原始文本分割成词序列•Transformer由Encode•Encoderblock结构,是由Multi-HeadAttention,Add&Norm,FeedForward,TransformerEncoder编码句子信息TransofrmerDecoder预测•Transformer架构骨干蓝色、绿色、黄色和灰色的矩形分别表示前缀token之间的注意力,前缀token和目标token之间的注意力,目标token之间的注意力以及掩码注意力。•本质是在自然语言格式的实例集合上微调预训练的LLM与人类的价值观或偏好保持一致诚实性、无害性•由于LLM通常包含大量参数,因此全参数微调的成本非常高•由于LLM通常包含大量参数,因此全参数微调的成本非常高•由于LLM通常包含大量参数,因此全参数微调的成本非常高•由于LLM通常包含大量参数,因此全参数微调的成本非常高•ModalityEncoder•LLMBackbone•ModalityGenerato
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 程序设计课程设计总结
- 低频电路课程设计
- C语言课程设计总结汇报
- 摆放货物课程设计
- 2024年非接触式气膜密封项目合作计划书
- eda课程设计过程
- 课程设计学生
- 课程设计融入研学
- 2025届河北省景县梁集中学高三六校第一次联考生物试卷含解析
- 2024年合伙经营健身房合同书
- 部编道德与法治四年级上册一课一练(含答案)
- 小学心理健康教育《感恩的心》教学设计
- 事业单位工作人员调动审批表
- 事业单位章程示范文本
- 劳务派遣劳务外包服务方案(技术方案)
- 煤气发生炉拆除方案
- 龟兔赛跑英文课件
- 双段煤气发生炉项目可行性研究报告立项申请
- 水性环保型合成革建设项目可行性研究报告模板
- 医院职能科室协调机制和协调程序
- 泛光照明施工方案(完整版)
评论
0/150
提交评论