清华大学（张旭龙）：构建智能未来：⼤型语⾔模型的技术创新与实践报告

构建智能未来：大型语言模型的技术创新与实践张旭龙/2•大语言模型（LLM）概述与进展•GPT系列技术演进•预训练适配微调•LLM的使用•多模态大型语言模型•MM-LLMs的发展与优势•模型架构设计•模型特点与发展趋势•大型音频模型进展•背景与应用•架构与案例研究3•语言建模(LM)提高机器语言智能•大语言模型(LLM)4•扩展法则：模型性能与模型规模、数据集规模、训练计算量呈幂律关系•涌现能力：在小模型中不存在，但在大模型中出现的能力•上下文学习：无需额外训练，通过给定任务描述和示例来执行新任务•指令遵循：通过自然语言指令描述的混合多任务数据集进行微调后，能很好地遵循指令•逐步推理：使用思维链提示策略，通过包含中间推理步骤的提示来解决复杂任务5•早期探索：OpenAI最初尝试使用循环神经网络（RNN）来实现智能系统，随着Transformer的出现，开发了GPT-1和GPT-2。•GPT-1：基于生成式的、仅解码器的Transformer架构，采用无监督预训练和有监督微调的混合方法，模型主要聚焦于根据给定上下文预测下一个单词。•GPT-2：采用与GPT-1类似的架构，但参数规模扩大到15亿，并使用大规模网页数据集WebText进行训练。GPT-2旨在通过无监督语言建模来执行任务，无需使用标记数据进行显式微调。6•使用代码数据进行训练：2021年7月推出的Codex模型，它在大量GitHub代码上进行了微调，证明了Codex可以解决非常困难的编程问题，并且在数学问题上有显著的性能提升。•与人类对齐：OpenAI很早就开始研究模型与人类对齐，并提出了一系列方法，例如基于人类反馈的强化学习（RLHF）算法。7•重要里程碑：基于之前的探索，OpenAI发布了两个重要的里程碑89•语料库可分为六个组别:Books、CommonCrawl、RedditLinks、Wikipedia、Code、Others别模型训练数据量数据分布GPT-3(175B)3000亿tokenCommonCrawl、WebText2、Books1、Books2和WikipediaPaLM(540B)7800亿token使用了一个由社交媒体对话、过语言维基百科和新闻组成的预训练数据集的训练数据大小为1.0万亿token。从多个数据源中提取训练数据，和StackExchange。•质量过滤:为删除收集到的语料库中的低质量数据•基于分类器的方法•基于启发式的方法•去重：重复数据降低语言模型多样性•隐私去除：敏感或个人信息的用户生成内容•分词:将原始文本分割成词序列•Transformer由Encode•Encoderblock结构，是由Multi-HeadAttention,Add&Norm,FeedForward,TransformerEncoder编码句子信息TransofrmerDecoder预测•Transformer架构骨干蓝色、绿色、黄色和灰色的矩形分别表示前缀token之间的注意力，前缀token和目标token之间的注意力，目标token之间的注意力以及掩码注意力。•本质是在自然语言格式的实例集合上微调预训练的LLM与人类的价值观或偏好保持一致诚实性、无害性•由于LLM通常包含大量参数，因此全参数微调的成本非常高•由于LLM通常包含大量参数，因此全参数微调的成本非常高•由于LLM通常包含大量参数，因此全参数微调的成本非常高•由于LLM通常包含大量参数，因此全参数微调的成本非常高•ModalityEncoder•LLMBackbone•ModalityGenerato