大语言模型通识微课课件：处理大模型预训练数据_第1页
大语言模型通识微课课件：处理大模型预训练数据_第2页
大语言模型通识微课课件：处理大模型预训练数据_第3页
大语言模型通识微课课件：处理大模型预训练数据_第4页
大语言模型通识微课课件：处理大模型预训练数据_第5页
已阅读5页，还剩3页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

大语言模型通识微课

处理大模型预训练数据由于数据质量对于大模型的影响非常大。因此，在收集了各种类型的数据之后，需要对数据进行处理，去除低质量数据、重复数据、有害信息、个人隐私等内容和进行词元切分。微课5.2处理大模型预训练数据互联网上的数据质量参差不齐，因此，从收集到的数据中删除低质量数据成为大模型训练中的重要步骤。大模型训练中所使用的低质量数据过滤方法可以大致分为两类；基于分类器的方法和基于启发式的方法。（1）基于分类器的方法。目标是训练文本质量判断模型，利用该模型识别并过滤低质量数据。GPT-3、PaLM和GLaM模型在训练数据构造时都使用了基于分类器的方法。例如，基于特征哈希的线性分类器，可以非常高效地完成文本质量判断。5.2.1质量过滤（2）基于启发式的方法。通过一组精心设计的规则来消除低质量文本。·语言过滤：如果仅关注一种或几种语言，可以大幅过滤其他语言数据。·指标过滤：利用评测指标可以过滤低质量文本。例如，使用语言模型对给定文本的困惑度进行计算，利用该值过滤非自然的句子。·统计特征过滤：针对文本内容计算标点符号分布等统计特征，利用这些特征过滤低质量数据。·关键词过滤：根据特定关键词集，识别并删除文本中的噪声或无用元素。例如，HTML标签、超链接及冒犯性词语等。5.2.1质量过滤大模型训练数据库中的重复数据会降低大模型的多样性，并可能导致训练过程不稳定，从而影响模型性能。因此，需要去除预训练数据库中的重复数据，包括句子、段落、文档、数据集等不同级别。在实际产生预训练数据时，冗余去除需要从不同粒度着手，这对改善语言模型的训练效果具有重要作用。5.2.2冗余去除由于绝大多数预训练数据源于互联网，因此不可避免地会包含涉及敏感或个人信息的用户生成内容，这可能会增加隐私泄露的风险。因此，有必要从预训练数据库中删除包含个人身份信息的内容。删除隐私数据最直接的方法是采用基于规则的算法，利用算法检测姓名、地址、电话号码等个人信息内容并进行删除或者替换。5.2.3隐私消除传统的自然语言处理通常以单词为基本处理单元，模型都依赖预先确定的词表，在编码输入词序列时，表示模型只能处理词表中存在的词。因此，如果遇到不在词表中的未登录词，只能给未登录词一个默认的通用表示。在深度学习模型中，词表示模型会预先在词表中加入一个默认的“[UNK]”标识，表示未知词，并在训练的过程中将[UNK]的向量作为词表示矩阵的一部分一起训练，通过引入某些相应机制来更新[UNK]向量的参数。使用时，对全部未登录词使

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论