《深度学习入门-基于Python的实现》课件 6 PyTorch文本数据分析

October15,2024PAGE10/22张敏October15,2024PAGE10/22张敏《深度学习入门—基于Python的实现》(吴喜之张敏)用于自然语言处理的变换器张敏October15,2024变换器的原理图1:变换器示意图,上为总体,下面左右图分别为编码器和解码器细节自我专注的原理 每个字或词都在进入变换器后的第一个编码器中嵌入成为(假定512大小的向量中(512)向量列表.在第一个编码器中输入的是单词嵌入,而在其他编码器中的输入是前一个编码器的输出.在将单词嵌入输入序列后,每个单词都通过编码器的两层.变换器的一个关键属性就是每个位置的单词都流经编码器中自己的路径.自我专注层中这些路径之间存在依赖关系.但前向传播层不具有这些依赖性,因此可以在流过前向传播层的同时按各种路径进行并行计算(见图2).图2:字词从进入一个编码器到输出的过程假定一句话中只有四个单词tookthechallenge”,然后看(见图3).这句话中的“took”指的是什么?对于人类来说，这是一个简单的问题,但对于算法而言却并非如此简单.当模型处理“took”一词时，自我专注使它与每个其他词相关联,“we”为“whotook”;“challenge”代表“tookwhat”,而如“the”仅仅是冠词而已.图3:自我专注的示意图多头专注 ( )一组权重矩阵 W(q),W(k),W(v) 称为专注头(attention( )head),而变换器模型中的每一层都有多个专注头.一个专注(token),通过多个专注头例如对于每个词,都有一些专注头,主要是关注下一个单词,或者主要关注动词到其直接宾语.由于变换器模型具有多个专注头,因此它们有可能捕获许多级别和类型的相关关系,从表面级别到语义.多专注头层的多个输出被传递到前向传播层.( )在多头专注具有多组权重矩阵 W(q),W(k),W(v) ,如果变换( )器使用8个专注头,则每对编码器/解码器最终得到8组.这些集合中的每一个都是随机初始化的,然后,通过训练将每个集合用于将输入的嵌入(或来自较低编码器/解码器的向量)(X表示投影到不同的表示子空间中8个专注头N下面是多头专注的功能说明.N×64X ()(),() N×64

(i=0,1,...,7)⇒[Z|Z|...|Z

];(1.1)N×64 ⇒ i

0 1 7N×(64×8)ZN×64

=[Z0Z1...Z7]| | |N×(64×| | |

W(o)(64×8)×64

. (1.2)使用位置编码表示序列的顺序 为了解决输入序列中单词顺序的信息,变换器增加一个向量到每个输入嵌入中.这些向量遵循模型学习的特定模式以确定每个单词的位置或序列中不同单词之间的距离.这些值添加到嵌入中后,QKV向量中,在点积专注时就可以提供嵌入向量之间有意义的距离.( ;具体来说,由于我们的模型不包含递归和卷积,为了使模型能够利用序列的顺序,必须注入一些有关词语在序列中的相对或绝对位置的信息.为此,在编码器和解码器组合的输入嵌入(dm(positionalencoding),因为维度相同,则二者可以相加.位置编码有很多选择,可以是学习来的或者是固定的.作为一种固定的位置编码的例子,使用不同频率的正弦和余弦函数( ;PE(pos,2i)

sin pos =cos pos100002i/=cos pos

(1.3)PE(pos,2i+1)

100002i/dm).预训练模块TransformerOctober15,October15,2024PAGE15/22张敏两个简单的即时例子 情感分析输入预先训练好的情感分析模型'sentiment-analysis'来判断是正面还是负面情感:classifier=pipeline('sentiment-analysis')#classifier=pipeline('sentiment-analysis')#下载需要时间输入一句话“Itisgreattolearndeeplearning.”classifier('Itisgreattolearndeeplearning.')[{'label':'POSITIVE','score':classifier('Itisgreattolearndeeplearning.')[{'label':'POSITIVE','score':0.9998034238815308}]显然是正面,而且以很高得分来肯定.如果换一个句子:“Hedislikesanyparty.”:classifier('Hedislikesanyclassifier('Hedislikesanyparty.')输出为:[{'label':'NEGATIVE','score':[{'label':'NEGATIVE','score':0.9949379563331604}]这就确定是负面的了.question_answerer({'question':'Whatisthefutureofdatascience?','context':'Dataquestion_answerer({'question':'Whatisthefutureofdatascience?','context':'Datascienceshouldabandonsignificanceandapplymachine})输入预先训练好的模型'question-answering':question_answererquestion_answerer=pipeline('question-answering')(“Whatisthefutureofdatascience?”)及上下文(“DatascienceshouldabandonsignificanceandapplymachineOctober15,2024PAGE17/22张敏October15,2024PAGE17/22张敏输出的答案为:{'score':0.3156715929508209,{'score':0.3156715929508209,'start':45,'end':66,'answer':'applymachinelerning.'}包含的模型 Transformers包含了来自不同创造者的各种模型(括号内为创造者):BERT(Google),GPT(OpenAI),GPT-2(OpenAI),Transformer-XL(Google/CMU),XLNet(Google/CMU),XLM(Facebook),Facebook),DistilBERT(HuggingFace),CTRL(Salesforce),CamemBERT(Inria/Facebook/Sorbonne),ALBERT(GoogleResearchTechnologicalInstituteatChicago),T5(GoogleAI),XLM-RoBERTa(FacebookAI),MMBT(Facebook),Flau-BERT(CNRS),BART(Facebook),ELECTRA(GoogleResearch/StanfordUniversity),DialoGPT(MicrosoftResearch),Reformer(GoogleResearch),MarianMTMachinetranslationmodelstrainedusingOPUSdata(MicrosoftLongformer(AllenAI),DPR(Facebook),Pegasus(Google),MBart(Facebook),LXMERT(UNCChapelHill),Funnel(CMU/GoogleBrain),LayoutLM(MicrosoftResearchAsia),以及其他各社区贡献的模型.BERT模型 BERT1(从变换器的双向编码器表示模型)设计为事先训练的关于英语的深度学习模型(maskedlanguagemodeling,MLM)对象.作为一种变换器,BERT以自我监督的方式在大量的英语数据集上进行了预训练.这意味着只对原始文本进行了预训练,在没有以任何人为方式为它们加上标签的情况下,产生输入及标签的自动过程,这就是它可以使用大量公开数据的原因.1BidirectionalEncoderRepresentationsfromTransformers的缩略语.GPT-2模型 GPT-2(causallanguagemodeling,CLM)的英语预训练模型它以自我监督的方式在非常大的英语数据集上进行预训练.这意味着只对原始文本进行了预训练，没有以任何人为方式为其加上标签,它是可以自动产生输入及标签的自动过程.经过训练可以猜测句子中的下一个词.GPT-2模型的输入是一定长度的连续文本序列,目标是向右位移一个单词的相同序列.它在内部使用掩盖机制来确保对词的预测不使用将来的词.模型以这种方式学习了英语的内部表示形式,用来提取对下游任务有用的功能.该模型最擅长根据提示生成文本的预训练方法.seq2seq变换器示范代码October15,202422/22张敏October15,202422/22张敏本节案例代码来自网上2,它相当清楚地展示了前面介绍的变换器的各种功能,但由于使用了比较概括的模块,想了解细节则需要查询那些模块.这里通过的变换编码器模型nn.TransformerEncoder来处理一个语言建模的任务,目的是给出一个句子(词序列)后面应该跟随的词或词序列的概率.编码器的运作顺序如下:首先将一个词序列转换成嵌入.然后