Python自然语言处理 课件 11-1-机器翻译

机器翻译与写作Python自然语言处理第十一章CONTENT目录

01机器翻译02机器写作课前回顾词嵌入算法训练词向量实践循环神经网络Seq2Seq模型与实战01机器翻译机器翻译的意义经典的神经网络机器翻译模型机器翻译译文质量评价机器翻译面临的挑战机器翻译的意义克服人类交流的语言障碍机器翻译能够帮助不同语言的人自由地交流有意义的研究课题机器翻译推动自然语言处理的发展01机器翻译机器翻译的意义经典的神经网络机器翻译模型机器翻译译文质量评价机器翻译面临的挑战经典的神经网络机器翻译模型01-基于循环神经网络的神经网络机器翻译02-从卷积序列到序列模型03-基于自注意力机制的Transformer模型01-基于循环神经网络的神经网络机器翻译编码器解码器模型端到端模型基于循环神经网络的神经网络机器翻译模型大致可分为端到端模型和编码器解码器模型翻译模型-端到端模型端到端模型模型输入“A"、”B"、“C"，在输入条件下依次生成输出”W"、“X"、”Y"、“Z"，其中”\<EOS>“为人为加入的句子结束标志01-基于循环神经网络的神经网络机器翻译翻译模型-编码器解码器模型编码器解码器模型

01-基于循环神经网络的神经网络机器翻译翻译模型-编码器解码器模型编码器解码器模型优势：解码器在生成目标语言的词语时，不仅考虑了源语言中的词语的全局信息，还考虑了已经生成的部分译文。

01-基于循环神经网络的神经网络机器翻译01-基于循环神经网络的神经网络机器翻译基于循环神经网络的编码器-解码器框架基于循环神经网络的神经网络机器翻译优点：

由于引入了长短期记忆，神经机器翻译的性能获得了大幅度提升，取得了与传统统计机器翻译相当甚至更好的准确率。不足： 1、不管是较长的源语言句子，还是较短的源语言句子，编码器都需将其映射成一个维度固定的向量，这对实现准确的编码提出了极大的挑战。 2、对于较短的源语言句子，维数设置过大会浪费存储空间和训练时间；对于较长的源语句子，维数设置过小会造成语义细节信息丢失的问题。基于循环神经网络的神经网络机器翻译的优缺点基于循环神经网络的神经网络机器翻译基于注意力机制的循环神经网络机器翻译模型基于注意力的神经机器翻译将源语言句子编码为向量序列，而不是一个固定向量，在生成目标语言词语时，能够利用与生成该词相关的源语言词语信息，所对应词语在源语言中可以连续存在，也可以离散分布。从卷积序列到序列模型ConvS2S模型的架构2017年5月，FacebookAI实验室提出将卷积神经网络引入序列到序列的神经网络机器翻译模型，这样既可以处理序列变长的问题，又可以实现在序列不同位置的并行计算。卷积序列到序列（ConvS2S）模型的结构如右图RNN的缺陷：由于下一个时刻的输出要依赖于上一个时刻的输出，从而导致无法在整个序列上进行并行处理，引起训练时间过长。从卷积序列到序列模型ConvS2S模型的架构上左部分是编码器，通过层叠的卷积抽取输入序列的特征，通过门控线性单元的非线性变换得到相应的隐层表示。下左部分是解码器，采用与编码器相同的层叠卷积运算抽取输出序列的特征，经过门控线性单元激活做为编码器的输出。中间部分是注意力部分，把编码器和解码器的输出做点乘运算，作为输入序列中每个词的权重。中右部分是残差连接部分，把注意力部分计算的权重与输入序列相乘，然后加入到解码器的输出中得到最终的输出序列。从卷积序列到序列模型ConvS2S模型的架构该模型的编码器和解码器之间采用的是多步注意机制，即每个卷积层都进行注意力建模，并且将上层卷积的输出作为下一层的输入，经过层层堆叠得到最终的输出。基于自注意力机制的Transformer模型RNN相关算法的限制：t时刻的计算依赖t-1时刻的计算结果，限制了模型的并行能力。顺序计算的过程中信息会丢失，尽管LSTM等门机制的结构在一定程度上缓解了长期依赖的问题，但对于特别长期的依赖现象，LSTM等仍旧无能为力。基于自注意力机制的Transformer模型Transformer模型架构

为了解决上述问题，Google于2017提出了transformer模型。该模型采用注意力机制代替了RNN搭建整个模型框架。

提出了多重自注意力机制，在编码器和解码器中大量使用了多重自注意力机制。基于自注意力机制的Transformer模型

多重自注意力机制基于自注意力机制的Transformer模型

01机器翻译机器翻译的意义经典的神经网络机器翻译模型机器翻译译文质量评价机器翻译面临的挑战机器翻译译文质量评价BLEUNISTMETEOR国际上用于评判机器翻译系统好坏有3种指标：BLEU采用N-gram匹配规则比较并统计共同出现的元词的个数，即统计同时出现在系统译文和参考译文中的元词的个数，最后将匹配到的元词的个数除以系统译文的单词数目，以此作为评测结果。不足之处：1、仅考虑了元词的匹配度，没有考虑语法上的准确性。2、评测精度极易受到常用词的干扰。3、对翻译短句的评价存在偏差，有时短译句的评测精度会偏高。4、没有考虑到同义词或相似表达的情况，因此在个别语句上可能表现不好。BLEU机器翻译译文质量评价机器翻译译文质量评价NIST方法是利用信息量公式求出每个元词的信息量，对于在参考译文中出现次数更少的元词会赋予更高的权重来体现其所包含的信息量，然后累加起来再除以整个译文的元词片段数据。NIST对BLEU进行了改进，采用算术平均来代替BLEU中的几何平均，从而加大一元词的共现次数对于评分结果的影响，同时还改进了BLEU中的惩罚因子，减少了译文长度对评分结果的影响。特点：NIST和BLEU一样，都不是真正给出了系统的译文与原文的相似度，而是利用已有的多个参考译文对系统译文进行打分，因此原文并不会影响翻译系统的得分。但是参考译文的数量和质量却是影响翻译系统评测的关键因素。NISTMETEOR方法是一种基于单精度的加权调和平均数和单字召回率的方法。特点： 它不希望生成块状的译文，如参考译文是“ABCD”，而模型给出的译文是“BADC”，虽然每一个一元词都对上了，但这个模型仍会受到很重的惩罚，METEOR是考虑了基于整个语料库的准确率和召回率而最终得出分值。METEOR机器翻译译文质量评价01机器翻译机器翻译的意义经典的神经网络机器翻译模型机器翻译译文质量评价机器翻译面临的挑战机器翻译面临的挑战挑战模型的可解释性先验知识的使用深层次语言知识的应用多语言机器翻译多模态翻译低资源语言的翻译机器翻译面临的挑战模型的可解释性基于编码器解码器结构的神经机器翻译，实现了源语言到目标语言的直接翻译，但相比统计机器翻译，神经机器翻译过程更类似在黑盒中运行，难以从语言学的角度对翻译过程进行解释。先验知识的使用以离散符号表示的外部资源，如句法标注、词性标注、双语词典等是非常重要的先验知识，在神经机器翻译中难以得到充分的利用。深层次语言知识的应用自然语言具有歧义性，需要背景知识的支持才能完成消歧任务。神经机器翻译大多是词语级的序列到序列的模型，对语言知识的应用不够全面，层次不够深入。机器翻译面临的挑战多语言机器翻译在多语平行语料，或者多语可比语料基础上研究基于神经网络的多语言机器翻译，不仅具有学术价值同样具有很高的实用价值，也是未来重要的发展方向。多模态翻译传统神经机器翻译过程中，文本翻译过程与翻译场景等信息是相互独立的，因此，导致神经机器翻译的结果往往不够智能，不能自适应