神经机器翻译前沿进展课件

神经机器翻译前沿进展神经机器翻译前沿进展机器翻译目标：利用计算机实现自然语言的自动翻译2布什与沙龙举行了会谈BushheldatalkwithSharon机器翻译目标：利用计算机实现自然语言的自动翻译2布什与沙龙举发展历史趋势：让机器更“自主”地学习如何翻译3规则机器翻译统计机器翻译神经机器翻译198019902013数据驱动机器翻译1990发展历史趋势：让机器更“自主”地学习如何翻译3规则统计神经1数据驱动的机器翻译核心问题：如何为翻译过程建立概率模型？4布什与沙龙举行了会谈BushheldatalkwithSharon数据驱动的机器翻译核心问题：如何为翻译过程建立概率模型？4布统计机器翻译隐变量对数线性模型：在隐式语言结构上设计特征5布什与沙龙举行了会谈BushheldatalkwithSharon(OchandNey,2002)统计机器翻译隐变量对数线性模型：在隐式语言结构上设计特征5布基于短语的统计机器翻译短语翻译模型：以隐结构短语为基本翻译单元6布什与沙龙举行了会谈布什与沙龙举行了会谈BushwithSharonheldatalkBushwithSharonheldatalkBushheldatalkwithSharon(Koehnetal.,2003)基于短语的统计机器翻译短语翻译模型：以隐结构短语为基本翻译单统计机器翻译的优缺点优点隐结构可解释性高利用局部特征和动态规划处理指数级结构空间缺点线性模型难以处理高维空间中线性不可分的情况需要人类专家设计隐式结构及相应的翻译过程需要人类专家设计特征离散表示带来严重的数据稀疏问题难以处理长距离依赖7统计机器翻译的优缺点优点7难点：长距离调序8BushPresidentheldatalkwithIsraeliPrimeMinisterSharonattheWhiteHouse如何用上述词语拼成合理的译文？难点：长距离调序8BushPresidentheldatal统计机器翻译示例9统计机器翻译示例9深度学习带来新思路10YannLeCunYoshuaBengioGeoffreyHinton(LeCunetal,2015)深度学习带来新思路10YannLeCunYoshuaBe机器翻译方法对比11英国爱丁堡大学在WMT英德评测数据上的BLEU值。NMT2015年结果来自蒙特利尔大学。来源：RicoSennrich报告和斯坦福ACL2016Tutorial。机器翻译方法对比11英国爱丁堡大学在WMT英德评测数据上的B神经机器翻译利用神经网络实现自然语言的映射12布什与沙龙举行了会谈BushheldatalkwithSharon(Sutskeveretal,2014)神经机器翻译利用神经网络实现自然语言的映射12布什与沙龙举行编码器-解码器框架利用递归神经网络实现源语言的编码和目标语言的解码13布什与沙龙举行了会谈</s>BushheldatalkwithSharon</s>(Sutskeveretal.,2014)编码器-解码器框架利用递归神经网络实现源语言的编码和目标语言递归神经网络的优缺点优点适合处理变长线性序列理论上能够利用无限长的历史信息缺点“梯度消失”或“梯度爆炸”14(Pascanuetal.,2013)递归神经网络的优缺点优点14(Pascanuetal.,长短时记忆通过门阀技术缓解“梯度消失”和“梯度爆炸”15(Hochreiter

andSchmidhuber,1997)长短时记忆通过门阀技术缓解“梯度消失”和“梯度爆炸”15(H神经网络学到了什么？16(Sutskeveretal.,2014)神经网络学到了什么？16(Sutskeveretal.,编码器-解码器架构的优缺点优点：利用长短时记忆处理长距离依赖缺点：任意长度的句子都编码为固定维度的向量17(Sutskeveretal.,2014)编码器-解码器架构的优缺点优点：利用长短时记忆处理长距离依赖基于注意力的神经机器翻译利用注意力机制动态计算源语言端相关上下文18(Bahdanauetal.,2015)布什与沙龙举行了会谈</s>BushheldatalkwithSharon</s>基于注意力的神经机器翻译利用注意力机制动态计算源语言端相关上注意力思想：集中关注影响当前词的上下文19(Chengetal.,2016a)注意力思想：集中关注影响当前词的上下文19(Chenget神经机器翻译中的注意力源语言词语目标语言词的关联强度20(Bahdanauetal.,2015;Chengetal.,2016b)神经机器翻译中的注意力源语言词语目标语言词的关联强度20(B注意力机制提升长句翻译效果21(Bahdanauetal.,2015)RNNenc:固定源语言上下文，RNNsearch:动态源语言上下文注意力机制提升长句翻译效果21(Bahdanauetal注意力机制的其他应用注意力机制已成为深度学习的主流技术22(Xuetal.,2015)“看图说话”：为图片自动生成文本描述注意力机制的其他应用注意力机制已成为深度学习的主流技术22(近期研究进展神经机器翻译在近两年取得飞速发展受限词汇量(Luongetal.,2015a;Jeanetal.,2015)细粒度意义单元(Chungetal.,2016;Sennrichetal.,2016a)先验约束(Tuetal.,2016;Cohnetal.,2016)记忆机制(Wangetal.,2016;Tangetal.,2016)训练准则(Shenetal.,2016;Ranzatoetal.,2016)单语数据利用(Chengetal.,2016c;Sennrichetal.,2016b)多语言(Dongetal.,2015;ZophandKnight,2016)多模态(Duongetal.,2016;Hitschleretal.,2016)23近期研究进展神经机器翻译在近两年取得飞速发展23进展1：受限词汇量受计算复杂度限制，仅能使用有限的词汇量24(Luongetal.,2015a;Jeanetal.,2015;Lietal.,2016)在后处理阶段单独翻译未登录词进展1：受限词汇量受计算复杂度限制，仅能使用有限的词汇量24进展2：细粒度意义单元以细粒度意义单元取代词，降低词汇量25(LuongandManning,2016;Chungetal.,2016;Sennrichetal.,2016a)字母与词语的混合模型，词语模型解决常用词翻译，字母模型解决生僻词翻译进展2：细粒度意义单元以细粒度意义单元取代词，降低词汇量25进展3：先验约束利用先验知识约束神经机器翻译26(Tu

etal.,2016;Cohnetal.,2016;Chengetal.,2016b;Shietal.,2016)很多

机场都被迫

关闭了Many

airports

wereclosedtocloseMany

airportswereforcedtoclosedown输入不考虑覆盖度考虑覆盖度先验：不应重复翻译，也不应漏翻进展3：先验约束利用先验知识约束神经机器翻译26(Tuet进展4：记忆机制利用记忆机制提高神经机器翻译27(Wangetal.,2016;Tangetal.,2016)将“外存”引入神经机器翻译进展4：记忆机制利用记忆机制提高神经机器翻译27(Wang进展5：训练准则提出更好的准则，提高与评价的相关性28(Shen

etal.,2016;Rezantoetal.,2016)训练数据训练目标优化最小风险训练：针对评价指标训练神经网络进展5：训练准则提出更好的准则，提高与评价的相关性28(Sh进展6：单语数据利用利用海量的单语语料库提高神经机器翻译29(Chengetal.,2016c;Sennrichetal.,2016b)利用自动编码器实现半监督学习进展6：单语数据利用利用海量的单语语料库提高神经机器翻译29进展7：多语言利用向量空间贯通多种自然语言30(Dongetal.,2015;ZophandKnight,2016;Firatetal.,2016)多种语言共享源语言编码器进展7：多语言利用向量空间贯通多种自然语言30(Donge进展8：多模态利用向量空间贯通文本、语音和图像31(Duongetal.,2016;Hitschleretal.,2016)不经过语音识别，直接将源语言语音翻译成目标语言文本进展8：多模态利用向量空间贯通文本、语音和图像31(Duon神经机器翻译教程和开源工具教程NeuralMachineTranslation,ACL2016TutorialsIntroductiontoNMTwithGPUs,KyunghyunCho开源工具GroundHog：加拿大蒙特利尔大学Blocks：加拿大蒙特利尔大学TensorFlow：GoogleEUREKA-MangoNMT：中国科学院自动化研究所32神经机器翻译教程和开源工具教程32统计机器翻译Vs

神经机器翻译33统计机器翻译神经机器翻译表示离散连续模型线性非线性训练MERTMLE/MRT可解释性高低训练复杂度低高处理全局调序句法门阀、注意力内存需求高低统计机器翻译Vs神经机器翻译33统计机器翻译神经机器翻译神经机器翻译面临的挑战34如何设计表达能力更强的模型？如何提高语言学方面的可解释性？如何降低训练复杂度？如何与先验知识相结合？如何实现多模态翻译？神经机器翻译面临的挑战34如何设计表达能力更强的模型？总结神经机器翻译：通过神经网络直接实现自然语言的相互映射。神经机器翻译近年来取得迅速发展，有望取代统计机器翻译成为新的主流技术。神经机器翻译在架构、可解释性、训练算法等方面仍面临挑战，需要进一步深入探索。35总结神经机器翻译：通过神经网络直接实现自然语言的相互映射。3谢谢！36谢谢！36神经机器翻译前沿进展神经机器翻译前沿进展机器翻译目标：利用计算机实现自然语言的自动翻译38布什与沙龙举行了会谈BushheldatalkwithSharon机器翻译目标：利用计算机实现自然语言的自动翻译2布什与沙龙举发展历史趋势：让机器更“自主”地学习如何翻译39规则机器翻译统计机器翻译神经机器翻译198019902013数据驱动机器翻译1990发展历史趋势：让机器更“自主”地学习如何翻译3规则统计神经1数据驱动的机器翻译核心问题：如何为翻译过程建立概率模型？40布什与沙龙举行了会谈BushheldatalkwithSharon数据驱动的机器翻译核心问题：如何为翻译过程建立概率模型？4布统计机器翻译隐变量对数线性模型：在隐式语言结构上设计特征41布什与沙龙举行了会谈BushheldatalkwithSharon(OchandNey,2002)统计机器翻译隐变量对数线性模型：在隐式语言结构上设计特征5布基于短语的统计机器翻译短语翻译模型：以隐结构短语为基本翻译单元42布什与沙龙举行了会谈布什与沙龙举行了会谈BushwithSharonheldatalkBushwithSharonheldatalkBushheldatalkwithSharon(Koehnetal.,2003)基于短语的统计机器翻译短语翻译模型：以隐结构短语为基本翻译单统计机器翻译的优缺点优点隐结构可解释性高利用局部特征和动态规划处理指数级结构空间缺点线性模型难以处理高维空间中线性不可分的情况需要人类专家设计隐式结构及相应的翻译过程需要人类专家设计特征离散表示带来严重的数据稀疏问题难以处理长距离依赖43统计机器翻译的优缺点优点7难点：长距离调序44BushPresidentheldatalkwithIsraeliPrimeMinisterSharonattheWhiteHouse如何用上述词语拼成合理的译文？难点：长距离调序8BushPresidentheldatal统计机器翻译示例45统计机器翻译示例9深度学习带来新思路46YannLeCunYoshuaBengioGeoffreyHinton(LeCunetal,2015)深度学习带来新思路10YannLeCunYoshuaBe机器翻译方法对比47英国爱丁堡大学在WMT英德评测数据上的BLEU值。NMT2015年结果来自蒙特利尔大学。来源：RicoSennrich报告和斯坦福ACL2016Tutorial。机器翻译方法对比11英国爱丁堡大学在WMT英德评测数据上的B神经机器翻译利用神经网络实现自然语言的映射48布什与沙龙举行了会谈BushheldatalkwithSharon(Sutskeveretal,2014)神经机器翻译利用神经网络实现自然语言的映射12布什与沙龙举行编码器-解码器框架利用递归神经网络实现源语言的编码和目标语言的解码49布什与沙龙举行了会谈</s>BushheldatalkwithSharon</s>(Sutskeveretal.,2014)编码器-解码器框架利用递归神经网络实现源语言的编码和目标语言递归神经网络的优缺点优点适合处理变长线性序列理论上能够利用无限长的历史信息缺点“梯度消失”或“梯度爆炸”50(Pascanuetal.,2013)递归神经网络的优缺点优点14(Pascanuetal.,长短时记忆通过门阀技术缓解“梯度消失”和“梯度爆炸”51(Hochreiter

andSchmidhuber,1997)长短时记忆通过门阀技术缓解“梯度消失”和“梯度爆炸”15(H神经网络学到了什么？52(Sutskeveretal.,2014)神经网络学到了什么？16(Sutskeveretal.,编码器-解码器架构的优缺点优点：利用长短时记忆处理长距离依赖缺点：任意长度的句子都编码为固定维度的向量53(Sutskeveretal.,2014)编码器-解码器架构的优缺点优点：利用长短时记忆处理长距离依赖基于注意力的神经机器翻译利用注意力机制动态计算源语言端相关上下文54(Bahdanauetal.,2015)布什与沙龙举行了会谈</s>BushheldatalkwithSharon</s>基于注意力的神经机器翻译利用注意力机制动态计算源语言端相关上注意力思想：集中关注影响当前词的上下文55(Chengetal.,2016a)注意力思想：集中关注影响当前词的上下文19(Chenget神经机器翻译中的注意力源语言词语目标语言词的关联强度56(Bahdanauetal.,2015;Chengetal.,2016b)神经机器翻译中的注意力源语言词语目标语言词的关联强度20(B注意力机制提升长句翻译效果57(Bahdanauetal.,2015)RNNenc:固定源语言上下文，RNNsearch:动态源语言上下文注意力机制提升长句翻译效果21(Bahdanauetal注意力机制的其他应用注意力机制已成为深度学习的主流技术58(Xuetal.,2015)“看图说话”：为图片自动生成文本描述注意力机制的其他应用注意力机制已成为深度学习的主流技术22(近期研究进展神经机器翻译在近两年取得飞速发展受限词汇量(Luongetal.,2015a;Jeanetal.,2015)细粒度意义单元(Chungetal.,2016;Sennrichetal.,2016a)先验约束(Tuetal.,2016;Cohnetal.,2016)记忆机制(Wangetal.,2016;Tangetal.,2016)训练准则(Shenetal.,2016;Ranzatoetal.,2016)单语数据利用(Chengetal.,2016c;Sennrichetal.,2016b)多语言(Dongetal.,2015;ZophandKnight,2016)多模态(Duongetal.,2016;Hitschleretal.,2016)59近期研究进展神经机器翻译在近两年取得飞速发展23进展1：受限词汇量受计算复杂度限制，仅能使用有限的词汇量60(Luongetal.,2015a;Jeanetal.,2015;Lietal.,2016)在后处理阶段单独翻译未登录词进展1：受限词汇量受计算复杂度限制，仅能使用有限的词汇量24进展2：细粒度意义单元以细粒度意义单元取代词，降低词汇量61(LuongandManning,2016;Chungetal.,2016;Sennrichetal.,2016a)字母与词语的混合模型，词语模型解决常用词翻译，字母模型解决生僻词翻译进展2：细粒度意义单元以细粒度意义单元取代词，降低词汇量25进展3：先验约束利用先验知识约束神经机器翻译62(Tu

etal.,2016;Cohnetal.,2016;Chengetal.,2016b;Shietal.,2016)很多

机场都被迫

关闭了Many

airports

wereclosedtocloseMany

airportswereforcedtoclosedown输入不考虑覆盖度考虑覆盖度先验：不应重复翻译，也不应漏翻进展3：先验约束利用先验知识约束神经机器翻译26(Tuet进展4：记忆机制利用记忆机制提高神经机器翻译63(Wangetal.,2016;Tangetal.,2016)将“外存”引入神经机器翻译进展4：记忆机制利用记忆机制提高神经机器翻译27(Wang进展5：训练准则提出更好的准则，提高与评价的相关性64(Shen

etal.,2016;Rezantoetal.,2016)训练数据训练目标优化最小风险训练：针对评价指标训练神经网络进展5：训练准则提出更好的准则，提高与评价的相关性28(Sh进展6：单语数据利用利用海量的单语语料库提高神经机器翻译65(Chengetal.,2016c;Sennrichetal.