一个依存统计翻译模型

一个依存统计翻译模型

第二届统计机器翻译研讨会史晓东厦门大学人工智能研究所18/10/2006北京1/12/20231Outline基于句法的统计机器翻译简介为什么依存文法？模型解码训练问题？1/12/20232基于句法的统计机器翻译简介句法模型有很多好处：容易表示语序变换，如SOVSVO可以表示翻译模式（所谓的不连续短语只是一种最简单的翻译模式）张大鲲：与…不同=〉differentwith…Quirk:ne…pas=>not…可以表示句法限制主谓一致（人称，性，数，格……)采用更高级的句法语言模型1/12/20233几种主要的句法模型吴德凯：ITG（1997）A=>[BC]|<BC>特例：BTG熊德意(Bruin)的改进Alshawi2000Headtransducer：SimultaneousinductionofsourceandtargetdependencytreesYamada,2001Tree-To-String：在目标语言的树（对汉英翻译是英语树）Gildea2003树到树Cmejrek,2003依存模型Graehl,2004Tree-to-stringtransducer,extendsYamadaMelamed,2004SynchronousMultitextgrammar.GenParFox,2005依存模型Ding,2005ProbabilisticsynchronousdependencyinsertiongrammarQuirk,2005Dependencytreetostring,treelet刘洋，2006String-To-String:在源语言的树（对汉英翻译是汉语树）SyntaxMT的一种划分Synchronousmodels[Aho1969,Rambow2000]LargelyisomorphicNon-SynchronousmodelsLearnablemapping为什么依存文法？依存文法没有非终结符，比CFG简单依存文法是天然lexicalized依存文法比较跨语言【fox2002】依存结构离深层语义（如谓词变元结构）比较接近，语义可能在统计翻译中起更重要的作用1/12/20239一种新的基于依存树的方法Tree-To-Tree(?1,3,4ofslide3)Treelet:Atreeletisanarbitraryconnectedsubgraph(notnecessarilyasubtree)

ofadependencytree.(Quirk)Treelet:AtreeletinmysenseisageneralizedpatternofatreeletinQuirk’ssense定义适合于非依存文法，如CFG这样定义的特点实例化的程度：全部实例化：不考虑结构：经典的短语模型部分实例化，允许部分变量变量具有特定类型：自动化所的模型变量没有类型：软件所的模型变量为词类：Och的对齐模板模型变量为句法类：Melamed的GMTG（如果不考虑依存的特点）1/12/202311讨论依存树可以用图来表示：顶点和边Treelet包含结点和边的子集Treelet包含结点可能是广义结点（没有lexicalitem,但可能含有词性，语义类等任意特征）边可以是underspecified，可以不指明依存关系1/12/202312简单例子Treelet映射不一定是同态的，head可以变成dependent,依存关系也可以变化Treelet映射可以表示任意翻译规则（如荀恩东的局部重组模型，同步CFG）Treelet映射表示了部分语序对应Treelet不需要改变原文的树结构以迎合目标语言的树结构，可以表示任意的树翻译模式可以包容基于实例的翻译模型和大部分基于词组、句法的翻译模型依存结构的树树翻译模型把源语言的依存树映射成目标语言的依存树，再把树叶排列即得到翻译多种映射方式表示成不同的翻译同步文法的翻译过程可以和句法分析同时进行依存结构的树树翻译一般先分析后翻译，分成两步走。解码自底向上的动态规划算法可以采用对数线性模型结合多个特征“丝路”的所有特征调序模型：依存语言模型（如二元，也可采用3元如v+p+n）训练想法：把短语投射到依存树上，获得初始treeletmapping采用EM算法在双语依存树库上进行训练算法：TreeletTranslationProbabilityEstimationgeneralize如果子树完全对应，则可以用变量替换此处可以抽象出大量映射关于ViterbiAlignment仅仅是设想因