第7章 跨语言信息检索技术

1、第7章 跨语言信息检索技术作者：于振红学号：1308305020目录7.1 跨语言信息检索技术概论跨语言信息检索技术概论7.2 跨语言信息检索技术的研究发展跨语言信息检索技术的研究发展7.3 跨语言信息检索技术的基本框架跨语言信息检索技术的基本框架7.4 跨语言信息检索技术及其分类跨语言信息检索技术及其分类 7.4.1 同源匹配技术 7.4.2 查询翻译技术 7.4.3 中间语言翻译方法 7.4.4 文献翻译 7.4.5 不翻译技术 7.4.6 基于媒体对象的跨语言信息检索7.5 跨语言信息检索的主要研究热点跨语言信息检索的主要研究热点 7.5.1跨语言信息检索中的翻译歧义研究 7.5.2跨语

2、言信息检索中的翻译资源构建研究 7.5.3跨语言信息检索中的专有名词识别与音译研究 7.5.4跨语言信息检索中的翻译技术研究 7.5.5跨语言信息检索中的系统评价研究 7.5.6有关中英文跨语言信息检索的研究7.1 跨语言信息检索技术概述 跨语言信息检索(Cross Language Information Retrieval,CLIR)就是通过一种语言提问来检索出用另一种语言呈现的信息，是一种跨越语言界限进行信息检索的活动。跨语言信息检索技术计算机科学情报学语言学管理学管理学心理学 国际上跨语言信息检索研究领域每年定期会召开一些国际会议，这些会议从不同方面反映了当今跨语言信息检索的研究热点和

3、发展趋势。国际上的研究：TREC1CLEF2NTCIR3ACM SIGIR4国际上召开的一些会议文本检索会议跨语言评价论坛日本国家信息检索测试会议美国计算机协会信息检索特殊兴趣小组会议(1) 检索词与检索到的信息内容分属于不同的语言。检索词与检索到的信息内容分属于不同的语言。(2) 检索词的歧义和多义性。检索词的歧义和多义性。(3) 查询词的切分。查询词的切分。(4) 信息内容的多语言性。信息内容的多语言性。(5) 输出结果的排序组织。输出结果的排序组织。(6) 对多语言资源的依赖。对多语言资源的依赖。跨语言信息检索技术需要处理的主要问题:7.2跨语言信息检索技术的研究发展 根据研究对象的时间

4、历程和阶段性成果的差异，跨语言信息检索技术主要分为三个主要发展阶段：萌芽阶段发展阶段大型商用阶段接上页萌芽阶段萌芽阶段基于国际联机系统的跨语言检索研究基于国际联机系统的跨语言检索研究发展阶段发展阶段基于互联网的跨语言信息检索实验系统基于互联网的跨语言信息检索实验系统研究研究大型商用大型商用阶段阶段跨语言搜索引擎技术的飞速发展跨语言搜索引擎技术的飞速发展7.3 跨语言信息检索技术的基本框架7.4跨语言信息检索技术及其分类7.4.1 同源匹配技术同源匹配技术 同源匹配技术根据两种语言的语词拼写形式或读音相似度来判断其中一种语言语词的意义，不进行任何翻译。 同源匹配可以单独使用。而多数情况下是与其他

5、策略结合使用，比如在中英文跨语言信息检索中可以用于外来语的音译或反向音译。7.4.2 查询翻译技术查询翻译技术1. 查询翻译技术分类语境信息很少提问时通常很短难以消除歧义查询翻译技术在线快速执行优点缺点1）翻译模糊性控制 每个提问词被其所有可能的一发译法所替代，翻译模糊性问题严重，故控制翻译的模糊性是设计有效的提问式翻译技术的一个关键问题。 方法方法一一只翻译短语，因为短语翻译通常只翻译短语，因为短语翻译通常表现出较少的模糊性。表现出较少的模糊性。方法二通过用户的介入(利用交互式用户界面)也可以有效控制翻译的模糊性。2）查询翻译技术分类 受控词汇检索是指文档集通过手工使用预先选择好的词汇进行索

6、引，用户也是从相同的受控词汇中选择词汇构建查询条件，然后对文档进行检索。自由文本查询翻译受控词汇查询翻译查询翻译 文档的索引是通过概念识别器的匹配实现的。受控词汇跨语言检索系统中包含两个过程：将文档与查询条件都用受控词汇来表示。对文档的标识其实是对文档的翻译过程，而对查询条件用受控词汇来构建其实是对查询条件翻译的过程。2）查询翻译技术分类第一点第一点用受控词汇表中的检索词来标识每一篇文档用受控词汇表中的检索词来标识每一篇文档通常是手工完成的，其使用范围受到很大的通常是手工完成的，其使用范围受到很大的局限。局限。第二点培训用户学会有效地使用受控词汇来构建查询条件是一件非常困难的工作。受控词汇检索

7、的不足之处2）查询翻译技术分类 跨语言信息自由文本检索的四个基本方法基于机器翻译的方法基于知识的方法基于语料库的方法混合方法2.查询翻译技术1）基于知识的查询翻译方法 基于知识的查询方法主要利用人类专家总结的知识，例如机读字典、主题词表、百科全书等完成对查询式的翻译。 （1）基于机读字典的查询翻译。基于字典的查询翻译方法是最常用的查询翻译方法之一，是指从机读双语字典中抽取查询中每个词或者词组的合适的翻译进行替换的方法。常用的从字典中选择词语的方法主要有：全部选择、选择前n个、选择最合适的n个。（1）基于机读字典的查询翻译此种方法的主要问题：字典的覆盖度问题屈折语的处理词组的识别和翻译歧义问题（

8、2）基于多语主题词表、本体的查询翻译方法 最早应用在查询翻译中的方法就是基于多语主题词表的方法。 本体中饱含比主题词表更详细的概念定义，更广泛的关系描述，以及公理实例等，可以更好地反映出独立于语言的更为本质的东西，并用于对查询式进行语义层次的理解，精确地翻译结果，从而获得更优的检索结果。2）基于机器翻译的查询翻译方法 利用机器翻译系统进行查询翻译的优势就在于可以利用机器翻译系统的词法、句法、语义分析得到更为准确的翻译结果。但是将机器翻译系统应用在查询翻译中并没有取得很好的效果，主要原因看右表：原因一原因一机器翻译系统的翻译质量不高机器翻译系统的翻译质量不高原因二查询式长度通常很短，甚至只是一个

9、词从而影响了机器翻译的效果。原因三多数商用的机器翻译系统只返回一个最优翻译结果，不提供可供选择的翻译列表。3）基于语料库的查询翻译方法基于平行语料库的方法基于平行语料库的方法平行语料库依据对其程度又可分为篇章对齐、段落对平行语料库依据对其程度又可分为篇章对齐、段落对齐、句子对齐和词对齐，一般来说对齐的粒度越小，齐、句子对齐和词对齐，一般来说对齐的粒度越小，对齐的精度越高，查询翻译效果就越好。对齐的精度越高，查询翻译效果就越好。基于可比语料库的方法基于可比语料库的方法使用可比语料库最著名的方法就是相似性叙词表。有使用可比语料库最著名的方法就是相似性叙词表。有学者利用一个瑞典语新闻语料库和英语新闻

10、语料库，学者利用一个瑞典语新闻语料库和英语新闻语料库，构建双语可比语料库，从中提取出双语的相似性主题构建双语可比语料库，从中提取出双语的相似性主题词表信息并且用于查询翻译中。试验结果显示此种方词表信息并且用于查询翻译中。试验结果显示此种方法所获得的检索性能是单语言信息检索性能的一半左法所获得的检索性能是单语言信息检索性能的一半左右。右。平行语料库依据对齐程度的分类： 一般来说对齐的粒度越小，对齐的精度越高，查询翻译效果就越好。篇章对齐句子对齐词对齐段落对齐平行语料库的分平行语料库的分类类 平行语料库在查询翻译中的主要应用是构建双语对照词典主要包括两步：利用词频矩阵计算一种语言的词语出现时另一种

11、语言的词出现的条件概率，建立翻译词典计算词贡献矩阵，矩阵的每个元素是对齐单元中源语言词和目标语言词共现的次数。第一步第二步 使用可比语料库最著名的方法就是相似性叙词表。有学者利用一个瑞典语新闻语料库和英语新闻语料库，构建双语可比语料库，从中提取出双语的相似性主题词表信息并且用于查询翻译中。相似性叙词表单语言信息检索4）混合方法 混合方法是综合利用上面各种技术的优缺点以期望获得更佳的检索效果。此种方法中应用最广泛的资源组合是将双语字典和一些单语资源，例如单语体本WordNet、单语语料库等结合，利用字典进行翻译知识的抽取，利用单语资源进行翻译消歧。机读字典统计字典机器翻译系统单语言检索三者单独作

12、用均能够达到单语言检索的90%三种资源结合三种资源混合使用取得了最佳的检索效果机读字典统计字典单语言检索三者结合作使用检索能力能够达到单语言检索的98%机器翻译系统3.查询翻译过程中的基本问题查询翻译过程查询式查询翻译翻译资源分解三个要素包涵源语言和目标语言，源语言和目标语言的转换过程以及在此转换过程中所使用的翻译资源。依据这三个要素，查询翻译过程中所遇到的基本问题也分为三个方面：第一方面第一方面查询式的词法分析查询式的词法分析第二方面查询式翻译时的歧义问题第三方面翻译工具存在问题1）.查询式的词法分析 世界上的语言有近3000种，每种语言都有其自身的特点，可根据其特点对查询式进行预处理。例如

13、，像英语、法语等西语，可以对其进行词法分析，实现词根还原。 对于汉语、日语等没有明晰分隔符的语言来说，要对查询式进行翻译就必须要确定翻译单位，或者说是与翻译资源匹配的单位。 目前来说在查询翻译过程中最最常使用的翻译单位还是词，分词的效果对查询翻译有很大的影响。2）查询式翻译时的歧义问题 跨语言信息检索涉及到两种语言之间的相互转换，在此过程中主要会出现的问题是歧义问题。在自然语言中一词多义和一义多词的现象很普遍。对于机器来说，要理解词义是很困难的，尤其是理解只包含少量语境信息的查询词的意思。跨语言信息检索中德的歧义来自源语言和目标语言两个方面，在处理上的难度很大。现有的主要消歧方法包括：方法一方

14、法一方法二方法二方法三方法三方法四方法四方法五方法五词性标注技术短语和习惯用语的识别与翻译词法分析词的共现统计技术相关反馈技术 在自然语言中很多短语、习惯用语等通常有固定的语义，其意义很多都不等于其中词的语义的简单组合。因此当把其按照单个词进行翻译时失掉其本来的语义信息。 JIanfeng Gao 等设计了三个统计模型：如有图 模型一模型一共现模型（共现模型（Co-occurence Model）模型二名词短语翻译模型（Noun Phrase Translation Model）模型三依存翻译模型（Dependency Translation Model） 其中后两种模型分别可以识别名词短语和

15、依存三元组（Dependency Triples），例如动宾短语（Verb-Object），所有的三种方法都能起到很好的翻译消歧效果。模型一模型一共现模型（共现模型（Co-occurence Model）模型二名词短语翻译模型（Noun Phrase Translation Model）模型三依存翻译模型（Dependency Translation Model）3）翻译工具存在的问题对查询翻译的影响翻译资源的获取问题覆盖度问题准确度问题 在查询翻译过程中经常使用的翻译资源包括机读字典、主题词表、本体、语料库等。这些翻译资源对于查询翻译的影响包括翻译资源的获取问题、覆盖度问题、准确度问题等方面

16、。4.查询翻译的未来发展方向 查询翻译的未来发展方向可以概括为以下三点：（1）多种查询翻译方法的结合词典提供较广且较浅的覆盖度，而语料库提供较窄且较深的覆盖度，本体、主题词表则丰富的概念层次和语义关系，如能将多种查询翻译策略相结合，充分利用各层次知识，可以提高查询翻译的效果。（2）语义层次进行查询式翻译现在比较流行的、相对成熟的查询翻译方法总体来说还是字符级的匹配，只有从语义层次上理解查询式，才能获得更优的查询翻译结果，因此越来越多得学者开始使用本体这样包含语义信息的资源进行查询翻译。（3）语种的多样性现在跨语言信息检索主要集中于双语言信息检索，尤其是英语和另外一种语言的检索。尽管互联网上英语

17、仍然是最大的语种，但是汉语、拉丁语等比例也很大，实现这些语种之间的跨语言检索的意义也是非常大的。7.4.3 中间语言翻译方法 在跨语言信息检索中，解决语言障碍的基本方法是两种语言之间的翻译，然而所有的翻译方法都离不开机器翻译、双语翻译、语料库等作为翻译的语言基础。但是，在跨语言信息检索中可能会碰到这样的情形：两种语言直接翻译的资源不存在。为此研究人员提出了一种利用中间语言或中枢语言进行翻译的方法：将源语言翻译成中间语言，然后再将中间语言翻译成目标语言。7.4.4 文献翻译 文献翻译与查询翻译正好相反，是指先将多语言的原始信息集合转换成与查询相同的语言，再进行单语言信息检索。（2）可以离线执行文

18、献翻译的优点（1）提高翻译质量优点速度太慢，且可能会使原始信息库的规模很大缺点7.4.5 不翻译技术 目前不通过翻译进行跨语言信息检索的技术有潜在语义索引（Latent Semantic Indexing,LSI）和广义向量空间模型等方法。 LSI是由Deerwester等人于1990年在单语言信息检索中提出的。同年，Landauer和Litman提出了跨语言潜在语义索引（Cross-Language Latent Semantic Indexing，CLSI）的信息检索技术。潜在语义索引与广义向量空间模型的对比潜在语义索引潜在语义索引它的基本思想是首先通过将有代表性的文档与其对应的翻它的基本

19、思想是首先通过将有代表性的文档与其对应的翻译文档联系起来形成训练文档集，然后利用奇异值分解技译文档联系起来形成训练文档集，然后利用奇异值分解技术（术（Singular Value Decomposition，SVD）对双语检索词）对双语检索词文档关联矩阵进行奇异值分解，获得双语文档集的特征文档关联矩阵进行奇异值分解，获得双语文档集的特征信息以及检索词用法上的映射关系，即构造出不同语种的信息以及检索词用法上的映射关系，即构造出不同语种的潜在语义空间，最后根据平行文档中语词的用法特征检索潜在语义空间，最后根据平行文档中语词的用法特征检索出另一种语种的相关信息。出另一种语种的相关信息。广义向量空间模

20、型广义向量空间模型基本思想是根据双语训练文档集分别建立源语与目标语的基本思想是根据双语训练文档集分别建立源语与目标语的“检索词检索词文档关联文档关联”矩阵，在计算查询条件和文档的相矩阵，在计算查询条件和文档的相似度时，考虑将经典的向量空间模型与两个关联矩阵相结似度时，考虑将经典的向量空间模型与两个关联矩阵相结合，在源语言与目标语言之间实现映射关系。合，在源语言与目标语言之间实现映射关系。7.4.6 基于媒体对象的跨语言信息检索分类 根据检索的媒体对象类型，跨语言信息检索可以分为跨语言文本信息检索（Cross-Language Document Retrieval），跨语言图像信息检索（Cros

21、s-Language Image Retrieval）和跨语言语音信息检索（Cross-Language Spoken Document Retrieval）。 根据检索的媒体对象类型， 跨语言信息检索的分类比较：（1）跨语言文本信）跨语言文本信息检索息检索跨语言文本信息检索是目前研究最多的。跨语言文本信息检索是目前研究最多的。TREC和和NTCIR主主要是对文本信息检索进行测评和研究。对于要是对文本信息检索进行测评和研究。对于TREC，跨语言，跨语言信息检索只是中心议题之一，语言以英语为主，并搭配一信息检索只是中心议题之一，语言以英语为主，并搭配一些战略语言。些战略语言。NTCIR主要侧重于

22、亚洲语言的跨语言信息检主要侧重于亚洲语言的跨语言信息检索问题的研究。索问题的研究。（2）跨语言图像信）跨语言图像信息检索息检索目前研究较少。目前研究较少。CLEF于于2003年举行的会议上对跨语言图像年举行的会议上对跨语言图像信息检索进行了首次测评，并成为信息检索进行了首次测评，并成为CLEF的正式测试项目。的正式测试项目。2004年和年和2005年的年的Image CLEF 主要分为主要分为3个字任务：双语个字任务：双语Ad Hoc检索、交互检索（检索、交互检索（Interactive Retrical）、医学图像）、医学图像检索（检索（Medical Image Retrieval）。测试

23、和评比的目的就是）。测试和评比的目的就是要促进基于文本和基于内容的跨语言图像信息检索方法。要促进基于文本和基于内容的跨语言图像信息检索方法。（3）跨语言语音信）跨语言语音信息检索息检索内容包括文献信息检索技术、跨语言翻译技术和自动语音内容包括文献信息检索技术、跨语言翻译技术和自动语音识别技术（识别技术（Automatic Speech Recognition，ASR）。）。7.5 跨语言信息检索的主要研究热点7.5.1 跨语言信息检索中的翻译歧义研究 翻译的歧义性是跨语言信息检索的关键问题，对检索效率有重要影响，这也是国外学者广泛关注的研究领域，所依赖的语言资源主要有词典、主题词表、本体、语料

24、库等。 几种消歧研究的方法及效果：方法名称及简介方法名称及简介方法起到的效果方法起到的效果方法一Davis尝试依词性进行消歧平均准确率提高了37%，达到单语言检索的67.3%。方法二Chen等人以共现模型分析翻译消歧，以虚拟语境模型分析目标多义。在TREC-6的评测中，与仅处理翻译歧义相比，检索效率提高了10.11%。方法三Akira等人以Web文献为语料，利用词汇间的共现信息实现了同样的检索效率。在其试验中检索的平均准确率达到了手工翻译的97%。方法四Myung-Gil Jang等人利用从目标文献中获得的互信息统计进行消歧。在这里互信息不仅用于选择翻译词汇而且对翻译后的查询词赋以权重，检索效

25、率分别达到单语检索的85%和手工消歧的96%。7.5.2 跨语言信息检索中的翻译资源构建研究 翻译资源的优劣对于跨语言信息检索的性能有着重要的影响，所以在跨语言信息检所研究中，国外学者对于翻译资源的构建以及相互之间的比较进行了深入的研究。在跨语言信息检索中，常用的翻译资源有机器翻译系统、双语词典、本体和语料库等。7.5.3跨语言信息检索中的专有名词识别与音译研究 由于翻译词典的覆盖度，未登录词一直是机器翻译和跨语言信息检索的重要问题，专有名词的翻译更是挑战。Chen等人，Kinght和Graehl，Wan和Verspoor都相继提出机器音译的方法来处理这个问题。几种音译的研究方法简述方法简述取

26、得效果取得效果研究一Yan Qu等人提出了由英语到日语片假名的音译方法，利用英语语音词典和概率规则来获取候选语音，并通过日语单语语料库自动确认最终将英语-日语音译词成对添加到双语词典。检索的平均准确率提高了2.5%64.8%。研究二Nasreen提出一种统计模型进行英语-阿拉伯语间的音译。无论是对专有名词音译还是对所有未登录词音译都证明是有效的。研究三S.Y.Jung等人采用隐马尔可夫模型（HMM）进行英语到汉语的音译。召回率达到了87.5%。研究四Paola等人将专有名词的音译用于跨语言声音文件的检索。效果也是显著的。7.5.4 跨语言信息检索中的翻译技术研究 跨语言信息检索涉及查询语种和检

27、索语种两个基本的概念。查询语种是用户查询请求所属语种，检索语种是检索目标对象所属语种。如何能够在这两者之间建立沟通可以从以下3个方面展开：跨语言信息检索中的翻译技术Brown等人提出了一种基于机器翻译的方法1Nie、BBN等也相继提出了概率论翻译模型2Kwok、Hedlund等着重研究了翻译过程中的字典查找模型TEXT3Ballesteros和微软的研究人员在自己的工作中都使用到了基于共现的统计方法TEXT47.5.5 跨语言信息检索中的系统评价研究 跨语言信息检索系统的评价基本上采用了与一般信息检索系统评价相同的方法和步骤。然而，在跨语言信息检索的评价试验中，需要对检索提问进行翻译，并比较跨

28、语言信息检索系统与单语言信息检索系统的性能，这是评价跨语言信息检索系统的一个重要指标。 跨语言信息检索评价测试至少两种语言以上的测试文档集合。包含与文档不同语言的检索问题集合。检索问题的正确答案集合。 跨语言信息检索系统评价需要覆盖多种语言的评价测试集。跨语言信息检索评价测试集通常包含3个部分。1.跨语言信息检索评价模型 跨语言信息检索评价通常改变测试主题，以比较相同系统下单语言信息检索和跨语言信息检索的检索性能。一般跨语言信息检索系统的评价模型如图所示。2.跨语言信息检索效率评价指标 由于用户查询条件中所固有的模糊性，信息检索系统检索出来的文档集不一定全是用户所期待的，因此有必要对这些文档集

29、根据其与用户查询条件的相关性进行排序，并以此来判定信息检索系统检索出的文档集满足用户查询条件的程度。其中最重要的评价指标是查全率和查准率。（1）查全率 查全率是评价跨语言信息检索效率的一个重要指标，查全率是指在检索系统中的相关信息总体中尽可能查询输出的相关信息量所占的比率。总量检索系统中的相关文献检出的相关文献量查全率 （2）查准率 查准率是评价跨语言信息检索效率的另一个重要指标，查全率是指检出的文献中相关文献的准确程度。检出的文献总量检出的相关文献量查准率 3.跨语言信息检索的经典测试与评价平台 除了理论和技术外，评估也是跨语言信息检索系统发展过程的重要一环。目前跨语言信息检索主要有3个测试平台：TREC、NTCIR、CLEF。（1）TREC通过大型测试文档集的建立，测试项目，测试通过大型测试文档集的建立，测试项目，测试程序，评估准则的制定，程序，评估准则的制定，TREC为不同的检索系为不同的检索系统和检索技术提供了一个标准的评比环境，并统和检索技术提供了一个标准的评比环境，并举办论坛供参与者讨论和分享结果。举办论坛供参与者讨论和分享结果。TREC的出的出现，开创了检索评价研究的一个新的里程碑。现，开创了检索评价研究的一个新