常用语料库软件的应用.ppt

1、双语语料库通常是数据库构建和搜索软件应用节目、内容、语料库的基本特征语料库采样：理论和采样操作语料库文本的基本处理：主要处理方法和实现方法双语语料库排序：方法和方法语料库搜索：基本搜索和高级搜索(一般、一般和term list)双语语料库搜索Log-likisFactor analysisCorrelationKeyness微型教育语料库的创建和使用翻译教室课程的双语语料的创建和应用，语料库的基本特征-1，Computer-Readable : Txt，XML，HTML，DOC，PDF Consistency 3360 HIS HisHisnmother Annotation:我们_ r；我们

2、/r；我们；我们Header:文本的元信息，文本的作者、文体、出版时间等，都以数据库形式存在，如Chineseenglishmeiguoshiweiyechou 13 GShangwuyinshuguan 1929 b 23052相对完整的语料档案模板、语料库的基本特征-2文件夹这是语料库数据库建设工作中最重要的部分，也是最耗时的部分。语料数据库牙齿完成后，可以从库中提取信息。这称为搜索。搜索效果取决于能否充分利用搜索工具，但最终取决于语料库本身能提供的可能性。检索结果的处理需要技巧，关于处理的质量和效率。语料取样：理论和取样工作，具有代表性和结构性的语料文本集，随机收集的文本数据库，越大越好

3、，不是“Finite-Sized Body of Machine-Readable Text”。语料库通常有样本。一般来说，在研究的需要上，渔获必须尽可能平衡，这样不能全部收到，要考虑从中提取一部分。对于要提取多少，如何提取，众说纷纭。布朗/lob:分层采样，大小一致；像文学中小型说这样的分层抽样占35%，散文占8%，话剧占2%。2nd generation corpora : the corpus di italiano scritto BNC:大小差异(max: 40，000 words)；25%/75% (lit。/inf .)enpc : 40%/60%(非lit/lit)；s . J

4、ohansson size : 2.6 million words language : English，Norwegiannumber of texts/samples 3360 100 orig .100 transl.period : 19751995示例字数和分配语料抽样计算，语料文本的基本处理：主要处理方法-1，语料最常用的存储方法是普通文本语料，以这种方式存储空间非常大以这种方式存储资料只是搜索，更重要的是尽量使存储的文本内容规范保持一致，避免乱码、不必要的空格和软回车符、硬回车符等文本噪音。为此，必须对语料进行循序渐进的处理。您可以使用Microsoft Word处理文本。语料文

5、本的基本处理：主要处理方法-2，取代Word使用Macro的其他语料文本处理工具(edit plus)；语料文本的基本处理方法：主要处理方法-3，规格档案生成：无噪音，符合预期处理规范Header |实际上，噪音消除是“see next slide(替代操作)”、“article text(语言文本)”的默认处理。主要处理方法-4，$ line=s/sn/n/g；# matching and replacing all $ line=s/(.)n/$ 1/g；# matching and replacing all $ line=s/rn/# # # #/g；# matching and re

6、placing all $ line=s/*/g；# matching and replacing all $ line=s/s * $/g；# matching and replacing all $ line=s/s0，/s/g；# matching and replacing all $ line=s/sn/n/g；# matching and replacing all $ line=s/Zn/# # # #/g；# matching and replacing all $ line=s/g；# replace more white spaces with just one $ lin

7、e=s/s(# 2，)/$ 1/g；#matching and replacing all，语料文本的基本处理：主要处理方法-5，添加元数据后的语料模式，语料文本的基本处理方法：主要处理方法-6，双语语料排序：方法和方法-1，1翻译语料库的主要特征是排序。排序的语言层次：节段排序文章排序节段排序的文章排序与建立语料库的目的相关。例如，如果仅用于辅助翻译，则可以使用文章排序。要写在翻译研究中，必须考虑段落级别的语言使用信息(如连接、话语标记等)。排序软件、CAT类软件、Paraconc、专业软件等很多。双语语料库对齐：方法和方法-2，初始对应：源语言，目标语言段落对齐，单词下校对完成。牙齿阶段最

8、重要。Paraconc可以考虑添加s标记。对齐：对齐软件。通知、paracon、Trados、dejavu、bitext2tmx。前两个提供分段对齐和文章对齐。最后三个软件通常仅提供文章对齐。语料代码、注释、标记。标注分类：自动标注，手动标注；词类-句法注释、功能注释；标示标签_、/、人工标注主要是指功能标注，例如语义标注、翻译手段的标记、用于满足特定研究目的的代码(例如，花轮、间接、直接语言行为等)。从某种意义上说，人工标注包含了更深的语言方面，标注对自然研究更有意义。自动尺寸主要包括词性尺寸和语法尺寸，可以通过软件实现。语料库编码、存储格式和使用文本时的默认编码为ANSI。WordSmit

9、h中使用的语料文本通常必须是unicode。许多软件(例如Antconc)支持UTF-8编码。牙齿编码是多种语言共有的，最不可能发生乱码。实现方法：txt文本、另存为或编码对话框中选择UTF-8即可。存储方式的语料数据文件最好在徐璐其他搜索程序中通用，甚至在现成的管理程序(如excel)中也可以进行数据信息的计算、分析和管理。为了实现这些功能，简单地保存为txt文本显然不能满足这些要求。此时需要相对完整的数据存储方法XML牙齿。可以使用“可扩展置标语言”(Extensible Markup Language)显示电子档案、标记文件的结构化置标语言等。标记数据可以通过标记定义数据类型，标记可以根

10、据我们自己的需要自行定义，因此可以根据语法进行定义。Xml生成，语料搜索：基本搜索和高级搜索-1，搜索和语言中使用的范畴，特征曲折变化：移动，移动，移动，移动派生：移动，移动词性：移动(；In、at、on、over、upon、from人称：I、me、we、us球体；组合能力：a lot of、a part of、a cup of、a piece of根据V NP NP语言使用的特征，搜索牙齿token的可能性很小，大多数情况下，搜索type或需要词性线索。语料搜索：基本和高级搜索-2，语言数量搜索主要多语言搜索软件：Wordsmith、Monoconc、Antconc双语搜索：Paraconc

11、、CAT、自行设计搜索软件(永久语料搜索)基本搜索在搜索之前，必须熟悉保存语料的方式。高级搜索Antconc中的单词高级搜索：正则表达式搜索，使用正则表达式term list搜索。，双语语料库搜索：基本和高级搜索，Paraconc的双语高级搜索：满足特定研究需要的正则表达式搜索正则表达式搜索：历时语料库搜索平台omegaT搜索，语料库搜索摘要，正则表达式搜索功能中有一些可用通配符，有些无法搜索通配符。在实际搜索中，在发现、词汇层面上准确搜索汉语的重叠单词和隔断重复，即使用正则表达式、通配符也很容易搜索，但不能准确搜索。在文章级别，正则表达式功能允许精确的段长度搜索和严格的段内部结构搜索。使用正

12、则表达式看起来有点麻烦，但是花一点时间熟悉元文字的意义，使用起来也很方便，也有助于提高搜索的准确性和效率，从而提高语言研究的质量。(David aser，Northern Exposure(美国电视电视剧，搜索名言)，语费数据的后续处理-1，语费搜索的目的是发现问题，语料搜索发现问题主要出现在频率和频率上。语料库的牙齿优势必须充分发挥，才能说是语料库语言研究。频率，频率通常用数字表示，处理数字问题与研究结论的可靠性有关，需要几种茄子处理方法。常用的处理方法是频率比：特定单词、单词簇、词性代码字符串。使用WS或Antconc的keyness工具比较词汇、单词群集和强度计算：Z-score频率差异重要性计算：log-likelihood计算通常可以将词汇比较结果重新显示在分类处理、语料数据的后续处理-2中。计算重复单词faco tor analysis(SPSS)correlation analysis(SPSS)、并行语料库辅助翻译应用节目、基本思路：现有翻译已翻译为参考，提供对当前翻译的参考。建立术语库，实现术语统一。CAT的