N-Gram的数据结构._第1页
N-Gram的数据结构._第2页
免费预览已结束，剩余1页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、N-Gram 的数据结构ARPA 的 n-gram 语法如下：hLn!J |VKWpLuincij( prmi? riBtramJi IrljiiJiilinpum!=l：2冒Mlh1-14112-U 1VJLIMT -p L H4.675221cm T2 IKS7n屮口,科申7FiKtilE_L1 k:5558J-2 J 11W tJ 077-1 ilhjm -出?M4-1J7I4474h忡*5 1747fi2O.OJ鼻fbjrtj：，叩-1 4722J.Ml |K 77W7?-5-7By30K* DJJ i i-4 TOTJfJMJAR Hl MJ .讯同* -氐si 4iH-1:Nh2M

2、)5 7 syjiINiWIWll *O07()77657 抽耳J (#7 iahwMih317：具体说明见：ARPA 的 n-gram 语言模型格式整个 ARPA-LM 由很多个 n-gram 项组成，分别说明这两个的数据结构gram 数据结构(hlmJ)MCWplumcopyprinl?Vdatakngram : =M(11x1ngnim 2=52253( 1ngram 3=1 v：445,n-words 表示当前的 n-gram 所涉及的单词，如果是 1-gram，那就只有一个，如果是2-gram那么 words就包括这两个单词的序号。 log_bo表示n gram的回退概率。 log_

3、prob,表示 n gram 的组合概率。二,ARPA-LM 数据结构多个项组成的整个 n-gram 语言模型的数据结构如下：cpp view plaincopyprint?vocab 用于构建语言模型的词典指针。词典定义见：词典内存存储模型 entries, 语言模型的所有ngram项，是 ARPALMEntry类型的一个二维数组。 entriesO存储 1-gram ,entries1存储 2-gram 依此类推。n_ngrams 整型数组，依次包含 1-gram,2-gram,3-gram,.所包含的 ngram 项个数。unk_wrd,词典中可以 不在语言模型中的 词。un k_id,词典中可以不在语言模型中的词的 ID ,这个 ID 指定为词典的最后一个 词序号。n_unk_words,在读语言模型之后，统计在词典中，但没有用来建立语言模型 的词个数，如果没有指定 unk_wrd 的话，是不允许的，就表示所有的词典中的词都应 该用来建语言模型。unk_words 存储 6 中统计的词序号。words_in_lm,这个标识词典中的词是否在语言模型中出现。ciass AKPALMpublic:Vocabularr svocab :intorder:ARPALMEnlry entries； 717）八 ;仅卜:intngrams；的的无普姜少个char unkwrd ;in

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论