中文分词-课件_第1页
中文分词-课件_第2页
中文分词-课件_第3页
中文分词-课件_第4页
中文分词-课件_第5页
已阅读5页，还剩28页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

预处理网页的分类页面分析中文处理预处理网页的分类网页分类Hub网页(Hubpages)提供向导的网页，如新浪主页，特征是链接集合主题网页(authoritypage)

通过文字具体说明一件或多件实物，如具体的新闻报道图片、视频网页是含图片或视频的主题网页，但文字特别少。网页分类Hub网页(Hubpages)页面处理传统网页分类将整个网页看作一个原子单元进行整体处理，但是由于网页中一些“噪声”信息的存在，不仅增加了处理的复杂度，还影响了网页自动分类的效果，因而需要对网页进行预处理。近年微软亚洲研究院提出blockbasedIR.页面处理传统网页分类将整个网页看作一个原子单元进行整体处理，中文分词-课件中文分词-课件一般主题网页的结构标题(关键词和概括)正文相关链接导航信息广告装饰，Flash版权，制作者信息等一般主题网页的结构标题(关键词和概括)网页分块方法（1）基于位置关系的分块法利用网页页面的布局进行分块，将一个网页分成上、下、左、右和中间5个部分,再根据这5个部分的特征进行分类；实际的网页结构要复杂得多，这种基于网页布局的方法并不能适用于所有的网页；这种方法切分的网页粒度比较粗，有可能破坏网页本身的内在特征，难以充分包括真个网页的语义特征。网页分块方法（1）基于位置关系的分块法网页分块方法（2）基于文档对象模型（DOM）的分块法找出网页HTML文档里的特定标签，利用标签项将HTML文档表示成一个DOM树的结构；特定标签包括heading、table、paragraph和list等；在许多情况下，文档对象模型不是用来表示网页内容结构的，所以利用它不能够准确地对网页中各分块的语义信息进行辨别。网页分块方法（2）基于文档对象模型（DOM）的分块法HTML语言编写的网页<html><head><title>Welcome</title></head><bodybgcolor=“Yellow”text=“blue”><p>ShandongUniv.</p></body></html>HTML语言编写的网页<html>HTML标记(和结构有关）总的标记个数<100<img>通过src属性的控制，显示特定的图像；<table>创建表格<div>用来排版大块的html段落<form>用来创建一个表单<input>,定义用户一个输入区<select>创建一个下拉式表框HTML标记(和结构有关）总的标记个数<100DOMtrees:Giventherelationsamongtheblocks<BODYbgcolor=WHITE><TABLEwidth=800height=200>…</TABLE><IMGsrc="image.gif"width=800><TABLEbgcolor=RED>…</TABLE></BODY>bc=redbc=whiteIMGTABLEBODYrootwidth=800height=200TABLEwidth=800DOMtrees:<BODYbgcolor=WHITE>PresentationStylebc=redbc=whiteIMGTABLEBODYrootwidth=800height=200TABLEwidth=800<BODY,{bc=white}><(TABLE,{width=800}),(IMG,{}),(TABLE,{bc=red})>PresentationStylebc=redbc=whiCompressedStructureTreeTABLETABLEwidth=800bc=redbc=whiteBODYrootd2bc=redTABLETABLEbc=whiteBODYrootd1SPANwidth=800bc=redTABLEBODYSPANbc=whiteCST:Width=800TABLE{<(TABLE,{width=800}),(SPAN,{}),(TABLE,{bc=red})>,<(TABLE,{width=800}),(TABLE,{bc=red})>}{<BODY,{bc=white}>}root2221CompressedStructureTreeTABLE网页分块方法（3）基于视觉特征网页分块法（VIPS）利用字体、颜色、大小等网页版面特征，根据一定的语义关联，将整个网页表示成一棵HTMLDOM树；利用横竖线条将DOM树节点所对应的分块在网页中分隔开来，构成网页的标准分块；每个节点通过一致度（DOC）来衡量它与其它节点的语义相关性，从而将相关的分块聚集在一起；利用预先设定的一致度（PDOC）作为阈值控制分割粒度，当所有网页的DOC都不小于PDOC时，网页分割就可以停止了。网页分块方法（3）基于视觉特征网页分块法（VIPS）中文分词-课件网页去重由于互联网上存在大量的转载，如何判断是否A,B两个网页在内容上是一样的，并只存储无重复的网页内容的工作，称为网页去重网页去重由于互联网上存在大量的转载，如何判断是否A,B两个网基本方法Fingerprinting(指纹方法）取出网页内容部分的文本，看成是字符串，利用hash函数产生一个向量。若两个网页的hash函数产生的向量足够接近，认为是内容重复最长公共子串取出网页内容部分的文本，看成是字符串，若两个网页的公共子串足够长，认为是内容重复。把网页内容用bagofwords表示，利用常用的相似度计算，相似度大的认为是重复。基本方法Fingerprinting(指纹方法）网页的主题提取和分词发现主题文本中文的分词处理网页的主题提取和分词发现主题文本中文分词-课件中文分词-课件中文分词-课件分词技术的广泛应用：信息检索、人机交互、信息提取、文本挖掘等。是相似度计算的基础。目前对分词的研究，大都集中于通用的分词算法，以提高分词准确率为目的。目前的分词算法中，一些切分精度比较高的算法，切分的速度都比较慢；而一些切分速度快的算法，因为抛弃了一些繁琐的语言处理，所以切分精度都不高。速度：每秒几十k~几M切分正确率：80%～98%分词技术的广泛应用：信息检索、人机交互、信息提取、文本挖掘等中文分词简介和困难中文分词(ChineseWordSegmentation)：将一个汉字序列切分成一个一个单独的词。比如将“组合成分子时”切分成“组合/成/分子/时”。称为是歧义现象。

人是根据上下文语义解决奇异，但计算机目前无法理解自然语言中的语义，目前常采用统计的方法解决困难分词规范：词的概念和不同应用的切分要求分词算法：歧义消除和未登录词识别中文分词简介和困难中文分词(ChineseWordSeg分词规范方面的困难汉语中词的界定（基于词典）“教育局长”：“教育/局长”？“教育局/长”？“教育/局/长”？核心词表如何收词？即那些词作为词典中的词“给力”？“忽悠”词的变形结构问题：“看/没/看见”，“相不相信”不同应用对词的切分规范要求不同n-gram，n取多大？分词规范方面的困难汉语中词的界定（基于词典）分词算法上的困难对未登录词识别命名实体：数词、人名、地名、机构名、译名、时间、货币缩略语和术语：“超女”、“非典”、“去离子水”新词的发现：“给力”、“忽悠”分词算法上的困难对未登录词识别常用评测指标

召回率(Recall)分词：检索：准确率(Precision)分词：检索：常用评测指标召回率(Recall)基于词典和规则的方法最大匹配正向最大匹配、反向最大匹配和双向最大匹配实现简单，而且切分速度快。但无法发现覆盖歧义，对于某些复杂的交叉歧义也会遗漏。全切分利用词典匹配，获得一个句子所有可能的切分结果。时空开销非常大。基于理解的分词算法模拟人的理解过程，在分词过程中加入句法和语义分析来处理歧义问题。难以将各种语言信息组织成机器可直接读取的形式，还处在试验阶段

基于词典和规则的方法最大匹配基于大规模语料库的统计方法N元语法（N-gram）模型n为2、3、…为组成词的字数基于大规模语料库的统计方法N元语法（N-gram）模型n为基于字的切分方法

N元切分法(N-gram)

：对一个字符串序列以N为一个切分单位进行切分。如二元切分法：“ABCDEFG”→“AB\CD\EF\G”交叉二元切分法(OverlappingBigram)：“ABCDEFG”

→“AB\BC\CD\DE\EF\FG”简单快速，但会产生大量无意义的标引词，导致标引产生的索引文件的空间，以及检索和进行标引的时间都大大增加。同时，因为它的切分单位并非语言学意义上的词语，所以也会导致检索的查准率下降。

基于字的切分方法 N元切分法(N-gram)：对一个字符串中文分词系统作为实用的分词系统的构建，一般是先选择一个语料库作为训练集，利用统计模型建立不同字组成词的概率，确定如何分词语料库：指大量的文本，通常经过整理，具有既定格式与标记；英文"textcorpus"的涵意即为"bodyoftext“例子：广州/ns近日/t举办/v2010/t亚运会/ns nsnoun；t:time,v:verb;中文分词系统作为实用的分词系统的构建，一般是先选择一个语料库语料库语料库是通过分词系统、标注系统和人工校对建立的，一般根据新闻机构的文本建立的比较多，如北京大学建立的“人民日报标注语料”、“现代汉语语料库”、“古代汉语语料库”、“中英文双语语料库”.原则：规范、一致（看法一致）、规模（适当多的文本）以及均衡性（各种题材

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论