版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
基于语料库的工作张宇*1中文信息处理--基于语料库的工作大纲什么是语料库语料库的发展简史语料库建设中处理的问题数据标注1/24/2021中文信息处理--基于语料库的工作2什么是语料库语料库,英文为Corpus存储语言材料的仓库现代的语料库是指存放在计算机里的原始语料文本或经过加工后带有语言学信息标注的语料文本.1/24/2021中文信息处理--基于语料库的工作3关于语料库的三点基本认识语料库中存放的是在语言的实际使用中真实出现过的语言材料;语料库是以电子计算机为载体承载语言知识的基础资源;真实语料需要经过加工(分析和处理),才能成为有用的资源;1/24/2021中文信息处理--基于语料库的工作4语料库示例1/24/2021中文信息处理--基于语料库的工作5北京大学计算语言所富士通人民日报标注语料库样例:历史/n将/d铭记/v这个/r坐标/n:/w北纬/b41.1/m度/q、/w东经/b114.3/m度/q;/w人们/n将/d铭记/v这/r一/m时刻/n:/w1998年/t1月/t10日/t1
50分/t。/w……[中国/ns政府/n]nt顺利/ad恢复/v对/p香港/ns行使/v主权/n,/w并/c按照/p“/w一国两制/j”/w、/w“/w港人治港/l”/w、/w高度/d自治/v的/u方针/n保持/v香港/ns的/u繁荣/an稳定/an。/w语料库的分类1/24/2021中文信息处理--基于语料库的工作6生语料库/熟语料库生语料库就是未经加工的,没有任何切分,标注标记的原始语料库熟语料库就是指经过加工,带有切分,标注标记的语料库系统型语料库/专用型语料库系统型语料库就是依据事先确定的选材原则和比例选取语料的语料库专用型语料库就是指专门服务于某个特定目的的语料库单语种语料库/多语种语料库语料库发展简史第一代(1970-80年代)第二代(1980-90年代)第三代(1990年代-)1/24/2021中文信息处理--基于语料库的工作7第一代语料库Brown语料库LOB语料库LLC语料库百万词级以语言研究为导向1/24/2021中文信息处理--基于语料库的工作8第二代语料库COBUILD语料库Longman语料库千万词级词典编纂-应用导向1/24/2021中文信息处理--基于语料库的工作9第三代语料库ACL/DCI语料库The
Association
forComputationalLinguisticsData
Collection
InitiativeUPenn树库LDC(
Linguistic
Data
Consortium
)超大规模(上亿词级)标准编码体系深度标注/多语种NLP应用1/24/2021中文信息处理--基于语料库的工作10语料库建设中处理的问题文本生文本标注文本语料库建设中处理的问题低级格式问题标记化:什么是一个词?词法句子1/24/2021中文信息处理--基于语料库的工作11低级格式问题垃圾格式由于语料库的来源复杂,语料库中可能存在无法处理的各种各样的格式或内容,他们是没有用处的,需要过滤掉。文档页眉、分隔符、排版代码、表和图表如果数据来源于OCR,会引入错误识别的问题1/24/2021中文信息处理--基于语料库的工作12标记化:什么是一个词非词语分界的空格data
base
–
database,
9365
1873
–93651873New
York,
San
Francisco如果和连字符一起出现,问题就更加复杂了•the
New
York
–
New
Haven
Railroad–
习惯搭配形成的词Work
out– I
couldn’t
work
the
answer
out.1/24/2021中文信息处理--基于语料库的工作20标记化:什么是一个词1/24/2021中文信息处理--基于语料库的工作21电话号码国家电话号码国家0171
378
0647UK+45
43
48
60
60Denmark(44.171
830
1007)UK95-51-279648Pakistan+44
(0)
1225
753678UK+411/284
3797Switzerland01256
468661UK(94-1)
866854Sri
Lanka(202)
522-2239USA+49
69
136-2
98
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 《文化生活》高考试题汇编
- 中华人民共和国成立和向社会主义的过渡作业练 2024-2025学年高一上学期统编版(2019)必修中外历史纲要上
- 光伏银浆生产项目可行性研究报告-N型升级量利双升银价上涨增厚利润
- 部编版第十册第二单元巩固提高教学课件
- 七年级英语上学期期中考试(南京卷)-2024-2025学年七年级英语上学期期中复习查缺补漏冲刺满分(译林版2024)
- 2024-2025学年江苏省苏州市常熟市多校四年级(上)第一次月考数学试卷
- 股权融资对企业社会贡献度的影响研究
- 江苏省南京市六合区2024年中考数学全真模拟试题含解析
- 农业绿色发展与农村环境保护产业投资环境分析
- 人才租赁行业三年发展预测分析报告
- 急救知识普及ppt课件
- 电加热炉控制系统设计
- 军事理论各章节知识点总结
- 钢筋模板自检
- 以抛物线为载体的一题多问综合题1
- 压力容器年度检查报告(最新版)
- 计算机及外部设备装配调试员国家职业技能标准(2019年版)
- 船舶安全警示标识安全管理规定
- 混合痔护理查房ppt课件
- 建设项目水土保持收费标准
- 酒店前台客人入住登记表
评论
0/150
提交评论