文本结构化技术的初步实现与中文缩略语还原技术初探课件

文本结构化技术的初步实现

与

中文缩略语还原技术初探指导教师：俞士汶教授学生：支流

Tuesday,September19,2023文本结构化技术的初步实现

与

中文缩略语还原技术初探指1内容提要文本结构化技术建设结构化语料库的必要性文本结构化技术实现中文缩略语还原技术初探中文缩略语的研究意义中文缩略语分类框架朴素的缩略语还原技术缩略语知识库的建设内容提要文本结构化技术2内容提要文本结构化技术建设结构化语料库的必要性文本结构化技术实现中文缩略语还原技术初探中文缩略语的研究意义中文缩略语分类框架朴素的缩略语还原技术缩略语知识库的建设内容提要文本结构化技术3综合型语言知识库简介语法词典标注语料库句法知识语义词典概念词典语义知识词库短语规则库日常用语术语库－专业用语单语平行语料库－双语现代汉语古诗－古代汉语语法词典标注语料库综合型语言知识库简介语法词典标注语料库句法知识语义词典概念词4语法信息词典与语料库之间的缝隙词语词类同形拼音频次例句注抄vAchao1

照原稿写抄vBchao1

走近道此类/r编著/v内容/n是/v抄/v自/p别人/r的/u

炮兵/n学院/n原来/d围墙/n残缺/v，/w周边/n群众/n进城/v，/w习惯/v抄/v近道/n。/w

文本文件与数据库文件的对应较麻烦“词语＋词类＋同形”为主关键项的数据库文件进行了词语切分和词类标注的文本文件语法信息词典与语料库之间的缝隙词语词类同形拼音频次例句注抄v5结构化语料库的格式切分单位长年月日版篇段句位19981201-01-002-001/m211998120101020010100圆满/ad071998120101020010101结束/v061998120101020010102对/p041998120101020010103俄罗斯/ns091998120101020010104和/c041998120101020010105日本/ns071998120101020010106的/u041998120101020010107访问/vn07199812010102001010819981201-01-002-002/m211998120101020020100江/nr051998120101020020101泽民/nr071998120101020020102……

结构化语料库可以方便地进行语料库上的各项数据统计。例如统计某个时间段某个词出现的频度。结构化语料库的格式切分单位长年月日版篇段句位199812016内容提要文本结构化技术建设结构化语料库的必要性文本结构化技术实现中文缩略语还原技术初探中文缩略语的研究意义中文缩略语分类框架朴素的缩略语还原技术缩略语知识库的建设内容提要文本结构化技术7结构化文本技术的实现结构化文本技术的实现几大特点

可以让用户自主选择需要的属性项有两种输出文件格式供用户选择结构化文本技术的实现结构化文本技术的实现几大特点可以让用户自8结构化文本技术的实现结构化文本技术的实现9结构化文本技术的实现结构化文本技术的实现10内容提要文本结构化技术建设结构化语料库的必要性文本结构化技术实现中文缩略语还原技术初探中文缩略语的研究意义中文缩略语分类框架朴素的缩略语还原技术缩略语知识库的建设注：论文中的缩略语部分节选已经被第八届“全国计算语言学联合学术会议”录用内容提要文本结构化技术注：论文中的缩略语部分节选已经被第八届11中文缩略语的研究意义缩略语是自然语言的重要组成部分，缩略语规律的探索和缩略语还原是973项目“文本内容理解的数据基础”的重要组成部分与香港大学合作项目，为多语言缩略语共同规律研究提供数据基础和技术借鉴中文缩略语的研究意义12中文缩略语的研究意义（二）研究达到的最终目标的缩略语的还原和生成，即为缩略语的解码和编码近期目标是切分标注好的语料中的缩略语还原中文缩略语的研究意义（二）13内容提要文本结构化技术建设结构化语料库的必要性文本结构化技术实现中文缩略语还原技术初探中文缩略语的研究意义中文缩略语分类框架朴素的缩略语还原技术缩略语知识库的建设注：论文中的缩略语部分节选已经被第八届“全国计算语言学联合学术会议”录用内容提要文本结构化技术注：论文中的缩略语部分节选已经被第八届14根据缩略语和全称的对应方式分类一对一：北大北京大学一对多：人大人民大学全国人民代表大会多对一：电扇电风扇风扇多对多：南开南京大学南大南开大学中文缩略语分类框架根据缩略语和全称的对应方式分类中文缩略语分类框架15中文缩略语分类框架（二）从缩略语的形成方式分类字面与全称无关多为地名型：云南→黔，上海→沪字面与全称有关在简称中间有（）出现的：乡（镇），厅（局）长，寒（暑）假，出国（境）在简称中没有（）出现的中文缩略语分类框架（二）从缩略语的形成方式分类16中文缩略语分类框架（三）缩合：大中小学生，乡镇企业提取北京大学→北大婚姻介绍所→婚介所欧洲中部→中欧（倒序情况）节略：清华大学→清华，复旦大学→复旦提取和节略结合：全国人民代表大会→人大总结性：三个代表，三好，五好特殊缩略语局部近义词替代：浮式起重机→浮吊局部上位词替代：中华人民共和国教育委员会→国家教委中文缩略语分类框架（三）缩合：大中小学生，乡镇企业17内容提要文本结构化技术建设结构化语料库的必要性文本结构化技术实现中文缩略语还原技术初探中文缩略语的研究意义中文缩略语分类框架朴素的缩略语还原技术缩略语知识库的建设注：论文中的缩略语部分节选已经被第八届“全国计算语言学联合学术会议”录用内容提要文本结构化技术注：论文中的缩略语部分节选已经被第八届18测试语料：1998年1月1日至3日的《人民日报》切分标注好语料，共有33450个词语，其中缩略语97个朴素的缩略语还原技术缩略语数据库《简称略语库》中608条缩略语作为种子。全文索引规则排序在文件中找到匹配词组60%在文件中未找到匹配词组40%测试语料：1998年1月1日至3日的《人民日报》切分标注好语19全文索引仅6个缩略语的匹配结果唯一52个缩略语都至少有2个匹配结果其中仅“中”匹配出57个不同的词组。全文索引仅6个缩略语的匹配结果唯一20规则排序是否出现在数据库中距离缩略语的远近备选全称的内部结构……匹配出31个缩略语，其中正确的30个，正确率51.7%

匹配出45个缩略语，其中正确的42个，正确率72.4%正确匹配出51个缩略语,正确率为87.9%规则排序是否出现在数据库中距离缩略语的远近备选全称的内部结构21实验结果实验结果统计：扩大缩略语数据库的规模缩略语对应的全称的筛选方式仍不完善。下一步在使用规则的方法的同时将加入统计的方法，缩略语知识库的建设将是下一步工作的重中之重。全国人民代表大会……人大……人民大学实验结果实验结果统计：扩大缩略语数据库的规模缩略语对应的全称22内容提要文本结构化技术建设结构化语料库的必要性文本结构化技术实现中文缩略语还原技术初探中文缩略语的研究意义中文缩略语分类框架朴素的缩略语还原技术缩略语知识库的建设注：论文中的缩略语部分节选已经被第八届“全国计算语言学联