自然语言理解-词典

1、词典词典词典与词典编纂的研究词典与词典编纂的研究 n词典学lexicologynTheory and description of lexical informationn计算词典学computational lexicologynformal modeling of lexical informationn词典编纂学lexicographynConstruction of dictionaries (databases, handbooks)n计算词典编纂学computational lexicographynconstruction and production of dictionari

2、es using electronic publishing 机读词典与人读词典机读词典与人读词典n人读词典（Human Readable Dictionary）n格式不规范n数据完整性和一致性不好n非结构化n机读词典（Machine Readable Dictionary）n格式规范n数据完整性和一致性较好n结构化人读词典（人读词典（demo） n金山词霸nstoryn中古英语storie古法语estoire animal, animate_being -organism, life_form, living_thing,n25个基本类别（25 unique beginners）nact,

3、activity food possession animal, fauna group, grouping process artifact n很少有超过10到12层的语义树，通常层次比较深的情况是由于专业词汇造成的，而不是日常语言中的用词。比如：nshetlandpony - pony - horse -equid- odd-toed ungulate - placental mammal - mammal - vertebrate - chordate - animal - organism - entity (12 levels)词汇层级的心理学证据和语言学证据nCollins &am

4、p; Quillian(1969) : distance in hierarchynA robin is a bird -A robin is an animalnSmith & Medin(1981) : typicality or prototypicality theorynA robin is a bird -A chicken is a birdnI gave him a good novel, but the book bored himnI gave him a good novel, but the catsup bored himn动词的搭配选择限制也表明名词上下位关

5、系的重要性。比如动词“drink”的直接宾语可以是beverage （饮料）的任何一个下位词。这也暗示有关名词的上下位关系的知识应该以一种人们能够快速访问和搜索到的方式存贮WordNet名词的整体与部分关系 nA是B的组成部分；beak / wing - birdnA是B的成员；tree - forestnA是B的构成材料。aluminum - planenwheel is a part of vehicle wheeled_vehiclesled is a kind of vehiclewheel is NOT a part of slednthe branch is a part of t

6、he treethe tree is a part of the forestthe branch is a part of the forest.WordNet的形容词n描写性形容词（descriptive adjectives）e.g. big, beautiful, interesting, possible, married, n关系性形容词（relational adjectives）e.g.fraternal, electrical, sidereal, n说明：关系形容词因其跟名词的关系而得名，如electrical engineer 中的electrical 实际跟名词elec

7、tricity 相关。描写性形容词的反义关系关系性形容词的特征n只能出现在定语位置（attributive position）；n意义上跟一个名词非常相关；fraternal twins fraternal : brotherdental hygiene dental : toothn不受程度副词修饰* the extremely atomic bomb * the very baseball gamen没有直接的反义词non-: something else e.g. nonhuman, noncommercialextracellular vs. intracellularcivil la

8、wyer vs. criminal lawyermechanical engineering vs. electrical engineering形容词的多义性nold man vs. old housenold friend -new friendold friend -young friendneconomic restructuring -the restructuring was economiceconomic slump -* the slump is economic nthe nervous person -the persons nervousnessthe nervous

9、disorder -* the disorders nervousnessWordNet动词的蕴涵关系To V1 is to V2 in some particular mannerWordNet动词的反义关系ngive/take; buy/sell; lend/borrow; teach/learn没有共同上位词nlive/die; exclude/include; differ/equal; wake/sleep状态动词nlengthen/shorten; strengthen/weaken; prettify/uglify变化动词ntie/untie; appear/disappear有

10、标记与无标记的对立nrise/fall; walk/run有共同上位词nfail/succeed try; forget/remember know蕴涵关系ndamage/repair damage ; remove/replace removeWordNet的应用n词义标注n基于词义分类的统计模型n基于概念的文本检索n文本校对n知识处理推理nHowNet（知网） n1988 1998 董振东董强n知网（英文名称How-Net）是一个以汉语和英语的词语所代表的概念为描述对象，以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库n人工构建，自底向上归纳义原（知网标记集）n董振

11、东,1998,语义关系的表达和知识系统的建造,载语言文字应用1998年第3期。nhttp:/ 通向“真正”的理解HowNet定义的语义关系n(a) 上下位关系n(b) 同义关系n(c) 反义关系n(d) 对义关系n(e) 部件-整体关系n(f) 属性-宿主关系n(g) 材料-成品关系n(h) 角色-事件关系n施事/经验者/关系主体-事件关系受事/内容/领属物-事件关系工具-事件关系场所-事件关系HowNet词项基本形式 NO.=030010记录号W_C=拐杖 中文词G_C=N中文词性E_C=中文用例W_E=walking stickG_E=NE_E=DEF=tool|用具,#walk|走,#d

12、isable|残疾 定义/释义HowNet名词示例 n雇主：DEF=human|人,*employ|雇用n雇员：DEF=human|人,$employ|雇用n熨斗：DEF=tool|用具,*AlterForm|变形状,#level|平n假期：DEF=time|时间,rest|休息,WhileAway|消闲n旅馆：DEF=InstitutePlace|场所,reside|住下,#tour|旅游n救生艇：DEF=ship|船,*rescue|救助n心脏：DEF=part|部件,%AnimalHuman|动物,heart|心nCPU：DEF=part|部件,%computer|电脑, heart|心

13、n* 表示施事、经验者、或关系主体等角色；$ 表示受事、内容、领属物等角色；# 表示相关关系； 表示场所、时间等角色；%表示部分整体关系 HowNet动词示例NO.=015492W_C=打G_C=VE_C=毛衣，毛裤，双毛袜子，草鞋，一条围巾，麻绳，条辫子W_E=knitG_E=VE_E=DEF=weave|辫编救灾: DEF=rescue|救助,StateIni=unfortunate|不幸扭亏为盈: DEF=alter|改变,StateIni=InDebt|亏损,StateFin=earn|赚HowNet动名语义关系描述 V event|事件V1 static|静态V2 act|行动Act

14、General|泛动agent,contentstart|开始agent,contentdo|做agent,content,mannertry|尝试agent,contentendeavour|卖力agent,contentVieFor|快干agent,contentRashlyAct|蛮干agent,contentventure|冒险agent,contentHowNet信息结构库信息结构库n信息结构n餐馆：可以吃饭的场所n走私集团：一个从事犯罪活动的团体，特征是转移物品n句法分布式n餐馆: N1 + N2 走私集团：V + N n句法结构式n餐馆: N1 .N2 走私集团: V .Nn信息结构模式n餐馆：(物质,食物) 受事 - -处所 (组织/场所)n走私集团：(事件,行动) -施事 (人/拟人)HowNet信息结构库（续） n0分类号nSYN_S=N -N句法结构式nSEM_S=(万物) 领属物 -(万物) 信息结构模式nQuery1: 什么？nAnswer1: N1 + N2Query2: 什么样的？Query & Answer: 表示该信息结构模式传达的真正信息并由此可产生的问与答nAnswer2: “有”N1 “的”N2n例子：花园-洋房，星-空，艳阳-天，草-原，草-地，沙-