广义虚词知识库与汉语理解研究市公开课金奖市赛课一等奖课件

广义虚词知识库

与

汉语了解研究

俞士汶朱学锋刘云北京大学计算语言学研究所Email:yusw@2月1日,云南西双版纳第十一届全国少数民族语言文字信息处理学术研讨会特邀汇报973课题“文本内容了解数据基础（CB318102）”第1页主要内容

虚词对语言了解影响

汉语中虚词汉语自动分析中虚词广义虚词知识库建设结语与致谢

第2页主要内容

虚词对语言了解影响

汉语中虚词汉语自动分析中虚词广义虚词知识库建设结语与致谢

第3页关于“语言”英国《新科学家》周刊4月9日文章——生命进化十大奇迹：脑（第3项）和语言（第4项）脑经常被视作进化过程中最高成就，因为它赋予了人类一些高级特征，比如语言、智慧、意识。语言是进化终极创造。在令人类区分于动物特征中，语言处于关键地位。语言可能称得上是人类决定性特征之一。我们祖先怎样实现了语言从无到有飞跃，这可能是科学史上最大谜。语言是生物进化最终一笔。这是因为语言令那些掌握了它动物超越了纯生物范围。

语言系统是动物进化到人两大标志之一。人类语言系统特征：丰富词汇、复杂结构、虚词作用第4页

文本内容了解与其它数字内容了解关系

婴儿学习语言离不开对母亲（包含家人）心率、体温、声音、形象、动作感知。人阅读文本时，语音、影像、经验对文本了解有着不可分离巨大作用。文本中插图对文本了解也有辅助作用。甚至一张照片所讲故事胜过千言万语。文本能够超越时空局限准确地传达信息（口说无凭，以书为证），统计逻辑思维产生创造性结果。戏剧、影视、歌曲等艺术形式传情达意也离不开语言（戏文、歌词、对白）、文字帮助。多数乐曲标题、绘画题词对这些艺术了解有相当显著启示作用。第5页文本内容了解是其它形式数字内容了解子课题。

文本内容了解和其它数字形式信息了解需要相互融合。

文本内容了解数据基础图像序列内容了解口语化语音信息分析与识别多源感知信息融合

多媒体信息检索大规模文本内容计算第6页凤凰卫视汉字台（－7－29）介绍了美国一幅漫画——

——一美元纸币上华盛顿头像扭头瞧着纸币左半边一行字：“MadeinChina”，一脸无可奈何表情。

在其它信息传输形式中，言简意赅文字往往能起到画龙点睛作用第7页

一个实例关于自动升降晾衣架对话妻子：“嘿，过了一年才坏。”丈夫：“什么呀，才一年就坏了。”

丈夫了解了妻子意思吗？——背景知识：保修期——知识激活机制？——虚词词义：才（数量词前后，意义不一样）

虚词对语义影响第8页主要内容

虚词对语言了解影响

汉语中虚词汉语自动分析中虚词广义虚词知识库建设结语与致谢

第9页

虚词不是内容词，而是功效词。虚词不能充任汉语主要句法结构中句法成份:主语、谓语、述语、宾语、补语，定语、状语、中心语。虚词对于语句、会话、篇章完整结构（也是句法功效）和意义表示却是不可缺乏。汉语是经典分析语，虚词在汉语中语法作用不一样于屈折语英语、俄语和黏着语日语。虚词研究一直是汉语语法研究主要组成部分。虚词基本上是封闭，词典中虚词数量有限。2.汉语中虚词（1）第10页

新虚词产生速度远远比不上新实词。尽管词典中虚词数量有限（静态出现），但在真实文本中单个虚词平均频度（动态出现）远远高于单个实词平均频度。而且虚词是通用高频词。虚词个性比实词显著。助词是最经典虚词，数量极少。同属助词“”、“得”、“着”、“了”、“过”、“所”几乎没有什么共同语法属性。面向语言信息处理，有必要加大对虚词研究力度，有必要建立“广义虚词知识库”。

2.汉语中虚词（2）第11页主要内容

虚词对语言了解影响

汉语中虚词汉语自动分析中虚词广义虚词知识库建设结语与致谢

第12页

虚词辨析——从文本中识别虚词——分析线索

神经担心得到了瓦解程度。神经担心得到了缓解。

汉语自动分析中虚词（1）第13页

虚词句法语义功效及其表述《当代汉语语法信息词典》依靠词组本位语法体系《当代汉语语义词典》采取“广义配价模式”

“”接在动词后面组成“”字结构，体词性，功效：（1）能够作定语修饰名词，即形成“动词+‘’+名词”结构；（2）代替名词，即能够出现在主宾语位置上。自指意义，只能出现于（1）：“驾驶技术”，“走姿势”转指意义，能够出现于（2）：“走出发了”，“有吃”。还要深入给出“动词+‘’”表示自指或转指条件。配价信息：“走”主体应该是人，“吃”客体是食物。“技术”、“姿势”分别是“驾驶”、“走”这些动作或行为本身属性，只是自指。虚词（“”）句法语义信息不是能够孤立描述，同其前后搭配词语是亲密关联。

汉语自动分析中虚词（2）第14页

虚词隐现与冗余分配学生一个任务。接收老师一个任务。等价于给学生分配一个任务。从老师（那里）接收一个任务。“”作用

*分配学生一个任务。接收老师一个任务。

汉语自动分析中虚词（3）第15页主要内容

虚词对语言了解影响

汉语中虚词汉语自动分析中虚词广义虚词知识库建设结语与致谢

第16页关于普通自然语言处理系统语言知识库应用程序------------------－－－－－－--------语言知识库是自然语言处理系统不可或缺组成部分，语言知识库规模和质量在很大程度上决定了自然语言处理系统成败。面向自然语言处理语言知识库对语言本体研究和语言教学也有主要意义。自然语言处理系统NLP是世界性难题……第17页

语言知识库与应用系统在语言知识库搭建平台上能够上演威武雄壮生动活泼应用系统剧目

……语言知识库1语言知识库2语言知识库3语言知识库4……平台/API应用程序1应用程序2第18页

吕叔湘：“有了形态改变，语法分析就比较容易进行。没有严格形态改变，在语法分析上就比较轻易引发问题。”汉语缺乏形态改变，缺乏形式标识，自动分析也就缺乏能够把握线索。汉语自动分析假如不比其它语言更困难，最少不会比其它语言更轻易。

汉语信息处理尤其需要大规模高质量语言知识库支持。

书面汉语特点及其对信息处理影响第19页北大开发当代汉语语言知识库（1）当代汉语语法信息词典（8万词语）（2）大规模当代汉语基本标注语料库（6000多万汉字）（3）面向汉英机器翻译当代汉语语义词典（6万）（4）面向跨语言文本处理汉字概念词典（10万概念）（5）句子对齐双语语料库（80万句对）（6）多个专业领域术语库（35万术语）（7）当代汉语短语结构规则库（600条规则）（8）用于语言知识库开发各种工具软件

规模大、种类多、质量上乘，已产生广泛影响，仍期待发展与合作

虚词知识库还是一个空缺

第20页

“广义虚词”之所指《当代汉语语法信息词典》中全部虚词副词方位词：“上”、“下”、“中”、“里”┄┄量词：“个”

代词部分动词形式动词助动词补语动词趋向动词形式名词

广义虚词知识库（1）第21页

“广义虚词知识库”主要内容确认每一个广义虚词各个功效语义项ID副词“都”有3个ID：

“总括全部”、“甚至”、“已经”对每一个ID，建立判别条件

“都”之“总括全部”：表示复数主语，后面动词常是必定式

“甚至”：后面动词常是否定式“已经”：句末常有语气词“了”虚词隐现、冗余条件描述错误例句分析

广义虚词知识库（2）第22页

“广义虚词知识库”组成（1）一部富含句法、语义信息虚词机器词典（静态信息）；（2）标注了每个虚词确实定ID及确定属性信息语料库（训练语料）；（3）基于

（1）和（2），抽象出来（真实语料中）一套虚词ID以及确定属性判别规则

广义虚词知识库（3）第23页

“广义虚词知识库”发展轨迹俞士汶提出“广义虚词知识库”建设任务俞士汶、朱学锋、刘云．《当代汉语广义虚词知识库建设》第二届肯特岗汉语语言学圆桌会议（新加坡），11月27日又刊载于《汉语语言与计算学报》，年3月，第13卷1期，89-98年俞士汶、朱学锋、刘云．《虚词与汉语了解研究》“第四届词汇语义学网络研讨会”，年6月23日至7月25日，香港城市大学主办20-20863汉字信息处理应用基础研究之子课题“广义虚词知识库建设”刘云（7月-209月，博士后，华中师范大学）主持，重点研究表征复句关系之虚词彭爽（207月-203月，博士后，吉林师范大学）重点研究介词20-20973课题“文本内容了解数据基础（2004CB318102）之子任务昝红英（郑州大学）重点研究方位词、副词等并负责集成

广义虚词知识库（4）第24页主要内容

虚词对语言了解影响

汉语中虚词汉语自动分析中虚词广义虚词知识库建设结语与致谢

第25页结语与致谢

汉语信息处理研究与少数民族语言信息处理研究相互借鉴，相互支