汉字作为词汇语义基元 探略Chinese Character

汉字作为词汇语义基元:探略

ChineseCharactersasPrimitivesinLexicalSemantics揭春雨ChunyuKITDept.ofChinese,Translation&LingusiticsCityUniversityofHongKongctckit@.hkSoochowUniversityCLSW20108:30-9:10am,22/05/2010

OutlineChinesecharactervs.letterCharactersinChinesemorphologyMorpheme：boundvs.freeCompoundingvs.Derivation：Stem,prifix&suffixSpecialcase:们

Charactertypeinmorphology:a,n,v,adj,adv,…Exceptions:adv+n,licensedbymeaningNegationinChinese:morphology&syntaxTextmeaningincharactersWhatdidLiBaiandDuFusayintheirpoetry?ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Selfintroduction:ourresearchgroupCWS:Supervised&unsupervisedwordidentificationAchievementsinrecentinternationalevaluations:ZhaoHai:No.1inallclosedtestsoifCWSinBakeoff-4HaiZhao:No.2&1inCoNLLdependencyparsingsharedtasksBillyWong:No.7-8,inNISTMTEvel.Metrics:ATECXiaoChen:No.1inlastChineseparsingevaluationXu

Ruifeng:No.1&2in2ndCOAT&lastNTCIR(Chinesetracks)SongYan:No.1inallChineserelatedtransliterationsharedtasksNewdirection:Computationalpoetics/poetryChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Charactervs.letterWhichsequenceofchar/letterismeaningful?abcd…ab

norm

al

mean,mean

ing,mean

ing

ful,un

mean

ing,un

mean

ing

ful

一二三四五…正工木火水土金…水土木工四正五金五土

五一五四火水…

ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010ObservationsMeaningsareassignedtoindividualsymbol

sequencesThen,thismeaning-symbolassociation

stableFixedsetofsymbolsunlimitedlymanymeanings

MeaningcombinationthroughsymbolcombinationMostly,tree,inalmostallmorpho-syntacticallevelsConcatenation=small/flattree

Moreandmoresymbolcombinationsarecreatedfornewmeanings.ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Whatlicenseacombination?Syntax!E.g.,Adj+NAdv+AdjAdv+V…But,exceptions:Adv+N(inChinese)SyntaxMorphologySNPVPVNPSyllableOnsetRhymeNucleusCodaChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010CharactersinChinesemorphologyAlmostevery字

canbeaword(ormorpheme)Exceptions:连绵词(bindingword)：蚯蚓，蜉蝣，枇杷，琵琶，…半连绵：蝴蝶，蟾蜍，…Words=freemorphemesBoundmorphemesAsmallclosesetinChinese:们，儿，…ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010ChinesemorphologyAfewmostpopularwaystocreatewordsCompounding:N+N：煤油，草药，火水，礼拜一Derivation：Prifix+stem/root+suffix：我们，抗药性，非机动性Abbreviation：中国，苏大，Combinationabove：中草药，中小学，大中小学，…大中小学ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Probleminwordsegmentation这个星期我们星期四五六都休息。Wordidentificationvs.segmentationAcallforproperrepresentationforwords(ortokens)ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Anotherproblem:们

Examples我们，你们，他们，它们老师们，同学们，先生们，孩子们…

[人]+们动物：?鸟儿们?蝴蝶们?恐龙们?兔子们猪们狗们物体：星星们?桌子们?椅子们人名：?张三们北岛们克鲁晓夫们托洛斯基们Primitives：[人]+[复数]。用法在进化中+人+动物+生命[泛化?]越来越侧重：[复数]ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Derivation

前缀

+ 词根 + 后缀

非 N 性 反 儿 老 们 阿 字

第 能哪个汉字不是“缀”？草根，树根，木根，词根，银根，扎根，气根，起根，…ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010CharacterasprimitivesRadicals(偏旁部首)indicatecategories水：淋，浇，湿，润，江，河，湖，海，泊，油，…没，法，活，治，激，测，木：森，林，材，树，桦，李，梨，榛，…桥，权，机，样，校鸟：鸡，鸭，鹅，鸬鹚，鸳鸯，鹞，鹰，…Characterascategories:e.g.,人Charactersasprimitivesinknowledgerepresentation-?ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Structurevs.relationMorphology&syntax:StructureMeaningcombinationsunderthesamestructure直接：大人，老人，小孩，…间接：花生油，菜油，煤油，火水，…Combinations/relationsofmeaningsvs.structures:Morearbitrary?Morecomplicated?PatternsConventional(allowable):adv+v,adv+adjUnconventional(orevendisallowable):adv+nChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Andoddpattern:adv+nExamples*很桌子，*不学校，*太鼻子，*极其脑袋……很狗，很木头，?很石头，极其榆木脑袋，太王八蛋啦，非常文艺腔，特别奶油小生，*很揭春雨，太徐志摩，很邓丽君，一点也不希特勒，?很北岛，*太邓小平，很阳光，*很闪电/风雨，很香港，很新加坡，很农村，很城市，很乡郊，很贫民窟，?很别墅，很中产，….马上何处不秋风，星空很希腊，…最？Whatprimitivesinthemallow(orlicense)suchcombinations?Internalvs.external(e.g.,context)ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010WhysomanynegatorsinChinese?Whywe(needto)havesomanynegatorsinChinese？不，无，没(有)，莫，未，非，勿，甭，別，否，弗，罔，毋，休，…Adv+n:*不有，*无有，*非有，Negator(s)inEnglish:basically,onlyone

!“not”advpredicate“no”–proposition,“thereisnot”Polarity:seldom,hardly,never,scarcely,…Also,manydoublenegationsinChinese不无，无不，莫非，*非莫，莫不，*不莫，无非，?非无，…ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010NegationinmorphologyPatternsneg+v:莫测，无视，不羈，不惜，不虞，

neg+aux.:不可，不要，不宜，

neg+adj/adv:没错，无愧，不安，不再，不周neg+p/conj:未经，不但，无比，不然，不外，不只neg+part:没完没了，不已，….ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010NegationinmorphologyPatternsneg+n:

没谱儿，没趣，没关系，无偿，无耻，不齒，不力，不才，不暇，不果，不一，不二，不三不四，不人不鬼，不倫不類，不蔓不枝，不汤不水，不东不西不白之冤，不毛之地，不時之需，不情之請，不經之談，不世之才，不脛而走，不翼而飛，不期而遇，不夜天，不夜城，不夜情，男不男，女不女，神不神，鬼不鬼，……ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Questions,orconjecturesWhatlicensessuch“ungrammatical”negation?MorphologicalpatternsagainstsyntacticrulesBymeaningmorethanbysyntax.Whatprimitivesallowsuchvalence?Meaning(orpattern)overridesrules?

Manyexceptionsapattern?Manypatternsarule?Patternstosyntax?ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Meaningofthematiccorpus=?CharacterMorphemeWordPhraseSentenceParagraphTextE.g.,anarticle,prose,essay,poemCorpus?ThecollectionsofLiBai’sorDuFu’spoemsMeaningsarbitrarilyassignedCompositionalsemantics+pragmaticsChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Computationalpoetry/poeticsTwodirectionsAutomaticgenerationofpoem(=poetictexts)Analysis/appreciation/translationofpoetryChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010微软：对联生成系统输入上联生成下联若干候选基本技术：统计机器翻译揭春雨:

门以天地阔，窗由日月明机器生成的下联候选中有：路从云水闲！ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010PoetryGeneration:BasicideaMeaningfulness，grammaticality,poeticnessGenerationofpoeticform(text)insteadofcontentCategoryWordSaladTemplate-based:Rubaudetal.(2000),Gervas(2002))Generateandtest:WASP(Gerv´as,2000),Manurung(1999)Evolutionaryapproach:POEVOLVE(Levy,2001),MCGONAGALL,Manurung(2000,2003)Case-based:ASPERA(Gervas,2001),COLIBRI(Diaz-Agudoetal.,2002)ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010汉语诗歌生成？对联绝句？律诗？建议：仿诗联句专题ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010诗歌文本识别那一篇文本是诗文本？譬如，网上诗特征HamidR.Tizhooshetal.2008.

PoeticFeaturesforPoemRecognition:AComparativeStudy.

JOURNALOFPATTERNRECOGNITIONRESEARCH(2008)24-39.RhymeMeterShapeMeaningWordfrequencyPoemornot?Textclassificationproblem自由体诗呢？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010诗歌文本识别哪个文本是一首诗？谁的诗？…网上诗歌文本挖掘诗歌文本收集双语诗歌：谁是谁的翻译？诗歌机器翻译ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010但是，诗(意)在哪里？

诗从哪里来？而且，能简单一点吗？“我们简单，所以深刻”(舒婷)诗人的“灵魂”算得出来吗？灵魂=潜意识诗人的潜意识：什么驱使一个诗人去写作写什么？内容怎么写？风格从其诗歌文本，能推算一二吗？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010

语料统计分析李杜

在诗歌艺术风格和世界观上的差异统计跟语言学研究有什么关系？语言学研究形式功能语料统计诗歌艺术风格世界观互相之间有什么关系？跟语言学研究有什么关系？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010语料统计与语言学语言学研究必须基于语言事实某种形式(主义)形式规律数学属性逻辑语料实在的事实内省的外在的统计=\=罗列语言事实！统计，也是一种形式(主义)例如，概率分布模型向量模型最小描述长度模型隐马尔科夫模型以及其它种种机器学习模型等等形式化程度可以非常高ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010形，形式，形式主义语言中有很多形(式)。

例如最小的语音形式最小的文字形式最小的有意义的形式最小的有意义的自由形式……结构串，树，图，……关系，等等语言的每个(种)形体(式)都有其特定的意义(以及功能)词素，词，短语，句，段，篇章，……那么，文本的集合：文本库呢？譬如，一首诗=？

李白诗全集=?用什么形式来表达用什么形式(主义)来研究需要一种适于宏观表达的形式?ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010一种最简单的宏观表达：频度统计每一个文本(字串)都可以转换成一个“词袋”(word-bag)词袋模型没有词序的词集合但有词频(率)以单词为特征的向量(vector)更简单的模型：字袋模型字频统计字向量＝？F1V1F2V2F3V3.........FnVnVectorChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010李杜诗歌比较研究李白、杜甫：中国历史上最伟大的两位诗人。盛唐诗歌两座巅峰。“双子星座”。老幼皆知，有口皆碑。他们在诗歌艺术风格上的巨大差异，也举世公认。比较研究来由已久，文献汗牛充栋。两大取向：扬李抑杜扬杜抑李ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010以前的研究严羽《沧浪诗话》：

“子美不能为太白之飘逸，太白不能为子美之沉郁”。李白在浪漫主义上登峰造极，风格飘逸豪放，率性自然，明快爽朗，还有明显的求仙出世和及时行乐的思想倾向，世称“诗仙”。杜甫是现实主义的集大成者，风格沉郁顿挫,含蓄曲折,

忧伤悲悯，在贫病交加的身世中不忘怀国忧世，

史称“诗圣”。浪漫主义=？“仙”=？现实主义=？“圣”=？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010存在的问题李杜诗歌研究的由来已久，历史很长，比较他们艺术风格差异的述著堪称汗牛充栋，但绝大多数都是以个人阅读的主观感受作为基点进行阐发，佐以例证。流弊以主观喜好争拗谁比谁更好，公说公理，婆说婆理。例证：孤点证据，缺乏去全面性，系统性，可靠性。这位诗人具有的特质，另一位也有，也可以找到例证。严羽之后，似乎没有什么更加发人深省的洞见，或发现，基本上都是一些粉刷性的工作。ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010比较的目的：求同存异哪些方面、部分是相同的，相似的有多相似？需要一种相似度计量？哪些方面、部分是相异的，相反的差别有多大？也需要一种相异度计量？相同的部分是比较的基础不同的部分是比较的结果不同=\=相反反义词的语义是最相似的：只有一个特征相反ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010李、杜诗全集的字频比较求同=？“不”否定，疑问(+“何”)“人”关怀，核心主题“天山云风日月水江海...”自然环境：生存空间“日月年时春秋今老...”

时间，季节，年纪“来去归行客...”......存异＝？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010李、杜字频差别情绪(Sentiment)比较杜：“老病雨野旧衰峡故乱马暮细小村深萧寒...”李：“月天海云山明水绿笑流空白飞清歌阳上龙风酒松紫闲...”性格决定命运？宿命？杜：老病江舟而死李：投江抱月而逝何以如此差别？李白杜甫ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010分类分析(一)1.自然景物......花陵松酒风玉水山云金海天月江雨野峡马暮诗头村书舟城林蜀晚......2.人文景物、关系......璧绣宫樽鞭弦瑶丹杯琴窗舞妾女剑楼台陵仙酒歌人我君

乱诗村书官城州尊儿臣军府兵贼童盗堂家县路儒渔庙主乡......杜甫杜甫李白李白3.封闭类单字词.....四谁且尔以六万九两兮下而还上三如与一五可何千若此不之我君

自未已更无犹须常尚终汝亦岂才者吾应兼正仍甚百非况......杜甫李白ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010分类分析(二)4.光、颜色、温度等......雪碧霜黄青光紫白绿明金寒黑翠冷暗热凉冰......5.动物、植物......树苔桐桑桂鸡鸿蓬萝李凤鹤猿虎杨草桃女花仙松龙马杖茅荆竹根柴乌蛟鸟藜楫菊杜鸥蹄篱枫药蛇刺......杜甫杜甫李白李白6.心理、生理、感受、动作......爱挥摇欢叹望投赠啸顾饮欲吹愿吟舞情思手梦醉乐游弄拂歌笑心老病衰头看寒喜眼身问忧哀甘恐惨闻求怜面哭血走冷口骨涕饥忆汗愧饱痛......杜甫李白ChunyuKit揭春雨,CityUof