基于隐马尔科夫的词性标注讲稿-By于江德

基于隐马尔科夫模型的词性标注于江德安阳师范学院自然语言处理小组2009年4月7日内容提要词性标注基于HMM的词性标注基于规则的词性标注后面经常用到的公式二元一元词葬性椅标鸽注浊的闪任锯务自为然链语遵言护中昂一趋词睬多隆类您的众现现象把伯这职篇静报介道扫编糟辑附一者下把秩/q裁-棕p秘-左v毯-共n设这慎/窝r驼篇虚/食q浴报弟道饲/教v匠-扶n眠编贸辑劳/笋v丘-折n莲一霞/趴m狭-锈c息下搬/奏f摄-迟q烘-杆vT般i愚m默e第f讽l怀i纺e旧s晌l突i闲k树e适a洒n惰a扰r淘r赛o俘wT彩i例m意e团/逢n铃-抖v腿f扔l普i汽e桐s率/遗v不-喉n冠l杜i位k靠e戴/涌p化-馋v腊a柳n现/梢D效e炭t写a毕r琴r静o软w恭/马n所盖谓地词唇性驰标枪注振就赛是笔用真计歌算序机串来聪自并动岗地屿给佳文尝本医中掠的妈词余标叙注条词介类疤（暖如鸣：匙名扛词猛、苏动虚词配）晋。意谁义为铺更切高孟层慢次舱的随自纲然让语贯言朋文份本闪加拐工观提候供搂素衔材为逼语六言贷学款的孔研像究荣，滨提雪供欠翔利实龄的膨资论料从检加碍工屈过颈的栗文朵本逮中棵获虽取卖词耗类寻及丢频旱度芝的弊词榨性坡标且注低知客识词魄性敏标月注衔的包实容质星：敲寻蚀找最最甘优蜻路李径4×1×1×2×2×2×3＝9促6种会可巡寿能椒性竞，俗哪篇种喉可芒能纲性妖最志大铜？隐露马别尔大可僻夫北模泼型底简驰要堤回支顾隐仙马到尔未可角夫喊模镇型拳是战在打马纲尔忆可坟夫梁链姑的珠基夹础权之红上拢发危展贿起跳来拔的证。允由机于舟实堤际佳问罗题今比溉马旧尔舅可霜夫示模茎型敲所薪描扑述朽的删更旱为寻复暑杂豆，观恒察鼻到莲的瓜事讯件胞并咱不五是欣与阀状强态崖一成一捡对嫌应，孙而歌是毫通文过唱一努组度概怜率堤分解布特相弃联妇系扫，忧这枝样厦的营模华型倾就航称影为汉隐肠马案尔富可久夫棒模滚型原（H萍M妖M）耻。H家M就M骑是一灭个蠢双缸重妨随穗机厅过怒程，补其泊中催之竿一席是殿马渗尔脸可某夫波链督，假这旗是店基看本乱随蛮机催过岛程毕，象它描途述颠状络态留的委转菜移。肿另炊一世个播随岁机悬过本程描轧述钩状润态散和挖观李察榜值之蚁间妥的种统驳计杯对傲应驳关招系竖。挺这虑样体，尽站蔑在考观乡丰察割者猪的般角健度笨，材只辈能存看推到处观捡察记值芳，甲不睁像扒马消尔袜可睁夫幻玉链真模次型抵中靠的夹观辟察革值哄和事状乳态渠一念一展对江应漫，攀因黎此林不或能吵直畏接呢看航到还状县态观，包而忽是竟通浊过罢一炸个批随队机持过窄程泡去扇感贴知锋状棒态拍的紫存忌在尚及设其型特仍性此。患因它而拍称择之柱为根“壳隐院”叨马袋尔竭可锋夫队模廊型锈。H杠M穗M详的赔形绳式堵描敌述对翁于始一作个土随营机仅事任件唐，死有勉一决个选观南察剧值站序帆列住：保O1,港.临.艰.煮,王OT该放事晶件隙隐织含刘着系一揪个纷状来态纷序贝列践：家X1,俯.嚼.顿.渐,架XT一贷个直隐碎马浅尔涌可啄夫馆模悼型丽(恰H皱M僵M稠)声是祝一来个引五共元倦组氏：(ΩX,ΩO,丸A劳,盈B滴,π)其戴中辽：ΩX=犬{去q1,龄.级.祖.赏qN}丘：叶状网态森的烛有泳限桐集往合ΩO=眨{自v1,僵.仅.嘴.须,鸽vM}社：肺观绿察助值纷的雨有李限值集驱合A烦=乡丰{区ai扎j}海，振ai再j=矛p声(判Xt晕+义1=化qj|拦Xt=有qi)垮：母转症移岁概宇率B猛=染{今bi习k}逮，厉bi阻k=煤p唤(手Ot=舱vk|稍Xt=贷qi)画：瞒输勇出孝概奋率π=珠{πi}泡，πi=逆p冶(牺X1=施qi)浩：泄初栋始交状后态精分秩布（否初弦始懂概询率显）H断M衫M餐的姿三些个薄基绞本躁问泰题令λ=彻{莫A泽,陪B姑,π}糠为穗给讽定妨H相M街M浴的减参陈数翅，令σ=亩O1,掀.肆.个.便,哭OT为台观饰察恨值赢序工列燥，隐省马企尔碌可糕夫井模悟型锁（事H渴M稻M去）碰的忌三它个证基青本王问复题租：评将估朱问窃题搜：捆对今于帅给纹定剧模叮型鄙，降求勤某猛个捧观鞠察巾值搅序轰列抽的插概贱率耐p省(σ|λ)锐；解刃码捧问漏题凳：店对屑于热给海定辫模恒型假和韵观阴察砌值腥序非列金，圆求防可赴能狠性标最拳大船的语状受态荷序推列斩；适（批对乐应世词段性旬标些注婆问再题呆）学为习卧问斗题童：莲对狼于铅给拢定洒的脱一杏个非观胜察映值税序诊列茧，何调树整南参欣数λ，续使采得鱼观咏察挎值体出者现在的信概讲率忍p镇(σ|λ)酷最奶大章。词侧性造标歼注竟和刊H逐M投M如名何腥建牌模疗？单道词昼序浸列余、皇词伍性涌序屈列佣？三贺个茅概小率花如居何倒得贯到药？两鉴个简随枕机擦过撞程械？问辰题赌的然实挪质伏？基柱于纵H推M按M课进呈行冒词蝇性惜标买注宾（艺1捕）两核个约随博机大过滴程1跟、哪选蔬择龄罐存子售：陈上弦帝其按例照堪一潜定伶的欺转屯移停概谜率折随坦机业地奥选践择怀罐忍子2肃、摇选甲择异彩瓶球桨：鸭上滔帝谜按虫照限一帜定点的惜概情率维随陈机磁地树从筑一乔个紫罐什子昂中涨选存择确一努个趋彩签球歼输董出人乐只童能喜看斑到喷彩亡球腥序希列炕（枣词服序姐列仔，蛮记咽作W要＝速w1w2…磨wn）颈，足需击要笼去毯猜屈测羡罐裤子勇序末列仇（趴隐拔藏漏在溉幕漂后永的懂词芝性窝标稍注豆序微列浇，吉记宿作清T泽=牌t1t2…去tn)已刮知福词况序返列挖W拼（迫观奥测桂序胜列肢）例和区模地型λ的倦情胀况四下设，梳求蔑使多得祥条桑件茄概无率p串(闲T微|毒W亩，λ)青值笛最搅大递的咸那恳个谦T’，及一植般债记糠作跃：T六′乓=梯a崇r缠g脑m结a缎x伤P遣(获T军|穴W陪,λ)基塘于觉H晓M迟M眉进绸行岔词鸣性脖标碧注捞（愚2踩）首以先而，杠构恒造画如撞下候的栗统喊计攀计便算皂模粘型渔：令W码=果w1w2…胀wn为避一雨多道词裙类悠词惯串料，C芬=绢c1c2…棒cn为完可热能吐的湾词荡类轮标慕注到结林果厅串慢。P每(钳C锤|炼W楚)为纱给屠定Ｗ条殊件用下Ｃ出补现妈的欧概柿率纤。引如混果花不肾考泰虑肝更样大潮的收上据下泳文保，统我瓜们乖可尸以漆认伯为誓使娱得P畅(漏C|W萍)的阶值泡取胞得剥最约大虎时乐的Ｃ出悠现参的残可丙能荣性燥最窜大益。颂这愿样任就洗把蜡词发类写标鹅注敞问悲题菜转侍化躺为看寻扩找抽一疼组证标皆记臂串Ｃ′吴，赏使仰得苹：Ｃ′耐=狼a碑r神g笛m得a览x望P烈(绘C类|弱W满)筛(宫1胸)基检于且H挎M蒙M汤进庆行贸词丝式性色标烘注剑（帜3禾）根蝇据竿贝差叶桃斯说定沸律板，蚂可榆以历得绕到盒：(欲2恶)其结中P艘(喝W歼)为椒常举量晌，摩不殖需源要渡考种虑番，争关敬键劫在析于近对P乳(怜C京)和P孕(退W|C戚)的静计抹算秤。娃由币于柳两逢者磁的脸参疯数冬估僚计商极悲为挽复陷杂逢，纲在悦实强际般应记用偏中钢，秋往潮往院需简进与行帖简左化蔬。对奔于P帆(佳C晴)，嗓我木们炒使疲用蔑了唯二诊元帖语安法鲜B殊i粱g祖r返a曾m形近敬似宫，苹得体到漠：(完3慨)基湖于策H攻M违M谣进郊行择词引性主标纵注王（业4鲁）而项对快P西(坦W普|傲C亭)工，延只至考寻虑焦每革个洗词叠依耍赖宾于下它微本届身白的烟词涌类剑的歇情仔况俯，拒可欠以化得知到披：(慌4捎)综扫合笼(垄1泊)钟,趋(健2紫)伟,右(诞3仍)携,祖(夏4艇)谣，无最介终员得辽到膝：(匪5革)其银中此果模风型思的凉两笨组富参槽数嚷可碍以怨从绑对马正忠确识标访注育词治类子的固语安料厅的叨参抱数救训意练翠中手得挤到基便于我H梢M菜M果进掉行柳词仁性狼标菊注赖（跑5肤）其栽中六最务简笋单扯的英参贪数企估骂计孙法烫为机最构大眨似竖然码估导计抹M填L裕E桐(非M针a楼x讽i迹m季u固m助L深i吩k湖e崖l堂i灵h婆o沃o劈燕d抛E哥s莲t谜i绵m棕a抽t亦i郑o搏n概)揭，粒即解令肾：(按6洞)(拿7六)其郊中f(吩ci,申cj)倍是涉语优料疼库举中胶ci和购cj相锅邻鲜出抄现石的际频夏度缴，f警(吵w贱,怀c吩)是对语拆料替库器中垄词ｗ取趁词抱类ｃ的许频升度挎，f模(栋c信)为绢语蛙料稀库晕中丙词跨类竟标伞记ｃ出泻现些的四次精数洪，Ｎ为床语狡料马库挨词蚂总予数完。基垒于响H校M虚M仁进笑行蜂词历性什标冻注拣（滥6慈）词造性南之戚间歪的犯转解移忠概岗率心可新以婶从轻语牢料壤库臂中起统户计换得竿到泽：已课知个词板性蹦标奴注款下虽输房诚出僻词竿义雀的利概威率牛可境以离从效语解料住库左中旅统喂计铁得宏到冠：计赖算卷所凶分巷词粗系框统基烘本李思盒想I上n猴s腐t的i稍t估u腰t裁e睬o况f叙C挪o比m贡p内u维t稀i泥n睁g怒T蛋e级c骄h钢.粱,腐C苍h维i燃n隆e饥s司e杨L涛e哈x惰i适c筋a颠l葬A昏n摩a隙l座y吐s棉i营s象S节y浸s星t漏e算m掌.殿(喝I坐C某T哄C跳L屯A臣S雅)对中齐科剂院攻计舍算凑所阵词删语耀分挂析稳系会统特掌点继：翠此别分伍词脾系自统循实衔现俗了猴分蛾词胞和锁词唯性切标秧注迷一专体图化日，摩未乞登傍录京词怀与案普锣通躺词甲处障理符的支一未体寇化串；柔评捎估椒体壁系秒一咏体禾化基绍本银思慕想艇：拒采俊取拾H恢M君M贷（穗隐过式汽马患尔旬可赵夫窝模买型装）撑，敞建崇立筛切义分捧词吸图旦。董词碑语饮粗誉分锡阶再段简（币N若最猴短均路窄径危法挂）事，矛先误得碎出旺N隙个可概营率灶最翻大婆的康切衡分棋结售果煤。滚然光后打，孤利诸用恳角扎色破标礼注霸方刻法谅识窗别透未舰登觉录浸词狡，南并桌计肝算同其抬概尿率个，叨将株未忘登伏录吸词网加穴入者到细切蜡分业词党图液中援，冤之乎后瞒视续它果为带普券通骗词调处和理运，甲最战终若进场行胳动屠态筛规替划房诚优莫选丘出断N春个墨最隙大初概叔率性切萝分既标赛注缠结商果棍。计拆算盛所售分朗词膝系活统功床能授模指块放图ICTCLAS结果生成HMM词性标注未登录词识别N最短路径切分人名识别其他译名识别地名识别其他规范重叠词计迷算宿所霸分唯词丧系妥统程绣序崇流陕程原始字串原子切分粗切分切分词图语料库语料库训练概率词典未登录词识别识别词典切分标注选择N优输出结果基裙于点规深则仗的鼻词霞性来标牧注基女本熟思记想E馆r搂i为c乎B友r农i怪l宏l靠(饼1结9目9承5夜)垮T茎r来a拦n姿s解f请o捕r师m装a侵t疲i育o廊n惭-被b屡a膜s菌e揭d核e扯r芽r般o错r嘴-竞d源r山i松v柳e催n授p社a祸r慎t林o收f晴s碰p街e向e饿c花h夏t昏a悲g继g宣i评n谁g基蜡本倒思草想欠：（办1复）彻正诸确窑结烛果析是漆通抬过包不锡断著修早正幅错稠误苦得浩到寄的（名2桌）疤修捕正呼错是误令的工过遣程旱是甘有办迹普可访循退的（境3眉）域让沉计盟算巨机钱学虹习埋修信正惰错而误其的奇过挖程勺，偏这控个黎过品程唇可电以螺用桥转留换隙规问则霜（损t披r泻a摆n船s皇f衰o睬r杯m猎a洗t促i执o礼n凳）止形吊式顾记识录捕下载来译，设然薯后里用颂学汁习港得耕到处转流换区规隔则俯进粱行足词他性避标泻注基遮于倦规湖则馋的葱词穴性雀标耻注转汪换伞规膛则治的杰形住式转烟换喉规给则蓬由柏两笔部放分络组悬成改司写导规梳则瓶（r多e抱w装r姨i栽t编i狸n怜g感r满u棒l事e排）激烈活悦环烧境急（岁t艇r慈i迟g珠g稍e练r呆i识n摔g努e岗n怜v穴i辞r娘o核n坦m羊e论n偏t烫）一柿个暂例秒子祸：现转阶换绵规闲则荣T隔1改酿写傻规舟则洞：限将晒一友个摘词级的捡词暑性幕从聪动刮词名（剪v孕）旦改帖为淡名老词片（壤n锐）邮；激置活腾环易境沟：斗该暑词晕左荒边怨第联一迹个浴紧宗邻醒词楼的曲词购性勾是召量肉词纵（倚q具）惹，果第光二次个贫词饲的习词折性朽是被数珍词弯（宜m助）S矛0拨:前他弄/鸦r蛇做推/禾v应了羞/帐u跨一容/剃m示个滋/葬q际报定告妖/场vS版1己:惩他欣/