信息计量第七章

第七章齐普夫定律G.K.Zipf(1902-1950)美国哈夫大学著名语言学家和心理学家。1929年《相对频率：语音变化的决定性因素》1948年《人类行为与最省力法则-人类生态学引论》6/30/20231教学要求了解词频统计的产生和发展了解Booth定律掌握Zipf定律的表述、数学模型及图像特征熟悉词频分布原理熟悉Zipf定律应用中的基本技术和方法6/30/20232主要教学内容§1词频统计的产生和发展§2Zipf定律的表示＊＊§3Zipf第二定律§4词频分布原理＊§5Zipf定律的应用＊

6/30/20233第一节词频统计的产生和发展一、几个基本概念1、词频（nr

）：自然语言中某一个单词在文献中或讲话中出现的次数（频次）。不同的词汇在同一篇文献中出现频次的分布是不均匀的。2、词汇数（N）：文献中出现的不同词的数量。即：文献中作者使用了多少个不同的词。3、词次数（N‘）：文献的长度，总词量，包括同一词重复出现的次数。6/30/20234二、字(词)典的收录和选择中国最早的词典——《尔雅》(汉代)，按词的性质和意义排列，词目91706条、134万多字。第一部英语词典是R.考德莱编的《字顺英语难词表》。1928年成书的OxfordEnglishDictionary目前最新版本为20卷本第二版，收词超过50万条，引证例句250万条，几乎囊括了1150年以来见于文献的所有语词。6/30/20235《汉语大词典》（上海辞书出版社，1986年）共12卷，收词37万以上。（一）文献中对词的利用《汉语大字典》（四川辞书出版社，1986年）全四卷，收录单字约56000多个。6/30/20236《毛泽东选集》（四卷合订本，1967年）总词量约66万，收录2775个汉字。（一）文献中对词的利用6/30/20237汉字中，目前人们使用的汉字约有15000个。（一）文献中对词的利用6/30/20238国家文字改革委员会（语言文字工作委员会）统计：掌握2851个汉字可以满足99%的阅读需要；掌握5018个汉字可以满足99.9%的阅读需要。（一）文献中对词的利用6/30/2023919千81抽年的篇《通利讯用么汉字豪字符极集（换基本壮集）张及其润交换烂码标环准》放（G华B2习31助2-底80仗）中语确认榜“汉誓字基旧本字楚符”食为6册76岩3个下。其爱中，醒一级绒汉字西37刑55闪个，爆二级旁汉字虾30长08铜个。（一妇）文觉献中滔对词卷的利征用6/胜26英/2没02雨310（二蓄）词堡频统饭计工拥具英国制语言溉学家播奥格从登（献Ch怖ar救le氧s蔽K.瞧Og葬de捕n）倦于1贿93刺0年输编撰误了Ba沾si热c崇En坛gl灾is姓h:歼A旱G断en捏er抬al尸I薄nt网ro型du科ct歪io肠n肾wi歉th非R截ul郊es成a嘴nd亚G慰ra爸mm抗arIf接o具ne衔w攻er替e警to关t甘ak占e传th祥e25崇,0义00钉w皂or昏dOx都fo枕rd怨P株oc宅ke僚t光En劫gl略is同h增Di蛛ct两io勾na氏ry安a狠nd努t键ak是e忆aw舒ay腹t疗he猾r枕ed见un么da唉nc倒ie折s袄of许o还ur书r毅ic天h吉la犹ng问ua载ge厦a语nd丝式e挠li图mi星na则te秃t溉he闯w馋or篇ds亭t萝ha惊t拼ca束n随be编m腿ad厌e倍by白p膜ut浅ti造ng嚼t糟og电et企he饰r冈si辆mp溪le希r疗wo搅rd慌s,we年f择in烦d叫th逐at90窗%略of赢t膛he决c有on放ce棵pt五sin践t昨ha曾t嚷di卵ct架io紫na雪ryca大n雪be呈a仇ch脾ie蔬ve吉d剃wi友th潜8浓50浮w察or许ds.6/推26颠/2任02缴311OG庙DE第N'祸s齐BA预SI舱C绑EN节GL迅IS器H叙Wo倡rd匆L废is雅tOP掘ER渣AT渴IO馒NS董-右1牌00谁w公or更ds些（1犯00沉个动软作的酿词）co嫩me雪,卫ge孕t,学g晚iv规e,雾g类o,醒k介ee赢p,鼠l乓et渐,蝴ma却ke蜻,禽pu则t,箱…TH怪IN以GS根-冷4待00特G践en惭er肥al声w糟or伏ds姐（4狗00坡个士普通终名词呼）ac确co验un罗t,号a萄ct简,虏ad来di衰ti肉on霞,觉ad溜ju皂st爷me角nt赢,甲…TH动IN俗GS摘-共2业00守P音ic组tu脑ra惠bl脚e幸wo毕rd怜s令（逢20沃0践个可羡画图跪的名课词）an身gl脏e,凶a饼nt子,黑ap跳pl积e,葱a箩rc详h,捐a恩rm延,芒ar廉my鸟,槐…QU规AL约IT身IE凭S玻-旋10荒0腹Ge慈ne雁ra馋l衬（需10康0您个普测通形卧容词驶）ab娇le面,雅ac筐id骑,扬an粮gr身y,啦a协ut泳om重at竖ic抗,舞be会au巩ti迅fu可l,插b器la腹ck压,犹…QU姿AL灯IT坚IE播S拒-请50孝O吼pp卵os舅it抄es候（置5胀0峰个有体反义垂词的烛形容肿词）aw众ak塔e,睬b茎ad掉,齐be栗nt榆,阿bi朱tt估er笨,垄bl俱ue立,追ce滑rt秩ai帝n,堆c企ol芒d,条…6/斤26复/2玩02假312OG竹DE嘴N'则s怎BA芹SI缎C含EN乒GL港IS携H优点盟：简炕化语农法、年精简喜词汇艳，受师到美流国总欣统罗啊斯福惨、英举国首伴相丘静吉尔廉的支击持与到提倡的，在技一定闪范围况内使且用，粘但并灶未得枕到推太广。问题慕：欲惠简（兰用词荒简单盛）则挨繁（垒表达槽冗长挺）。Ihe有ar作d→I辅t治ca送me梁t奸o乘my阳e沙ar驼s6/稀26剃/2筛02辰313频率译词典氏（f善re触qu图en耀cy捧d薄ic塑ti疾on逼ar跑ie核s）及——屯按词剪出现朋频率伸的高森低而书编排剃的词昨典。世界缎上第材一部艇频率桌词典燥——放德国舟语言各学家粥凯丁捐()《德冬语频左率词丢典》(1口89女8年珍)，绕11互0万北个词观的语恐言素息材。美国粱教育猎学家其E.巡寿L.免桑代露克(建18冰74郑～1置94碗9)比编写要了《教极师两叉万词免词书即》(19戒21圾)和《教燃师三吧万词岭词书陈》(19闹44里)。记做了辛大量俘的英造语词本汇的毙频率迈统计应工作太。（二少）词皂频统崭计工切具6/歼26仰/2秤02思314南京辆高等趟师范疑到南德京大均学教详授，匙杰出的贤现代笋儿童债教育饮家我国耐近代克教育亚家陈鹤类琴(1到89晕2～团19锻82引)第荐一部汉语姑频率字典《语殿体文厘应用椅字汇恢》(旨19预28谁)污，从上55肆44潜78张个汉助字中隆析出扭42语61保个单寇字。江泽打民为层陈鹤胃琴先帝生雕朝像墓行碑落储成题鼓词：寄“学踪蝶习爱仪国老膜教育倘家陈衡鹤琴润先生砌的献板身精蜘神和翅创业猫精神筒，深但化教肌育改私革，命为培塞育四模有新侮人，榆振兴仁中华哨的大宋业而表奋斗舌!”（二心）词窗频统览计工矮具6/寸26辩/2纱02换315北京挪语言棕学院勉语言悲教学非研究远所采填用人窝工与松计算革机相违结合变的办即法，苏对近各20茂0万寻字的望汉语特语料排进行它词频宿统计搜，编亩制了《现敲代汉老语频营率词弓典》，收绍词3堪11击59容条，灿这是榆中国算正式院出版考的第愿一部选汉语血频率赌词典沿。（二湾）词爬频统路计工谜具6/英26沾/2国02原3166/肢26携/2饰02截317nr·r=k或nr=kr-1一、葱齐普滤夫的亭前期辟研究备工作J.译Es捡to荐up佩(艾岔思杜穗)的颠研究暮（1母91斜6）若将地文献面（文啄集）范中出迷现的员词汇遭（N）按宏其出泊现的布频次界（n）的池高低倦做递阁减排脚序，息并依牵次给通予相幕应的法等级量序号患（r），摄（r=1贴，2符，3减..染..享..证..谅，D），驻则等伶级序穿号（r）与建相应暂的频尸次（nr）的农乘积滨（nr·r）大徐体上确为一泊常数驴（k）。第二崇节齐普辰夫定新律的乌表示6/怎26野/2逝02赌318E.剩Co回nd读on趋(贡斤东)蕉的研惠究（桨19点28棍）取等炼级序故号的溜对数鉴（l号nr）以傅及每耐个词免出现敏频次膏的对识数（和lnnr）做滩图，锐发现图存在色线性参关系真。直打线与羊横轴汗的夹漆角约棚为π吩/4香，即吐直线炉的斜丢率为杠-1朴。其邮数口学关事系可冰表示工为：lnnr=t压g(许π-晕π/您4)乱lnr+l铺nk一、撞齐普建夫的棚前期扰研究树工作6/冈26妨/2单02板319(一扫)齐逮普夫锄定律夫的表格述设有咬一包受含N个词援(词爆汇数摩)的未文献肉(N≥5理00桌0)捏，统映计其聪中每俩个词但出现鸟的频裙次(n)，筋按频戒次递崇减的忽顺序达等级聚降序重排列冰，并孟用自种然数发给予流相应防的等热级序匆号（r），衬则每叹个词屑的等况级序暖号（r）与碎相应昂的频苍次（nr）之资积为弱一常核数。二、秀的鸡验证秆与Zi搬pf定律6/瞎26秀/2诊02忍320词频贱统计萄表6/蜂26宜/2帝02窄321以R驾on禁dl轨d绢E.津W查yl采ly食s:个E伤mp腔ir诉ic称al驾a胃nd藏T仔he宝or即et车ic重al某B骂as托es剑o琴f急Zi岩pf供’s胁L希aw蹲（齐种普夫横定律浓的经求验根必据与笛理论粘基础叨）前叉两段鬼作为牌词频探分布迹的统雀计对络象，趴该文何如下嚷：In友tr齿od翅uc怜ti季onOn右eofth形emo啊st艳p组uz射zl巷in杀g吧ph徒en范om阳en昆a翠in矛b单ib榴li辱om顺et轻ri役cs南a童nd胖,剧mo触re现b芬ro羡ad权ly协,inqu爬an欠ti井ta红ti广ve朴l别in购gu核is殿ti葛cs脉i扛s苹Zi愧pf柳’s膀l撕aw负.引As掩o箩ne镜c少om瞧me材nt蜓at号or额,th锯est铸at醋is吹ti后ci首an晴G话us燥ta饮v兴He朽rd最an景,豪ha怖s翁pu讽t递it孟:“展Ma兆th诸em续at慕ic捷ia咏ns种b航el陆ie月ve燥i璃n遇it推(村Zi构pf轰’s唯l阀aw野)止be史ca铲us匹e浴th洁ey使t研hi盼nk户t疫ha延t堤li浓ng织ui尘st讽s林ha咳ve合e际st辈ab掘li苍sh阶ed抓i嚷t圣to辆b北e闲a咱li机ng敏ui疼st叨ic横l减aw住,年an繁d切li乔ng困ui炼st尊s尘be你li财ev仪e团in门i芦t昌be沫ca呈us享e钞th尊ey项,测on估t隐he剂ir搁p升ar互t,六t慈hi轰nk讲t栏ha右t英ma次th免em症at赵ic戚ia制ns卡h章av献e秤es膊ta肝bl钉is煮he武d放it菌t残o滔be番a俱m馅at条he随ma冒ti矩ca蛙l仙la凯w.群”Le浪t刺us矩s似ta硬rt箭b吼y卫co田ns况id类er名in米g询a阴ba剩si沿c甲fo候rmofZi派pf书’s慌l辆aw表.糟Su妄pp裳os挺e膜on遗e补ha箭s政a胳na洒tu窃ra装l敬la皂ng钞ua尊ge策c呢or授pu扒s,舒e留.g剥.,范a麻b众oo删k纹wr状it拌te崇n瓦in贪E沫ng率li凡sh蜡.功Ne困xt立,础su亭pp档os浊e艺on蠢e房诚ma墨ke红s虚a困fr蚁eq飞ue吩nc合y垦co帐un出tofth跳ewo迫rd菊s拳inth飞eco感rp管us来,辟i.脖e.培,川co闷un伞tsth贞enu搁mb侧erof镇o才cc耳ur素re洲nc更esofth杠e,铲an佣d,of晌,et祥c.纷F型in残al锐ly滤,禁su木pp寇os踏e捉on搜e联ar纪ra界ng挤esth役ewo觉rd纷s载in警d扬ec研re也as鸭in宅g道or企de储rof签f挣re谁qu驱en右cyso突t愚ha芳tth点emo琴st陆f股re信qu急en带t取wo患rd揪h叹as贼r汁an筛k旨1;th单ene沸xt健m头os猛t吉fr碍eq草ue辛nc跃y,晕r膨an强k廉2;义a经nd帽s李o课on蛛.6/肯26遵/2美02欺322对7潜5个跟单词香的出法现频订次的沟统计6/睁26娇/2溜02则3236/秃26兴/2夜02天324高频习词低语伯义词6/僚26竖/2脂02接325nrrlnnrlnrnr=k录/r如果欧以等宿级序园号r为横抢轴，鞠词频nr为纵姑轴，吃其分抢布图错形为滑一等剩轴双坦曲线召。如果纳以等驻级序括号r的对昨数为普横轴值，词序频nr的对勾数为踏纵轴质，其迈分布殖图形彩为一殿直线冷。直谊线的槐斜率辉约为缘瑞-1孩。齐普饼夫定朵律的遵图像些描述6/角26终/2浅02捷326设N’为总搞词次务数，fr为等疑级为r的词肾出现枪的频仿率，绍则有停如下单关系fr=nr/N’对于fr=cr-1，(二亦)昼参数c值的匀推论6/合26起/2赌02啄327对于桨上式匪，当D（最室末一蚊级词密的等政级序舌号）它比较参大时界，当取D为一贷定数澡值时父，计元算其日对应返的c值：D嚼c50竭00递0块.1则110造00粉0猛0.超1050化00法0芹0.腰0910吩00乞00大0烟.0戏8可以毫认为c≈0墓.1斑。但殃后经柔大量萝的研价究证天实，叫在词狠的中型频区兔，c<0趁.1芳（即烛等级寺序号狭为1拐的出腹现频固词最牢高的捧词的武词频诊）。6/别26毒/2引02阔328(三垮)对滚Z脾ip桂f确定律捆的几朴点讨只论1.宅高频角词作豪用的瘦局限紫性高频惨词区低频扩词区中频什词区英语设、拉休丁语断的词选频分拆布6/羽26越/2恨02挨3292.北同使频词狠的排截序6/蹲26愉/2卖02坝3306/穗26蔬/2闭02坦331在随机远排序中，述同频鸣词的居出现撒将随妻词频城的降排低而弓增多别，产读生“冬阶梯和”状歼图形尊。试栋验证灯明：杜当1想5<r<1苗50茅0时惨，同本频词衫不多弱；当r>1拌50轨0时童，大县量的叫同频声词出舰现。因同胸频词绘存在耻，低肌频词垃区呈粉阶梯皇状分殿布。豆而采撞用其押他排亿序方透法则盯不存色在阶逗梯状扰分布似。词频扬相同（l钓nnr）序号波递增（l岛nr）lnnrlnr6/孕26或/2挥02览332第三庄节元齐顶普夫愚定律辱的修与正和驴发展6/款26徒/2食02亏333一、齐普妻夫定祸律的滋修正娇——双参仓数模猪型19摄36疲年美雁国语僚言学斑家朱嫂斯（内M.项Jo诵os赤）提添出的疤双参税数模椒型—钱—“躬通用公齐夫勤定律削”（伸Ge笔ne贼ra脑li赌ze乱d旋Zi罩pf纷’s敬L妖aw着）nr=k/rb或fr=c/rb式中变，b>0首,c>0拍,r=1宽,2巩,3霜..励..外..造.,D）且有满足对上粒式取倦对数软,雁图像博显示裳为一各斜率轧为触-b的直稠线。怀利塑斯（悔）对裹8个系不同摆样本若的研揪究结电果：-0蹄.8引9<b<-恭1.渠04倒。6/膊26恢/2黄02添334二、齐普胆夫定禁律的拢修正派——三参肯数模的型19鸡52年美特籍法象国数怀学家胞曼代倘尔布撤罗特迟（B.质Ma圣nd廊el搭br舍ot）提竿出三倦参数丘模型歪：式中影，0≤a<1倡,b>0昌,c>0季,r=1乡丰,2演,3治..注..靠.,D且满厦足6/敏26雪/2居02由335对于辟齐夫愚定律惩的表冠述,添许但多工罩具书唯大都音采用秤类似挎观点炼和说凭法自。如岔英国绵著名胜的语倦言学闻著作药《语嗓言与刑语言怠词典秀》中最对词植频分生布定忘律的冶释义甩是：“指饺谈话躁者或搏写作瓣者使前用的系词的汉分布社和频颤次的斜总描婆述。f·r=c，方勾程式斜中f=频汉次，r=序聚号，困即频他率表泳上的扇位置稍；c=常妻数。督方程等式表管示词妖使用捡的总事次数趋和词缘瑞频表虫上的叉位置乓之间奔有一方个固通定比阁率。咏”但是南齐普舅夫的隶表达醒仅适括宜于中频井词的情栋况，废高频龟与低网频词枯与该箩表述臭偏差梢较大椒。于蛾是对腾词频浴分布渐规律披又有钟许多歇补充鸦和深努化的仙研究蹲。6/恶26她/2金02窑336三、齐夫复第二烟定律（一滚）对彼高序厉低频泳词的木研究——Bo首ot首h,姐A.巡寿D.徒:I饥nf图or蚁ma蜻ti霞on悠a奇nd召C允on削tr掩ol酿,骗19胀67州(1碌0)焰:3散86袭-3塔93设文乘献中杀同频锣词（握出现谜频次巴为n的词筋）的易个数池为In，则In与I1比值巧的大柱小仅纲仅取语决于跳频次n的高纸低,营，与愿文献坐的长剖度（鞋总词管次数N’）以易及常古数值c无关溪，即：6/缠26都/2放02烈337美国正西保龟留地违凯西为大学狡（W绩es窄te露rn而R其es炸er掉ve答U凯ni拴ve塔rs忠it焦y）认文献娱交流钢中心辩和埃爸德基赚（E身ld串ri咐dg玩e）采对4浑篇英闪语文奔献词昌频分蝇布的绸统计跨结果我。6/攀26帝/2某02奋338In/I1的理酬论值凑与实赚测值融的比扣较0.妹04蹦0皇.0稍0俩0锈.0茄0声0.孩00类3团0鹿.0教03阳0.附00扎1钟0达.0飞00律0.棒00驼7老0狐.0寄036/犯26库/2念02出339高频跌词（球co副mm科on垃）与扶低频私词（献ra茎re简w沫or墨ds个）出屋现的“唯拐一性属”将随凭着词膛的出玩现的宿频次脆的降征低逐南渐遭模到破顶坏，眯即出套现同冈频词康的可孟能性过逐渐络加大铁，因毅此，近我们浑可以把同道频词桥是否居出现利作为锻判定香高频速词和惧低频酬词界伏限的哲“尺继度”。（二怖）低涛频词善临界局值的察确定6/蠢26唯/2安02卫340即：帽在按福词频抬等级院降序棵排列醋中，润所有克出现闷频次栗小于nT的词基均为捷低频春词。高夫盈曼（王W.挑Go膜ff俭ma陈n）尖给出陶的nT转换方值（好tr史an底si趣ti说on亿v昏al碗ue活）公泻式：（二趟）低亚频词湖临界耐值的舍确定6/雁26岸/2记02希341即：流某一斤等级预序号扮所对齿应的匠低频笔词的禾数量调与其锤在文惰献中墓出现漂频次表的平烫方成引反比撕。（三泊）低躬频词练的数尺量与笛其在坡文献陵中出听现的馒频次抄之间待的关床系6/册26鹿/2溉02走342第四新节词频咏分布饭原理一、咸“省组力法策则”急假说《人犯类行拿为与圈最省糊力法酬则—察—人蕉类生贺态学扩引论董》(惧G.竹K维.鉴Zi危pf尝.Hu贺ma锡n涂Be蒙ha济vi谎ou当r蛇an薄d尤th们e宰Pr财in骡ci粒pl棉e颗of指L魂ea杠st遍E童ff帜or屑t:绝a换n表In脉tr乖od和uc惯ti恭on锄t庭o唯Hu哑ma兴n僚Ec辫ol伸og振y.放Ad谋di凑so女n-送We坡sl待ey臭,1刃94衣9)6/微26披/2伴02唱343A地Hu蛾ma垂n拍Be讲ha宇vi功ou族r道an粱d制th使e叉Pr仁in犬ci傍pl抖e陆of碗L各ea猜st第E齐ff韵or文tB地6/主26惑/2急02奥344双重咱力平素衡的规结果摆——过双曲对线分激布在语絮言交议流过欣程中简，“续省力倘法则植”同锡时体聋现在灾说话况人和医听话绿人身浓上。多样芦化的抖力——说话诸人希磁望组河成语还言的只词少帐，而找且一药词多身义,书节省养其精撒力。单一丛化的没力——听话麻人认带为最库好是语一词拥一义姓，使芹听到罗的词融与其滥确切静涵义勿容易乞匹配竖,便挎于理桌解。多样猛化的责力单一显化的捧力6/糊26录/2纠02飞345th运e哗Pr敏in汗ci占pl臣e白of牢L注ea贼st戴E伤ff育or姨t一个益词的案长度毁的演勾变并认非随滤机分税布，鉴而是蚂与人成们对昂其使获用频趁次有舞密切姓的关贷系。“寡室用冗参长”“用盒尽废委退”事多放而寡敲用之回，意多管而约文出之橡。6/延26储/2临02立346汉语塔中双音证节词狱词长燥适度茫、经驴济灵丙活，俊成为里最合围理的掀构词头方式律，促册使许饼多新广产生旬的多件音节服词及寒专有详名词载等都翻回缩涝到双求音节现或三风音节严的模归式中晋，向貌双音达节、普三音修节形倡式靠截拢。妇女涨联合药会—付—妇联邮政膏编码浙——邮编肺原渣性心溪脏病缘瑞——肺心讲病超级壮市场泻——超市劳动费改造桌——劳改外商艳投资访——外资扶助边贫困映——扶贫电影鼻电视上——影视国内黄需求彩——内需农业死户口换转为增非农戏业户庸口—打—农转哥非6/邮26找/2桌02字347UN肺ES距COUn奶it沸ed肾N歉at腔io柴ns泼E好du忧ca起ti泪on件al宏,绝Sc债ie井nt架if浊ic弦a精nd主C获ul队tu偏ra姐l管Or叠ga率ni螺za题ti尊onAP喉EC1.头=利As影ia杰P俯ac雅if炼ic带E奏co糠no县mi踪蝶c躲Co伞op梢er绳at育io侄n际亚太碌经济漆合作铸会议2.厦=草Al君l需Pu颈rp疤os殿e海El岩ec炉tr丈on哪ic衔C袋om础pu晃te族r肿通用嚷电子越计算稻机ME枪DL养IN壁EME挺DL菌AR甲SON纠LI节NEMe肢di裁ca闪l悟Li纪te贪ra手tu适re威A昼na男ly御si烛s灵an妈d熊Re麻tr射ie躁va丑l匪Sy泊st摔emPE衡TSPu仆bl柔ic逗E男ng朱li耳sh叫T勾es饱t完Sy惨st府em6/松26候/2输02在348*y丈a→yo普u*w刺ha酷dd责ay脉a→wh剑at论d旁o轰yo肯u,姿w本ha良t棉ar客e瞒yo惊u*g锡on怪na→go逐in谨g窜to*W呀ha丸dd构ay涌a悟*w畜an街na贫d挪o?I仙*w阵an佩na聋e印at雷o艰ut蝴.*W泡ha诸dd桐ay获a困*g颂on孕na谁d越o?I’慈m成*g修on被na纳a眠m号ov培ie纪.Wh林ad盾da补ya*go梁nn从ase撞e?I碧*wa免nn篮ase秧e硬a淘co蓄me划dy德,重bu帖t深I’叶m塑*go陕nn市ase盟e简a今ho缩慧rr辨or野m惜ov威ie荡.*do津nn烦o→do尊n’协t萄kn苗ow*ta→to*go蜻tt群a→go控t齐to··份··遣··6/京26急/2泰02只349th扮e炸Pr良in快ci远pl益e星of内L涌ea朴st拜E千ff昌or阻t对“尿最小富省力封原则累”应掉辨证质地看狸：自然草语言杠中词优的“桑短化强”不办是绝械对的度，而懒是有泥人的权自然岛的惰穗性与填语言舞熵相录互矛宽盾作剃用的她结果拼。“最愤小省疤力原游则”狸的实陕现因锅人而列异。让常常猫是意津欲省潜力，显实则亭不然歉。语言豆的使下用将似遵循缘瑞“适凭度省掌力”伙的原筋则，够以“绪可懂舒度”巴为前陕提，劝否则得将影刻响语扬言的续交流蜜和思绒想的瓜表达皱。6/示26异/2晕02淘350第四贩节词频匆分布寻原理二、懂“成迹功产败生成疤功”踏假说H.徒A.铁西蒙棍的概昆率模花型：君在文嫌献中延，一词插使用宅的次妈数越络多，丝式则再性次使非用的庭可能梁性越僻大。该模嗽型最愤后导广出的漆分布趟与齐怖普夫丑分布雄相当舒接近肆。D.崇J.弟de源S僻.宁普赖尽斯后哲来建杰立了莫一个蛛相类险似的何模型粪，又马明确生地提壁出了晓“成委功产牙生成述功”怎的假盾说。6/作26满/2扶02轿351第五链节关齐漆夫定亲律的浩应用一、采汉语忽词频忧分布究的研东究（虑p.斜15受8-患16谎3）二、军词表畏的编流制—宪—检澡索词纽奉的选响择三、醉自动键标引趴实践泰——糟有效萍词的帜选择四、惜文件猛档的哀组织途——队数据龄库存眨储容厕量的吃判定五、贱英语暴单词染的选叔择—渡—对栏语言额学习彩的指港导6/更26疗/2施02瞧352自动特标引谋原理伪：统计葡标引皱法、句法柜分析低法、燥语义炊分析衫法统计妈标引蜘法（检st南at间is披ti甜ca锯l贿me捆th悠od哄o挺f胀in代de俘xi宪ng肝）的余理论同根据母：各种财词出糕现在纷原始销文献宁中的袭频率挑和其米区分仪文献俊内容宁功能悔之间情存在顿着某片种数异量上阴的关孝系。认为争：文都献中闷每一档个词弯都有帜一定勺的“尘分辨勿能”缺(d菌is暂cr碎im差in苗at果io筑n躬po柳we谨r)哲，而奔这种医能力零与词卖出现芦的频隐次有舌着密怎切的扇关系奴。事实趁上，挨只有宇那些担词频江适中业的词直的区渴分能奏力较过强，裙它们建被称夜为“弟有效奶词”辜（s撞ig堡ni疗fi蒙ca递nt赔w蛋or袍ds凑）。商认为矮：所油谓词汪频适凑中的北词是泉由在哭词频铸有序秧分布屈组织醒中靠些近某愉一区谋域的巾若干耻词组锁成的延。齐夫讨定律让在主定题词倒表编袍制与始标引救理论价和实脆践中严的应租用6/靠26搁/2从02腾353有效挂词的匠分辨里力下限上限有效埋词6/北26敌/2宽02袋354齐普莲夫定处律在信鸽息管片理工喊作中选的应筹用最佳杏地理帽位置闻选择胆，使浩得使践用者梅能以么最省船力的鞭途径齿方便慨到达生。设计撒图书纤馆、洗信息团中心菜资料许库的排排架状。6/略26角/2赏02烦355北京粱大学6/扁26虾/2趋02狗356香港狸中文卵大学6/荒26亿/2阴02计357滨州炎医学爷院图集书馆6/铸26久/2尸02榴358齐普脾夫定劳律的犯应用为—瘦—英患语单勇词的列选择6/印26讽/2态02缸359《教秤师二咸万词赞词书支》——厚词频挣法统仅计词播汇的钉最重孔要的厨一部染文献字——损美国析教育芹学家诊桑戴惩克(背E笼L.点T鹿ho票rn上di午ke导)额：T锦ea唤ch枝er认's弹W宿or络d切Bo洗ok惭o钢f括20跑,0贯00绣W红or速ds选择色出常拌用的系词汇林20灿,0格00扇个，科依照暑每个欧词在愧这些垃文献误中出陈现出吧现的想频率框分成呜20炎级，茅每级原10贷00饰个词榜，用室1，慢2，脆3.军..各.2项0来证标记植。6.路25著万字拉的儿姿童文消学读奖物30载0万企字左趟右的俱圣经控和英妻国古姜典文绘学作薯品，30岭万字章左右捐的小侮学课麦本，5万识字左线右的胜有关暮烹饪刮，缝臣纫，锈农艺敲，商平业之旬类的良著作9万踩字左果右的庄新闻厚报纸5万铲字左佩右的亚书信字，共痕41搬种不抬同的饰文献6/筑26沙/2科02锤360根据触Og臭de躲n在起19笨67古年版扫的En织cy族cl奴op纤ae节di底a恒Br京it估an包ic作a中对Ba另si歇c郑En气gl葵is该h的定似义，宴对于主一个阔英语膏国家自的成喷年人奶，应锈认识亩20计00湿0个椅单词付，除节语言袜专家时外，漆普通馋人遇浙到的品单词宵量一界般不盖超过活60正00且0个超。问题负：假猎定这投60趣00宪0个茄单词方在文逼献中对出现仓的频娃次服据从Z枝ip蹄f定迅律，剥那么选一个劈燕人如信果认声识上堤述2壶00译00搬个常症用单码词，餐即当m=2眨00千00罪时(仙1/爸3)桃，对段英文骗读物移的词蚊汇覆搬盖率撑有多肥大？6/回26辣/2续02大361齐夫捷定律亲的启悦示—刊—英烧语单胶词的教选择由nr=k/r可知良，排鹅列在毫前m个等谷级词高出现毛的总助频次委为：由调爹和级傅数求叹和公猜式（委欧拉桨公式气）可坑知：所以腰近似沙有：单词祥覆盖钻率：6/翻26尼/2组02扮362英语接单词钓的选叨择问猴题设为宗覆盖皮率，养则从理涉论上疏讲，绿只要什熟练尺掌握酸1/任3的览高频饶词，巨就可栏以“桶读懂丹”含疾有6赶万个权不同但词（安词组忌）的鞋文献颠内容陆的9滤0%功。“四救级”考试：4延50波0扯7闭7.渡63械%“六面级”王考试梢：5旋50伶0芦7乏9.涉36狐%PE话TS傍5需革要推>6聪00禁0蔽80梦.1忽2%TO权EF屡L词蛮汇>衣80放00县8倍2.脆3%6/鸦26秃/2着02亲363第六努节淘布-接齐-吹洛定略律分爷布一陶致性6/猫26饼/2绍02垄364信息言计量她学的册三大拜基本援定律研究析和发献展的挪两个律方面暴:一,母对每括一定糊律的罗内涵筐及经槽验公慢式的绪深入扩研究尺,从煮而获筹得更谈一般连、更歼精确阁的定娱律表蛮达式二，索发现双并深紧入研香究三德定律型之间抢内在斑分布窝的一陪致性舍及其单理论折基础缓问题6/重26重/2迅02辅365一、笛三和定律垒的形溜式及兄特点（一醉）布棕拉德扔福定废律及郑其特册点基本弄思想势：将党科学包期刊扫按其摩刊载赏某学踏科论耍文数累量多掏少，赌以渐族减的本次序渴进行烛排列薄，分伏为三链个区镇，每败一区形中期绑刊所呀载相场关论物文数随量基城本相陆等的额条件逗下，睬得出歉各区跌期刊梁数量砍比例点为1灵:a床:a2(a持为惜比例戚系数圣）基本草内容斩描述励：文虾字表哨达与休图象餐表达6/祸26浮/2短02融366基本感内容默蕴涵宿三个敏基本新特征驰：1，再期刊掏是按读刊载雕专业撑论文套数量敢的多详少进痰行等洽级排袖列2，聚期刊颜分三毕个区章，核宏心区代、相望关和播外围租区（厕为了振突出根核心怀区而朽强调驶相关起论文将在期旷刊上修的集孔中与傻分散搬）3，恩设定纯每一队区中勺的相衫关论登文数夸量基皆本相伞等，粮目的缎是通捧过同妹一标具准来蕉比较依各区瓶在期茧刊数扩量上应呈现肃出的流规律蛛性等级播排序盆是最箭基本与的特则征6/甚26剩/2居02特367布拉泄德福毅定律恭数学佳表达蒜式布鲁抵克斯帆(B途.C尺.B仇ro底ok飘s)R(刑n)柳=k乒ln爱(n橡/s俘)莱姆沈库勒格()R(脉r)晒=a愁lo超g(干1+监br绑)F(夜x)拆=l填n(姥1+翻bx煌)/掩ln稼(1答+b处)相关欲论文选累积挪数等级业排序修的期宵刊级该位X为比全部原期刊样中载华文率蛋最高随的部盒分期锄刊的乡丰比率X部傻分期勤刊中团包含脉的相通关论傻文对盆全部玻相关掏论文要的比露率6/猫26抗/2掠02滑368（二页）齐蒸普夫覆定律虑及其贿特点基本党思想堆：按烧一特擦定文切本中量词出圾现的赌次数器（词个频）疼的多薄少，佩以渐糕减的架次序粗排列膛起来相，那辰么，须词的暑序号无r(羊词级用)与耗词频党fr夜的乘对积具层有近汁似恒承等的哥关系fr帮=c开/r(r拖=1狗,2构,3理….扶)6/贞26星/2焰02流369基本飞特点样（是矮与其抢它定许律比置较的渔基础派）：1，刑词汇叔是按舱词出舞现的胜次数叙（词喇频）辽大小馋进行镜等级垃排列2，圈齐普手夫定独律的布图象洒表达老在利铁用对花数变星换处基理后舱得到歉的是患一条赠斜率胳为-眼1的萝直线6/勇26竹/2璃02烦370推广要齐普荐夫定赵律的纺有：朱斯阴（M拔.J货oo倡s）Pr券=c山r-b或辫P离r=畅c/肤rb(词跪频大舞小由色b决锯定）芒代发尔布误罗特忙（B般.M涂an我de难lb杏ro童t）Pr舍=c叠/(燥r+血a)b第r级词择之频次率级位包r6/烤26妄/2贸02瓣371（三）黄洛特民卡定门律及娘其特悄点基本既思想锻：某堡一学陡科领滋域中赠，写寨若干嘱篇论满文的来作者盯在整嫂个学岭科著覆者群证中占麦有一念个固安定的海比例公式脾表达样式：躁f(经x)洗=c削/x2反映醉科学诞论文阴在论堵文作同者上屯集中感与分赶散的互分布搂现象6/末26款/2案02氧372基本侧特点闷：一，须洛特艇卡采喜用频狮次排忘序的跨方法幕，即船按某秒类作取者出厦现的删频次储大小即排位籍，而害非按直作者吩所写安的论幻玉文多肌少来吐对作慕者进材行等简级排燥位二，托论文志在作使者上烂的集志中与毫分散走程度占只限胸于平墨方反尼比关之系，础即只侨给出扁了这位种集稿中与酬分散送程度葬的单角一描劝述6/饶26途/2允02信373洛特初卡定休律的泰推广鲍（伯）f(注x)横=c她/xa不同过的a蚊值能廊够反症映出滨某学芽科领臣域中置论文赛在作倘者集划中与捉分散沈的确定切程永度，洲a际值越桶大，代集中栏与分努散程械度越粘高6/奏26蓄/2液02羊374四、鼻其它菌的分竭布形局式及犯特点特征栋值毅主体卡类别闹作者阿（发态现人脚）文献功数阔期刊将布拉仁德福论文丑数呜作者缓洛特届卡词频个词盐汇逼齐努普夫检出国频率礼图蠢书熄巴克吓兰德财富颈人及巴擦泽尔姓氏右人联福铁克斯得分罪球员恐戴草维斯种积属掉威蛇利斯6/跑26耻/2欧02锯375二、帝布-际齐-际洛分文布的应一致志性描述螺文献吹中情肃报现进象分个布的终三个唤定律揉，它融们共摸同的畅基本秋特征正有：1，火每个错定律谣都是龟在一裂个简嗽单的历函数童范围染内一午个变财量与房诚另一络个变售量相烤关联2，凳三个扯定律型都是默采取淋将观残察值闻以及换所涉亮及的鲁主体符进行念特殊基排列歪而得泻到一稀相关责模型3，贵三个习定律引都可盏以归仆结为近反映屑某种箩主体淹与其碑所表等现的那特征肥之间钢的数码量对锡应关躺系6/细26欢/2炸02妇376（一坐）布谢拉德惕福分大布与尾齐普印夫分钟布的围一致穗性1、同时姿具有分上述能三个午共同闯的基鸡本特尝征，芒同时幸都采本用了敌等级差排列份技术2、它们波的排细序对捏象性感质相概同，腔都是荡对研订究主真体的袭排序尝，布炮拉德命福分隐布以吼刊载竟论文添多少筹对期举刊进介行排絮位，五齐普宏夫分尸布以奔词频疮高低废对词港汇进板行排僵队6/奥26迷/2鸡02稻377但是去它们掀有不男同的叨结论城表达驾形式厌，原蚁因如兵下：（一烦）布拉牢德福绪分布境对排左序好廊的主做体（通期刊险）位俘次r厅进行贞了取泰对数深转换梁处理（二截）布烘拉德悔福分概布对谦排序凯好主联体的申特征摊值（绣论文挤数）成取累吗积和把R(哭r)布拉富德福它分布趣反映铸的是板特征雁值（妻论文锹）在待主体衬（期亿刊）杰上的猾累积带分布落，而妹齐普剑夫分算布所冰反映剧的则垂是特夏征值揭（词赔频）餐在主派体（杨词汇汪）上红的密羡度分糖布，雕他们朵之间散的关呀系实搅际是演一分哭布的肿积分营表达疏形式姨和微肚分表辱达形谷式的误转化6/龟26怠/2扑02日378数学踏过程态表达R（存r）认=∫鞭fr拆dr将f顷r=信c/妻r摸(阵r=照1,疲2,割3…驰.)亚代入阻得R(傅r)后=∫恶c盏/r兼dr妨=c头ln旗r则上护式与魂R失（r励）=桐Kl宣n(涝n/垄s)闪具有钟等价寻性Fr确=R蜓′牧(r姑)则有拥fr询=(滨Kl含nr志)能′誓=K汇/r其与矿fr饮=c援/r队等价所以纪布拉掘德福扒分布降与齐存普夫稼分布熄具有魔一致撤性6/芬26蜻/2萝02渡379（二环）齐序普夫乒分布附与洛章特卡备分布过的柔一致崭性齐普舅夫分留布与效洛特鸡卡分条布的岁表达泡形式盼不同专，原肠因：1、诊排序典对象荡性质陶不同查，齐时普夫赚分布石以主趋体（藏词汇限）为俭排序棒对象求，而耀洛特而卡分拿布以添特征配值（林论文羊数）蠢为排铸位对解象2、绒排序懂的方秆法不坝同，遇齐普块夫分睛布以间主体评（词领汇）坦的特盆征值叫（词弊频）偏由大印至小渗对主律体进厌行排植列，喊而洛岩特卡裕分布木则以育特征倘值（设论文加数）跨数量常由小省到大效加以练排列6/龙26圾/2累02库380主题盛级位殃r与状主体榜频率怠f(择x)饱关系卡的函描数式北表达衬如下功：r=更∫重f(臂x)搁dx苍（r鸦是f奇(x娃)的割累积锹形式所）将f晕(x桃)=搞c/阻x2代入应得R=壳∫饿c/朗x2dx统=c饰/xX=醋c莲/r呆其与砌齐普强夫分遣布等缺价同样扫，f绩r=件c/弓r剥可斗转化肤为r趁=c捕/f琴r屯,也求其蛙微分刻得r槐′=熔(c厘/f表r)限df付r=门c摩/f六r2则其喜与f卸(x盯)=追c/亦x2等价所以跌齐普奸夫分观布与然洛特靠卡分赌布具凡有一扒致性6/售26触/2管02钉381（三见）布恨拉德双福分反布与另洛特敌卡分烈布的猾一致坚性布拉粗德福短分布我与洛模特卡组分布心的一释致性婶不明躲显其对慰研究牵主体提及特瞎征值阳的处拖理方陆法上魂存在也很大藏差异攀:酒布敢拉德丘福分轮布按心主体秋(期馋刊)章的特演征值称(论竖文)见多少输确定毕主体极排列脸的级迈位,傍并对铃主题斜的级笛位作权对数斑变换摸,对识主体托相应宫的特境征值偷做累醋积和R(扭n)斜=k聪ln过(k雁/s泊)洛特豪卡分蹦布按唇主体筑特征疏值(目论文胞数)坚的自木然数弹次序滩由小锤到大汤进行铲排列芦,并躺对主鼠体进阴行频塔次统件计得阴到杰f冈(x胆)=书c/祝x26/裳26皂/2孟02贷382从数骆学上资讲：布拉藏德福裳分布译与齐亮普夫监分布禁具有踏一致恨性齐普讨夫分软布与析洛特源卡