6[1].2极大似然估计

1、6.2 极大似然估计,极大似然估计是在母体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家高斯在1821年提出的 ,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 .,忧跺工蚤惩腕飞菌鲍檄患结准绦告恕涂绵俭匡室础纂怖涡厨帽磷餐网既屏61.2极大似然估计61.2极大似然估计,先通过一个简单的例子来说明极大似然估计的基本思想,一只野兔从前方窜过，,是谁打中的呢？,某位同学与一位猎人一起外出打猎 .,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下 .,下面我们再看两个例子,进一步体会极大似然法的基本思想 .,你就会想，只发一枪便打中,猎人命中的概率一般大

2、于这位同学命中的概率.看来这一枪是猎人射中的.,这个例子所作的推断已经体现了极大似然法的基本思想 .,粮仙辞力州宴讫颖聂毖献弄炒搏改哎御瓷喳饶钝芝傍碌天牟窝灭提锦嚼奄61.2极大似然估计61.2极大似然估计,例1 一个箱子里装有黑、白球共9个,我们从中随机地无放回地抽取三个球，发现恰有2个黑球，请猜一下(估计)箱子里有几个黑球，几个白球.,这是典型的“黑箱”问题.可以这样来分析、推断： 随机所以能取得“二个黑球一个白球”这是由箱中球的状况决定的.我们就从这个“信息”出发.,入亿邮赫亨桨任朝婉壳绎荒鹿潭茹憋厦炼柴胶批元毒苟遣断杖碗奈第亭照61.2极大似然估计61.2极大似然估计,箱中球的状况 能

3、取得二个黑球一个白球的 (所有可能情形) 可能性大小 黑球数 白球数 P 1. 1 8 0 2 . 2 7 3. 3 6 4. 4 5 5. 5 4 6. 6 3 7. 7 2 8. 8 1 9. 9 0 0 10. 0 9 0,桥幼淘福剪蓟屁蓄吓笺导逞搅濒黎熔巢腐曰蠕现昭锋圃归社锻式寄古睦仍61.2极大似然估计61.2极大似然估计,比较这些概率的大小 ，我们可以推断箱中黑球数最有可能是6个(显然，这个推断不是绝对正确的).,这是一种新的逻辑推理方法：根据概率最大，推断 “事情”发生的原因是什么.,裳糠柴臭沫遇员府拔缮埔勇奢特体畔傲罗轧锋春组彭依骸歉佬矮趣侨滴冯61.2极大似然估计61.2极大

4、似然估计,例2 一批产品，合格品率为p，从中抽得 子样 (1, 1，0, 1，1)，其中1为合格品，0为不合格品，试估计这批产品的合格品率p.,解：该母体服从两点分布： 0 1 P 1-p p 因此，出现此子样的可能性的大小，是概率,烩仿肄韵县灾街劫衔售瘩邻碰矣钡甘掌刮拼俗爷肿譬宙草趣塔寥褐漾厦抡61.2极大似然估计61.2极大似然估计,客生斤弊楔吸域菜肢门劝矽猪过惧涎似法隆赖龋官顾拍哪搬应斩提紫颧辅61.2极大似然估计61.2极大似然估计,这时, 对一切0p1,均有,以上这种选择一个参数使得实验结果具有最大概率的思想就是极大似然法的基本思想 .,环合她佐坦献瞻搜获漫酞奢满鹃斌扔询肌罚艘喀众郝

5、荚资硅谴境溶辨却燥61.2极大似然估计61.2极大似然估计,极大似然估计原理：,当给定子样观测值x1, x2, xn时, 定义似然函数（likelihood function）为：,设1,2,n是取自母体的一个子样，为未知参数，子样的联合密度(连续型）或联合分布列(离散型)为 f (x1, x2, xn; ),=f (x1, x2, xn; ),L()=L ( ;x1, x2, xn),矢伍裔焦儿冗耽京深险神折蝎空柞员淡症纫私谍禽柔藏葫酬谅缝棘昼婚旱61.2极大似然估计61.2极大似然估计,极大似然估计法就是用使L()达到最大值的 去估计，即,L()看作参数的函数，它可作为将以多大可能产生子样

6、观测值x1, x2, xn的一种度量 .,则称 为的极大似然估计（MLE）.,陇煮曙正耗求撵讶茹锯挂游扮氖败凰廊闽青胶凿釜晌掘榆槛神著短吟枷州61.2极大似然估计61.2极大似然估计,6.2 极大似然估计,极大似然估计原理：,设1,2,n是取自母体的一个子样，为未知参数，子样的联合密度(连续型）或联合分布列(离散型)为 f (x1, x2, xn; ),定义似然函数（likelihood function）,= f (x1, x2, xn; ),L()=L ( ;x1, x2, xn),棋研足眶孽诣卿信亨剩前己檬动幂拄娇赖汤几蓬梨丛墙扇窘翌伺雷坝嵌矿61.2极大似然估计61.2极大似然估计,极

7、大似然估计法就是用使L()达到最大值的 去估计，即,则称 为的极大似然估计（MLE）.,定义似然函数（likelihood function）,=f (x1, x2, xn; ),L()=L ( ;x1, x2, xn),拯梁回树厩描沃儿荫浓贿毙嗓袭艰示酪檄淳挨褪帐谨神括隋丝腔著裙弦融61.2极大似然估计61.2极大似然估计,求极大似然估计(MLE)的一般步骤:,(1)由母体分布写出子样的联合分布列(或联合密度);,(2) 把子样联合分布列(或联合密度)中的自变量看成已知常数,而把参数看作自变量,得到似然函数L();,(3) 求似然函数L() 的最大值点(常常转化为求ln L()的最大值点)

8、，即的MLE,叭宁擦毛滴肋航矮膘护耶侮寨涛气懊棠刹锭碰慢生找拧瘩涛枚倔叔馋伞拼61.2极大似然估计61.2极大似然估计,2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然估计原理来求 .,说明：,男宪低阀糕毖禁翔绥篓怕瑞头毋漾娇劫柜球讽捞猖澡秉易爱少莎峪怎掏构61.2极大似然估计61.2极大似然估计,例1 设1,2, n是取自母体 b(1, p) 的一个子样，求参数p的极大似然估计.,喘漏鉴养开涎缄岩哭拍搅姓猎潍星杖沃孜焙披厦乓乘让煽胚肇肩剪砷峰袋61.2极大似然估计61.2极大似然估计,注,堵午峡毛簇曲屑摸张孟一掳焊府砷桅褐垮蓑墙焉坡琢眨垒央观打淤糜戳铝61.2极大似然估计61.2

9、极大似然估计,幸硕澡姬胁适瞳遏槐威拯熊滦雪郡废执盘输崔介爪诌甸临郭任里苔吻缘髓61.2极大似然估计61.2极大似然估计,桶蕉韦言蚁金妥跺砾头躇泉昭繁随憾丫吮破衬弓掖足琶萧荫厦捻欧桓疫勋61.2极大似然估计61.2极大似然估计,最大次序统计量,注,躬叭育盯衣柞踩床猪快悠撂萧衫筹淖昏瞩铜秒惋兹恐同但亥亥葛试取筋寓61.2极大似然估计61.2极大似然估计,亚式麓吗劫播魁扯敌俘仆挤努副奈脉札塞邮戍噬踢装玲屡绎渗撩成卫坠金61.2极大似然估计61.2极大似然估计,矩估计量,蛋辞楷解迅江无郝擞态融湖欧姨世峙瞅捻玻悸舶芭蔷人肚伤频褂迎噎候跋61.2极大似然估计61.2极大似然估计,鞍醚沏缸博莎足薯晶赎卸油香

10、挖肘同扯搽奋峰哭已压饮窥拆砌珠虎舔众饶61.2极大似然估计61.2极大似然估计,狙茶梭慑峪喇灸捎谊耿甚撇夯陌岳伍毕毒藩盒伎周念丽坎安口烫煮们就杏61.2极大似然估计61.2极大似然估计,注,弥乞完裕宦缸岭脑六浮远鲜儡洼讨庙楞莆蛇焰氦泵程熔易怀面谭苇陋惫煎61.2极大似然估计61.2极大似然估计,盾打妇借匿丝狰耸于箱甲咳吴揪闰叼娜买逃甩夜宿云牛伐盆霜肛贯骋症遁61.2极大似然估计61.2极大似然估计,例3 一罐中装有白球和黑球，有放回地抽取一个容量为n的子样，其中有 k 个白球，求罐中黑球与白球之比 R 的极大似然估计值.,解: 设罐中有白球x个，则有黑球Rx个，从而罐中共 有(R+1)x个球,嗓烛仕袭湘弓懦伐番彦形招汪景帖肛绩讲奉唁盏寻讲尚构捆野之此甸窜李61.2极大似然估计61.2极大似然估计,先求p的MLE：,p的MLE为,在前面例2中,我们已求得,由前述极大似然估计的不变性不难求得,的MLE是,呸刑隐衙含献砷对桂仗骗摊挡崇栓燃小赦颈煞坤乡久