《贝叶斯统计》课程教学大纲

1、贝叶斯统计课程教学大纲（2004年制定，2006年修订）课程编号：060046英 文 名：bayesian statistics课程类别：统计学专业选修课前 置 课：微积分、概率论与数理统计后 置 课：学 分：3学分课 时：54课时主讲教师：陈耀辉等选定教材：茆诗松，贝叶斯统计，北京：中国统计出版社，1999课程概述：贝叶斯学派是数理统计中一个重要的学派，它有鲜明的特点和独到的处理方法，在国际上贝叶斯学派与非贝叶斯学派的争论是很多的。本课程重点介绍贝叶斯统计推断的理论、方法及其基本观点，同时对贝叶斯方法和经典方法在历史上的重大分歧也适当地予以介绍。通过本课程的学习能系统地掌握贝叶斯统计的基本理

2、论、方法和应用，特别是贝叶斯统计中所具特色的一些处理方法及相应的理论。主要内容有：先验分布与后验分布的基本概念、后验分布的计算方法、估计及假设检验、贝叶斯统计决策方法等。教学目的：通过该门课程的学习，使学生能了解贝叶斯学派的基本观点和基本思想，了解贝叶斯学派和频率学派联系和区别，了解贝叶斯统计的最新研究进展，能够系统地掌握贝叶斯统计的基本理论、基本方法，更重要的是掌握贝叶斯统计具有特色的一些处理方法以及相应的理论，用以分析问题、解决问题。教学方法：根据该门课程的特点，在利用传统的教学方法讲授理论的同时，注重案例教学，特别是要适当地运用研讨性教学方法，而且要适时运用创新教学方法，即教师应依据教材

3、对教学内容作合理的安排，讲透重点难点，注意本学科研究的最新成果和前沿知识，既要教学生学习知识，又要培养学生的能力，特别是要培养学生的创新意识和创新能力，争取开展一些第二课堂活动。各章教学要求及教学要点第一章 引论课时分配：2课时教学要求：通过本章的学习，要求学生掌握贝叶斯统计理论的基本观点，了解贝叶斯统计学派和经典统计学派之间的重大分歧，了解现代贝叶斯统计理论的研究现状及贝叶斯统计理论的应用，重点掌握贝叶斯统计的基本思想，深刻理解“概率”、“统计”的不同的哲学解释，学习他们各自的优点来分析问题、解决问题。难点是贝叶斯统计的基本思想和两大学派的分歧。教学内容：一、贝叶斯统计理论的基本观点介绍在统

4、计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在的重大差异。二、贝叶斯统计学派与频率统计学派之间的批评1.对贝叶斯统计学派的批评（1）参数看成是随机变量是否妥当？（2）先验分布是否存在？如何选取？2.对频率统计学派的批评（1）问题的提法不妥（2）判断统计方法好坏的标准不妥三、现代贝叶斯统计理论的研究现状1.先验分布理论的研究 2.后验分布的统计推断 四、贝叶斯统计理论的应用思 考 题：1.贝叶斯学派与频率学派之间存在的重大差异有哪些？2.贝叶斯学派的基本观点是什么？3.怎样理解贝叶斯学派和频率学派之间的批评？4.贝叶斯统计理论有哪些应用？第二章 先验分布与后验分布课时分配：8课时教学要

5、求：通过本章的学习，要求学生熟练掌握先验分布与后验分布的概念。深刻理解贝叶斯公式的三种基本形式、分布密度的核、充分统计量、共轭分布等基本概念，理解贝叶斯假设的基本内容，熟练掌握计算后验分布的技巧，掌握确定超参数的基本方法，了解多参数模型，能用这些基本的方法解决一些简单的实际问题。教学内容：第一节 三种信息一、总体信息总体信息（或模型信息）：即总体分布或所属分布族给我们的信息。二、样本信息样本信息（数据信息）：即从总体抽取的样本提供给我们的信息，这是最“新鲜”的信息，且越多越好，这是任一种统计推断中都必不可少的。三、先验信息先验信息：即在抽样之前有关统计推断的一些信息。一般来说，先验信息主要来源

6、于经验和历史资料。第二节 贝叶斯公式一、贝叶斯公式的密度函数形式介绍贝叶斯公式的三种基本形式：事件形式、连续随机变量形式和离散随机变量形式，重点是连续随机变量形式。二、后验分布是三种信息的综合后验分布可以看作是人们用总体信息和样本信息对先验分布作调整的结果。第三节 共轭先验分布一、共轭先验分布核心定义：如果由抽样信息算得的后验密度函数与先验密度函数有相同的函数形式，则称该后验密度函数是参数的（自然）共轭先验分布。二、后验分布的计算给定样本分布和先验分布后可利用贝叶斯公式计算参数的后验分布。三、共轭先验分布的优缺点1.计算方便；2.后验分布的一些参数可得到很好的解释。四、常用的共轭先验分布第四节

7、 超参数的确定本节利用一个例子介绍怎样用以下几种方法确定共轭先验分布的超参数。一、利用先验矩二、利用先验分位数三、利用先验矩和利用先验分位数四、其它方法第五节 多参数模型本节在前面几节的基础上，将单参数模型推广到多参数模型的情形。为了更清楚地讲解这部分内容，首先要补充指数分布族的相关理论，然后再对多参数模型进行讲解。第六节 充分统计量在回顾经典统计中充分统计量的基本概念和因子分解定理得基础上，再讲解贝叶斯统计中的充分统计量的基本概念和相应的因子分解定理以及和经典统计中相关内容的比较。思 考 题：1.什么是贝叶斯公式?写出贝叶斯公式的三种形式：事件形式；离散随机变量形式；连续随机变量形式2.设是

8、一批产品的不合格率，已知它不是0.1就是0.2，且其先验分布为：(0.1)=0.7， (0.2)=0.3假如从这批产品中随机取出8个进行检查，发现有2个不合格品，求的后验分布。3.设是一批产品的不合格率，从中抽取8个产品进行检验，发现3个不合格品，假如先验分布：（1）（2）分别求的后验分布。4.验证：泊松分布的均值的共轭先验分布是伽玛分布。5.从一批产品中抽检100个，发现有3个不合格品，假如该产品不合格率的先验分布为贝塔分布be(2,200)，求的后验分布。6.设是来自指数分布exp()的一个样本，指数分布的密度函数为： （1）验证：伽玛分布ga(,)是参数的共轭先验分布。（2）若从先验信息

9、得知，先验均值为0.0002，先验标准差为0.0001，请确定其超参数。7.设是来自正态分布的一个样本，令，又设的联合先验分布如下给定：（1）在固定时，的条件分布为。（2），其中已知。求得后验分布。8.设是来自泊松分布的一个样本，用贝叶斯公式证明：是的充分统计量。第三章 贝叶斯推断课时分配：8课时教学要求：估计和假设检验问题是统计中的两大基本问题，两者的处理方法在经典学派中是很不相同的，但在贝叶斯学派中却是统一的。通过本章的学习，要求学生深刻理解条件方法的基本思想，熟练掌握怎样用贝叶斯方法（特别是最大后险估计法和条件期望估计法）求解点估计和区间估计，熟练掌握假设检验的基本方法，掌握预测的基本方

10、法，深刻理解似然原理。能用这些基本方法较好地解决一些简单的实际问题。教学内容：第一节 条件方法后验分布是在样本x给定下的条件分布，基于后验分布的统计推断就意味着只考虑已出现的数据（样本观察值）而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计方法被称为条件方法。第二节 估计一、贝叶斯估计使后验密度达到最大的值称为最大后验估计；后验分布的中位数称为后验中位数估计；后验分布的期望值称为的后验期望值估计，这三个估计都称为贝叶斯估计，记为。二、贝叶斯估计的误差设参数的后验分布为(/x)，贝叶斯估计为，则的后验期望： 称为的后验均方差，而其平方根称为后验标准误。第三节

11、 区间估计一、可信区间参数的后验分布为(/x),对给定的样本x和概率1-(01),若存在这样的二个统计量与，使得：则称区间 为参数的可信水平为1-贝叶斯可信区间，或简称为的1-可信区间。而满足 的 称为的1-（单侧）可信下限；满足 的 称为的1-（单侧）可信上限。二、最大后验密度（hpd）可信区间设参数的后验密度为(|x)，对给定的概率1-(01)，若在直线上存在这样一个子集c，满足下列二个条件：p(c|x)=1-对任给1c和，总有(1|x)(2|x),则称c为的可信水平为(1-)的最大后验密度可信集，简称(1-)hpd可信集，如果c是一个区间，则c又称为(1-)hpd可信区间。第四节 假设检

12、验一、假设检验介绍贝叶斯统计假设检验的基本思想以及和经典统计中假设检验的根本区别。二、贝叶斯因子介绍贝叶斯因子的基本概念、作用和基本的计算方法。三、简单假设对简单假设在简单假设对简单假设情形下，贝叶斯因子的基本计算公式和应用。四、复杂假设对复杂假设在复杂假设对复杂假设，贝叶斯因子的基本计算公式和应用。五、简单原假设对复杂备择假设在简单原假设对复杂备择假设，贝叶斯因子的基本计算公式和应用。第五节 预测一、预测的基本概念与基本问题预测：对随即变量未来观察值作出统计推断称为预测统计预测大致有以下几种形式：（1）设随机变量xp(x|)，在参数未知情况下如何对x的未来的观察值作出推断？（2）设x1，xn

13、是来自p(x|)的过去观察值，在参数未知情况下，如何对x的未来的观察值作出推断？（3）按密度函数p(x|)得到一些数据x1，xn后，如何对具有密度函数g(z|)的随机变量z的未来的观察值作出推断，这里两个密度函数p和g都含有相同的未知参数。二、预测的贝叶斯方法方案一：在无观测数据情形下的预测。方案二：有x的观测数据时的预测方法。第六节 似然原理一、对似然函数的理解若设x=(x1,xn)是来自密度函数p(x|)的一个样本，则其乘积有两个解释：(1)当给定时，p(x|)是样本x的联合密度函数；(2)当样本x的观察值给定时，p(x|)是未知参数的函数，并称为似然函数，记为l()。二、似然原理(1)有

14、了观察值x之后，在做关于的推断和决策时，所有与试验有关的信息均被包含在似然函数l()之中。(2)如果有两个似然函数是成比例的，比例常数与无关，则他们关于含有相同的信息。三、两个学派对似然原理的不同理解而产生的影响思 考 题：1.简述条件方法的基本思想。2.怎样评价贝叶斯估计的好坏？3.简述贝叶斯假设检验的基本思想，它与经典假设检验的根本区别是什么？4.设随机变量x服从几何分布，其中参数的先验分布为均匀分布u(0,1)(1)若只对x作一次观察，观察值为3，求的后验期望估计。(2) 若对x作三次观察，观察值为3，2，5，求的后验期望估计。5.设在1200公尺长的磁带上的缺陷数服从泊松分布，其均值的

15、先验分布取为伽玛分布ga(3，1)，对三盘磁带作检查，分别发现2、0、6个缺陷，求的后验期望估计的后验方差。6.对正态分布n(,1)作观察，获得三个观察值：2，4，3，若的先验分布为n(3,1)，求的0.95可信区间。7.设是来自正态的一个样本，若的先验分布为倒伽玛分布iga(,)，求的0.9可信上限。第四章 先验分布的确定课时分配：10课时教学要求：先验分布的确定是贝叶斯学派要研究的重点问题，更是研究的难点，也是经典学派批评的热点。通过本章的学习，要求学生掌握确定先验分布的几个典型的方法，并能运用这些方法解决一些实际问题。教学内容： 第一节 主观概率一、主观概率1.贝叶斯学派要研究的问题：如

16、何用人们的经验和过去的历史资料确定概率和先验分布。2.经典统计确定概率的两种方法：（1）古典方法； （2）频率方法。3.主观概率的定义：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信念。二、确定主观概率的方法1.利用对立事件的比较确定主观概率；2.利用专家意见确定主观概率；3.向多位专家咨询确定主观概率；4.充分利用历史资料，才能得到比较切合实际的主观概率。第二节 利用先验信息确定先验分布一、直方图法基本步骤：1.把参数空间分成一些小区间；2.在每个小区间上决定主观概率或依据历史数据确定其频率；3.绘制频率直方图；4.在直方图上作一条光滑曲线，此曲线即为先验分布p(q)。二、选定

17、先验密度函数形式再估计其超参数该方法的要点：（1）根据先验信息选定的先验密度函数()的形式，如选其共轭先验分布。（2）当先验分布中含有未知参数（称为超参数）时，譬如()= (；，)，给出超参数的估计值，使(；，)最接近先验信息。三、定分度法与变分度法(1)定分度法:把参数可能取值的区间逐次分为长度相等的小区间,每次在案每个小区间上请专家给出主观概率.(2)变分度法:该法是把参数可能取值的区间逐次分为机会相等的两个小区间,这里的分点由专家确定。第三节 利用边缘分布确定先验密度一、边缘分布m(x)介绍边缘分布的基本概念和计算方法二、混合分布介绍混合样本、混合分布的基本概念三、先验选择的ml-ii方

18、法理解先验选择的ml-ii方法的基本概念和基本原理，会应用该方法求某些参数的先验分布。四、先验选择的矩方法理解先验选择矩方法的基本原理，熟练掌握该方法的基本步骤，并能够应用该方法寻求某些参数的矩估计。第四节 无信息先验分布一、贝叶斯假设理解贝叶斯假设的基本含义，充分了解贝叶斯假设在贝叶斯统计中的作用。二、位置-尺度参数的无信息先验理解位置-尺度参数的无信息先验基本概念和基本原理，熟练掌握位置参数的无信息先验和尺度参数的无信息先验这两类确定先验分布的基本方法。三、用fisher信息阵确定无信息先验熟练掌握用fisher信息阵确定无信息先验的基本概念和基本原理，掌握这种方法的基本步骤并能熟练地计算

19、。*第五节 多层先验一、多层先验了解多层先验的基本概念和原理二、多层模型了解多层模型的基本结构以及和单层模型结构的区别。思 考 题：1.怎样理解主观概率？2.什么是贝叶斯假设？你对贝叶斯假设是怎样理解的？3.混合分布的含义是什么？4.简述用fisher信息阵确定无信息先验的基本步骤。5.对以下的每个分布中的未知参数使用fisher信息量决定jeffreys先验：（1）泊松分布p()。（2）二项分布b(n,)(n已知)。（3）负二项分布nb(m,)(m已知)。（4）伽玛分布ga(,)(已知)。（5）伽玛分布ga(,)(已知)。（6）伽玛分布ga(,)第五章 决策中的收益、损失与效用课时分配：8课

20、时教学要求：本章主要介绍贝叶斯决策论的基本思想和方法。通过本章的学习，要求学生理解决策中的收益、损失与效用等基本概念，深刻理解决策问题的三要素，熟练掌握贝叶斯决策中几个常用的决策准则：悲观准则、乐观准则、折中准则以及先验期望准则，理解这些准则之间的内在联系和区别，能熟练地应用这些准则解决一些实际问题。教学内容：第一节 决策问题的三要素一、决策问题理解决策的基本问题，补充介绍博弈论的基本知识。二、决策问题的三要素理解决策问题的三要素：状态空间、行动空间和收益函数。对一个具体的决策问题能熟练地写出该决策问题的三要素。第二节 决策准则一、行动的容许性理解行动容许性的基本含义及在决策中的作用。二、决策

21、准则对悲观准则、乐观准则和折中准则的基本定义、原理和计算方法都要熟练的掌握和应用。第三节 先验期望准则本节重点讲解先验期望准则的基本原理和应用，简单介绍该准则的两个重要性质。要求学生能深刻理解该准则并能熟练应用该准则。第四节 损失函数一、从收益到损失熟练掌握怎样由收益矩阵写出损失矩阵。二、损失函数损失函数的基本概念，损失函数与收益函数的相互转化。三、损失函数下的悲观准则掌握该准则的基本原理，并要求能熟练应用。四、损失函数下的先验期望准则掌握该准则的基本原理，并要求能熟练应用。第五节 常用损失函数本节主要介绍常用的损失函数及其应用。常用的损失函数有：平方损失函数、线性损失函数、0-1损失函数、多

22、员二次损失函数和二行动线性决策问题的损失函数。第六节 效用函数本节只对以下内容作一个简单的介绍，重点掌握这些内容的基本概念和应用。一、效用和效用函数二、效用的测定三、效用尺度四、常见的效用曲线五、用效用函数作决策的例子六、从效用到损失思 考 题：1.如何理解悲观准则、乐观准则、折中准则和先验期望准则之间的联系？2.某公司准备经营一种新产品，可采取的行动有：大批、中批和小批生产。市场可能出现的销售状态有：畅销、一般和滞销。如大批生产，在畅销时可获利100万元，一般时可获利30万元，滞销时亏损60万元；如中批生产，在三种市场情况下可获利50万元、40万元和亏损20万元；如小批生产，在三种市场情况下

23、可获利10万元、9万元和6万元。（1）写出收益矩阵；（2）在悲观准则下，该公司的最优行动是什么？（3）在乐观准则下，该公司的最优行动是什么？（4）若乐观系数=0.8，该公司的最优行动是什么？3.一位姑娘自己种花卖花，她每晚摘花第二天去卖，每束花成本为1元，售价可达6元，若当天卖不掉，因枯萎而不能再卖，据经验她知道一天至少能卖5束鲜花，最多能卖10束鲜花，现要研究她前一天晚上采摘几束鲜花为最优行动。（1）写出状态集和行动集a。（2）写出收益函数，列出收益矩阵。（3）按悲观准则确定其最优行动。（4）对乐观系数的不同值，讨论卖花姑娘利用折中准则决策时，每天应采摘几束鲜花为好？4.设二行动线性决策问题

24、的收益函数为 写出该决策问题的损失函数，假如服从（0，10）上的均匀分布，请在先验期望损失最小的原则下寻求最优行动。第六章 贝叶斯决策课时分配：12课时教学要求： 本章系统地介绍了贝叶斯决策的基本理论和方法，通过本章的学习，要求学生掌握贝叶斯决策的基本理论和方法，熟练掌握后验风险准则及其应用和常用损失函数下的贝叶斯估计方法，深刻理解抽样信息的价值，掌握最佳样本量的确定方法，了解二行动线性决策问题的evpi，并能熟练地应用这些方法综合解决一些实际问题。教学内容：第一节 贝叶斯决策问题本节重点是理解和掌握三种不同的决策问题：无数据的决策问题、统计决策问题和贝叶斯决策问题。掌握贝叶斯决策问题和其他据

25、测问题的异同点。第二节 后验风险准则一、后验风险理解和掌握后验风险的计算公式（离散和连续的情形），熟练地运用该公式进行案例分析。二、决策函数理解和掌握决策函数和决策函数类的基本概念和分析的基本原理，并能熟练地运用。三、后验风险准则充分理解并掌握该准则的含义和应用方法，熟练地运用该准则进行案例分析。第三节 常用损失函数下的贝叶斯估计一、平方损失函数下的贝叶斯估计理解平方损失函数下的贝叶斯估计的基本概念，掌握在平方损失函数和加权平方损失函数下，参数的贝叶斯估计的计算公式，了解在参数向量的场合下，对多元二次损失函数为正定阵时的参数的贝叶斯估计的计算公式，运用这些原理能够进行一些案例分析。二、线性损失

26、函数下的贝叶斯估计理解线性损失函数下的贝叶斯估计的基本概念，掌握在绝对值损失函数和线性损失函数下，参数的贝叶斯估计的计算公式，运用这些原理能够进行一些案例分析。三、有限个行动问题的假设检验了解有限个行动问题假设检验的基本概念和基本原理，参考相关资料，能够独立地进行某些案例分析。第四节 抽样信息期望值一、完全信息期望值理解完全信息期望值得基本概念和基本原理，会计算先验evpi。二、抽样信息期望值理解抽样信息期望值的基本概念和基本原理，会计算后验evpi和后验evpi期望值。第五节 最佳样本量的确定一、抽样净益理解抽样净益（engs）的基本概念，熟练掌握engs的计算方法。二、最佳样本量及其上界了

27、解计算最佳样本量及其上界的基本原理，对照公式会计算出相应的值。三、最佳样本量的求法掌握最佳样本量的计算过程和具体步骤。第六节 二行动线性决策问题的evpi一、正态分布下二行动线性决策问题的先验evpi掌握正态分布下二行动线性决策问题的先验evpi的计算公式，能够运用该公式进行一些简单的案例分析。二、贝塔分布下二行动线性决策问题的先验evpi了解贝塔分布下二行动线性决策问题的先验evpi的计算公式的基本过程。三、伽玛分布下二行动线性决策问题的先验evpi了解伽玛分布下二行动线性决策问题的先验evpi的计算公式的基本过程。思 考 题：1.考察如下损失函数：（1）证明（2）对c=0.1，0.5，1.2，画出此损失函数图形。（3）在这个损失函数下给出贝叶斯估计的表达式。（4）设是来自正态总体的一个样本，的先验取无信息先验，即()=1，请给出的贝叶斯估计。2.设后验分布(|x)为正态总体。在损失函数 下寻求的贝叶斯估计。3.接到船运来的一大批零件，从中抽检5件，假设其中不合格品数，又从以往各批的情况中已知的先验分布为be(1,9)。若观察值x=0，在以下各损失函数下分别给出的贝叶斯估计。（1）（2）（3）4.在二行动线性决策问题中，其收益函数为：（1）若取，请计算先验evpi。（2）若取，对=4，3，2，1分别计算先验evpi。（3