模式识别和机器学习

1、2.3.5 Sequential estimation 1.序列估计的引入2.序列估计在参数估计中的应用（高斯分布） 高斯分布对均值的最大似然估计如下 现在作如下变形：3.用R-M算法产生普遍化的序列学习算法 考虑变量z，两个变量，联合概率分布为P(z,)，在条件下的z的条件分布的期望是关于的函数，如下： （2.127） 像这样定义的函数叫回归函数？ 我们的目标是找出 ，对于给出的数据有两种情况： a 数据量足够大，直接构建回归函数求出 b 数据分次给出，序列估计的方法求出现在考虑序列估计的方法,前提条件是满足下面的公式 （2.128） 基于上面的描述，提出了针对 的序列估计，公式如下 系数

2、满足以下三个条件 *Na通过引入R-M算法，求解最大似然解 首先引入下面的等式 交换积分和求导顺序，并且使得 N 从2.134发现，求解 等价于求解回归函数的根值，利用R-M公式 ML实例：对高斯分布的均值用序列估计的方法变量Z表示如下： 将2.136代入2.135 得到，并且假设 ，得到2.126的单变量形式NaN22.3.6 Bayesian inference for the Gaussian 一般来说对最大似然函数的参数估计都是点估计，现在考虑用贝叶斯的方法，引入的原因？ 下面分三种情况考虑 a：均值未知，方差已知 b：均值已知，方差未知 c：均值、方差皆未知a:考虑单变量的情况，设

3、，并且假设方差已知，基于基于N个样本观测值来估计所以有关 的似然函数如下 ),(2Nx 选取 的先验分布 为 所以后验概率为 经过证明得出 其中： 对上面两个式子进行分析 其中， 当N=0的时候， 当N= ， 其中 现在考虑一个D维的高斯变量X，且协方差已知，均值未知。现在有N个观测值，利用前一节讲到的序列估计的方法求在N个观测值的基础上估计均值。公式如下：,0MLN0NMLNuNnnMLxN11b：均值已知，方差未知 现在假设随机变量x的方差未知，均值已知，并且为了后面的计算及讨论方便令其中 为精度。 利用似然函数的定义可得 的似然函数如下：与之相对应的先验分布为gamma分布为：gamma

4、分布的均值和方差如下： 21现在考虑一个先验分布为 ，将此分布与似然函数2.145式相乘，得到后验分布如下：将上式表达成参数为 的gamma分布如下：NaNbc.方差和均值皆未知 为了找到这种情况下的先验分布，先对两个参数的共同的似然函数求出并变形：所以我们希望找出一个与似然函数类似的有关连个参数的先验分布 ，表示如下：2.153式子可以写成贝叶斯的形式，通过观察一个服从高斯分布，一个服从gamma分布。所以将先验分布表示如下：其中参数 上式的分布为标准伽马分布或者高斯伽马分布。2.154和2.152结合可以得到后验概率 现在考虑D维随机变量x的多元高斯分布其分布为 ，那么均值 的先验分布也为

5、高斯分布。 假定均值已知，协方差矩阵未知，那么协方差矩阵的先验分布为维希特分布，形式如下： 其中 为自由度，B为常量由下式定义： c021a2b2cd当精确度和均值都不知道的时候，那么关于两者的先验分布为上式表示为标准维希特分布或者高斯维希特分布2.3.7 Students t-distributiont-分布引入解决高斯分布的的敏感性问题?假设随机变量x服从高斯分布 ，精度的先验分布为 t分布的引入式通过对下式求积分得出 ，也就是求x的边缘分布，如下：通过变量替换 上式形式变化为t分布 参数 是t分布的精度， 是自由度 t分布的特征：鲁棒性 从式子2.158看出，t分布是无数多个均值相同方差不同的高斯分布的积分，也是混合高斯分布的一种，所以t分布比高斯分布有更长的间隔，对于存在异常点的数据来说，没有高斯分布敏感，这就是t分布的鲁棒性。如下图多元t分布分析将2.