现代统计信号处理(第一章)

1、2.71828182845904523536028747135266249775724709369995957496696762772407663035354759457138217852516642742746639193200305992181741359662904357290033429526059563073813232862794349076323382988075319525101901SelectFromDitits/PartitionFirstRealDigitsE,10,1000,10,1,PrimesQ,1现代统计信号处理Modern Statistical Signal

2、 Processing电子与信息工程学院School of Electronics and Information Engineering 0Reference Harvard University Engineering Sciences 251r. Advanced Topics in Inference, Information, and Statistical Signal Processing Waterloo, Canada ECE 603: Statistical Signal Processing, for Graduate student, Steven M. Kay, Fu

3、ndamentals of Statistical Signal Processing, Prentice Hall, 1993 邱田爽等著 统计信号处理-非高斯信号处理及应用. 电子工业出版社，2004 J.G.Proakis(美) 统计信号处理算法，清华大学出版社，2006School of Electronics and Information Engineering 3/30第一章 引言1.1基本概念统计信号处理是从噪声背景中提取有用信息的最佳理论和方法从噪声背景中提取有用信息的最佳理论和方法。基本内容包括了信号检测、估计和最佳滤波理论及其应用。应用领域通信、雷达、声纳、导航、自动控制

4、、语音信号、图像、生物医学、地震信号等School of Electronics and Information Engineering 4/30噪声信号观测信号+统计信号处理统计信号处理的基本问题 举例1：通信系统 处理要求：有效性问题、可靠性问题 处理约束：外部干扰、内部噪声、信号畸变 解决的问题：噪声中信息检测问题消除信号畸变的最佳滤波问题School of Electronics and Information Engineering 5/30信源变换编码调制解调解码反变换信宿信道信道统计信号处理的基本问题 举例2：雷达系统 处理要求：目标发现问题、目标定位问题 处理约束：外部干扰、内

5、外部噪声、杂波 解决的问题：噪声中目标检测问题回波信号延迟测量的最佳滤波问题School of Electronics and Information Engineering 6/30统计信号处理的基本问题 举例3：声纳系统 处理要求：目标发现问题、目标定位问题 处理约束：外部干扰、内外部噪声、杂波 解决的问题：传感器阵列目标定位问题回波信号的波形估计问题School of Electronics and Information Engineering 7/30002dc01cos1.2统计信号处理的数学描述针对观测序列估计问题：估计某个参数 ，检测问题：滤波问题School of Elect

6、ronics and Information Engineering 8/30) 1(),1 (),0(Nxxxg)()()(:)()(:10nwnsnxHnwnxH) 1(),1 (),0()(NxxxTnf1.3统计信号处理的发展历史 基础理论：统计推断的假设检验理论 1、贝叶斯定理：Thomas Bayes（1702-1761）以最大后验概率估计参数先验知识的应用1758年，An essay towards solving a Problem in the Doctrine of Chances”1763年，A letter to John Canton”School of Electr

7、onics and Information Engineering 9/30niiiiiiAPABPAPABPBAP1)()|()()|()|(1.3统计信号处理的发展历史 基础理论：统计推断的假设检验理论 2、参数估计中的评价函数： Pierre-Simon Laplace(1749-1827)以真值和估计值间的单调函数作为评价标准 Carl Friedrich Gauss(1777-1855)1794，最小二乘法1801，用于计算小行星谷神星轨道School of Electronics and Information Engineering 10/30)( wg2g1.3统计信号处理的发

8、展历史基础理论：统计推断的假设检验理论3、稳定分布和广义中心极限定理：Paul Pierre Lvy（1886-1971）稳定分布Alpha稳定分布1925广义中心极限定理1937有限方差的随机变量和的分布趋向正态分布。具有无限方差的随机变量和的分布趋向稳定分布f(x;,0,c,0) 。School of Electronics and Information Engineering 11/30)2/tan()(1 (exptsngictit1.3统计信号处理的发展历史基础理论：统计推断的假设检验理论4、显著性检验和最大似然法Ronald Fisher（1890-1962）1920，显著性检验

9、最大似然法Fisher信息 似然函数School of Electronics and Information Engineering 12/30);(Xf2);(ln)(XfEI1.3统计信号处理的发展历史基础理论：假设检验统计推断的假设检验理论4、假设检验和矩的理论Karl Person（1857-1936）线性递归和矩的理论Jerzy Neyman（1894-1981）假设检验：Neyman-Person公式（1933）假设 H1成立的似然比检验为School of Electronics and Information Engineering 13/301100:HH)|()|()(1

10、0 xLxLx)|)(0HxP1.3统计信号处理的发展历史基础理论：假设检验统计推断的假设检验理论5、代价和风险原则、极大极小原理Abraham Wald （1902-1950）不同的判决有不同的代价代价最小的检验极大极小原理（1939）最小化最大可能损失统计假设的序贯检验Sequential Tests of Statistical HypothesesSchool of Electronics and Information Engineering 14/301.3统计信号处理的发展历史应用技术：统计方法的信号处理1、维纳滤波Norbert Wiener（1894-1964）1941，反飞

11、机武器的自动瞄准系统信息的通信可以看作一个统计学问题最佳准则，使得系统性能可以被计算1949，维纳滤波器估计噪声中的信号最小方差准则，寻找最佳函数g(t)使得误差函数最小预测、滤波、平滑School of Electronics and Information Engineering 15/30)()()()(tntsgtx)()()(txdtste1.3统计信号处理的发展历史 应用技术：统计方法的信号处理 2、卡尔曼滤波 Rudolf E. Kalman （1930-）2008 Charles Stark Draper Prize德雷珀奖1960,”A new approach to lin

12、ear filtering and prediction problems”,随机离散系统的状态估计问题1961, 和R.S.Bucy一起” New Results in Linear Filtering and Prediction Theory”,连续时间系统的状态估计问题将维纳滤波问题扩展到非平稳的多入多出系统应用广泛School of Electronics and Information Engineering 16/301.3统计信号处理的发展历史 应用技术：统计方法的信号处理 3、匹配滤波器(Match Filter) D.O. NorthAn analysis of the f

13、actors which determine signal/noise discrimination in pulsed carrier systems”,1943最大输出信噪比准则:从噪声和信号的统计特性出发,最佳线性滤波器的传递函数为信号检测的基础理论相关接收机School of Electronics and Information Engineering 17/300)()(*tjecSH1.3统计信号处理的发展历史应用技术：经典的统计信号处理20世纪50-60年代使用统计的假设检验、参数估计、序列分析等信号检测、估计等特点：高斯过程自相关、互相关函数统计量为二阶中心极限定理解决平稳、

14、线性过程问题一般为单入单出系统School of Electronics and Information Engineering 18/301.3统计信号处理的发展历史 现代统计信号处理 20世纪60年代至今 统计理论 高阶统计量和高阶谱高阶统计量和高阶谱 低阶低阶a稳定分布稳定分布 估计理论： 自适应滤波 粒子滤波 数据融合 信号检测理论 CFAR检测 非参量检测 分布式检测 量子检测 现代统计信号处理 处理方法 时频分析 神经网络 盲信号处理盲信号处理PCA/ICA 针对问题 阵列信号处理 非平稳 非线性 特点： 非高斯过程 统计量为高阶或低阶 广义中心极限定理 解决多入多出问题Schoo

15、l of Electronics and Information Engineering 19/301.4统计信号处理数学基础 1、随机过程 1.1一些定义对任意时刻，x(t)是一个随机变量，均值定义为方差定义为自相关函数协方差函数School of Electronics and Information Engineering 20/30dxtxxptxEtmx),()()()()()()()(2222tmtxEtmtxEtxxx212121212121),()()(),(dxxdttxxpxxtxtxEttRx)()(),()()()()(),(2121221121tmtmttRtmtxt

16、mtxEttCxxxxxx1.4统计信号处理数学基础 1、随机过程 1.2平稳性 严格平稳（狭义平稳） 广义平稳 实际意义与实际信号的观测量或指标相关正态随机过程的一般性School of Electronics and Information Engineering 21/31),(),()(),(),(),(2121211111xxpttxxpxptxpttxxpctctxxpNNNN)(),()(21xxxxRttRmtm1.4统计信号处理数学基础 1、随机过程 1.2功率谱 随机过程x(t)的功率谱单位频带内信号的频谱分量消耗在单位电阻上的平均功率的统计均值从频域角度描述随机过程的统计

17、特性,仅表示功率分布,不包含相位信息 与相关函数的关系School of Electronics and Information Engineering 22/302)(21lim)(TTxXTEGTTtjTdtetxX)()(deRGjxx)()(deGRjxx)()(1.4统计信号处理数学基础 1、随机过程 1.3经过线性系统 对输入随机过程x(t)而言,输出y(t)的均值为 若输入x(t)为平稳随机过程 H(0)为系统的传递函数在 =0 处的值School of Electronics and Information Engineering 23/30)()()()()(txthdhtx

18、tydhtmdhtxEdhtxEtyEx)()()()()()()(dhtmtmxy)()()()0()()(Hmdhmdhmmxxxyh(t)x(t)y(t)1.4统计信号处理数学基础 1、随机过程 1.3经过线性系统 输入和输出互相关 输出自相关 频谱变换后School of Electronics and Information Engineering 24/30),()()(),()()()()()(),(21221212121ttRthduuhuttRduuhutxtxEtytxEttRxxxy),()()(),()()()()()(),(21121212121ttRthduuhtu

19、tRtyduuhutxEtytyEttRxyxyyy),(21ttRxy),(21ttRyy)()()(*xxyGHG)()( )()()( )()()(2*xxxyyGHGHHGHG1.4统计信号处理数学基础 1、随机过程 1.4常用随机变量和过程正态分布 其概率密度函数 正态分布 n阶矩(零均值) 分布 有N个相互独立的零均值、单位方差的高斯随机变量 若 则该变量为 分布，概率密度函数为School of Electronics and Information Engineering 25/30222)(exp21)(mxxp),(2mN 0, 1201,2) 1(531kknkknnxE

20、nn21022Niix1210,Nxxxx22exp)2/(21)(2222/2xxNxpNNNVarNE2,221.4统计信号处理数学基础1、随机过程1.4常用随机变量和过程高斯过程随机过程x(t)的任意N维分布都是高斯分布N维概率密度School of Electronics and Information Engineering 26/30 )()(21expdet21)(1212mxCmxCxTNp),(),(),(),(),(),(),(),(),(,)()()(,110101111101101000110110NNNNNNNNttCttCttCttCttCttCttCttCttCt

21、xEtxEtxExxxCmx1.4统计信号处理数学基础1、随机过程1.4常用随机变量和过程物理可实现的线性系统输出的分布输出过程是多个随机变量之和输入为高斯随机过程，输出也服从高斯分布输入为白噪声，输出服从高斯分布输入为宽带噪声，系统为窄带，输出近似服从高斯分布1.4统计信号处理数学基础 1、随机过程 1.4常用随机变量和过程非高斯随机过程 Laplace分布 广义高斯分布 （=0为高斯分布； =1为Laplace分布；-1均匀分布) 混合高斯分布 稳定分布School of Electronics and Information Engineering 28/30bxbxpexp21)(122221)(exp)()(xccxp)()()1 ()(21xpxpxp222exp21)(iiixxp1.4统计