2-7第2章2.3连续信源ppt课件

1、HUST - Information and Coding Theoryo2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 连续信源连续信源o2.3.1 连续信源的熵连续信源的熵o2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵o2.3.3 最大连续熵定理最大连续熵定理o2.3.4 联合熵、条件熵和平均交互信息量联合熵、条件熵和平均交互信息量HUST - Information and Coding Theoryp实际应用：信源的输出往往是时间的连续函数，如语音实际应用：信源的输出往往是时间的连

2、续函数，如语音信号、电视图像等。由于它们的取值既是连续的又是随信号、电视图像等。由于它们的取值既是连续的又是随机的，称为连续信源，且信源输出的消息可以用随机过机的，称为连续信源，且信源输出的消息可以用随机过程描述。程描述。p连续信源的数学描述：对于某一连续信源连续信源的数学描述：对于某一连续信源X(t),当给定当给定某一时刻某一时刻t=to时，其取值是连续的，即时间和幅度均时，其取值是连续的，即时间和幅度均为连续函数。为连续函数。 由于连续信源中消息数是无限的，其每由于连续信源中消息数是无限的，其每一可能的消息是随机过程的一个样本函数，可以用有限一可能的消息是随机过程的一个样本函数，可以用有限

3、维概率分布函数或有限维概率密度函数来描述连续信源。维概率分布函数或有限维概率密度函数来描述连续信源。连续信源连续信源HUST - Information and Coding Theoryp平稳随机过程：统计特性不随时间的平移而变化的随机平稳随机过程：统计特性不随时间的平移而变化的随机过程。过程。p平稳遍历的随机过程：集平均与时间平均相等。平稳遍历的随机过程：集平均与时间平均相等。连续信源连续信源1( )lim( )2( )( )iiTTTttx tx t dtTE Xxp x dxE Xx t 时间平均： 集平均： HUST - Information and Coding Theoryp研

4、究方法一：取样、量化。时间离散、取值离散，简化研究方法一：取样、量化。时间离散、取值离散，简化为离散信源上一节已讨论）为离散信源上一节已讨论）p研究方法二：只取样、不量化。时间离散、取值连续。研究方法二：只取样、不量化。时间离散、取值连续。研究一个随机序列，序列中的每个分量的取值是连续的研究一个随机序列，序列中的每个分量的取值是连续的本节研究的重点）本节研究的重点）连续信源连续信源HUST - Information and Coding Theory连续信源的数学模型连续信源的数学模型1212112212121212121 212, 1,2,( ),1,2,; , ,( ),( ),.,(

5、),; , ,( ,; , ,)(;)iinnnnnnnnnnnnnt inX tinF x xx t ttP X tx X txX txF x xx t ttnF x xx t ttp x xx t ttx xxX 若给定个时刻随机变量 的联合分布函数为：若的阶偏导数存在，则有则称上式为随机过程121 21(;)( , )( , )()(iinnnxiiixiip x xx t ttpx tpxtntX t的若满足式中为的边沿概率密度，则称为独维概率密度函数。立的随机过程。n任何一个随机过程都可用一组随机变量来描述，研究连续信源可以首先对单个随机变量情况进行讨论，然后推广到维情况。HUST

6、- Information and Coding Theory2.3.12.3.1连续信源的熵连续信源的熵o简单的连续信源可以用一维随机变量描述简单的连续信源可以用一维随机变量描述o延续延续o 随机随机o 变量变量Xo 满足：满足： ( )( )1( )()( )( )( )xXp xp x dxF xP Xxp a daXXp xF x若随机变量 存在非负函数,且，并且 称 为具有连续型分布，或称 为连续型随机变量。其中，为概率密度函数，为概率分布函数。-( )0( )1;( )( )( )(0);lim( )0, lim( )1.；为单调非降函数；左连续，即xxp xp x dxF xF

7、xF xF xF xF xHUST - Information and Coding Theory连续信源熵的计算方法连续信源熵的计算方法(1)(1)( )1( ) , ()/(1),(1),( )( )( )iia i xiaixaiiaixXxp x dxPp xxx a bxban xaix ai xxaix ai xXPpp x dxpp x dxp xx 简单连续信源的模型可写为假设,令,则连续信源模型可改写成离散信源模型由积分中值定理得到i xHUST - Information and Coding Theory连续信源熵的计算方法连续信源熵的计算方法- -续续11110()lo

8、g( )log( ) ( )log( )( )log,0()lim()()( )lo()( )lg( )lim(og(log)nnniiiiiinniiiibinnbaxabaHXppp xxp xxp xp xxp xxxnxH XHXH Xp xp x dxp xxdH Xp xp x dxx 根据离散信源熵的定义，则当即时，由积分定义，则有0lim logxx第一项具有离散信源熵的形第二项为式上式中，无穷项。HUST - Information and Coding Theory定义定义 连续信源的熵连续信源的熵o对于连续信源对于连续信源X，若其概率密度为，若其概率密度为p(x)，则连续

9、信，则连续信源的熵为源的熵为 o解释解释o连续信源的熵与离散信源的熵具有相同的形式，但其连续信源的熵与离散信源的熵具有相同的形式，但其意义不相同。连续信源熵与离散信源熵相比，去掉了意义不相同。连续信源熵与离散信源熵相比，去掉了一个无穷项，连续信源的不确定性应为无穷大。一个无穷项，连续信源的不确定性应为无穷大。o由于实际应用中常常关心的是熵之间的差值，无穷项由于实际应用中常常关心的是熵之间的差值，无穷项可相互抵消，故这样定义连续信源的熵不会影响讨论可相互抵消，故这样定义连续信源的熵不会影响讨论所关心的交互信息量、信息容量和率失真函数。所关心的交互信息量、信息容量和率失真函数。o需要强调的是连续信

10、源熵的值只是熵的相对值，不是需要强调的是连续信源熵的值只是熵的相对值，不是绝对值，而离散信源熵的值是绝对值。绝对值，而离散信源熵的值是绝对值。()( )log( )H Xp xp x dx HUST - Information and Coding Theoryo2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 连续信源连续信源o2.3.1 连续信源的熵连续信源的熵o2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵o2.3.3 最大连续熵定理最大连续熵定理o2.3.4 联合熵、条件熵和平均交互信

11、息量联合熵、条件熵和平均交互信息量HUST - Information and Coding Theory例例 求平均分布随机变量的熵求平均分布随机变量的熵1( )011()loglog()1()0, 解：均匀分布随机变量的概率密度为 其它 代入熵表达式，则有可以看到，当时，则所以连续信源不具有非负性。 baaxbp xbaH XdxbabababaH XHUST - Information and Coding Theory例例 求一维高斯分布的熵求一维高斯分布的熵 2222222221() ( )exp22( );()()( )()( )log( )1()( ) logexp22e1()(

12、 )ln2()2xmp xmE Xxp x dxExmxmp x dxH Xp xp x dxxmp xdxH Xp xxm 解：高斯随机变量的概率密度为则有取 为底的对数221ln2ln22dxe 2求均值为 、方差为的高斯分布的熵。mHUST - Information and Coding Theoryo2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 连续信源连续信源o2.3.1 连续信源的熵连续信源的熵o2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵o2.3.3 最大连续熵定理最大连

13、续熵定理o2.3.4 联合熵、条件熵和平均交互信息量联合熵、条件熵和平均交互信息量HUST - Information and Coding Theory2.3.3 2.3.3 连续信源的最大熵连续信源的最大熵o对于离散信源，当所有消息独立等概率分布时，其对于离散信源，当所有消息独立等概率分布时，其熵值最大。而在连续信源情况下，如果没有条件限熵值最大。而在连续信源情况下，如果没有条件限制就没有最大熵。在不同限制条件下，信源的最大制就没有最大熵。在不同限制条件下，信源的最大熵也不同。熵也不同。o问题：对于连续信源，当存在最大熵值时，其概率问题：对于连续信源，当存在最大熵值时，其概率密度函数密度函

14、数p(x)应该满足什么条件呢？应该满足什么条件呢？o当当H(X)满足满足o 为最大条件下，求解为最大条件下，求解p(x) 满足概率密度的定满足概率密度的定义。义。()( )log( )H Xp xp x dx HUST - Information and Coding Theory连续信源的最大熵连续信源的最大熵- -续续o在具体应用中，仅讨论连续信源的两种情况：在具体应用中，仅讨论连续信源的两种情况：o一是信源输出的幅度受限；一是信源输出的幅度受限；o二是信源输出的平均功率受限。二是信源输出的平均功率受限。o利用数学表达式表示这两种情况，可以写为利用数学表达式表示这两种情况，可以写为222(

15、 )1;( );()( ).0p x dxxp x dxmxmp x dxmPm为零时，平均功率就等于方差 平均功率受限，相当于(当时)方差受限。HUST - Information and Coding Theory输出信号幅度受限条件下的最大熵输出信号幅度受限条件下的最大熵o定理定理:对于服从均匀分布的随机变量对于服从均匀分布的随机变量X，具有最，具有最大输出熵。大输出熵。111( )0log( ) 10( )( )11bbaap xp xep xep x dxedxeba 证明：该问题为在约束条件下，求达到最大值的。令 对上式求关于的偏导数，并令其为 ，化简后得 （取 为底的对数）解得：

16、，因为则有，所以 b ba ab ba ab ba ap(x)dx =1p(x)dx =1H (X )= -p(x)l ogp(x)dxp(x)H (X )= -p(x)l ogp(x)dxp(x) Fp(x)= H (X )+ p(x)dx -1 Fp(x)= H (X )+ p(x)dx -11 1axbaxbp(x)=p(x)=b -ab -a0其0其它它 1 1a ax xb bp p( (x x) )= =b b - -a a0 0其其它它HUST - Information and Coding Theory平均功率受限条件下的最大熵平均功率受限条件下的最大熵o定理：对于服从均值为

17、定理：对于服从均值为m，方差为，方差为2的高的高斯分布的随机变量具有最大输出熵。斯分布的随机变量具有最大输出熵。2212223( )1( )()( )()( )log ( )( ) ( )()( )1( )()( )p x dxxp x dxmxmp x dxH Xp xp x dxp xF p xH Xp x dxxp x dxmxmp x dx 证明：该问题为在约束条件， 下，求达到最大值的。令HUST - Information and Coding Theory21232222( )0( )( )exp1()1()( )exp22()( )log ( )()( )log 2( )log

18、2F p xep xp xxxmxmp xH Xp xp x dxxmp xdxp x dxe 令，解得（取 为底的对数）将上式代入约束条件关系式，可以得到 定理定理 - - 证明证明 续续1()log2loglog2()2H XeeH XHUST - Information and Coding Theory结论结论.o输出信号幅度受限的连续信源，当满足均匀输出信号幅度受限的连续信源，当满足均匀分布时达到最大输出熵，这与离散信源在以分布时达到最大输出熵，这与离散信源在以等概率出现达到最大输出熵的结论类似。等概率出现达到最大输出熵的结论类似。o输出信号平均功率受限条件下，具有高斯分输出信号平均

19、功率受限条件下，具有高斯分布的连续信源的熵最大，且随平均功率的增布的连续信源的熵最大，且随平均功率的增加而增加。加而增加。HUST - Information and Coding Theoryo2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 连续信源连续信源o2.3.1 连续信源的熵连续信源的熵o2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵o2.3.3 最大连续熵定理最大连续熵定理o2.3.4 联合熵、条件熵和平均交互信息量联合熵、条件熵和平均交互信息量HUST - Informatio

20、n and Coding Theory联合熵、条件熵和平均交互信息量联合熵、条件熵和平均交互信息量(, );(|)(|);(; ) (, )()log() ()(|)()log( | )(|)()XYH X YH Y XH X YI X YH X Yp xyp xy dxdyp xyH Y Xp xyp y x dxdyH X Yp xy 设有两个连续随机变量 和 ，其联合熵为其条件熵为或平均交互信息量为定义 式中为二维联合概率密度。定义 或log( | )( | )( | )(; )()(|)(; )( )(|)(; )()( )(, )p x y dxdyp y xp x yI X YH

21、XH X YI X YH YH Y XI X YH XH YH X Y 式中和为条件概率密度。定义 或 可以证明：(; )()( )(, )I X YH XH YH X Y 可以证明：HUST - Information and Coding Theory证明证明(; )()(; )()(|)()()log( | )()()()log( )1()( )log()log()( )( )(, )(; )( ;), )()YYYI X YH XH YH X YI X YI X YH XH X YH Xp xyp x y dxdyp xyH Xp xydxdypyH Xpyp xyp xy dxdypy dyH X YH XI Y X 由上式推导可以看出，有,并 且( )( )( )()log()( )( )()1log0;0)()(XYXYpx pyH Yp xydxdyp xypx pyp xyedxdyp xyI X Y 故有: HUST - Information