Ch2例题与证明四

1、u 连续信源的熵与互信息在通信中模拟信号比如语音、图像未数字化以前均属于连续信源。它在概念上与离散信源是不同的，但也有不少类似之处。对连续信源的分析，也可以类似于离散信源从单个连续消息（变量）开始，在推广至连续消息序列。对于连续随机变量可采用概率密度来描述；对连续随机序列可采用相应的序列概率密度来描述；而对于连续的随机过程一般也可以按照取样定理分解为连续随机变量序列来描述。一 单个连续消息的随机变量信源连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。下面，将采用这一观点讨论连续信源的信息熵与信息量。首先类比概率pi与概率密度p(u)：单变量连续信源的数学模型：令ua,b，

2、且a<b,现将它均匀的划分为n份，每份宽度为，则u处于第i个区间的概率为pi，则pi= (中值定理)即当p(u)为u的连续函数时，由中值定理，必存在一个ui值，使上式成立。再按照离散信源的信息熵的定义有：Hn(u)= = = =于是我们定义前一项取有限值的项为连续信源的信息熵，并记为Hc(U).即：Hc(U)= 也可记为：Hc(U)= 其中R1表示实轴。注意：Hc(U)是连续信源的熵，而不是连续信源输出的信息量，而连续信源输出的信息量是Hn(U).这就是说，在离散信源中信源输出信息量就是信源熵，两者是一个概念；但是在连续信源中则是两个概念，且不相等。连续信源输出信息量Hn(U)是一个绝对

3、值，它取值于，而连续信源的熵Hc(U)则是一个相对值，且取值是有限的。连续信源的熵Hc(U)是一个过渡性的概念，它虽然也具有可加性，但不一定满足非负性，它可以不具有信息的全部特征。比如，对一个均匀分布的连续信源，按照定义，有显然，当时，Hc(U)<0,这说明它不具备非负性。但是连续信源输出的信息量由于有一个无限大量的存在，Hn(U)仍大于。这里，我们仍将Hc(U)定义为连续信源的熵，理由有二：一是由于它在形式上于离散熵相似：离散熵：H(U)=连续熵：Hc(U)=另一个更重要的原因是在于实际处理问题时，比如互信息、信道容量、信息率失真函数等可涉及到的仅是熵的差值，即互信息。这时，只要相差的

4、两个连续熵在逼近时可取的是一致的，两个同样的无限大的尾巴就可以互相抵消。可见，Hc(U)是具有相对性，它是为了引入互信息等重要概念而引入的一个过渡性的概念。同理，还可进一步定义如下连续随机变量的熵：条件熵与联合熵：且有：u 几种特殊连续信源的熵1.均匀分布的连续信源的熵一维连续随机变量X在a,b区间内均匀分布时，已求得其熵为若N维矢量中各分量彼此统计独立，且分别在的区域内均匀分布，即有 可以证明，N维均匀分布连续信源的熵为 可见，N维统计独立均匀分布连续信源的熵是N维区域体积的对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的体现，因为各维区域的边界决定了概率密度函数的总体形状。根据对数

5、的性质，还可写成 说明连续随机矢量中各分量相互统计独立时，其矢量熵就等于各单个随机变量的熵之和。这与离散信源的情况类似。2 高斯分布的连续信源的熵设一维随机变量X的取值范围是整个实数轴R，概率密度函数呈正态分布，即 其中m是X的均值 是X的方差 当均值m=0时，X的方差就是随机变量的平均功率 由这样的随机变量X所代表的连续信源，称为高斯分布的连续信源。这个连续信源的熵为因为 所以 上式说明高斯连续信源的熵与数学期望m无关，只与方差有关。 在介绍离散信源熵时我们就讲过，熵描述的是信源的整体特性。由高斯函数的曲线可见，当均值m发生变化时，只是p(x)的对称中心在横轴上发生平移，曲线的形状没有任何变

6、化。也就是说，数学期望m 对高斯信源的总体特性没有任何影响。但是，若X的方差不同，曲线的形状随之改变。所以，高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。3 指数分布连续信源的熵若一随机变量X的取值区间是，其概率密度函数为 则称X代表的单变量连续信源为指数分布的连续信源。其中常数m是随机变量X的数学期望 指数分布的连续信源的熵为 由 有 其中 上式说明，指数分布的连续信源的熵只取决与均值。这一点很容易理解，因为指数分布函数的均值，决定函数的总体特性。u 连续熵的性质1连续熵可为负值2可加性连续信源也有与离散信源类似的可加性。即 (1) (2)下面我们证明式(1)。

7、其中， 同理，可证明式(2)。连续信源熵的可加性可以推广到N个变量的情况。即 3 平均互信息的非负性定义连续信源的无条件熵和条件熵之差为连续信源的平均互信息。记为，即有 连续信源的平均互信息仍保留了非负性。即证明条件熵小于等于无条件熵。即 （3） （4）现在我们证明式（3）:由可得根据对数变换关系和著名不等式 并注意到 故有 令，只要不恒为0，则=1-1=0即 其中 由式(3)得 (5)同理可得 (6)容易证明，连续信源的平均互信息也满足对称性。即 (7)另外，连续信源还满足数据处理定理。换句话说，把连续随机变量Y处理成另一随机变量Z时，一般也会丢失信息。即 （8）u 最大连续熵定理(1)限峰

8、值功率的最大熵定理若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。设N维随机变量 其均匀分布的概率密度函数为除均匀分布以外的其他任意概率密度函数记为，并用和分别表示均匀分布和任意非均匀分布连续信源的熵。在的条件下有令运用著名不等式 则则证明了，在定义域有限的条件下，以均匀分布的熵为最大。 在实际问题中，随机变量的取值限制在之间，峰值为。如果把取值看作是输出信号的幅度，则相应的峰值功率就是。所以上述定理被称为峰值功率受限条件下的最大连续熵定理。此时最大熵值为：(2)限平均功率的最大熵定理若信源输出信号的平均功率P和均值m被限定，则其输出信号

9、幅度的概率密度函数为高斯分布时，信源具有最大熵值。 单变量连续信源X呈高斯分布时，PDF当X是高斯分布以外的其它任意分布时 ，PDF记为,由约束条件已知由于随机变量的方差当均值m为0时，平均功率就等于方差，可见对平均功率和均值的限制就等于对方差的限制。用和分别表示高斯分布和任意非高斯分布连续信源的熵 由前面的讨论已知总结：在上两种情况下，信源的统计特性与两种常见噪声均匀噪声和高斯噪声的统计特性相一致。（3）均值受限条件下的最大连续熵定理若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X具有最大熵值。 连续信源X为指数分布时PDF为用和分别表示指数分布和任意非指数分布连续信源的熵。记限制条件为：,任意其它分布的信源熵为 总结：连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的限制条件有关，在不同的限制条件下，有不同的最大连续熵值。u 熵功率 设连续信源X在PDF为时达到最大熵值,除此之外的其它任何PDF达到的熵值为,两熵之差即表示信源的剩余,记为，也叫信息变差(或信源的冗余)。即信源从一种PDF转到另一种PDF时，信源所含信息量发生的变化。从信息变差的概念出发，连续信源的熵可理解为最大熵与信息变差之间的差值。讨论均值为零、平均功率限定为P的连续信