第4章：连续信号与连续信道容量

1、信息论与编码信息论与编码西安工业大学电子信息工程学院 赵 黎第四章 连续信源和连续信道容量本章内容n连续信源连续信源n连续信道容量连续信道容量4.1 连续信源n连续信源的统计特性连续信源的统计特性n连续信源的熵连续信源的熵n几种特殊连续信源的熵几种特殊连续信源的熵1、连续信源的统计特性、连续信源的统计特性n连续信源，指输出消息在时间和取值上都连续的信源；连续信源，指输出消息在时间和取值上都连续的信源；n连续信源输出的消息是随机的，与随机过程相对应；连续信源输出的消息是随机的，与随机过程相对应；n连续信源的统计特性连续信源的统计特性-概率密度函数；概率密度函数；n单变量连续信源的输出是取值连续的

2、随机变量。可用变量单变量连续信源的输出是取值连续的随机变量。可用变量的的概率密度概率密度、变量间的、变量间的条件概率密度条件概率密度和和联合概率密度联合概率密度描述。描述。 一维概率密度函数一维概率密度函数 随机变量随机变量 X 的的一维概率密度函数一维概率密度函数（边缘概率密度函数）为：（边缘概率密度函数）为： yYxXYXYXdyypyYPyFdxxpxXPxFYXyFxFYXypxpdyydFypdxxdFxp)()()()()()()()()()()()()()(的的一一维维概概率率分分布布函函数数、分分别别为为变变量量、的的一一维维概概率率密密度度函函数数、分分别别为为变变量量、 条

3、件概率密度和联合概率密度函数条件概率密度和联合概率密度函数n条件概率密度函数：条件概率密度函数：n联合概率密度函数：联合概率密度函数：n它们之间的关系为：它们之间的关系为：n边缘概率密度函数满足：边缘概率密度函数满足： RXYYRXYXdxxypypdyxypxp)()()()()/()()/()()()()()/(),/(/yxpypxypxpxypyxxyFxypyxpxypYXYXYXXYXYYXXY 2、 连续信源的熵连续信源的熵n单变量连续信源数学模型：单变量连续信源数学模型：nR 是连续变量是连续变量 X 的取值范围。的取值范围。n先将连续信源在先将连续信源在时间上离散化时间上离散

4、化，再对连续变量进行，再对连续变量进行量化量化分层分层，并用离散变量来逼近连续变量。量化间隔越小，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，离散变量与连续变量越接近，当量化间隔趋近于零时，当量化间隔趋近于零时，离散变量就等于连续变量。离散变量就等于连续变量。 RdxxpxpRX1)()(:并并满满足足：n设设 p(x) 如图所示。把连续随机变量如图所示。把连续随机变量 X 的取值分割成的取值分割成 n 个小个小区间，各小区间等宽，即：区间，各小区间等宽，即：=(ba)/n。则变量落在第。则变量落在第 i 个个小区间的概率为：小区间的概率为：n其中其中 xi 是是 a+

5、(i1) 到到 a+i 之间的某一值。当之间的某一值。当 p(x) 是是 X 的连续函数时，由中值定理可知，必存在一个的连续函数时，由中值定理可知，必存在一个 xi 值使上式成值使上式成立。立。 iaiaixpdxxpiaXiaP) 1()()() 1(n这样连续变量这样连续变量 x 就可用取值为就可用取值为 xi(i=1,2,n) 的离散的离散变量近似。连续信源被量化成离散信源。变量近似。连续信源被量化成离散信源。)(loglim)(log)()()(loglim)(log)()()(loglim)(log)(lim)(lim2022021201200 nbabanbaniinniiinnd

6、xxpxpdxxpdxxpxpxpxpxpXH连连续续信信源源的的熵熵为为：时时，若若极极限限存存在在，即即得得当当0,log)()(log)()(log)()(121212 nxpxpxpxpxpXHniiniiiniiin上式右端的第一项一般是定值，而第二项在上式右端的第一项一般是定值，而第二项在 0 时是时是一无限大量。丢掉后一项，定义连续信源的熵为：一无限大量。丢掉后一项，定义连续信源的熵为：n上式定义的熵在形式上和离散信源相似，也满足离散熵上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因的主要特性，如可加性，但在概念上与离散熵有差异因为

7、它失去了离散熵的部分含义和性质。为它失去了离散熵的部分含义和性质。RcdxxpxpXH)(log)()(2)(loglim)(log)()(lim2020 nbandxxpxpXH连续信源的联合熵和条件熵连续信源的联合熵和条件熵n两个连续变量的联合熵：两个连续变量的联合熵：n两个连续变量的条件熵：两个连续变量的条件熵：dxdyxypxypXYHRc)(log)()(22dxdyyxpxypYXHdxdyxypxypXYHRcRc)/(log)()/()/(log)()/(22223、 几种特殊连续信源的熵(1) 均匀分布的连续信源的熵均匀分布的连续信源的熵n一维连续随机变量一维连续随机变量 X

8、 在在 a,b 区间内均匀分布时的熵为区间内均匀分布时的熵为: Hc(X)=log2(ba)n若若 N 维矢量维矢量 X X=(X1X2XN) 中各分量彼此统计独立，中各分量彼此统计独立，且分别在且分别在 a1,b1a2,b2 aN,bN 的区域内均匀分布，的区域内均匀分布，即：即：axbxbxaabxp,01)()()()()(log)(log)(1log)(1)(log)()()(211212112112211111NccciiNiNiiibabaNNiiiNiiibabaNNccXHXHXHababdxdxababdxdxxpxpXXXHXHNNNN NiiiNiiiNiiiabxabx

9、abxp111)(0)()(1)(2) 高斯分布的连续信源的熵高斯分布的连续信源的熵n一维随机变量一维随机变量 X 的取值范围是整个实数轴的取值范围是整个实数轴 R，概率密概率密度函数呈正态分布，即：度函数呈正态分布，即：分分布布的的连连续续信信源源。所所代代表表的的信信源源称称为为高高斯斯由由这这样样随随机机变变量量 X dxxxpXEmXm)(的的均均值值：是是 dxxpmxmXEX)()()(2222 的的方方差差：是是 dxxpxPm)(022率率：就就是是随随机机变变量量的的平平均均功功时时，当当 222)(221)(mxexp-4-3-2-10123400.51-4-3-2-101

10、23400.51-4-3-2-10123400.51nx=-4:0.3:4;nm1=1;n1=0.5;nm2=2;n2=0.5;nm3=1;n3=0.3;nz1=(1/sqrt(2*pi*n1)*exp(-1/2)*(x-m1).2/n12);nz2=(1/sqrt(2*pi*n2)*exp(-1/2)*(x-m2).2/n22);nz3=(1/sqrt(2*pi*n3)*exp(-1/2)*(x-m3).2/n32);nsubplot(3,1,1);n plot(x,z1)n subplot(3,1,2);n plot(x,z2)n subplot(3,1,3);n plot(x,z3)22

11、222222log21log212log)()()(, 1)( eeXHdxxpmxdxxpc 所所以以：因因为为： dxexpdxxpdxexpdxxpxpXHmxcmx22222)(22)(2222122)(log()2log)(log)()(log)()( 说明说明n 高斯连续信源的熵与数学期望高斯连续信源的熵与数学期望 m 无关，只与方差无关，只与方差2 有有关；关；n 熵描述的是信源的整体特性，由图熵描述的是信源的整体特性，由图2.3.2看出，当均值看出，当均值 m 变化时，只是变化时，只是 p(x) 的对称中心在横轴上发生平移，曲的对称中心在横轴上发生平移，曲线的形状没有任何变化，

12、即数学期望线的形状没有任何变化，即数学期望 m 对高斯信源的总对高斯信源的总体特性没有任何影响；体特性没有任何影响；n 若方差若方差2 不同，曲线的形状随之改变，不同，曲线的形状随之改变，所以高斯连续信所以高斯连续信源的熵与方差有关而与数学期望无关源的熵与方差有关而与数学期望无关。这是信源熵的总体。这是信源熵的总体特性的再度体现。特性的再度体现。222log21)( eXHc 4.2 连续信道容量n连续信道的数学模型连续信道的数学模型n连续信道容量连续信道容量-香农公式香农公式n举例举例连续信道：输入输出随机变量都取值于连续集合的信道连续信道：输入输出随机变量都取值于连续集合的信道一、单维连续

13、通信系统数学模型：一、单维连续通信系统数学模型：XYp(Y/X)1)(badxxpYxypX)/(数学描述：两类情况两类情况 高斯加性信道高斯加性信道非高斯加性信道非高斯加性信道加性信道的重要性质：信道的传递概率密度函数就等于噪声的概率密度函数加性信道的重要性质：信道的传递概率密度函数就等于噪声的概率密度函数)()/(npxyp加性信道加性信道条件熵是由噪声引起的，所以称为噪声熵条件熵是由噪声引起的，所以称为噪声熵 NHXYH)/( NHYHXYHYHYXICxpxpxpmax/max;max由于加性噪声由于加性噪声N和信源和信源X相互统计独立，相互统计独立，X的概率密度函数的概率密度函数p(

14、x)的变动不会引起噪声熵的变动不会引起噪声熵H(N)的改变，因此加性信道的容量的改变，因此加性信道的容量C就就是选择是选择p(x)，使输出熵，使输出熵H(Y)达到最大。达到最大。n 连续信道容量连续信道容量可以证明可以证明式中式中 S 信号平均功率信号平均功率 （W）；）； N 噪声功率（噪声功率（W）；）； B 带宽（带宽（Hz）。）。 设噪声单边功率谱密度为设噪声单边功率谱密度为n0，则，则N = n0B；故上式可以改写成：故上式可以改写成：由上式可见，由上式可见，连续信道的容量连续信道的容量Ct和信道带宽和信道带宽B、信号功、信号功率率S及噪声功率谱密度及噪声功率谱密度n0三个因素有关三

15、个因素有关。 )/(1log2sbNSBCt)/(1log02sbBnSBCt当当S ，或，或n0 0时，时，Ct 。但是，当但是，当B 时，时，Ct将趋向何值？将趋向何值？令：令：x = S / n0B，上式可以改写为：，上式可以改写为：利用关系式利用关系式上式变为上式变为)/(1log02sbBnSBCtxtxnSBnSSBnnSC/12002001log1log1)1ln(lim/10 xxxaealnloglog22020/120044. 1log)1 (loglimlimnSenSxnSCxxtB 上式表明，当给定上式表明，当给定S / n0时，若带宽时，若带宽B趋于无穷大，趋于无穷

16、大，信道容量不会趋于无限大，而只是信道容量不会趋于无限大，而只是S / n0的的1.44倍倍。这。这是因为当带宽是因为当带宽B增大时，噪声功率也随之增大。增大时，噪声功率也随之增大。 Ct和带宽和带宽B的关系曲线：的关系曲线：020/120044. 1log)1 (loglimlimnSenSxnSCxxtB图图4-24 信道容量和带宽关系信道容量和带宽关系S/n0S/n0BCt1.44(S/n0)上式还可以改写成如下形式：上式还可以改写成如下形式：式中式中Eb 每比特能量；每比特能量；Tb = 1/B 每比特持续时间。每比特持续时间。 上式表明，为了得到给定的信道容量上式表明，为了得到给定的

17、信道容量Ct，可以，可以增大增大带宽带宽B以换取以换取Eb的减小的减小；另一方面，在接收功率受限的；另一方面，在接收功率受限的情况下，由于情况下，由于Eb = STb，可以，可以增大增大Tb以减小以减小S来保持来保持Eb和和Ct不变不变。 0202021log/1log1lognEBBnTEBBnSBCbbbt)/(1log02sbBnSBCt香农公式的主要结论：香农公式的主要结论： （1 1）信道容量）信道容量C C随随S/NS/N增大而增大；增大而增大； （2 2）N N0, C0, C，无扰信道的容量为无穷大；无扰信道的容量为无穷大； （3 3） ，n n0 0为噪声功率谱密度；为噪声功

18、率谱密度；02044. 1loglimnSenSCW【例例】已知黑白电视图像信号每帧有已知黑白电视图像信号每帧有30万个像素；每个像素有万个像素；每个像素有8个亮个亮度电平；各电平独立地以等概率出现；图像每秒发送度电平；各电平独立地以等概率出现；图像每秒发送25帧。若要求帧。若要求接收图像信噪比达到接收图像信噪比达到30dB，试求所需传输带宽。，试求所需传输带宽。【解解】因为每个像素独立地以等概率取因为每个像素独立地以等概率取8个亮度电平，故每个像素的个亮度电平，故每个像素的信息量为信息量为Ip = -log2(1/ 8) = 3 (b/pix)并且每帧图像的信息量为并且每帧图像的信息量为IF = 300,000 3 = 900,000 (b/F)因为每秒传输因为每秒传输25帧图像，所以要求传输速率为帧图像，所以要求传输速率为Rb = 900,000 25 = 22,500,000 = 22.5 106 (b/s) 信道的容量信道的容量Ct必须不小于此