第5章连续信源和连续信道

第5章连续信源和连续信道5.1连续信源

5.2连续信道及其信道容量

本章小结5.1连续信源5.1.1连续信源的数学模型5.1.2连续信源的熵和互信息离散信源连续信源5.1.1连续信源的数学模型5.1.2连续信源的熵和互信息【定义5-1】对于连续信源X，其概率密度函数为p(x)，则该连续信源的熵为说明：与离散信源熵形式相同，但意义不同；连续信源不确定性是无穷大，因此熵无穷大；连续信源熵只是相对值。【定义5-2】设有两个连续随机变量X和Y，其联合熵为式中，p(xy)是二维联合概率密度函数。或者式中，p(x׀y)、p(y׀x)是条件概率密度函数。【定义5-3】设有两个连续随机变量X和Y，其条件熵为【定义5-4】两个连续随机变量X和Y之间的平均互信息量为由该定义可以得到证明由上述推导可以看出，有

证明且有

结论：上述定义与离散信源的对应关系式完全类似。同样可用图2-6的维拉图表示；由于连续熵是相对熵，因此它不具有非负性和极值性。小结离散信源联合熵条件熵平均互信息I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)连续信源联合熵条件熵平均互信息I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)熵的例子1【例5-1，P77】求均值为m，方差为σ2的高斯分布信源的熵。概率密度函数则熵为如果取对数的底为e，有熵的例子2【例5-3，P78】设随机变量X和Y的联合概率密度为求：(1)H(X)和H(Y)各为多少?

(2)H(X׀Y)和H(Y׀X)各为多少?(3)H(X,Y)是多少？

(4)I(X;Y)是多少？解：（1）则有同理熵的例子2（续）（2）同理（3）由联合熵定义有熵的例子2（续）（4）由互信息定义有

讨论两个高斯随机变量的熵只与各自的方差有关；条件熵与相关系数ρ有关；当ρ=0时，即X与Y互不相关，或者说互相独立时，H(X)=H(X׀Y)和H(Y)=H(Y׀X)；联合熵与ρ有关；互信息量仅与ρ有关，与方差无关。当ρ=0时，I(X;Y)=0

熵的例子3【例，增】求均匀分布信源的熵。概率密度函数则熵为5.2连续信道及其信道容量5.2.1时间离散信道5.2.2连续信道连续信道：输入和输出均为连续的随机信号；时间离散：离散时间信道（或时间离散信道）时间连续：连续信道（或波形信道）5.2.1时间离散信道设时间离散信道的输入和输出集分别为为X和Y。则对于加性噪声模型，有：Y=X+N其中N为随机加性噪声，且X和N统计独立。定义信道容量为可以证明：因此

即简单加性信道的互信息由输出熵和噪声熵决定。证明加性噪声模型互信息的计算：若输入信源X和噪声N分别为均值为0、方差为2X和2N的高斯分布，则随机变量Y为均值为0、方差为2X+2N的高斯分布。此时说明：当任意大时，I(X;Y)也任意大；但实际系统功率受限。【定义5-5】对于平均功率受限、最简单的一维时间离散可加高斯噪声信道的互信息为因此信道容量为【定理5-1】假设输入信源的平均功率小于2X，信道加性噪声平均功率为2N，则可加噪声信道容量C满足

式中，2为噪声的熵功率。说明：当噪声功率2N给定后，高斯型干扰是最坏的干扰，此时信道容量最小；这就是在科学研究中通常假设噪声为高斯噪声的原因。（分析最坏的情况比较安全）。证明5.2.2连续信道设连续信道的输入、输出、噪声分别为X(t),Y(t),N(t)。则对于加性噪声模型，有：Y(t)=X(t)+N(t)由于信道带宽有限，根据随机信号采样定理，可以将一个时间连续的信道转换为时间离散的随机序列进行处理。设输入、噪声和输出随机序列分别为Xi(i=1,2,…,n)，Ni(i=1,2,…,n)和Yi(i=1,2,…,n)，则有Yi

=Xi+Ni由于信道是无记忆的，那么n维随机序列的平均互信息满足时间连续信道的信道容量为若信道为高斯信道，则时间连续信道的信道容量为达到该信道容量的条件是，n维输入随机序列中，每一分量都必须是均值为0，方差为2N且相互独立的高斯变量。本章小结连续信源主要讲了信源的模型、熵、共熵、条件熵和平均互信息。需要注意的是连续信源的熵不同于离散信源的熵。连续信源的熵是相对熵，与离散信源的熵相比，去掉了一个无穷大项。连续信道分时间离散和时间连续两种情况讨论，信道上的噪声主要讨论了加性高斯噪声。给出了不同情况下的信道容量。【定义5-4】两个连续随机变量X和Y之间的平均互信息量为由该定义可以得到返回证明：证毕返回证毕证明：证明：

设随机变量X和随机噪声N的概率密度分别为pX(x)和pN(z)，不难求得则有返回证毕【定理5-1】假设输入信源的平均功率小于2X，信道加性噪声平均功率为2N，则可加噪声信道容量C满足

式中，2为噪声的熵功率。证明：对于加性噪声信道当输入信源X和和噪声N的均值分别为0时，信道输