第十一章网络信息论初步(不讲)

网络信息论初步第11章本章介绍网络信息论的最基本内容，主要包括多址接入信道和退化广播信道容量、以及相关信源编码。本章主要内容：

§11.1多址接入信道11.1.1二址接入信道的容量 11.1.2不同多址方式下的接入信道容量分析

11.1.3多址接入信道的容量§11.2广播信道11.2.1退化的广播信道11.2.2退化的广播信道的容量区域§11.3相关信源编码11.3.1典型的相关信源编码模型11.3.2Slepian-Wolf相关信源编码定理§11.1多址接入信道多址接入信道(MultipleAccessChannel,MAC)是有多个信道输入信号，但只有一个信道输出信号的信道。如图11.1.1所示。图11.1.1多源接入信道11.1.1二址接入信道的容量设信道的两个输入变量集合为和

，一个输出变量集合为

，则信道特性可用

这一条件概率来表征。两个编码器分别将两个信源符号

和

编成适合于信道传输的信号

和

；一个译码器由信道输出译出相应的信源符号

和

。图11.1.2典型的二址接入信道设的极大值分别为，则：即：同理：联合限制：当与相互独立时，可得：定理11.1.1一个具有两个输入端的二址接入信道

的容量是一个满足下面条件的凸集合：（11.1.1）

其中

例11.1.1二址接入二元乘积信道。设一个二址接入信道，输入

，输出

，且

，求该信道的容量区域。解：，，，

则速率对的可达区域为：

比特/符号，

比特/符号，比特/符号。图11.1.4无扰二元乘积信道的转移概率图

图11.1.5二元乘积信道的容量区域例11.1.2二址接入二元删除信道。设信道输入信道输出，且，也称为二元和信道，如图11.1.6，求信道的容量区域。解：设的概率：，

的概率：,

分别对和的偏导数为零，可得当时，

图11.1.6二元删除信道图11.1.7无扰二元删除信道的转移概率图图11.1.8二址离散信道的可达速率区域例11.1.3二址接入高斯信道。设

和

的概率密度分别为

和

。信道输出

，

为高斯白噪声设输入均值为零，平均功率受限即

，，与

相互独立。求信道容量区域。解：限平均功率时，随机变量为高斯分布时熵最大，则11.1.2不同多址方式下的

接入信道容量分析在平均功率受限的约束下，采用时分多址方式和频分多址方式的可达速率区域均小于理论给出的容量区域。但是通过设计时隙分配或带宽分配的比例，时分多址与频分多址又都可使速率达到理论容量域的最大值。码分多址方式中，所有信道输入信号都占用信道的全部带宽和时间，各信号间不存在时隙分配或带宽分配问题，因此码分多址的可达速率区域与理论容量区域一致。11.1.3多址接入信道的容量给定条件概率，可分别限定各信源的信息传输速率：各种联合约束条件，即对任一子集，当各信源相互独立时，有：广播信道（BroadcastChannel,BC）与多址接入信道正好相反，它有一个输入和多个输出。§11.2广播信道图11.10广播信道单输入双输出的广播信道：图11.11单输入双输出广播信道退化的广播信道：存在一个条件概率函数使得由级联信道的性质可知，、、构成一个马氏链，或者说在已知的条件下与无关。11.2.1退化的广播信道图11.12退化的广播信道定理11.2通过退化广播信道发送独立信息的容量区域是满足下式的所有的封闭集合的凸包：

辅助随机变量的基数的界限是用凸集理论的标准方法来确定的。11.2.2退化的广播信道的容量区域例11.4二元对称广播信道。求该信道的容量区域。解：图11.12二元对称广播信道构造一个二元随机源U，设为对称分布，错误转移概率为，得：由定理11.2得，速率区域为图11.14二元对称广播信道的容量区域例11.5高斯广播信道。假设信道输入信号的平均功率为。求该信道的容量区域。解：高斯广播信道也属于退化的广播信道引入辅助随机输入集合将输入信号功率分成和，用于传输的平均功率为，用于传输的平均功率为即：图11.15高斯广播信道图11.16退化高斯广播信道从单用户高斯信道的理论可知，要使退化高斯信道的输入输出的平均互信息为最大，输入X应为高斯分布；当输入为高斯分布时因独立，所以得容量区域为：图11.17高斯广播信道容量区域相关信源编码进行编码时，力求对信源相关带来的剩余度的压缩，提高网络传输的有效性。§11.3相关信源编码图11.19相关信源编码的一般模型1.Berger相关信源编码模型2.Slepian-Wolf相关信源编码模型11.3.1典型的相关信源编码模型图11.20Berger相关信源编码图11.21Slepian-Wolf模型3.带边信息的相关信源编码4.分集的相关信源编码图11.22带边信息的信源模型图11.23分集的相关信源编码模型由Slepian-Wolf相关信源编码的模型，得定理11.3Slepian-Wolf相关信源编码定理：对于相关信源编码问题，可达速率的区域为：若满足上面的条件即可在接收端无差错地恢复和11.3.2Slepian-Wolf相关信源编码定理例11.6

设信源

，信源

，其中

。，若

则有

，且

。由此得

比特。而比特（设）因此，在已知

的情况下要确定

，只需要0.5比特，而不是1比特。因为与具有相关性，在已知

时，已提供了一些关于

的信息量，因此只需获得大于

比特的信息量，就能完全确定

。由此可见在对相关信源

和

进行编码时只要保证

就能完全确定

。例11.7有两城市A和B，它们的天气（晴，雨）的联合概率如表所示：求理论上平均每天所需传送的最小比特数：（1）两城市独立进行压缩编码传送；（2）两城市利用相关信源缩编码传送；（3）若国家气象局已知A城市天气的情况下，利用相关信源缩编码传送B城市天气。ABB雨B晴A雨0．4450．055A晴0．0550．445解:（1）容易得两城市的天气分布情况均为雨和晴等概率出现。不考虑天气在时间先后上的相关性，将A、B两城市的天气视为独立等概信源，有独立地对信源编码传送，即不考虑A、B两城市之间天气的关联性。

这时实现无失真编码传输，必须使编码以后的信息传输速率满足。因此独立进行压缩编码传送两城市天气情况最小需要比特数为2比特；

（2）利用相关信源编码时，考虑在天气方面两城市之间的关联性，可得联合熵从而传送每天两城市的天气情况最小需要

（3）在已知A城市天气的情况下，利用相关信源编码，只需要再传条件熵比特就可以完全获得B城市的天气情况。例11.8U为含8个等概率符号的离散无记忆信源，符号集{0，1，…，7}，信源符号分别通过两个信源编码器:编码器1将信源符号转换成码长为3的二进代码

，再通过信道1传输，输出为

，即信源编码1:

编码器2按编码器1的方式将信源符号转换成二进代码后，将代码分成4组：

再将每组的序号(符号集为：00，01，10，11）通过一个无噪声信道传输，即信源编码2：

信道1的作用是等概率地将输入的每个长度为3的二元码字变成与其汉明距离不大于1的另一个长度为3的二元码字；接收端根据，对U作出判决。信源编码1信源编码2信道1译码器X1UX2Y1

图11.26传输系统框图1.分别求两信源编码器编码后的信息传输速率

；2.求信道1的转移概率矩阵和容量；

3.求4.设计译码器的译码原则，并指出译码器能否无差错的将信源符号译出？解：1.信源编码器1得信息传输速率比特/码符号信源编码器2得信息传输速率比特/码符号；2.信道1的转移概率矩阵：信道1为对称信道，输出等概时达到信道容量：3.因为U到的变换是一一对应的变换，所以U到的转移概率矩阵与相同。因信道输入等概率，因此输出也等概，所以