第十一章网络信息论初步(不讲)

1、 网络信息论初步第11章n本章介绍网络信息论的最基本内容，主要包括多址接入信道和退化广播信道容量、以及相关信源编码。本章主要内容： 多址接入信道11.1.1 二址接入信道的容量 11.1.2 不同多址方式下的接入信道容量分析 11.1.3 多址接入信道的容量11.2 广播信道11.2.1 退化的广播信道11.2.2 退化的广播信道的容量区域11.3相关信源编码11.3.1 典型的相关信源编码模型11.3.2 Slepian-Wolf相关信源编码定理多址接入信道n多址接入信道(Multiple Access Channel, MAC)是有多个信道输入信号，但只有一个信道输出信号的信道。如图11.

2、1.1所示。图11.1.1 多源接入信道11.1.1 二址接入信道的容量n设信道的两个输入变量集合为 和 ，一个输出变量集合为 ，则信道特性可用 这一条件概率来表征。n两个编码器分别将两个信源符号 和 编成适合于信道传输的信号 和 ；一个译码器由信道输出译出相应的信源符号 和 。12( /,)p y x x1X2XY1X2X1U2U1U2U图11.1.2 典型的二址接入信道n设 的极大值分别为 ，则：即：n同理：n联合限制：n当 与 相互独立时，可得：1122112()()max(;|)pxpxRI X Y X1122112()()max(;|)pxpxCI X Y X1122212( )()

3、max ( |)( |)p x p xH Y XH Y X X11RC1122221()()max(;|)pxpxCI X Y X1122112( )()max ( |)( |)p x p xH Y XH Y X X12,R R12,C C22RC11221212()()max(; )pxpxCI X X Y1212( ) ()max ( )( |)p x p xH YH Y X X1X2X121212max(,)C CCCC121 2, (),XX P y x xY12112(,):0(;/)R RRI X Y X2210(;/)RI X Y X12120(;)RRI X XY121122(

4、)( )()p x xp x p x定理11.1.1 一个具有两个输入端的二址接入信道 的容量是一个满足下面条件的凸集合： （11.1.1） 其中 例11.1.1 二址接入二元乘积信道。设一个二址接入信道，输入 ，输出 ，且 ，求该信道的容量区域。 解： ， ， ， 则速率对 的可达区域为： 比特/符号， 比特/符号， 比特/符号。10,1X 20,1X 0,1Y 12YX X图11.1.4 无扰二元乘积信道的转移概率图 12()0H Y X X12()0H X X Y 21()0H XX Y 1212121(;)()()();I X Y XH X XH X X YH X212(;)();I

5、X Y XH X1212(; )( )()( )I X X YH YH Y X XH Y12112212( ,):0(),0(),0( )R RRH XRH XRRH Y12(,)R R111()max()1p xCH X222()max()1p xCH X1212() ()max( )1p xp xCH Y图11.1.5 二元乘积信道的容量区域 例11.1.2 二址接入二元删除信道。设信道输入 信道输出 ，且 ，也称为二元和信道，如图11.1.6，求信道的容量区域。 解： 设 的概率： ， 的概率： , 分别对 和 的偏导数为零，可得当 时， 120,1,0,1,XX0,1,2Y 12YXX

6、图11.1.6 二元删除信道111121()()Cmax (;/)max()1p xp xI X Y XH X比特21C 比特图11.1.7 无扰二元删除信道的转移概率图1X0pp11pp 12(; )( )I X X YH Y(1)log(1) (1) log(1)(1)(1)log(1)(1)pppp pppppppppp 2X1pp01pp pp12pp12111111logloglog1.5444422C 比特图11.1.8 二址离散信道的可达速率区域n例11.1.3 二址接入高斯信道。设 和 的概率密度分别为 和 。信道输出 ， 为高斯白噪声设输入均值为零，平均功率受限即 ， ，与

7、相互独立。求信道容量区域。n解：n限平均功率时，随机变量为高斯分布时熵最大，则1X2X11()XpX22()XpX12YXXZZ121()SE XP222()SE XPZ2121221()(|)exp22yxxP Y X X2121(|)log 22h Y X Xe 121212() ()max (|)(|)p Xp XCh Y Xh Y X X1222()()1max(|)log 22p Xp Xh Y Xe 11212211loglog(1)22SSPPC22222211loglog(1)22SSPPC12122122211loglog(1)22SSSSPPPPCn在平均功率受限的约束下，

8、采用时分多址方式和频分多址方式的可达速率区域均小于理论给出的容量区域。但是通过设计时隙分配或带宽分配的比例，时分多址与频分多址又都可使速率达到理论容量域的最大值。n码分多址方式中，所有信道输入信号都占用信道的全部带宽和时间，各信号间不存在时隙分配或带宽分配问题，因此码分多址的可达速率区域与理论容量区域一致。11.1.3 多址接入信道的容量n给定条件概率 ，可分别限定各信源的信息传输速率：n各种联合约束条件，即对任一子集 ，n当各信源相互独立时，有：12(|,)Np y x xx11111()()max(;|)(1,2,)NNrrrrrNpxpxRCI X Y XXXXrNA11()()max(

9、,;|,)NNrArspxpxr ARCI XrA Y Xs AmaxrArr Ar ACCCn广播信道（Broadcast Channel, BC）与多址接入信道正好相反，它有一个输入和多个输出。11.2 广播信道图11.10 广播信道n单输入双输出的广播信道：图11.11 单输入双输出广播信道n退化的广播信道：存在一个条件概率函数 使得n由级联信道的性质可知， 、 、 构成一个马氏链，或者说在 已知的条件下 与 无关。11.2.1 退化的广播信道21(|)p yy112112(| ) (|)(| )Yp yx p yy dyp yx图11.12 退化的广播信道X1Y2Y1YX2Yn定理11

10、.2 通过退化广播信道 发送独立信息的容量区域是满足下式的所有 的封闭集合的凸包：n n n n辅助随机变量 的基数的界限是用凸集理论的标准方法来确定的。11.2.2 退化的广播信道的容量区域12XYY12(,)R R1222(,):0( ;)R RRI U Y110(;/)RI X Y U12( ) ( / ) (/ )p u p x u p y yx对某联合分布12min,UUXYY成立且 的基数Un例11.4 二元对称广播信道。求该信道的容量区域。n解：图11.12 二元对称广播信道112211221212122112211212111 111(1)(1)(1)(1) (1)(1)(1)

11、(1)( /) ppppqqppppqqppp pp pp pp pp ppppP Z Xp 构造一个二元随机源U，设 为对称分布，错误转移概率为 ，得： 由定理11.2得，速率区域为0p()P x u0120( ; )( )()1(*)1(* )I U ZH ZH Z UH pppH pq 011(;)()()()()(*)()I X Y UH Y UH Y XUH Y UH Y XH ppH p1011(;)(*)()RI X Y UH ppH p20( ; )1(* )RI U ZH pq 图11.14 二元对称广播信道的容量区域 例11.5 高斯广播信道。假设信道输入信号的平均功率为

12、。求该信道的容量区域。 解：高斯广播信道也属于退化的广播信道 引入辅助随机输入集合 将输入信号功率 分成 和 ， 用于传输 的平均功率为 ， 用于传输 的平均功率为 即：SP222YXZYZ 图11.15 高斯广播信道图11.16 退化高斯广播信道12UUU111211222, , YUZUXYZUUUSPSP(1)SP1U2U122()SSsE XPPP121()SsE UPP222()(1)SsE UPPn从单用户高斯信道的理论可知，要使退化高斯信道的输入输出的平均互信息为最大，输入X应为高斯分布；n当输入 为高斯分布时n因 独立，所以n得容量区域为：1U1211(;/)log(1)2sP

13、I X Y U21YU与2221222222( ;)(;)(;/)(1)1 (;)log(1)2ssI U YI U YI U YUPI U YP222(1)1log(1)2ssPRP1211log(1)2sPR图11.17 高斯广播信道容量区域n相关信源编码进行编码时，力求对信源相关带来的剩余度的压缩，提高网络传输的有效性。11.3 相关信源编码图11.19 相关信源编码的一般模型n1. Berger相关信源编码模型n2. Slepian-Wolf相关信源编码模型11.3.1 典型的相关信源编码模型图11.20 Berger相关信源编码图11.21 Slepian-Wolf模型n3. 带边信

14、息的相关信源编码n4. 分集的相关信源编码图11.22 带边信息的信源模型图11.23分集的相关信源编码模型n由Slepian-Wolf相关信源编码的模型，得n定理11.3 Slepian-Wolf相关信源编码定理：对于相关信源 编码问题，可达速率的区域为：n若满足上面的条件即可在接收端无差错地恢复 和11.3.2 Slepian-Wolf相关信源编码定理1212()()(,)H XH XH XX112()(|)H XH XX221()(|)H XH XX12(,)XX1122211212(|)(|)()RH XXRH XXRRH X X1X2Xn例例11.611.6 设信源 ，信源 ，其中

15、。 ，若 则有 ，且 。由此得 比特。而 比特（设 ）n因此，在已知 的情况下要确定 ，只需要0.5比特，而不是1比特。因为 与 具有相关性，在已知 时，已提供了一些关于 的信息量，因此只需获得大于 比特的信息量， 就能完全确定 。n由此可见在对相关信源 和 进行编码时只要保证 就能完全确定 。11110,1 , (0)(1)2Sp sp s00,1S 00(0)1, (1)p sp p sp 210SSS20,1S 221(1)(0)2p sp s21()()1H SH S21(/)( )0.5H SSH p1S2S0.11p 2S1S1S2S21()H S S2S2S1S2S11221()

16、,()RH SRH S Sn例11.7 有两城市A和B，它们的天气（晴，雨）的联合概率如表所示：n求理论上平均每天所需传送的最小比特数：n（1）两城市独立进行压缩编码传送；（2）两城市利用相关信源缩编码传送；（3）若国家气象局已知A城市天气的情况下，利用相关信源缩编码传送B城市天气。 A B B雨 B晴 A雨04450055 A晴 00550445n解:（1）容易得两城市的天气分布情况均为雨和晴等概率出现。不考虑天气在时间先后上的相关性，将A、B两城市的天气视为独立等概信源，有 独立地对信源编码传送，即不考虑A、B两城市之间天气的关联性。 这时实现无失真编码传输，必须使编码以后的信息传输速率满

17、足 。因此独立进行压缩编码传送两城市天气情况最小需要比特数为2比特； /1ABHH比特 天AABB,RHRH（2）利用相关信源编码时，考虑在天气方面两城市之间的关联性，可得联合熵 从而传送每天两城市的天气情况最小需要 （3）在已知A城市天气的情况下，利用相关信源编码，只需要再传条件熵 比特就可以完全获得B城市的天气情况。(0.445,0.445,0.055,0.055)1.5ABHH比特ABH=1.5ABRR比特B/AABAHH-H =0.5n例11.8 U为含8个等概率符号的离散无记忆信源，符号集0，1，7，信源符号分别通过两个信源编码器: 编码器1将信源符号转换成码长为3的二进代码 ，再通

18、过信道1传输，输出为 ，即信源编码1: 编码器2按编码器1的方式将信源符号转换成二进代码后，将代码分成4组： 再将每组的序号 (符号集为：00，01，10，11）通过一个无噪声信道传输，即信源编码2： 1X1Y0000 10017111，000,111001,110010,101100,011，2X0,7001,6012,5103,411，n信道1的作用是等概率地将输入的每个长度为3的二元码字 变成与其汉明距离不大于1的另一个长度为3的二元码字 ；接收端根据 ，对U作出判决。1x1y21x y信源编码1信源编码2信道1译码器X1UX2Y1 U图11.26 传输系统框图1.分别求两信源编码器编码

19、后的信息传输速率 ；2.求信道1的转移概率矩阵和容量； 3.求4.设计译码器的译码原则，并指出译码器能否无差错的将信源符号译出？解：1.信源编码器1得信息传输速率 比特/码符号 信源编码器2得信息传输速率 比特/码符号；2.信道1的转移概率矩阵：12rr，12212 1(, , ( /), ( / ), ( /) I U Y I U XHU XHU Y HU XY； ） （ ； ）1log813R 2log81.52R 11/ 41/ 41/ 401/ 40001/ 41/ 401/ 401/ 4001/ 401/ 41/ 4001/ 4001/ 41/ 41/ 40001/ 41/ 40001/ 41/ 41/ 4001/ 4001/ 41/ 401/ 4001/ 401/ 401/ 41/ 40001/ 401/ 41/ 41/ 4Pn信道1为对称信道，输出等概时达到信道容量：n3.因为U到 的变换是一一对应的变换，所以U到 的转移概率矩阵与 相同。因信道输入等概率，因此输出也等概，所以 与信道1的容量相同，即 的转移概率矩阵为： 11122( )()log 8log 41CH YH Y X 比特1X1Y1( ;I U Y）1(