信息论 信道容量

1、关于信息论 信道容量 第1页，共83页，2022年，5月20日，13点34分，星期四3.2.3 离散信道容量的一般计算方法 对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布p(xi)，求平均互信息的极大值。采用拉各朗日乘子法来计算。第2页，共83页，2022年，5月20日，13点34分，星期四第3页，共83页，2022年，5月20日，13点34分，星期四第4页，共83页，2022年，5月20日，13点34分，星期四(1)两边乘p(ai)，并求和，则有：第5页，共83页，2022年，5月20日，13点34分，星期四(2)第6页，共83页，2022年，5月20日，1

2、3点34分，星期四将（2）代入（1），则有：（3）第7页，共83页，2022年，5月20日，13点34分，星期四（4）则（3）变为：第8页，共83页，2022年，5月20日，13点34分，星期四（5） （6）（7）第9页，共83页，2022年，5月20日，13点34分，星期四总结C的求法，过程如下：（8）（9）第10页，共83页，2022年，5月20日，13点34分，星期四例：信道矩阵如下，求C。第11页，共83页，2022年，5月20日，13点34分，星期四1第12页，共83页，2022年，5月20日，13点34分，星期四23第13页，共83页，2022年，5月20日，13点34分，星期四4

3、第14页，共83页，2022年，5月20日，13点34分，星期四第15页，共83页，2022年，5月20日，13点34分，星期四第16页，共83页，2022年，5月20日，13点34分，星期四第三章信道容量2006-10-2317 注意：在第步信道容量C被求出后，计算并没有结束，必须解出相应的p(ai) ，并确认所有的p(ai)0时，所求的C才存在。 在对I(X;Y)求偏导时，仅限制 ，并没有限制p(ai)0 ，所以求出的p(ai)有可能为负值，此时C就不存在，必须对p(ai)进行调整，再重新求解C。 近年来人们一般采用计算机，运用迭代算法求解。一般离散信道容量计算步骤第17页，共83页，20

4、22年，5月20日，13点34分，星期四2006-10-1861第三章信道容量典型无扰离散信道的信道容量1. 均匀编码信道的信道容量定义： 基本符号时间等长的信道称为均匀编码信道，这种等长的基本符号称为码元。码元通常是持续时间为b秒的D进制脉冲（Pulse），D进制表示该码元有D种等间隔数值。第18页，共83页，2022年，5月20日，13点34分，星期四2006-10-1862第三章信道容量典型无扰离散信道的信道容量例3.1 用8kHz的取样速率对模拟信号取样，若对每一样值做256 级量化且样值是各态历经的，求传输此信号的信道容量。解：由题意可知，每秒钟有8000个样值，即n=8000（信源

5、消息），信道基本符号数D=256，故每秒钟构成的不同消息的总数目为N = 2568000，有这就是传送PCM信号需要的信道容量第19页，共83页，2022年，5月20日，13点34分，星期四2006-10-1863第三章信道容量典型无扰离散信道的信道容量一般地，若每个信道基本符号的长度为b秒，每秒钟内信道上可传送的信道基本符号数为n，则n =1/b；T秒钟内信道上可构成的不同消息数为N(T)=DnT，其中nT为T 秒钟内信道上可传送的信道基本符号数。于是Ct = nlog Dbps(5.6)如果不以秒而是以一个码元的时间作为标准，则C = Ct / n = log Dbit/码元时间(5.7)

6、第20页，共83页，2022年，5月20日，13点34分，星期四2006-10-1864第三章信道容量典型无扰离散信道的信道容量2. 无固定约束的不均匀编码信道的信道容量无固定约束的不均匀编码信道的基本符号是等幅的不等长脉冲，用脉冲占有时间的不同来携带信息。例3.2 求传输脉冲时间调制信号的信道容量。解 求信道容量，主要是求在T时间内能构成的不同消息数N(T)。若以最窄的脉冲作为单位码元而其它脉冲的宽度都是它的倍数，则PTM脉冲宽度量化为有限种信道基本符号。设有D种信道基本符号，分别为：a1, a2, , aD ；对应的占用时间分别为：t1, t2, , tD ；则在时间T内可能构成的符号总数

7、N (T)有如下表达式：第21页，共83页，2022年，5月20日，13点34分，星期四2006-10-1865第三章信道容量典型无扰离散信道的信道容量式中第1行的表示除a1外的D 1个信道基本符号的全排列，其余类推。利用递推的方法或其它方法可得C = log rmax bit /单位码元时间(5.9)的最大正实根。N (T ) = a1 + a 2 + + a D = a1 + a 2+ + a D= N (T t1 ) + N (T t 2 ) + + N (T t D )+ r+ + rr(5.10) 1 = 0 t D其中rmax是N (T)的特征方程 t1 t2(5.8)(续)第22

8、页，共83页，2022年，5月20日，13点34分，星期四2006-10-1866第三章信道容量典型无扰离散信道的信道容量3. 有固定约束的不均匀编码信道的信道容量假如编码不满足遍历性，即由转移不受限制变为转移受限制，传输它的信道就成为有固定约束的不均匀编码信道。传输莫尔斯（Morse）电码的信道是一种典型的有固定约束的不均匀编码信道，下面通过对它的分析来看这种信道的信道容量。第23页，共83页，2022年，5月20日，13点34分，星期四基本符号构成持续时间具体实现点t1 =2清脆响一短声划 t2 =4响一长声，声长三倍点字母间隔t3 =33个单位码元时间不发声单词间隔t4 = 66个单位码

9、元时间不发声2006-10-1867第三章信道容量典型无扰离散信道的信道容量例5.3 电报员发报用Morse电码；Morse电码由点、划、字母间隔和单词间隔四种基本符号构成，见表5.1，表中的“”表示按键合上，“”表示按键断开，分别相应于发声与不发声状态；试求Morse信道的信道容量。表5.1 Morse电码的构成表第24页，共83页，2022年，5月20日，13点34分，星期四2006-10-1868第三章信道容量典型无扰离散信道的信道容量解 通过点、划可构成无穷多种组合，形成明码或密码。设四种基本符号分别为a1, a2, a3, a4，点、划为状态1，字母及单词间隔作为状态2，t 6的间隔

10、均看作单词间隔。由于发报期间，不允许出现2个及2个以上的字母间隔或单词间隔，即“间隔”不能连用，因此Morse信道存在有固定约束，其状态转移图为图5.2。a3a4a1状态1状态2a1a2a2图5.2 例5.3的状态转移图第25页，共83页，2022年，5月20日，13点34分，星期四表示在T时间内发的最后一个符号2006-10-1869第三章信道容量典型无扰离散信道的信道容量先求在时间T内从状态1转移到状态2或从状态1、2转移到状态1的各种可能消息的总数目，分别用N1(T)和N2(T)表示。则式中是a3并使状 从状态1改变到状态2的各种可能消息的总数，而a3用的时间为b12；其余类推。第26页

11、，共83页，2022年，5月20日，13点34分，星期四推广之，设从状态i到状态j发的符号为ak，所用的时间为 ，则b11 从状态1到状态1，有两种可能：b21 从状态2到状态1，有两种可能：2006-10-1870第三章信道容量典型无扰离散信道的信道容量b22 从状态2到状态2，无此可能。根据表5.1，有b12从状态1到状态2，有两种可能：第27页，共83页，2022年，5月20日，13点34分，星期四C = lim= logWmaxT2006-10-1871第三章信道容量典型无扰离散信道的信道容量在T时间里构成的消息总数N(T)为式中Wmax 为差分方程的特征方程的最大正实根。因此，求出这

12、个最大正实根，也就求出了C。采用迭代法，略去中间过程，可解得，Wmax=1.453 ，故有C = log1.453 = 0.539 比特/符号时间N (T) = N1 (T) + N2 (T) (5.14)上式又是一个线性差分方程，由这个差分方程，可得logN (T )(5.15)T 第28页，共83页，2022年，5月20日，13点34分，星期四3.1 信道的数学模型和分类3.2 单符号离散信道3.3 多符号离散信道3.4 多用户信道3.5 信道编码定理第29页，共83页，2022年，5月20日，13点34分，星期四3.3 多符号离散信道3.3.1 多符号离散信道的数学模型3.3.2 离散无

13、记忆信道的N次扩展信道和独立并联信道的信道容量第30页，共83页，2022年，5月20日，13点34分，星期四多符号离散信道 多符号信源通过离散信道传输形成多符号离散信道。第31页，共83页，2022年，5月20日，13点34分，星期四3.3.1 多符号离散信道的数学模型输入输出第32页，共83页，2022年，5月20日，13点34分，星期四第33页，共83页，2022年，5月20日，13点34分，星期四3.3 多符号离散信道3.3.1 多符号离散信道的数学模型3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量第34页，共83页，2022年，5月20日，13点34分，星期四3.3

14、.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量无记忆：YK仅与XK有关第35页，共83页，2022年，5月20日，13点34分，星期四1YNY第36页，共83页，2022年，5月20日，13点34分，星期四第37页，共83页，2022年，5月20日，13点34分，星期四第38页，共83页，2022年，5月20日，13点34分，星期四(a)=-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()().()/().()/()();(rrrrr第39页，共83页，2022年，5月20日，13点34分

15、，星期四第40页，共83页，2022年，5月20日，13点34分，星期四I ( X ;Y ) = I ( X k k ) = NI ( X ; Y )30单符号离散无记忆信道与其N次扩展信道信道容量之间的关系由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符号集Xka1a2aN(k=1,2, ,N) ，并具有相同的概率分布，而且都通过同一个离散无记忆信道X P(Y/X) Y ，信道输出端随机变量序列中的随机变量Yk(k=1,2, ,N)也取自同一符号集并具有相同的概率分布，而且相互统计独立。所以I(Xk; Yk)= I(X; Y) ;YNk =13.3.2 离散无记忆信道和独立并联信道的

16、信道容量第41页，共83页，2022年，5月20日，13点34分，星期四结论： 离 散 无 记 忆 信 道 的N次 扩 展 信 道 ， 如 果 信 源 也 是 离 散 无记 忆 信 源 的N次 扩 展 信 源 ， 则 信 道 总 的 平 均 互 信 息 是 单 符 号 离 散无记忆信道平均互信息的N倍。第42页，共83页，2022年，5月20日，13点34分，星期四第三章信道容量2006-10-2331结论的说明：因为离散无记忆信道N次扩展信道可以用N个单符号离散信道来等效，这N个信道之间没有任何关联关系，若输入端的N个随机变量之间也没有任何关联关系的话，就相当于N个毫不相干的单符号离散信道在

17、分别传送各自的信息，所以在扩展信道的输出端得到的平均信息量必然是单个信道的N倍。用C表示离散无记忆信道容量，用CN表示其扩展信道容量，CN=NC3.3多符号离散信道3.3.2 离散无记忆信道和独立并联信道的信道容量第43页，共83页，2022年，5月20日，13点34分，星期四+ CN = Ck第三章信道容量2006-10-2332独立并联信道独立并联信道/独立并列/独立平行/积信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成3.3多符号离散信道了独立并联信道。是离散无记忆信道的N次扩展信道的推广。输入随机序列X=X1X2XN ，Xka1k,a2k,ank输出随机序列Y=Y1Y

18、2YN ，Ykb1k,b2k,bnkN个独立并联信道的容量CN第k个单符号离散无记忆信道的信道容量CkNCN C1 + C2 +k =13.3.2 离散无记忆信道和独立并联信道的信道容量当输入端各随机变量统计独立，且每个输入随机变量Xk(k=1,2, ,N) 的概率分布达到各自信道容量Ck(k=1,2, ,N)的最佳分布时，CN达到其最大值：第44页，共83页，2022年，5月20日，13点34分，星期四第三章信道容量2006-10-2333独立并联信道推广到更一般情况：输入各随机变量不但取值于不同的符号集，而且各集合的元素个数也不相同；输出随机变量也取值于不同的符号集合，各集合的元素个数也不

19、相同；这种更一般的信道可得到与上述类似的结论。可以把N个 变 量 的 独 立 并 联 信 道 看 成 是 离 散 无 记 忆信 道 的N次 扩 展 信 道 的 推 广 ， 也 可 以 把 离 散 信 道 的N次扩展看成是独立并联信道的特例。3.3.2 离散无记忆信道和独立并联信道的信道容量第45页，共83页，2022年，5月20日，13点34分，星期四3.1 信道的数学模型和分类3.2 单符号离散信道3.3 多符号离散信道3.4 多用户信道3.5 信道编码定理第46页，共83页，2022年，5月20日，13点34分，星期四第三章信道容量2006-10-2334单路通信系统：不论是单符号的还是多

20、符号的，都只有一个输入和一个输出端的信道称为单用户信道，相应的通信系统称为单路信系统。多路通信系统：为了提高通信效率，通信网中的信道往往有多个入端和多个输出端，这种信道称为多用户信道，相应的通信系统为多路通信系统。网络信息论/多用户信息论：研究多路通信系统信息传递的理论。实际的信道大部分是多用户信道。例如：计算机通信、卫星通信、广播通信、有线电视等。3.4.1 多址接入信道3.4.2 广播信道3.4.3 相关信源的多用户信道问题3.4 多用户信道第47页，共83页，2022年，5月20日，13点34分，星期四3.4 多用户信道3.4.1 多址接入信道3.4.2 广播信道3.4 .3 相关信源的

21、多用户信道第48页，共83页，2022年，5月20日，13点34分，星期四第三章信道容量2006-10-2335定义及信道模型多 址 接 入 信 道/多元接入信道：多个用户的信息用多个编码器分别编码以后，送入同一信道传输，在接收端用一个译码器译码，然后分送给不同的用户。这是有多个输入端但只有一个输出端的多用户信道。多址接入信道模型如图3.4.1所示3.4.1 多址接入信道3.4多用户信道第49页，共83页，2022年，5月20日，13点34分，星期四第三章信道容量2006-10-2336二址接入信道的信道容量最简单的多址接入信道是只有两个输入端和一个输出端的二址接入信道，如图3.4.2所示。U

22、1至U1的信息率R1，信道容量C1U2至U2的信息率R2，信道容量C2总信道容量C123.4多用户信道3.4.1 多址接入信道第50页，共83页，2022年，5月20日，13点34分，星期四3.4.1 多址接入信道多入单出信道信源1信源2编码器1编码器2信道译码二址接入信道模型第51页，共83页，2022年，5月20日，13点34分，星期四第52页，共83页，2022年，5月20日，13点34分，星期四第53页，共83页，2022年，5月20日，13点34分，星期四 C第三章信道容量2006-10-2337这些条件确定了二址接入信道以R1和R2为坐标的二维空间中的某个区域（图中阴影部分），这个

23、区域的界线就是二址接入信道的容量。二址接入信道信息率和信道容量之间满足如下条件 R1 C1 R2 2R1 + R2 C123.4多用户信道3.4.1 多址接入信道当X1和X2相互独立时有max(C1,C2)C12C1+C2第54页，共83页，2022年，5月20日，13点34分，星期四R第三章信道容量2006-10-2338多址接入信道的信道容量二址接入信道的结论很容易推广到多址接入信道；多址接入信道参数多址接入信道数N第r个编码器的信息率为Rr相应的信道容量为Cr；信道总容量为C3.4.1 多址接入信道3.4多用户信道I ( X 1X N ; Y )rX N )I ( X r ; Y / X

24、 1maxP ( X 1 ) P ( X N )maxP ( X 1 ) P ( X N )Nr =1X r 1 X r +1Rr Cr = C =第55页，共83页，2022年，5月20日，13点34分，星期四 C第三章信道容量2006-10-2339当输入各信源独立时有3.4.1 多址接入信道3.4多用户信道rN r =1 C max Crr这些限制条件规定了一个在N维空间的体积，这个体积的外型是一个截去角的多面体，多面体内是信道允许的信息率，多面体的上界就是多址接入信道的容量。第56页，共83页，2022年，5月20日，13点34分，星期四3.4 多用户信道3.4.1 多址接入信道3.4

25、.2 广播信道3.4 .3 相关信源的多用户信道第57页，共83页，2022年，5月20日，13点34分，星期四第三章信道容量2006-10-2340定义：具有一个输入和多个输出的信道称为广播信道。最简单的广播信道是单输入双输出广播信道，如图3.4.4所示：3.4多用户信道3.4.2 广播信道1221U1U2XY1U1U23.4.4对于一般的广播信道，很难用系统的方法求出其信息率可达区域，只在某些特殊的情况下，能够证明信道容量的容量界线是可以达到的。Y2第58页，共83页，2022年，5月20日，13点34分，星期四退化广播信道（串联）编码器信道1信道2图3.4.5 退化的广播信道模型第59页

26、，共83页，2022年，5月20日，13点34分，星期四构成马尔可夫链第60页，共83页，2022年，5月20日，13点34分，星期四不变，保持最大第61页，共83页，2022年，5月20日，13点34分，星期四3.4 多用户信道3.4.1 多址接入信道3.4.2 广播信道3.4.3 相关信源的多用户信道第62页，共83页，2022年，5月20日，13点34分，星期四第三章信道容量2006-10-2341定义：由多个单用户信道组成的并联信道，传送相互有关的多路息的信道。这种信道有多个输入和多个输出，且输入端各信源之间有关联关系。两个相关信源用两个独立信道传送的多用户信道模型。随着网络技术的发展

27、，多用户信息论在近代信息论中越来越为大家关注，不过许多问题还没有找到系统的解决方法。3.4多用户信道3.4.3 相关信源的多用户信道问题第63页，共83页，2022年，5月20日，13点34分，星期四模型13.4.3 相关信源的多用户信道信源编码器1编码器2信道1信道2译码器1译码器2相关信源多用户信道第64页，共83页，2022年，5月20日，13点34分，星期四第65页，共83页，2022年，5月20日，13点34分，星期四C2C1第66页，共83页，2022年，5月20日，13点34分，星期四E1C1D1x1x2边信息模型2RE1E2C1C2D1D2x1x2E0C0w第67页，共83页，

28、2022年，5月20日，13点34分，星期四W:公信息要求R0尽可能小，并且在W条件下，X1X2无关第68页，共83页，2022年，5月20日，13点34分，星期四3.1 信道的数学模型和分类3.2 单符号离散信道3.3 多符号离散信道3.4 多用户信道3.5 连续信道第69页，共83页，2022年，5月20日，13点34分，星期四连续信道：输入和输出随机变量都取值于连续集合的信道。信道传递特性：传递特性用条件转移概率密度函数p(y/x)表示。连续信道数学模型：X p(y/x) Y，如图所示：连续信道第70页，共83页，2022年，5月20日，13点34分，星期四连续随机变量之间的平均互信息满

29、足非负性，并可以证明，它是信源概率密度函数p(x)的上凸函数。连续信道的信道容量C：信源X等于某一概率密度函数p0(x)时，信道平均互信息的最大值，即一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。连续信道的信道容量第71页，共83页，2022年，5月20日，13点34分，星期四加性连续信道：噪声为连续随机变量N，且与X相互统计独立的信道。这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即Y=X+N。如图所示：加性连续信道的信道容量第72页，共83页，2022年，5月20日，13点34分，星期四加性连续信道的条件概率密度函数等于噪声的概率密度 p(y/x)=p(n)

30、，这进一步说明信道的传递概率是由于噪声熵所引起的。加性连续信道的条件熵等于噪声熵Hc(Y/X)= Hc(N) 。说明Hc(Y/X)是由噪声引起的，故称Hc(N)为噪声熵。 该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确定性，即噪声信源的熵，所以称它为噪声熵。加性连续信道的信道容量第73页，共83页，2022年，5月20日，13点34分，星期四加性连续信道的信道容量：加性噪声N和信源X相互统计独立，X的概率密度函数p(x)的变动不会引起噪声熵Hc(N)的改变，所以加性信道的容量C就是选择p(x) ，使输出熵Hc(Y)达到最大值，即上式说明：加性连续信道容量取决于噪声N（即信道

31、）的统计特性和输入随机变量X所受的限制条件。（对于不同的限制条件，连续随机变量具有不同的最大熵值。）第74页，共83页，2022年，5月20日，13点34分，星期四高斯加性连续信道： 高斯噪声为N，均值为0，方差为2 ，噪声功率为PN；信道的传递概率密度函数：p(y/x)=p(n)如果把x看成是一个常数，则上式就变成了随y变化的高斯函数，即当已知X=x时，Y也是一个高斯变量，均值为x，方差为2。高斯加性连续信道的信道容量第75页，共83页，2022年，5月20日，13点34分，星期四因此高斯加性信道的容量为第76页，共83页，2022年，5月20日，13点34分，星期四输入概率密度函数p(x)是什么样的函数时，才能使Y呈高斯分布？设限定输入平均功率PX，噪声平均功率PN=2，则输出随机变量Y的平均功率PY也是受限的。根