第3章：信道容量

1、n信道的功能：信道的功能：以信号形式传输和存储信息。以信号形式传输和存储信息。n信道传输信息的速率：信道传输信息的速率：与物理信道本身的特性、载荷与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信息的信号形式和信源输出信号的统计特性有关。n信道容量研究内容：信道容量研究内容：在什么条件下，通过信道的信息在什么条件下，通过信道的信息量最大。量最大。n信道定义：信道定义：传输信息的媒介或通道。传输信息的媒介或通道。信道也可以看作信道也可以看作一种变换，把输入变换成输出。一种变换，把输入变换成输出。n信道的随机性：信道的随机性：由于干扰和噪声的存在，变换是随机由于干扰和噪声的存

2、在，变换是随机（概率）的。（概率）的。n信道的描述：信道的描述：用条件转移概率表示。用条件转移概率表示。第三章 信道容量本章内容n信道的数学模型及分类信道的数学模型及分类n单符号离散信道的信道容量单符号离散信道的信道容量n一般信道的数学模型一般信道的数学模型n信道的分类信道的分类n实际的信道实际的信道3.1 信道的数学模型及分类(1) 一般信道的数学模型n信息论对信道的研究：信息论对信道的研究：对具体物理信道抽象，建立与各对具体物理信道抽象，建立与各种通信系统相适应的信道模型，研究信息在这些模型信种通信系统相适应的信道模型，研究信息在这些模型信道上传输的普遍规律，指导通信系统的设计。道上传输的

3、普遍规律，指导通信系统的设计。n信道模型：信道模型：不研究信号在信道中传输的物理过程，把信不研究信号在信道中传输的物理过程，把信道模型看作黑匣子。道模型看作黑匣子。n数学模型的数学符号表示：数学模型的数学符号表示： X P(Y/X) Y(2) 信道的分类信道的分类 根据输入输出随机信号的特点分类根据输入输出随机信号的特点分类 根据输入输出随机变量个数的多少分类根据输入输出随机变量个数的多少分类 根据输入输出个数分类根据输入输出个数分类 根据信道上有无干扰分类根据信道上有无干扰分类 根据信道有无记忆特性分类根据信道有无记忆特性分类 根据输入输出随机信号的特点分类根据输入输出随机信号的特点分类n离

4、散信道：离散信道：输入和输出的随机序列的取值都是离散的信道。输入和输出的随机序列的取值都是离散的信道。n连续信道：连续信道：输入和输出的随机序列的取值都是连续的信道。输入和输出的随机序列的取值都是连续的信道。n半离散半离散半连续信道半连续信道：输入变量取离散值而输出变量取连输入变量取离散值而输出变量取连续值，或反之续值，或反之. 根据输入输出随机变量个数的多少分类根据输入输出随机变量个数的多少分类n单符号信道：单符号信道：输入和输出端都只用一个输入和输出端都只用一个随机变量随机变量来表示。来表示。n离散无记忆扩展信道离散无记忆扩展信道（多符号信道）（多符号信道）：输入和输出端用输入和输出端用随

5、机变量随机变量序列（随机矢量）序列（随机矢量）来表示。来表示。 根据输入输出个数分类根据输入输出个数分类n单用户信道：单用户信道：只有一个输入和一个输出的信道。只有一个输入和一个输出的信道。n多用户信道：多用户信道：有多个输入和多个输出的信道。有多个输入和多个输出的信道。(多元接入信道和广多元接入信道和广播信道播信道) 根据信道上有无干扰分类根据信道上有无干扰分类n有干扰信道：有干扰信道：存在干扰或噪声或两者都有的信道。存在干扰或噪声或两者都有的信道。实际信道一般实际信道一般都是有干扰信道。都是有干扰信道。n无干扰信道：无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信不存在干扰或噪声，

6、或干扰和噪声可忽略不计的信道。道。计算机和外存设备之间的信道可看作是无干扰信道。计算机和外存设备之间的信道可看作是无干扰信道。 根据信道有无记忆特性分类根据信道有无记忆特性分类n无记忆信道：无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。输出仅与当前输入有关，而与过去输入无关的信道。n有记忆信道：有记忆信道：信道输出不仅与当前输入有关，还与过去输入和信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。（或）过去输出有关。(3) 实际的信道实际的信道n实际信道的带宽总是有限的，所以输入和输出信号总可实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。随机序

7、列中每个随机变量的以分解成随机序列来研究。随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。取值可以是可数的离散值，也可以是不可数的连续值。n一个实际信道可同时具有多种属性。一个实际信道可同时具有多种属性。 最简单的信道是单符号离散信道。最简单的信道是单符号离散信道。n信道容量定义信道容量定义n几种特殊离散信道的信道容量几种特殊离散信道的信道容量n离散信道容量的一般计算方法离散信道容量的一般计算方法3.2 单符号离散信道的信道容量(1) 信道容量的定义信道容量的定义 单符号离散信道的数学模型单符号离散信道的数学模型 信道的信息传输率信道的信息传输率 信道容量信道容量 单符

8、号离散信道的数学模型单符号离散信道的数学模型a 信道模型信道模型b 信道统计特性信道统计特性a 信道模型信道模型n设输入：设输入：Xx1,x2,xi,xn 输出：输出：Yy1,y2,yj,ymn其信道模型：其信道模型：a 信道模型信道模型n用线图描述：用线图描述：b 信道统计特性信道统计特性n信道统计特性：信道统计特性：由信道转移概率描述。由信道转移概率描述。n信道转移概率（信道传递概率）：信道转移概率（信道传递概率）：条件概率条件概率 p(yj /xi)。n信道特性表示：信道特性表示：用信道转移概率矩阵，简称用信道转移概率矩阵，简称信道矩阵。信道矩阵。n反信道矩阵：反信道矩阵：由条件概率由条

9、件概率 p(xi /yj) 表示。表示。 )/()/()/()/()/()/()/()/()/(2122221112112121nmnnmmnmxypxypxypxypxypxypxypxypxypxxxyyy信信道道矩矩阵阵 )/()/()/()/()/()/()/()/()/(2122221112112121mnmmnnmnyxpyxpyxpyxpyxpyxpyxpyxpyxpyyyxxx反反信信道道矩矩阵阵 信道的信息传输率信道的信息传输率n研究信道的目的：研究信道的目的：讨论信道中平均每个符号传送的信息讨论信道中平均每个符号传送的信息量量（信道的信息传输率）（信道的信息传输率）。n信道

10、的信息传输率：信道的信息传输率：就是平均互信息：就是平均互信息： R=I(X;Y) H(X) H(X/Y)（比特（比特/符号）符号）平均互信息平均互信息 I(X;Y) 就是接收到符号就是接收到符号 Y 后平均后平均每个符号获得的关于每个符号获得的关于 X 的信息量的信息量 信道的信息传输率信道的信息传输率n如果信源熵为如果信源熵为 H(X)，希望在信道输出端接收的信息量就，希望在信道输出端接收的信息量就是是 H(X)，由于干扰的存在，一般只能接收到，由于干扰的存在，一般只能接收到 I(X;Y)。n输出端输出端 Y 往往只能获得关于输入往往只能获得关于输入 X 的部分信息，这是由的部分信息，这是

11、由于平均互信息性质决定的：于平均互信息性质决定的：I(X;Y)H(X)。nI(X;Y) 是信源无条件概率是信源无条件概率 p(xi) 和信道转移概率和信道转移概率 p(yj /xi) 的二元函数：的二元函数： nimjniijiijijinimjjijjiijijiniijijxypxpxypxypxpypxypyxpYXIxypxpyxpxypxpyp11121121)/()()/(log)/()()()/(log)();()/()()()/()()( 信道容量信道容量n当信道特性当信道特性 p(yj /xi) 固定后，固定后，I(X;Y)随信源概率分布随信源概率分布 p(xi) 的变化而变

12、化。的变化而变化。n调整调整 p(xi)，在接收端就能获得不同的信息量。由平均，在接收端就能获得不同的信息量。由平均互信息的性质已知，互信息的性质已知，I(X;Y) 是是 p(xi) 的上凸函数，因的上凸函数，因此总能找到一种概率分布此总能找到一种概率分布 p(xi)（即某一种信源），（即某一种信源），使使信道所能传送的信息率为最大。信道所能传送的信息率为最大。 nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();( 信道容量信道容量n信道容量信道容量 C：在信道中最大的信息传输速率，单位是比在信道中最大的信息传输速率，单位是比特特/信道符号

13、。信道符号。n单位时间的信道容量单位时间的信道容量 Ct：若信道平均传输一个符号需若信道平均传输一个符号需要要 t 秒钟，则单位时间的信道容量为：秒钟，则单位时间的信道容量为：n Ct 实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。（比比特特秒秒）);(max1)(YXItCixpt （比特信道符号）);(maxmax)()(YXIRCiixpxp结结 论论nC 和和 Ct 都是求平均互信息都是求平均互信息 I(X;Y) 的条件极大值问题，的条件极大值问题，当输入信源概率分布当输入信源概率分布 p(xi) 调整好以后，调整好以后， C 和和Ct 已与已与 p(xi) 无关，而仅仅

14、是信道转移概率的函数，只与信道无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；统计特性有关；n信道容量是完全信道容量是完全描述信道特性描述信道特性的参量；的参量；n信道容量是信道信道容量是信道能够传送的最大信息量能够传送的最大信息量。 离散无噪声信道的信道容量离散无噪声信道的信道容量 强对称离散信道的信道容量强对称离散信道的信道容量 对称离散信道的信道容量对称离散信道的信道容量 准对称离散信道的信道容量准对称离散信道的信道容量 (2) 几种特殊离散信道的信道容量几种特殊离散信道的信道容量 离散无噪信道的信道容量离散无噪信道的信道容量 a 具有一一对应关系的无噪信道具有一一对应关系的无噪

15、信道 b 具有扩展性能的无噪信道具有扩展性能的无噪信道 c 具有归并性能的无噪信道具有归并性能的无噪信道a 具有一一对应关系的无噪信道具有一一对应关系的无噪信道（无噪无损信道）（无噪无损信道）n信道线图信道线图a 具有一一对应关系的无噪信道具有一一对应关系的无噪信道（无噪无损信道）（无噪无损信道）n信道矩阵信道矩阵 00010010010010001000010000100001a 具有一一对应关系的无噪信道具有一一对应关系的无噪信道（无噪无损信道）（无噪无损信道）n因为信道矩阵中所有元素均是因为信道矩阵中所有元素均是 “1” 或或 “0”，X 和和 Y 有确有确定的对应关系：定的对应关系：n

16、已知已知 X 后后 Y 没有不确定性，没有不确定性，n收到收到 Y 后，后，X 也不存在不确定性，也不存在不确定性，nI(X;Y)=H(X)=H(Y)。n当信源呈等概率分布时，具有一一对应确定关系的无噪信道当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量达到信道容量（信源（信源 X 的最大熵）的最大熵）噪声熵：噪声熵：H(Y/X)=0损失熵损失熵/信道疑义度：信道疑义度：H(X/Y)=0符号）符号）（比特（比特/log)(max);(max2)()(nXHYXICiixpxp b 具有扩展性能的无噪信道具有扩展性能的无噪信道（有噪无损信道）（有噪无损信道）nn0损失熵损失熵/信

17、道疑义度：信道疑义度：H(X/Y)=0b 具有扩展性能的无噪信道具有扩展性能的无噪信道（有噪无损信道）（有噪无损信道）n其信道矩阵为：其信道矩阵为： )/()/(00000000)/()/()/(00000000)/()/()/(3837262524131211xypxypxypxypxypxypxypxypn虽然信道矩阵中的元素不全是虽然信道矩阵中的元素不全是“1”或或“0”，但由于每，但由于每列中只有一个非零元素：已知列中只有一个非零元素：已知 Y 后，后，X 不再有任何不不再有任何不确定度，确定度， n信道容量为：信道容量为：n此时输入端符号熵小于输出端符号熵，此时输入端符号熵小于输出端

18、符号熵，H(X) 0损失熵损失熵/信道疑义度：信道疑义度：H(X/Y)=0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(X) b 具有扩展性能的无噪信道具有扩展性能的无噪信道（有噪无损信道）（有噪无损信道）n熵之间的关系：熵之间的关系：c 具有归并性能的无噪信道具有归并性能的无噪信道（无噪有损信道）（无噪有损信道）nnm，输入，输入 X 的符号集个数大于输出的符号集个数大于输出 Y 的符号集个数：的符号集个数：噪声熵：噪声熵：H(Y/X)=0损失熵损失熵/信道疑义度：信道疑义度：H(X/Y)0 100010010001001n信道矩阵中的元素非信道矩阵中的元素非“0”即即

19、 “1” ，每行仅有一个非零元素，每行仅有一个非零元素，但每列的非零元素个数大于但每列的非零元素个数大于 1：n已知某一个已知某一个 xi 后，对应的后，对应的 yj 完全确定，完全确定，n收到某一个收到某一个 yj 后，对应的后，对应的 xi 不完全确定，不完全确定， 信道疑义度信道疑义度 H(X/Y)0。 n信道容量为：信道容量为：n这种信道的输入端符号熵大于输出端符号熵，这种信道的输入端符号熵大于输出端符号熵，H(X) H(Y)。符号）符号）（比特（比特/log)(max);(max2)()(mYHYXICiixpxp 噪声熵：噪声熵：H(Y/X)=0损失熵损失熵/信道疑义度：信道疑义度

20、：H(X/Y)0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(Y) n注意：注意：在求信道容量时，调整的始终是输入端的概率分在求信道容量时，调整的始终是输入端的概率分布布 p(xi) ，尽管信道容量式子中平均互信息，尽管信道容量式子中平均互信息 I(X;Y) 等等于输出端符号熵于输出端符号熵 H(Y)，但是在求极大值时调整的仍然，但是在求极大值时调整的仍然是输入端的概率分布是输入端的概率分布 p(xi) ，而不能用输出端的概率分，而不能用输出端的概率分布布 p(yj) 来代替。来代替。n熵之间的关系：熵之间的关系：举例举例：图图3.2.4a的信道容量是的信道容量是 log

21、23=1.585(比特比特/信道信道符号符号)，求要达到这一信道容量对应的信源概率分布。，求要达到这一信道容量对应的信源概率分布。q由信道矩阵得由信道矩阵得 p(y1)= p(x1)1+ p(x2)1 p(y2)= p(x3)1+ p(x4)1 p(y3)= p(x5)1q只要只要 p(y1)= p(y2)= p(y3)= (1/3)，H(Y) 达到最大达到最大值，即达到信道容量值，即达到信道容量 C。举例举例：q此时使此时使 p(y1)= p(y2)= p(y3)= (1/3) 的信源概率分布的信源概率分布p(xi),i=1,2,3,4,5 存在，但不是惟一的。存在，但不是惟一的。 q这种信

22、道的输入符号熵大于输出符号熵，即这种信道的输入符号熵大于输出符号熵，即 H(X) H(Y)。100010010001001结结 论论n无损信道的信道容量无损信道的信道容量 C 只决定于信道的输入符只决定于信道的输入符号数号数 n，与信源无关。，与信源无关。n无噪信道的信道容量无噪信道的信道容量 C 只决定于信道的输出符只决定于信道的输出符号数号数 m，与信源无关。，与信源无关。 强对称离散信道的信道容量强对称离散信道的信道容量 a 什么是强对称离散信道什么是强对称离散信道 b 强对称信道矩阵特点强对称信道矩阵特点 c 强对称离散信道的信道容量强对称离散信道的信道容量 d 输入是什么概率分布时达

23、到信道容量输入是什么概率分布时达到信道容量 e 二进制均匀信道二进制均匀信道a 什么是强对称离散信道什么是强对称离散信道n单符号离散信道的单符号离散信道的 X 和和 Y 取值均由取值均由 n 个不同符号组成，个不同符号组成，即即Xx1,x2,xi,xn，Yy1,y2,yj,ynn每每n信道矩阵为：信道矩阵为： pppPnpnpnpnpnpnpnn11111111)(1 npnpp为为：个个符符号号的的错错误误传传递递概概率率其其它它为为：个个符符号号的的正正确确传传递递概概率率，a 什么是强对称离散信道什么是强对称离散信道n这种信道称为这种信道称为强对称（均匀）强对称（均匀）信道。信道。n这类

24、信道中这类信道中：总的错误概率是：总的错误概率是 p，对称平均地分配给，对称平均地分配给(n1)个输出符号个输出符号.n信道矩阵中每行之和等于信道矩阵中每行之和等于 1，每列之和也等于，每列之和也等于 1。一般。一般信道矩阵中，每列之和不一定等于信道矩阵中，每列之和不一定等于 1。b 强对称信道矩阵特点强对称信道矩阵特点n强对称信道矩阵，它的每一行和每一强对称信道矩阵，它的每一行和每一 列都是同一集合各个元素的不同排列。列都是同一集合各个元素的不同排列。n由平均互信息定义：由平均互信息定义： 个个)1(11,nnpnpp njijijnininiiijninjijixypxypHHxpxypx

25、ypxpXYHXYHYHYXI121112)/(log)/()()/(log)/()()/()/()();(其其中中令令：其其中中条条件件熵熵：b 强对称信道矩阵特点强对称信道矩阵特点nHni 的意义：的意义：是固定是固定 X=xi 时对时对 Y 求和，相当于在信道求和，相当于在信道矩阵中选定了某一行，对该行上各列元素的自信息求加矩阵中选定了某一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每一行都是同一集合的不同权和。由于信道的对称性，每一行都是同一集合的不同排列，所以：排列，所以：n当当 xi 不同时，不同时，Hni 只是求和顺序不同，求和结果完全一只是求和顺序不同，求和结果完全

26、一样。所以样。所以Hni 与与 X 无关，是一个常数。无关，是一个常数。)log()1(log1212 npnpninppH njijijnixypxypH12)/(log)/(b 强对称信道矩阵特点强对称信道矩阵特点n因此：因此：)(max)()/()();()()/()(1nixpninininiiHYHCHYHXYHYHYXIHHxpXYHi 所以：所以：c 强对称离散信道的信道容量强对称离散信道的信道容量n 如何达到信道容量如何达到信道容量：求一种输入分布使求一种输入分布使 H(Y) 取最大值。取最大值。n 现已知输出符号集现已知输出符号集 Y 共有共有 n 个符号，则个符号，则 H(

27、Y)log2n。根据最。根据最大离散熵定理，只有当大离散熵定理，只有当 p(yj)= (1/n)，即输出端呈等概率分布时，即输出端呈等概率分布时， H(Y) 才达到最大值才达到最大值 log2n 。n 要获得这一最大值，可通过下面公式寻找相应的输入概率分布；要获得这一最大值，可通过下面公式寻找相应的输入概率分布；n 现一般情况下不一定存在一种输入符号的概率，使输出符号达到现一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率分布。但强对称离散信道存在。等概率分布。但强对称离散信道存在。njxypxpypniijij, 2 , 1)/()()(1 d 输入是什么概率分布时达到信道容量输入

28、是什么概率分布时达到信道容量n强对称离散信道的输入和输出之间概率关系可用矩阵表强对称离散信道的输入和输出之间概率关系可用矩阵表示为：示为： nnTnnnnTnnnnpnpnpnpnpnpnTnnnPPPPxpxpxppppxpxpxpPypypyp ，的的转转置置，对对于于对对称称矩矩阵阵是是其其中中)()()()()()()()()(211111112121d 输入是什么概率分布时达到信道容量输入是什么概率分布时达到信道容量n信道矩阵中的每一行都是由同一集合信道矩阵中的每一行都是由同一集合 中的诸元素的不同排列组成，所以保中的诸元素的不同排列组成，所以保 证了证了当输入符号当输入符号 X 是

29、等概率分布，是等概率分布， 即即 p(xi)=(1/n) 时，输出符号时，输出符号 Y 一定是等概率分布，一定是等概率分布，这时这时 H(Y)=log2n。相应的信道容量为：。相应的信道容量为： 个个)1(11,nnpnpp)/(logloglog,loglog12221122信道符号信道符号比特比特 npnpnpnipppnpHnHnCd 输入是什么概率分布时达到信道容量输入是什么概率分布时达到信道容量n结论：结论：当信道输入呈等概率分布时，强对称离散信道能当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量。够传输最大的平均信息量，即达到信道容量。 这个信道容量

30、只与信道的输出符号数这个信道容量只与信道的输出符号数 n 和相应信道矩和相应信道矩阵中的任一行矢量有关。阵中的任一行矢量有关。e 二进制均匀信道二进制均匀信道n当当 n=2 时的强对称离散信道就是二进制均匀信道。时的强对称离散信道就是二进制均匀信道。n二进制均匀信道的信道容量为：二进制均匀信道的信道容量为：n二进制均匀信道容量二进制均匀信道容量 曲线如图曲线如图3.2.6所示。所示。pppppHpHppppC2222loglog)()(1loglog1 其其中中： 对称离散信道的信道容量对称离散信道的信道容量 a 可排列性可排列性 b 对称离散信道定义对称离散信道定义 c 对称离散信道的信道容

31、量对称离散信道的信道容量a 可排列性可排列性n行可排列：行可排列：一个矩阵的每一行都是同一集合一个矩阵的每一行都是同一集合Qq1,q2,qm 中诸元素的不同排列。中诸元素的不同排列。n列可排列：列可排列：一个矩阵的每一列都是同一集合一个矩阵的每一列都是同一集合Pp1,p2,pn 中诸元素的不同排列。中诸元素的不同排列。n矩阵可排列（具有可排列性）：矩阵可排列（具有可排列性）：一个矩阵的行和列都是一个矩阵的行和列都是可排列的。可排列的。b 对称离散信道定义对称离散信道定义n 对称离散信道：对称离散信道：信道矩阵具有可排列性。信道矩阵具有可排列性。n 对称离散信道行、列集合的特点：对称离散信道行、

32、列集合的特点：n 当当 mn 时，时，P 是是 Q 的子集。的子集。n 当当 m=n 时，时，Q 和和 P 中的所有元素重合，中的所有元素重合，Q 和和 P 是是同一集合。同一集合。b 对称离散信道定义对称离散信道定义n举例：举例： 的子集的子集是是，对称信道对称信道QPnmPQP 61316161313131316161616131311 6131212161313121616131212是是同同一一集集合合和和，对对称称信信道道QPnmPb 对称离散信道定义对称离散信道定义n举例：举例： 7 . 01 . 02 . 01 . 02 . 07 . 0231613161616131313PP不

33、对称信道不对称信道c 对称离散信道的信道容量对称离散信道的信道容量的的元元素素为为信信道道矩矩阵阵中中的的任任一一行行其其中中，因因此此：，无无关关的的常常数数，故故也也是是与与输输入入所所以以素素的的不不同同排排列列，一一行行都都是是同同一一集集合合诸诸元元由由于于信信道道的的对对称称性性，每每mmmimimiqqqqqqHYHHYHYXIHXYHXH,),()()();()/(2121 mjijijmiminiiijnimjijixypxypHHxpYHxypxypxpYHXYHYHYXI121211)/(log)/()()()/(log)/()()()/()();(其其中中：c 对称离散

34、信道的信道容量对称离散信道的信道容量n对称离散信道的信道容量与强对称的形式相同，只是这对称离散信道的信道容量与强对称的形式相同，只是这里里 mn。n由于对称信道的特点，其信道矩阵中每一列都是由同一由于对称信道的特点，其信道矩阵中每一列都是由同一集合中的诸元素的不同排列组成，所以保证了当集合中的诸元素的不同排列组成，所以保证了当 X 等等概率分布时，概率分布时，Y 也是等概率分布，从而使也是等概率分布，从而使 Y 的熵达到的熵达到最大值最大值 log2m，即信道容量。，即信道容量。),(log)(max212)(mmixpqqqHmHYHCi 信道容量为：信道容量为：n准对称离散信道定义：准对称

35、离散信道定义：一个一个 n 行行 m 列单符号离散信道矩列单符号离散信道矩阵阵 P 的行可排列，列不可排列。但是矩阵中的的行可排列，列不可排列。但是矩阵中的 m 列可列可分成分成 S 个不相交的子集，各子集分别有个不相交的子集，各子集分别有m1,m2,ms个元个元素素(m1+m2+ms=m)，由，由 n 行行 mk(k=1,2,s) 列组列组成的子矩阵成的子矩阵 Pk 具有可排列性。具有可排列性。n举例举例 两个子矩阵均是可排列的，故信道两个子矩阵均是可排列的，故信道 P 是准对称信道。是准对称信道。 8181818122141412118181214181814121PPP子子矩矩阵阵相相交

36、交的的子子集集，构构成成两两个个两两列列和和后后两两列列分分成成互互不不阵阵的的前前具具有有可可排排列列性性，但但把把矩矩行行具具有有可可排排列列性性，列列不不 准对称离散信道的信道容量准对称离散信道的信道容量 n准对称离散信道容量为：准对称离散信道容量为：n可以证明：可以证明：实现离散准对称无记忆信道信道容量的输入实现离散准对称无记忆信道信道容量的输入符号集的分布为等概率分布。符号集的分布为等概率分布。),()(log)(2121mkkskkqqqHypypmC skmypypkypkMypjkkkj,2,1)()()()( 个个子子集集中中概概率率的的平平均均值值为为第第其其中中81818

37、1812P 8181214181814121P214141211Pn举例举例n已知准对称信道矩阵已知准对称信道矩阵 ，求其信，求其信道容量道容量 81818121/243212212222 mxypxpmxypxpmypypjijiiMypijiiMypjjj83412121/121211211111 mxypxpmxypxpmypypjijiiMypijiiMypjjjsignbitqqqHypypmCmkskkk/06125. 0,log-, 211 如何计算离散信道容量如何计算离散信道容量 用拉格朗日乘子法求信道容量用拉格朗日乘子法求信道容量 一般离散信道容量计算步骤一般离散信道容量计算

38、步骤(3) 离散信道容量的一般计算方法离散信道容量的一般计算方法 如何计算离散信道容量如何计算离散信道容量n由于由于 I(X;Y) 是输入概率分布是输入概率分布 p(xi) 的上凸函数，所以极大值一定存在。的上凸函数，所以极大值一定存在。n因为因为 I(X;Y) 是是 n 个变量个变量 p(x1),p(x2),p(xn) 的多元函数，并满足的多元函数，并满足 ，所以可用拉各朗日乘子法计算这个条件极值。，所以可用拉各朗日乘子法计算这个条件极值。 niixp11)(对一般离散信道求信道容量，就是在固定信道条件下，对所有可对一般离散信道求信道容量，就是在固定信道条件下，对所有可能的输入概率分布能的输

39、入概率分布 p(xi) ，求平均互信息的极大值。，求平均互信息的极大值。 nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();( 用拉各朗日乘子法求信道容量用拉各朗日乘子法求信道容量n引进一个新函数引进一个新函数 其中其中为拉各朗日乘子，解方程组：为拉各朗日乘子，解方程组： 可得一般信道容量可得一般信道容量 C。)20. 2 . 3(1)();(1 niixpYXI )21. 2 . 3(0)(1)();()(1 iniiixpxpYXIxp )/()()()22. 2 . 3()/()()(1ijijniijijxypxdpydpxypxp

40、yp有由n将将 I(X;Y) 的表达式代入的表达式代入(3.2.21)得：得：0)(1)()/(log)/()()(log)(112112 ininiiijmjijimjjjxpxpxypxypxpypyp mjijijmjijjijxypxypexypypxyp121220)/(log)/(log)/()(log)/( 求求偏偏导导得得： nimjjijjiypxypyxpYXI112)()/(log)();(n整理得：整理得：)24. 2 . 3(log)(log()()/(log)/()(212211 eexpypxypxypxpniijijijnimji)23. 2 . 3(log)(

41、)/(log)/(122 mjjijijeypxypxyp 并并求求和和：上上式式两两边边乘乘以以其其中中：)(1)/(1imjijxpxyp n上式左边为平均互信息的极大值，即：上式左边为平均互信息的极大值，即：)28. 2 . 3(2)()26. 2 . 3()27. 2 . 3(Cjjjyp 得得：，再再由由和和信信道道矩矩阵阵求求出出由由得得：代代入入式式)23. 2 . 3()25. 2 . 3()25. 2 . 3(log2 eC mjjijmjjijmjijijCypxypCypxypxypxyp121212)()log/()(log)/()/(log)/()26. 2 . 3(

42、)(log2Cypjj 令令：)27. 2 . 3()/()/(log)/(112 mjjijmjijijxypxypxyp 则则：)29. 2 . 3(2log22, 122)(12111 mjmjCmjCmjjjjjCypj 求求出出信信道道容容量量：求求和和得得：上上式式两两边边对对)22. 2 . 3()/()()()(1 niijijixypxpypxp求求：)28. 2 . 3(2)(Cjjyp求： 一般离散信道容量计算步骤一般离散信道容量计算步骤n一般离散信道容量的计算步骤总结如下：一般离散信道容量的计算步骤总结如下：。求求由由；，求，求由由；，求，求由由；，求，求由由)(, )

43、/()()()(2)(2log)/(log)/()/(112121iniijijjCjmjjmjijijmjjijxpxypxpypypypCCxypxypxypjj 注意：n 在第步信道容量在第步信道容量 C 被求出后，计算并没有结束，必被求出后，计算并没有结束，必须解出相应的须解出相应的 p(xi) ，并确认所有的，并确认所有的 p(xi)0 时，所求时，所求的的 C 才存在。才存在。n 在对在对 I(X;Y) 求偏导时，仅限制求偏导时，仅限制 ，并，并没有限制没有限制 p(xi)0 ，所以求出的，所以求出的 p(xi) 有可能为负值，有可能为负值，此时此时 C 就不存在，必须对就不存在，

44、必须对 p(xi) 进行调整，再重新求解进行调整，再重新求解 C。n 现在一般采用计算机，运用迭代算法求解。现在一般采用计算机，运用迭代算法求解。 niixp11)(注意：n 在第步信道容量在第步信道容量 C 被求出后，计算并没有结束，必被求出后，计算并没有结束，必须解出相应的须解出相应的 p(xi) ，并确认所有的，并确认所有的 p(xi)0 时，所求时，所求的的 C 才存在。才存在。n 在对在对 I(X;Y) 求偏导时，仅限制求偏导时，仅限制 ，并，并没有限制没有限制 p(xi)0 ，所以求出的，所以求出的 p(xi) 有可能为负值，有可能为负值，此时此时 C 就不存在，必须对就不存在，必

45、须对 p(xi) 进行调整，再重新求解进行调整，再重新求解 C。n 现在一般采用计算机，运用迭代算法求解。现在一般采用计算机，运用迭代算法求解。 niixp11)(注意：n 在第步信道容量在第步信道容量 C 被求出后，计算并没有结束，必被求出后，计算并没有结束，必须解出相应的须解出相应的 p(xi) ，并确认所有的，并确认所有的 p(xi)0 时，所求时，所求的的 C 才存在。才存在。n 在对在对 I(X;Y) 求偏导时，仅限制求偏导时，仅限制 ，并，并没有限制没有限制 p(xi)0 ，所以求出的，所以求出的 p(xi) 有可能为负值，有可能为负值，此时此时 C 就不存在，必须对就不存在，必须

46、对 p(xi) 进行调整，再重新求解进行调整，再重新求解 C。n 现在一般采用计算机，运用迭代算法求解。现在一般采用计算机，运用迭代算法求解。 niixp11)(例3.2.2：有一信道矩阵 ，求信道容量 C。 101 1222222211121)1 (log)1 (loglog1)1 (log)1 (log)1 (0)/(log)/()/(，有有：由由mjijijmjjijxypxypxyp 1212)1(1log2logCCmjj，有有由由111211)1 (1)1 ()(1)(,)1 (112)(22)(1ypypypypCCjj有：，由因为因为是条件转移概率是条件转移概率 p(y1/x2

47、) ，所以，所以 01，从而有：，从而有：p(x1)0， p(x2) 0 ，保证了，保证了 C 的存在。的存在。 11211111222111)1(1)1()(,)1(1)1()()1)()(,)()()(, )/()()(xpxpxpypxpxpypxypxpypniijij解得：解得：由由若信道的输入和输出随机序列中的每一个随机变量都取值若信道的输入和输出随机序列中的每一个随机变量都取值于同一符号集，并且随机序列中每个随机变量都是统计独于同一符号集，并且随机序列中每个随机变量都是统计独立的，这种信道称为离散无记忆多符号信道。立的，这种信道称为离散无记忆多符号信道。若信道的输入和输出随机序列

48、中的每一个随机变量可以取若信道的输入和输出随机序列中的每一个随机变量可以取值于不同的输入符号集或输出符号集，并且随机序列中每值于不同的输入符号集或输出符号集，并且随机序列中每个随机变量都是统计独立的，这种信道称为一般离散无记个随机变量都是统计独立的，这种信道称为一般离散无记忆信道。忆信道。；，其中的一个发出序列设信源NlxxxXXXXXXnlNN2, 1,2121P(YN/XN)NNXXXX21NNYYYY21；，其中的一个接收序列信宿NlyyyYYYYYYmlNN2, 1,2121这种信道相当于单符号离散信道在这种信道相当于单符号离散信道在N个不同的时刻连续运个不同的时刻连续运用了用了N次，

49、所以也可以称为离散无记忆单符号次，所以也可以称为离散无记忆单符号N次扩展信次扩展信道。道。 NlllNNNNNNXYpXYpXYpXYpXXXYYYpXYp122112121/离散无记忆多符号信道的传递概率等于各单位时刻相应的离散无记忆多符号信道的传递概率等于各单位时刻相应的单符号无记忆信道的传递概率的连乘。单符号无记忆信道的传递概率的连乘。 NNNNNNNNXYHYHYXHXHYXI/;离散无记忆多符号信道的平均互信息离散无记忆多符号信道的平均互信息 NlllNNNlllNNNNNNXYHXYHYXHYXHYYYHYHXXXHXH112121/其中因为信道的输入序列中的随机变量取自同一信源符

50、号集，因为信道的输入序列中的随机变量取自同一信源符号集，且输出序列中的随机变量都取同一信宿符号集，所有的信且输出序列中的随机变量都取同一信宿符号集，所有的信源符号通过相同的信道传送到输出端，因此满足源符号通过相同的信道传送到输出端，因此满足YXIYXIYXIYXINN;2211YXNIYXIYXINlllNN;1即信源无记忆时，无记忆信道的即信源无记忆时，无记忆信道的N次扩展信道的平均互信次扩展信道的平均互信息等于原来信道的平均互信息的息等于原来信道的平均互信息的N倍。倍。离散无记忆多符号信道的信道容量离散无记忆多符号信道的信道容量 NCCYXIYXIYXICNllNlxpNlllxpNNxp

51、N111;max;max;max离散无记忆多符号信道的信道容量等于原离散单符号信道离散无记忆多符号信道的信道容量等于原离散单符号信道的信道容量的的信道容量的N倍。倍。信道1P(Y/X)信道2P(Z/XY)XYZ在一些实际通信系统中，常常出现串联信道。例如在一些实际通信系统中，常常出现串联信道。例如n微波中继接力通信就是一种串联信道。微波中继接力通信就是一种串联信道。n信宿收到数据后再进行数据处理，数据处理系统可看成一信宿收到数据后再进行数据处理，数据处理系统可看成一种信道，它与前面传输数据的信道构成串联信道。种信道，它与前面传输数据的信道构成串联信道。信道P(Z/X)XZnxxxX,21nyyyY,21nzzzZ,21信道信道1的输出的输出Y与其输入与其输入X统计相关，信道统计相关，信道2的输出的输出Z与其与其输入输入Y统计相关，一般来讲，统计相关，一般来讲，Z与与X统计相关。统计相关。级联的结构决定了级联的结构决定了Z的取值在给定的取值在给定Y以后与以后与X将不再有关将不再有关在概率论中称在概率论中称XYZ的