四章离散信道及其容量

信息论的旅含有多少信息第四章离散信道及其信道容5、有噪信道编信息论的旅含有多少信息第四章离散信道及其信道容5、有噪信道编4、限失真信源码本章研究什么主要内一：信道的数学模型及分二：离散无记忆信信道的主要研究内容信道建模（信道的统计特性描述信道传输信息的能力（信道容量在有噪信道中能否实现可靠传输三：离散无记忆信道的扩展信四：信五：信道容1.1信道的数学模1.2信道的分按输入/输出信号的幅度和时间特干XYP(y|X,PY|X,Y1信幅时信道离离离散信道（数字信道连离连连波形信道（模拟信道离连（理论和实用价值均很小1.2信道的分1.2信道的分按输入/输出之间的记忆性来划分1.2信道的分1.2信道的分按输入/输出之间的记忆性来划分根据信道的统计特性是否随时间改变可分为平稳信道（恒参信道、时不变信道，如卫星通信非平稳信道（随参信道、时变信道，如移动通信根据输入/输出的个数可分为单用户信道：一个输入一个输出单向通信根据信道的输入/输出是否是确定关系可分为有噪声信无噪声信二：离散无记忆信主要内一：信道的数学模型及分1.离散无记忆信道的数学二：离散无记忆信2.单符号离散信道的数学3.一些常用的概率关三：离散无记忆信道的扩展信4.信道疑义四：信5.平均互信五：信道容 离散无记忆信道的数学模 离散无记忆信道的数学模1)一般多符号2)离散无记忆信道干NXp(y|x)p(yn|xnY3)平稳信道（恒参信道p(y|x其中p(yb|xa)p(yb|xaXX1X2LXN，输入符号Aa,a,L,a 1 YY1Y2Bb1,b2,L,，输出符号p(y|x)p(yyLy|xxLx1 N1 2信 离散无记忆信道的数学模 离散无记忆信道的数学模以离散信道为例，看信道分类1）无噪信道：无干扰，X和Y有明确的3）有干扰有记忆信道yf(xnnynf(xnp(y|x) 离散无记忆信道的数学模 离散无记忆信道的数学模以离散信道为例，看信道分类1）无噪信道：无干扰，X和Y有明确的3）有干扰有记忆信道yf(xnnynf(xnp(y|x) yf(xnn2）有干扰无记忆信道p(y|x)p(y1y2...yN|x1x2...xNNp(yi|xii2.2单符号离散信道－数学模2.2单符号离散信道－数学模信道传递概率干p(bj|ai)P(Ybj|XaiXYi1,2,...,满足条件P(Y|X其中X为一维随机变量，输入符号集Aa1a2,Lar（1）0≤p(bj|ai)≤（2）p(bj|ai)jBb,b,L,bsY为一维随机变量，输出符号1 2.2单符号离散信道－数学模2.2单符号离散信道－数学模信道传递概率信道传递概率可以用信道矩阵来表示p(b1|p(b2|Lp(bs|MprLp1sp(b1|p(b2|a1)p(b2|a2)Lp(bs|Lp1sp(b|ap(b|ap(b|appPp(b1|a2p(bs|a2)p2sM22sP2Ms1 M p(b|ap(b|ap(b|ap(b|ap(b2|arp 1srrsp(b|app 1srrs2r3信2.2单符号离散信道－常见信2.2单符号离散信道－常见信例1：二元对称信道（BSC：binarysymmetricchannel）输入符号集A={0,1},输出符号集B={0,1}，r＝s＝2．传递概率例2：二元删除信输入符号集A={0,1}，符号输出集信道p11q信道转移概率ppp(0|0)pp(0|1)pp(1|0)pp(1|1)0000?2.2单符号离散信道－常见信2.2单符号离散信道－常见信例1：二元对称信道（BSC：binarysymmetricchannel）输入符号集A={0,1},输出符号集B={0,1}，r＝s＝2．传递概率例2：二元删除信输入符号集A={0,1}，符号输出集信道p11q信道转移概率ppp(0|0)pp(0|1)pp(1|0)pp(1|1)0000?110PpqPppp1111信道转移概率2.2单符号离散信道－常见信二元删除信输入：以正负方波信号分别代表“0”和例3：二元输入符号集A={0,1}，符号输出集用积信道I1p01p0?qpPq1ppp判断发送的信号是“0”还是－若I是正值且大于某一限值，判－若I是负值且小于某一限值，判－若I绝对值小，不能判断，删除qq111p信道转移概率 前提：信道干扰不是很严 2.3一些常用的概率关一些常用的概率关|b)p(aibj)p(ai)p(bj|ai)p(ai)p(bj|aip(a)p(Xai1,L,1)ii rrp(bp(aibj p(ai)p(bj|aijp(aibj)p(Xai,Ybj2)5)输出符号概p(a)p(b|a)p(b)p(a|b p(b)p(Ybj1,L,jj3)前向概率（即信道传递概率rrp(aibj)p(ai)p(bj|aip(b|a)p(Yb|Xa用矩阵形式表示 ji4)后向概率（又称后验概率p(ai|bj)p(Xai|Ybjp(b)p(ap(ap(b)p(a)4PYPXPY|作业2.4信道疑义度Xx1x24.1：设有一离散无记忆信源，概率空信道疑义度表示接收端收到信道输出的符号之后对道输入的符号仍然存在的平均不确定性P(X)0.6 它们通过一干扰信道，信道输出端的接收符号Yy1y2，信道传递概率如作业2.4信道疑义度Xx1x24.1：设有一离散无记忆信源，概率空信道疑义度表示接收端收到信道输出的符号之后对道输入的符号仍然存在的平均不确定性P(X)0.6 它们通过一干扰信道，信道输出端的接收符号Yy1y2，信道传递概率如图所示。求Y的概率分理想信道，H(X|Y)=0一般情况下，H(X|Y)H(X)H(X|YH(X)时，表示接收到输出变量Y后少y1y2噪声H(Y|X例1/1/1/0示。输入集X的概率分布下0?XY噪声112/1/43/P二元删除信X2.5平均互信例1/21/ 平均互信息I(X;Y)H(X)H(X|Y信源熵是信源输出的信息量，而真正被接收者收的信息量则是互信息P 1/32/YH(Y|X)p(x)H(Y|x)11 H(,20.93bit1H(4)ii2 3XP1/1/P3/ 1/81/0P 1/41/H(X|Y)H(XY)H(Y111 13H(,,,)H(,,)0.34bit884 885在加性噪声信道中，条件熵H(Y|X完全等于噪声信道2.5平均互信2.5平均互信I(X;Y) p(xy)m平均互信息的三种表达式I(X;Y)I(Y;X)H(X)H(XH(Y)H(Y|平均互信息的性质非负性、互易性、极值性、凸函数 iji1j1p(yj p(y|xn j2.5平均互信2.5平均互信I(X;Y) p(xy)m平均互信息的三种表达式I(X;Y)I(Y;X)H(X)H(XH(Y)H(Y|平均互信息的性质非负性、互易性、极值性、凸函数 iji1j1p(yj p(y|xn jp(x)p(|x)jnp(x)p(y|xi1 jI(X;Y)f[p(x),p(y|2.5平均互信息－定理2.5平均互信息－定理定理 对于固定信道，平均互信息I(X;Y)是信源概分布的上凸函数证明思路py|x保持不固定信道p2信道本身的特性决定pxθp1xθp2x2.5平均互信息－定理2.5平均互信息－定理p(yj|xirI[p1(x)]p1(xiyj)LI[p(x)]I[p(x)]I[p(xp1(yj12ii1jp(yj|xip(yj|xirrp(yj|xip1(xiyj)i1jp2(xiyj)rI[p2(x)]p2(xiyj)i1jLp(yp(yp2(yji112p(yj|xirp(yj|xip(xiyj)i1jrI[p(x)]p(xiyj)Lp(yp(yjji1jpxypxpy|xpx|xp(y p(xy)logp(yjrrpx p(xy)pyi 1 2 i1i2ip(yp(ypxpy|xpxpy|xi1ji1j121 2 62.5平均互信息－定理2.5平均互信息－定理rp(y1i定理 对于给定信源，平均互信息I(X;Y)是信道转概率的下凸函数。jp(xy)不等式：如p(yi1j1f是上凸函数，则E[f(X)]f[E(Xp(yrlogp(x2.5平均互信息－定理2.5平均互信息－定理rp(y1i定理 对于给定信源，平均互信息I(X;Y)是信道转概率的下凸函数。jp(xy)不等式：如p(yi1j1f是上凸函数，则E[f(X)]f[E(Xp(yrlogp(xyj证明思路固定信源px保持不1ip(yi1j1p(ysrlogp(xyjp1y|1iIp1y| p2y| p(yji1slogp(yj)py|xθp1y|xθp2y|xj采用同样的方法可以证明rp(yj2 p(xy)需证明：θIpy|xθIy|xIpy|xjp(y i1j1222.5平均互信息－BSC信道的2.5平均互信息－BSC信道的)例以二元对称信道为例，验证互信息的凸函数性。源的概率空间2)固定信道，当1时，H(pp1H()12I(X;Y2 X互信息取得最大值P(X 信道矩阵1H(P p012.5平均互信息－例2.5平均互信息－BSC信道的3)固定信源，当p1时，IX;Y)0，互信可以得出多少掷骰子的信息量2I(X;Y小值HH种理解：抛硬币的次数/币正面出现的次数p0172.5平均互信息－例2.5平均互信息－例2）IX;Y12120骰子点数是1,2,3,4：x112112X103 31骰子点数是5,6：2.5平均互信息－例2.5平均互信息－例2）IX;Y12120骰子点数是1,2,3,4：x112112X103 31骰子点数是5,6：4抛硬币正面出现的次数，用随机变量Y表示H(Y)=H(Y|X)=I(X;Y)=H(Y)–H(Y|X)=出现0次正面出现1次正面12120P1Y4出现2次正面：主要内3.1N次扩展信道－数学模N次扩展信道的数学模型一：信道的数学模型及分XXXLNY二：离散无记忆信YYN1 1 三：离散无记忆信道的扩展信Aa1,a2,L,X1,X2,L,Y1,Y2都取值于同一个符号四：信都取值于同一Bb1b2,L五：信道容(a,,L,a k1,L,r k1 h1,L,3.1N次扩展信道－数学模3.1N次扩展信道－数学模N次扩展信道的信道矩阵对于离散无记忆信道Np(|) p(1|p(2|1)p(1|r)p(|)p(bbKb|aaKa)p(b|aL hkkp(1|2p(s|2)Π Mp(|p(|p(|)1r2rrL其中L2sNrNM MkhrNsNLrN8p(h|k3.1N次扩展信道－例3.1N次扩展信道－例例、求二元对称信道的二次扩展信道量均取值于{0,1}，输入共有rN224种取值，输出共有sN224种取值。2采用同样的方法求出其他概率，得到信道矩khp(h|k11p22ppΠp(|)p(00|00)p(0|0)p(0|0)p2p1p(2|1)p(01|00)p(0|0)p(1|0)ppp3.1N次扩展信道－例3.1N次扩展信道－例例、求二元对称信道的二次扩展信道量均取值于{0,1}，输入共有rN224种取值，输出共有sN224种取值。2采用同样的方法求出其他概率，得到信道矩khp(h|k11p22ppΠp(|)p(00|00)p(0|0)p(0|0)p2p1p(2|1)p(01|00)p(0|0)p(1|0)ppp(3|1)p(10|00)p(1|0)p(0|0)p22ppppp(|)p(11|00)p(1|0)p(1|0)243.2N次扩展信道－平均互信定理N次扩展信道的IX;Y=IXN;YN=HXN-HXN|YN定理 若信道的输入和输出分别是N长序X和Y，且信道是无记忆的，I(X;Y)I(Xk;Ykkp|Np pkXklogph|k=HYN-HYN|XN ppkXhk=1,2,L,rNh=1,2,L,sN定理4.3.1－－证定理4.3.1－－证)logp(βh|αkI(X;Y)p(αNI(X;Y)I(Xk;Ykkp(βXhkr p(bj...bj|ai...aip(b)Kp(b p(a...ab...b) iN p(bj...bj p(bjKbjii1j ji1i1jj )Kp(bjNr|a)logLLp(a...ab...b)p(ab) iN;Y)ip(bKbkkip(bi1j1jk p(bj)Kp(bj p(b|ap(b|alogLLp(a...ab...brr p(aibj) j p(aibj)ip(bjKbj jp(bp(bi1ii1jjjp(bj)Kp(bj p(b|a)Kp(b|a logL Kb)Lj1 L p(a...abj...bj)p(bKbp(b)Kp(bji11iN1 jNjj9NI(X;Y)I(Xk;Yk k 定理4.3.1－－说定理4.3.1－－说N当信源也无记忆时，等号成立，即I(X;Y)IXk;Yk p(bj...bj)Lp(ai...ai定理4.3.1－－说定理4.3.1－－说N当信源也无记忆时，等号成立，即I(X;Y)IXk;Yk p(bj...bj)Lp(ai...aibj...bjLp(ai...ai)p(bj...bj|ai...aikNI(X;Y) I(;Y)H(Y)H(Y)Nk iik H(Y)信源有记忆时，Y的熵H(YN)－－信源无记忆时，Y的熵i1irrp(ai)p(bj|ai)Lp(ai)p(bj|ai)p(bj)Lp(bji信源有记忆时的输出熵：离散无记忆信道的N次扩展信道的平N个随机变量XX…，X单独通过离 无记忆信道的平均互信息之和N定理定理4.3.2－－说定理 若信道的输入和输出分别是N长序X和Y，且信源是无记忆的，I(X;Y)I(Xk;Ykk由推NI(Xk;Yk)I(X;Y)H(X|Y)H(X|Y) kNHX|Y有记忆信道的疑义HXN|YN)－－无记忆信道的疑义度 定理4.3.1和4.3.2讨定理4.3.1和4.3.2讨当信源、信道都是无记忆时，等号成立，相当于N个独对于（）号集，并且具有相同的概率分布。I(X1;Y1)I(X2;Y2)LI(XN;YN)I(X;YNN信道并联的情况I(X;Y)I(X;YkkXX1X2LXI(X;Y)I(Xk;Yk)NI(X;Yk X …X P(Y|XP(Y|XP(Y|X主要内信道的组一：信道的数学模型及分并行地传送，称这种信道为并联信道（积信道）。二：离散无记忆信道，称其为级连信道。三：离散无记忆信道的扩展信有时将两个以上信道联合起来，称为和信道主要内信道的组一：信道的数学模型及分并行地传送，称这种信道为并联信道（积信道）。二：离散无记忆信道，称其为级连信道。三：离散无记忆信道的扩展信有时将两个以上信道联合起来，称为和信道四：信五：信道容级联信道的平均互信息－定理级联信I(XY;Z)p(xiyjzkYXZp(z|xy ip(zkpbj|aipck|aibjBb,bL,bsAa1,a2,L,arCc1,c2,L,cl定理I(XY;Z)I(Y;ZI(XY;Z)I(X;Zp(z|xy)p(z|1p(z|xy)p(z|x)时,(1),(2)定理4.4.1－证定理4.4.1－说I(Y;Z)I(XY;Z)p(yz)logp(z|y)p(xyz)logp(z|该定理的物理含义p(z|xy)=p(z|y)：随机变量Z只决定于随机变量Y，与。p(xyz)logp(z|y)p(xyz)logp(z|I(XY;Z)，仅当随机变量序列（XYZ）是马氏链串联信道中，⼀般来说，（XYZ）可构成⻢p(xyz)logp(z|p(z|p(z|pz|xypz|当 的时候,p(z|logp(xy)p(z|y)logp(xy)p(z|y)loglog1 I(XY;Z)I(Y;Z级联信道的平均互信息－定理定理4.4.2－说定理4.4.2若随机变量X，Y，Z构成一个马尔XYZ是马尔可夫链，则ZYX也是马尔可夫px|yzpx|夫链，则I(X;Z)I(X;YI(X;Z)I(Y;ZI(X级联信道的平均互信息－定理定理4.4.2－说定理4.4.2若随机变量X，Y，Z构成一个马尔XYZ是马尔可夫链，则ZYX也是马尔可夫px|yzpx|夫链，则I(X;Z)I(X;YI(X;Z)I(Y;ZI(X;Z)I(X;Y同理可证证明等号成立的条件px|yzpx|ypx|z马尔pz|xypz|yIXYZIYZIXY;ZIX;ZI(X;Z)I(Y;Zpz|xypz|等号成立的条数据处理定级联信道－例例：级联信道如下图所示IX;Y和IXZYXZ010010pp111-1-输入概率空X01P(X 1/21/级联信道－例级联信道－例IX;Y1Hp1pP 21例：一级联信道如下图所示，求总的信道矩阵pXYZ1p22p1pPP1P221b1p2p1IX;Z1H2p1IX;W1H3p122p称信称信若XYZ主要内级联信道－例PZ|XPY|XPZ一：信道的数学模型及分1/302/1/01/1/1/2/主要内级联信道－例PZ|XPY|XPZ一：信道的数学模型及分1/302/1/01/1/1/2/二：离散无记忆信 1/21/三：离散无记忆信道的扩展信1/1/1/1/1/61/四：信等价信道为x五：信道容25.1信道容量的定信道容信道容量的定离散离散一般离散无记忆N次扩展信独立信源和信道匹信息传输率R：信道中平均每个符号所传送平均IX;Y)是接收到符号Y后平均获得的关于的信息量。所RI(X;Y(比特/的信息量为信息传输速率Rt：R1IX;Y)（比特秒tt5.1信道容量的定5.1信道容量的定在信道确定的情况下，RIX;Y)是信源概率分布PX信道容量信道容量与信源的概率分布无关是完全描述信道特性的参量是某一个确定的信道能够传输的最大信息量CmaxI(X;Y（比特/信道单位时间内平均传输的最大信息量P(X1maxI(X;YC（比特/秒相应的输入概率分布被称为最佳输入分布ttP(X5.1信道容量的定义－例5.1信道容量的定义－例例：求二元对称信道的信道容量PI(X;YI(X;Yp 1H(HH X1解：设信源概P(X p01I(X;Y)H(pp)H(105.25.1信道容量的定义－例5.1信道容量的定义－例例：求二元对称信道的信道容量PI(X;YI(X;Yp 1H(HH X1解：设信源概P(X p01I(X;Y)H(pp)H(105.2离散无噪信5.2离散无噪信无噪有损信道：多个输入对应一个输1)有噪无损信道：一个输入对应多个互不相交的输b损失噪声b1I(X;Y)H(X)H(X|Y)H(XCmaxI(X;Y)maxH(X)logI(X;Y)H(Y)H(Y|X)H(YCmaxI(X;Y)maxH(Y)logp2p4b2pp(xp(xp(xp(xa6H(Y|X)H(X|Y)a7b噪声损失35.2离散无噪信5.3离散对称信3)无噪无损信道：输入和输出一一对离散输入对称信道（行对称信道111b信道矩阵：每一行都是第一行元素的不同组121I(X;Y)H(X)H(YCmaxI(X;Y)maxH(X)log131316116H(Y|X)P1116p(xp(xH(Y|X)0,H(X|Y)0，rH(Y|X)H(X|Y)5.3离散对称信5.3离散对称信对称信离散输出对称信道（列对称信道每行都是第每列都是第信道矩阵：每一列都是第一列元素的不同组113121660.41131311131616131P312P0.66 63PP111 行对称信5.3离散对称信准对称信5.3离散对称信强对称信道（均匀信道不是5.3离散对称信5.3离散对称信对称信离散输出对称信道（列对称信道每行都是第每列都是第信道矩阵：每一列都是第一列元素的不同组113121660.41131311131616131P312P0.66 63PP111 行对称信5.3离散对称信准对称信5.3离散对称信强对称信道（均匀信道不是r=对于每个输入符号，正确传输概率都相错误传输概p均匀地分配r-1个符分为一些对称的子阵--划分子集只pr1Mprpr1rMprppLrPppPr rM PPp21Lp5.3离散对称信道－引离散对称信道－定理时，输出概率分布必为等概分布。定理，当信道输入概率分布为等概的况下达到信道容量p(a)i1,L,证明ir11p,,p,,L,p(b) p(a)p(b|a) |a)其s是信道矩阵中的任意一行中的元素1j jrriiH(Y|X)p(xiyj)logp(yj|xi证明Hj为信道矩阵第j列元素之和。而对称信道每一列是i,p(x p(y|x)logp(y|xi jjp(b)p(b)Lp(bij12s p(x)H(p,p,L,p)H(p,p,L,p''''i1s1si列对称信道，此引理亦成ClogsH(p,,p,,L,p,1 5.3离散对称信道－定理5.3离散对称信道－推推论均匀信道的信道容I(X;Y)H(Y)H(Y|X)H(Y)H(p,p,,L,p,1 ClogsH(p,p,L,p' CmaxI(X;Y1 p(xlogrH(p,p,L,pmaxH(Y)H(p,p,L,p, 1 r rpp(x5.3离散对称信道－定理5.3离散对称信道－推推论均匀信道的信道容I(X;Y)H(Y)H(Y|X)H(Y)H(p,p,,L,p,1 ClogsH(p,p,L,p' CmaxI(X;Y1 p(xlogrH(p,p,L,pmaxH(Y)H(p,p,L,p, 1 r rpp(xmaxH(Y)H(p,p,L,p, 1 logrplogppp(xrlogsH(p,p,L,p, 1 logrplogpplogpplog(rlogrH(p)plog(r 5.3离散对称信定，当信道输入概率分布为等概的情下达到信道容量p分析：H(Y|X)H(p1,p2,...,psrpyjpyj|xipxipyj|x11rrii思路：准对称信道=输入等概分布时，每个子块的输出等概率分Cmax{H(Y)}H(p1,p2,...,psp(5.3离散对称信5.3离散对称信1logrmaxHYmaxpy py LpymaxHYpi1Lpypypypr 1plog11log1L1logpislogpis p p 1r1r1rpii nlogrNklogk1logr1plogrL1plog 1log1logpL1p1plog1r第k个子矩阵所有元素之和logMp pp r1rNlogNlogr1 nClogrH(p,,p,,L,p,) Nklogk5.3离散对称信定理4.5.1实现离散准对称无记忆信道信道容量5.3离散对称信道－例5.4一般离散信1312161例：求对称信道的信道容CmaxIX;Y61P(X3Pr约束条件：p(ai)12求信道容量转化为，的条IX;Y)对信源概率分布PX解ClogsH(p,p,L,p,,15.3离散对称信道－例5.4一般离散信1312161例：求对称信道的信道容CmaxIX;Y61P(X3Pr约束条件：p(ai)12求信道容量转化为，的条IX;Y)对信源概率分布PX解ClogsH(p,p,L,p,,1 log3H(1,1,1230.126比特/符最佳输入概率分布为等概分5.4一般离散信道－信道容量求rp(bj|aiI(X;Y)p(ai)p(bj|ai)p(bi1jrssp(ai)p(bj|ai)logp(bj|ai)p(bj)logp(bj引入i jp(b)p(b|arp(bj)p(ai)p(bj|aii（为待定系数）p(a jiI(X;YFp(arI(X;Y) p(a(i1,..,p(a p(aip(b|a)logp(b|a)p(b|a)logp(b)p(b|a)logiiiI(X;Yp(b|ap(aip(b|a)logp(b5.4一般离散信道－信道容量求一般离散信道－信道容量求在某些条件下利用这个方法可以计算令p(b|ap(bj|ai)loge p(bjFp(a)p(b|ap(b|a)loge则p(bjp(bj|ai)logp(bj|ai)p(bj|ai)logp(bj)jjjlogp(b)p(bj|aip(bjrsr令p(a)p(b|a)p(a)(logejji ii r个方程，s个未知 Clogep(bj|ai)logp(bj|ai)p(bj|ai) i1,2,L, p(b|ap(b|a) log i1,2,L,p(brFI(X;Y)p(aii5.4一般离散信道－拉格朗日数乘分析：求条件极值－》拉格朗日数乘5.4一般离散信道－信道容量求5.4一般离散信道－信道容量求当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解提示1）采用上述方法求出信道容量以后，还必须解出p(a)，因为在采用拉格朗日数乘法时并没有加上p(ai)0jlogp(bj)p(bj)j2C1约束条件，因此算出 )可能是负值p(b)i5.4一般离散信道－信道容量求5.4一般离散信道－信道容量求当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解提示1）采用上述方法求出信道容量以后，还必须解出p(a)，因为在采用拉格朗日数乘法时并没有加上p(ai)0jlogp(bj)p(bj)j2C1约束条件，因此算出 )可能是负值p(b)i和最佳输入分布最佳输入分布的求p(bj)p(ai)p(bj|aii(i1,2,L,p(ai5.4一般离散信道－例5.4一般离散信道－信道容量求1410010总结：信道容量的求解过①由pyj|xi)jpyj|xi