第四章总结习题课件

失真度设离散无记忆信源为第四章总结7/21/20231对每一对(xi,yj)，指定一个非负函数d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m

称d(xi,yj)为单个符号的失真度/失真函数。表示信源发出一个符号xi，在接收端再现yj

所引起的误差或失真。7/21/20232平均失真度定义d(xi,yj)只能表示两个特定的具体符号xi和yj

之间的失真。平均失真度：平均失真度为失真度的数学期望，7/21/20233平均失真度意义是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(xi)、信道统计特性p(yj/xi)和失真度d(xi,yj)的函数。当p(xi)，p(yj/xi)和d(xi,yj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。如果信源和失真度一定，就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。7/21/20234允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度的上限值。率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi,yj)，在平均失真度的可能取值范围内。7/21/20235常用的失真函数第一种当a=1时称为汉明失真矩阵。第二种/平方误差失真矩阵：d(xi,yj)=(yj－xi)27/21/20236单符号信源和单符号信道的信息率失真函数在信源和失真度给定以后，PD是满足保真度准则的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj

/xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即这个最小值R(D)称为信息率失真函数，简称率失真函数。在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。7/21/20237求信息率失真函数的方法信息率失真函数R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。7/21/20238

对偶问题：信道容量和信息率失真函数的问题，都是求平均互信息极值问题。分三个方面说明：求极值问题平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)

的上凸函数，信道容量就是在固定信道情况下，求平均互信息极大值的问题，即I(X;Y)又是信道转移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)

的下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即7/21/20239特性信道容量C一旦求出后，就只与信道转移概率p(yj/xi)有关，反映信道特性，与信源特性无关；信息率失真函数R(D)一旦求出后，就只与信源概率分布p(xi)有关，反映信源特性，与信道特性无关。解决的问题信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。7/21/202310限失真信源编码定理：设一离散平稳无记忆信源的输出随机变量序列为X=(X1,X2,…,XL)，若该信源的信息率失真函数是R(D)，并选定有限的失真函数。对于任意允许平均失真度D≥0，和任意小的ε>0，当信息率R>R(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度；反之，若R<R(D)，则无论用什么编码方式，必有，即译码平均失真必大于允许失真。信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。7/21/202311研究信道编码和率失真函数的意义研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。

研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。7/21/202312习题17.1.设一个四元对称信源接收符号为V={0,1,2,3},其失真矩阵为求Dmax,Dmin及信源的R(D)函数，并作出其曲线（取4到5个点）7/21/202313习题17/21/202314习题27.2.若某无记忆信源接收符号为V={-1/2,+1/2},其失真矩阵为求Dmax,Dmin及达到它们的信道？7/21/202315习题27/21/2023167.3.某二元信源其失真矩阵为求该信源的Dmax,Dmin和R(D)函数。习题37/21/202317习题37/21/2023187.6.某二元信源其失真矩阵为求该信源的Dmax,Dmin和R(D)函数。习题47/21/202319习题47/21/202320第一步：求λi，由式(4.2.12)有7/21/202321第二步：求p(yj)，由式(4.2.11)有7/21/202322第三步：求p(yj/xi)，由式(4.2.10)有7/21/202323第四步：求D(S)，将上述结果代入式(4.2.14)有7/21/202324第五步：求R(S)，将上述结果代入式(4.2.15)有7/21/202325习题57.18.若有一信源每秒钟发出2.66个信源符号。将此信源的输出符号送入某二元无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。

(1)试问信源能否在此信道中进行无失真的传输。

(2)若此信源失真度测定为汉明失真，问允许信源平均失真多大时，此信源就可以在信道中传输。7/21/202326习题57/21/202327习题57/21/202328设信源，其失真度为汉明失真度，试问当允许平均失真度D=(1/2)p时，每一信源符号平均最少需要几个二进制符号？习题67/21/202329解：失真矩阵习题67/21/202330设离散无记