第5章信道信源编码定理

1、通用通信系统其中：编码器包括信源编码和信道编码两个部分； 译码器包括信道译码和信源译码两个部分； 信道为有噪信道。信道编码给定信道输入符号集ax；给定信道输出符号集ay；对每个输入符号x，存在一个非负实数b(x)，为传输x的代价。定义n阶容量代价函数：信道的容量代价函数：信道编码定理（香农第二定理）： 一般来说，抗干扰能与信息传输率二者相互矛盾。然而编码定理已从理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。 信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余，提高编码效率。信源编

2、码信源编码给定信源符号集au；信宿符号集av；失真测度d(u,v)；k阶率失真函数：信源的率失真函数：信源编码定理（香农第三定理） 香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在一下两方面的问题： 1、符合实际信源的r(d)函数的计算相当困难。 1）需要对实际信源的统计特性有确切的描述2）需要对符合主客观实际的失真给予正确的描述3）即使满足了前两条，r(d)的计算也比较困难2、即使求得很好的r(d)函数，还需要研究采取何种编码方法才能达到极限值r(d)。例：01( )1/21/2up u 要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信

3、源的信息输出率为r=h=1。若允许失真存在，并定义失真函数为汉明失真，即0( , )1ijijuvd u vuv可以设想这样一种信源编码：121340000010000010100uuvuu562781111101111101011uuvuu无噪无损信道传输00001111这种编码方法，可以看成是一种特殊的试验信道1,( )(/)0( )jjijijivc vf up vuvf u1( )( ) ,( )ud cp u d u f un1 1101 1 101 1 13 84 信息率为1/3，而平均失真为1/4，根据香农第三定理，若允许失真d=1/4时，总可以找到一种编码，使信息输出率达到极限

4、r(1/4)11( )1( )0.18944rh 当信源与信道相连接时，其信息传输率并未当信源与信道相连接时，其信息传输率并未达到最大达到最大. 希望能使信息传输率越大越好，能达到或尽希望能使信息传输率越大越好，能达到或尽可能接近于信道容量可能接近于信道容量, 信息传输率接近于信道信息传输率接近于信道容量只有在信源取最佳分布时才能实现。容量只有在信源取最佳分布时才能实现。 由此可见，由此可见，。当达到信道容。当达到信道容量时，我们称量时，我们称信源与信道达到匹配，否则认，否则认为信道有剩余。为信道有剩余。 );(yxic cyxic);( rxhlog)(1某离散无记忆信源通过一个无噪无损二元

5、离散信道进行传输。对二元离散信道的信道容量为：c1(比特信道符号)对本信源的信息熵为 h(x)1.937(比特信源符号)要使信源在此二元信道中传输，必须对x进行二元编码：123456()1/21/41/81/161/321/32xxxxxxxp x因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。12345612000001010011100101000000010010001101000101xxxxxxcc1c对于码1()0.6463h xr (比特信道符号)2()0.4844h xr 2c对于码(比特信道符号)信道信源编码定理 从香农第一、第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信系统设计成两部分的组合，即信源编码和信道编码两部分，首先通过信源编码，用尽可能少的信道符号来表达信源，尽可能减少编码后信源的数据的剩余率，然后针对信道，对信源编码后的数据独立的进行信道编码，适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰。 定理7.3 （信息传输定理）离散无记忆信源的s的信息率失真函数为r(d)，离散无记忆信道的信道容量c，若满足 r(d)c 则信源输出的信源序列能在此信道输出端重现，其失真小于等于d。 定理7.4 离散无记忆信源的s的信息率失真函数为r(