信息论与编码第五章(续2)

1、信息论与编码-限失真信源编码 限失真信源编码定理（香农第三定理）限失真信源编码定理（香农第三定理） 设R(D)为一离散无记忆平稳信源的信息率失真函数，并且有有限的失真测度。则对于任意的 和 ，当信息率RR(D)时，一定存在一种编码方法，其译码失真小于或等于 ，条件是编码的信源序列长度L足够长。 反之，如果RR(D)，则无论采用什么编码方法，其译码失真必大于D。0D0D信息论与编码-限失真信源编码 定理说明，在允许失真为D的条件下，信源最小可达的信息传输率是信源的R(D)。 保真度准则下的信源编码定理（限失真信源编码定理）是有失真信源压缩的理论基础。定理说明了在允许失真D确定后，总存在一种编码方

2、法，使编码的信息传输率大于R(D)且可以任意接近R(D)，而平均失真度小于允许失真D。而当信息传输率小于R(D)时，编码的平均失真将大于D。可见，R(D)是允许失真度为D的情况下信源信息压缩的下限值。信息论与编码-限失真信源编码比较香农第一定理和香农第三定理可知，当信源给定后，无失真信源压缩的极限值是信源熵H(X)，而有失真信源压缩的极限值是信息率失真函数R(D)。在给定D后，一般R(D)p(s)p(0)，译出一个“1”；第二步：此时，F(s)=p(0)=0.01，p(s)=p(1)=0.11， C-F(s)=0.1001010，p(s)p(0)=0.0011，又 译出一个“1”；”；，则译出

3、符号为“若”；，则译出符号为“若1)0()()(0)0()()(pspsFCpspsFC信息论与编码-限失真信源编码第三步：此时，F(s)=p(0)+p(10)=0.01+0.0011=0.0111，p(s)=0.1001，p(s)p(0)=0.001001，C-F(s)=0.011001，又译出一个“1”；第四步：此时，F(s)=0.0111+p(110)=0.10011，p(s)=0.011011，p(s)p(0)=0.00011011， C-F(s)=0.001111，又译出一个“1”；第五步：此时，F(s)=0.10011+p(1110)=0.10110011，p(s)=0.01010

4、001，p(s)p(0)=0.0001010001，信息论与编码-限失真信源编码 C-F(s)=0.00100001，又译出一个“1”；第六步：此时，F(s)=0.10110011+p(111110)=0.110000100011， p(s)=0.0011110011，p(s)p(0)=0.000011110011， C-F(s)=0.000100011101，又译出一个“1”；第七步：此时，F(s)=0.110000100011+p(1111110)=0.11010001011, p(s)=0.001011011001，p(s)p(0)=0.00001011011001，信息论与编码-限失真

5、信源编码 C-F(s)=0.00000010101，译出一个“0”；第八步：此时，F(s)=0.11010001011，p(s)=0.00001011011001，p(s)p(0)=0.0000001011011001， C-F(s)=0.00000010101，又译出一个“0”；第九步：此时，F(s)=0.11010001011，p(s)=0.0000001011011001， p(s)p(0)=0.000000001011011001，此时子区间的宽度已经小于C的最高分辨率，所信息论与编码-限失真信源编码以继续细分已无意义，译码停止。最后得到的码序列是“11111100”。由上面的分析可知，算术编码效率高，编译码速度比较快。另外，在算术编码中，所使用的概率p(0)、p(1)甚至可以不一定是真实的信源分布概率。可以证明，当信源的概率分布不确切知道时，可用其最佳估计值来进行编码，其平均码长仍近似以信源熵为界。信息论与编码-限失真信源编码因此，在某些情况下，例如图像压缩，要确切地得到信源的实际概率分布是很困难的，这是仍可以用上述的算术编码方法，只要设想的信源数学模型逼近信源的实际概率分布，编码方法仍很有效。算术编码有很多优点，例如：编码时所需的参数很少，不象哈夫曼编码那样需要一个很大的码表。常用来针对一些信源概率未知或非平稳情况。信息论与编码-限失真