信息论基础第六章-限失真信源编码课件

1、 率失真函数的计算 率失真函数的定义 限失真信源编码定理 率失真函数的性质本章主要内容1（1）在理论上无失真无法解决 例：连续信源，输出的消息要用无穷多比特数描述才能无失真再现消息，而信道的带宽有限，所以，无法解决不失真问题。（2）在许多实际系统中失真是一定存在的 例：普通电话，数码率 64 Kbit/s ，要求高，则增加传输与处理数据的复杂性，为此进行压缩，产生失真。（3）在实际应用中，一定程度的失真是允许的 限失真信源编码的意义2 失真存在并不影响实际的信息传输，在允许的失真限度下，可以对信源输出的信息进行压缩，结果并不影响近似再现信源输出的信息。 问题：在允许的失真限度下，对信源输出的信

2、息进行压缩到什么程度，才能不影响近似再现信源输出的信息？ 信源无失真编码冗余度压缩，保熵 信源限失真编码熵压缩 熵压缩的下限值压缩不低于该值，即保证在允许失真下可以近似再现信源的信息。 下限值？3率失真函数的定义失真度（失真函数）定义失真矩阵D（失真度的矩阵表示）d (ui , vj)0 i =1，2，n , j =1，2，m 4率失真函数的定义平均失真度定义失真度计算举例5序列的失真函数：序列的失真度等于序列中对应的单符号的失真度之和。平均失真： 对单个符号的平均失真：当信源是独立同分布，信道是无记忆时，即可以验证6率失真函数R(D)的定义率失真函数定义信源信道信源编码器（试验信道）p(v|

3、u)无噪信道7率失真函数R(D)与信道容量C定义描述对象R(D) : 信源特性信源的可压缩性C : 信道特性信道的传输能力实际应用R(D) : 限失真信源编码（熵压缩编码）C : 最大限度的利用信道，信道编码8率失真函数R(D)与信道容量C的比较求解R(D)已知 p(u) 和 d(u,v) 求 I ( U ;V ) 极小值约束条件为C已知 p(v|u) ,求 I ( U ;V ) 极大值约束条件为9 例6.3设信源符号有2n种取值（a1，a2，a2n），而且是等概率的，即pi=1/2n，失真函数为 要做到不失真地传送，平均每个符号需要有log2n的信息率。 现允许平均失真D =1/2，编码后信

4、息率为多少？1011(1) R（D）的定义域（0,Dmax） (2) R（D）是D的下凸函数 RD1+(1)D2 R(D1)+(1)R(D2) 率失真函数R(D)的性质1213 14 15(4) 对于离散无记忆信源，有 RN（D）= N R1（D）率失真函数R(D)的性质(3) R（D）函数具有单调递减性和连续性 若 D1D2 ，有 R(D1)R(D2) 16率失真函数R(D)的性质17率失真函数R(D)的计算 已知 p(u) 和 d(u,v) ，求 I ( U ;V ) 极小值约束条件为18率失真函数R(D)的计算1920Y001XD1DD1D12122高斯信源的率失真函数R(D) 例2 若高斯信源U，它的概率密度为而失真函数为d (u , v)=(uv)2 。则此信源的率失真函数为23限失真信源编码定理 设离散无记忆信源的率失真函数为R（D），如果信源编码后平均每个信源符号的信息传输率R R（D），则一定存在一种信源编码 C，使编码后的平均失真度 。限失真信源编码定理 设离散无记忆信源的率失真函数为R（D），如果信源编码后平均每个信源符号的信息传输率R R（D），则一定存在一种信源编码 C，使编码后的平均失真度 。限失真信源编码定理（香农第三定理）无失真信源编码定理（香农第一定理