信道失真率函数课件

1、信道失真率函数课件1 第四章信息率失真函数 4.1基本概念基本概念 4.2离散信源的信息率失真函数离散信源的信息率失真函数 4.3信源的信息率失真函数信源的信息率失真函数 4.4保真度准则下的信源编码定理保真度准则下的信源编码定理 信道失真率函数课件2 4.1基本概念 4.1.1失真函数与平均失真度失真函数与平均失真度 4.1.2信息率失真函数的定义信息率失真函数的定义 4.1.3信息率失真函数的性质信息率失真函数的性质 率失真函数的定义域率失真函数的定义域 率失真函数对允许平均失真度的下凸性率失真函数对允许平均失真度的下凸性 率失真函数的单调递减和连续性率失真函数的单调递减和连续性 信道失真

2、率函数课件3 引入限失真的必要性 失真在传输中是不可避免的失真在传输中是不可避免的 连续信源的绝对熵为无限大，若要无失真地进行传输，连续信源的绝对熵为无限大，若要无失真地进行传输， 则要求信息传输率也为无限大，然而现实世界中信道则要求信息传输率也为无限大，然而现实世界中信道 带宽总是有限的，信道容量总有一定限度，因此不可带宽总是有限的，信道容量总有一定限度，因此不可 能实现完全无失真的信源信息的传输能实现完全无失真的信源信息的传输 另一方面，从无失真信源编码考虑，由于要求码字包另一方面，从无失真信源编码考虑，由于要求码字包 含的信息量不小于信源的熵，所以对于连续信源，要含的信息量不小于信源的熵

3、，所以对于连续信源，要 用无限多个比特才能完全无失真地来描述，这是不现用无限多个比特才能完全无失真地来描述，这是不现 实的实的 即使是离散信源，若要处理的信息量很大，采用无失即使是离散信源，若要处理的信息量很大，采用无失 真编码将使得信息的存储和传输成本非常高，而且在真编码将使得信息的存储和传输成本非常高，而且在 很多场合，过高的信息传输率是不必要的很多场合，过高的信息传输率是不必要的 信道失真率函数课件4 引入限失真的必要性(续) 信宿只具有有限的的分辨能力与灵敏度，超过分辨能力信宿只具有有限的的分辨能力与灵敏度，超过分辨能力 与灵敏度的信息传送过程是毫无意义的与灵敏度的信息传送过程是毫无意

4、义的 例例1：由于人耳能够接收的带宽和分辨率是有限的，：由于人耳能够接收的带宽和分辨率是有限的， 因此对数字音频传输的时候，就允许有一定的失真，因此对数字音频传输的时候，就允许有一定的失真， 并且对欣赏音乐没有太大的影响并且对欣赏音乐没有太大的影响 例例2：对于数字电视，由于人的视觉系统的分辨率有：对于数字电视，由于人的视觉系统的分辨率有 限，并且对低频比较敏感，对高频不太敏感，因此也限，并且对低频比较敏感，对高频不太敏感，因此也 可以损失部分高频分量可以损失部分高频分量 例例3：放映电影，理论上要完全无失真地表现出一个：放映电影，理论上要完全无失真地表现出一个 连续动作，需要用无穷多个静态画

5、面连续放映，但利连续动作，需要用无穷多个静态画面连续放映，但利 用人眼的用人眼的“视觉暂留性视觉暂留性”，只要每秒钟连续放映，只要每秒钟连续放映24幅幅 静态画面，就几乎让观众感觉不到失真的存在静态画面，就几乎让观众感觉不到失真的存在 信道失真率函数课件5 引入限失真的必要性(续) 如果允许信息有某些失真，就可以大大降低信息传输速率，如果允许信息有某些失真，就可以大大降低信息传输速率， 从而降低通信成本从而降低通信成本 应用种类 象素数/行 行数/帧 信息传输率(码率)bps 压缩前压缩后 HDTV19201080 1.18 G2025 M 普通电视普通电视 720480167 M 48 M

6、会议电视会议电视 352288 36.5 M 1.52 M 电视电话电视电话128112 5.2 M 56 K 在允许一定程度失真的条件下，怎样用尽可能少的码符号来在允许一定程度失真的条件下，怎样用尽可能少的码符号来 表达信源的信息，也就是信源熵所能压缩的极限或者说编码表达信源的信息，也就是信源熵所能压缩的极限或者说编码 后信息传输率压缩的极限值是多少？后信息传输率压缩的极限值是多少？ 保真度准则下的离散信源编码定理：在允许一定失真度：在允许一定失真度 D 的情的情 况下，信源输出的信息传输率可压缩到极限值况下，信源输出的信息传输率可压缩到极限值信息率失信息率失 真函数真函数 R ( D )

7、信道失真率函数课件6 失真函数 由于本章学习内容只涉及信源编码问题，因此可以把从信源由于本章学习内容只涉及信源编码问题，因此可以把从信源 编码器到信源译码器之间的所有部件合在一起等效为一个有编码器到信源译码器之间的所有部件合在一起等效为一个有 噪声的试验信道噪声的试验信道 试验信道试验信道 信源信源 X 信源信源 译码器译码器 信源信源 编码器编码器 无损无噪信道无损无噪信道信宿信宿 Y 12 12 : ()()() n Xn xxxX Pp xp xp x 信信道道输输入入 12 12 ()()() m Ym yyyY Pp yp yp y 信信道道输输出出： 11211 12222 | 1

8、2 (|)(|)(|) (|)(|)(|) (|)(|)(|) m m Y X nnmn p yxp yxp yx p yxp yxp yx p yxp yxp yx P 信信道道转转移移概概率率矩矩阵阵： nm 信道失真率函数课件7 对每一对对每一对 ( xi , yj )，指定一个，指定一个非负的函数的函数 失真函数(续) 11121 21222 12 (,)(,)(,) (,)(,)(,) (,)(,)(,) m m nnnm d xyd xyd xy d xyd xyd xy d xyd xyd xy D 1,2, (,)0 1,2, ij in d xy jm 称为单个符号的称为单个

9、符号的失真度或或失真函数，表示离散信源发出一个，表示离散信源发出一个 符号符号 xi 而在接收端再现成而在接收端再现成 yj 所引起的误差和失真。所引起的误差和失真。 上述非负的失真函数共有上述非负的失真函数共有 n m 个，可以整体表示成个，可以整体表示成失真矩阵 由于信源发出的符号由于信源发出的符号 X 和信宿收到和信宿收到( (再现再现) )的符的符号号 Y 均是随机均是随机 变量，因此单个符号的失真函数变量，因此单个符号的失真函数 d ( xi, yj ) 也是随机变量也是随机变量( (的一次的一次 实现实现) ) (,)0 (,)0 ij ij d xy d xy 无无失失真真 有有

10、失失真真 信道失真率函数课件8 常用的失真函数 失真函数是根据人们的实际需要和失真引起的损失、风险、失真函数是根据人们的实际需要和失真引起的损失、风险、 主观感觉上的差别等因素人为规定的，可以有多种形式主观感觉上的差别等因素人为规定的，可以有多种形式 2 (,)() ijji d xyyx 平方误差失真函数平方误差失真函数 (,)| ijji d xyyx 绝对误差失真函数绝对误差失真函数 (,)| | ijjii d xyyxx 相对误差失真函数相对误差失真函数 误码失真函数误码失真函数 0 (,) ij ij d xy ij 平方失真和绝对失真只与平方失真和绝对失真只与 ( yj xi )

11、 有关，而不是分别与有关，而不是分别与 xi , yj 有有 关，在数学处理上比较方便；相对失真与主观特性比较匹配，关，在数学处理上比较方便；相对失真与主观特性比较匹配， 因为主观感觉往往与客观量的相对数成正比，但其数学处理因为主观感觉往往与客观量的相对数成正比，但其数学处理 比较困难比较困难 误码失真函数表明，只要发送符号与接收符号不同，由此引误码失真函数表明，只要发送符号与接收符号不同，由此引 起的失起的失真都相同真都相同( (为常数为常数 ) )。若常数值为。若常数值为 1，则称为，则称为汉明失真 适用于适用于 连续信源连续信源 适用于离散信源适用于离散信源 信道失真率函数课件9 平均失

12、真度 由于单个符号的失真函数由于单个符号的失真函数 d ( xi , yj ) 是随机变量是随机变量( (的一次实现的一次实现) )， 它只能表示两个特定的具体符号它只能表示两个特定的具体符号 xi , yj 之间的失真，无法从整之间的失真，无法从整 体上描述信道平均每传递一个符号所引起失真大小体上描述信道平均每传递一个符号所引起失真大小 定义定义平均失真度为失真函数的数学期望，即为失真函数的数学期望，即 d ( xi , yj ) 在在 X 和和 Y 的联合概率空间的联合概率空间 P( XY ) 中的统计平均值中的统计平均值 11 (,)() (|) (,) nm ijijiij ij DE

13、 d xyp xp yx d xy 平均失真度平均失真度 与信源统计特性与信源统计特性 、信道统计特性、信道统计特性 和规定的失真度和规定的失真度 有关；如果信源和失真度给定以后，有关；如果信源和失真度给定以后， 就只是信道统计特性的函数就只是信道统计特性的函数 D (,) ij d xy () i p x(|) ji p yx D 如果规定平均失真度不超过某一允许失真的上界如果规定平均失真度不超过某一允许失真的上界 D( (最大允许最大允许 平均失真度，简称平均失真度，简称允许平均失真度) )，则称：，则称： DD 为为保真度准则 满足保真度准则的满足保真度准则的 限定条件下，求信限定条件下

14、，求信 息传输率的最小值息传输率的最小值 信道失真率函数课件10 符号序列的失真度 若信源是单符号离散无记忆信源的若信源是单符号离散无记忆信源的 N 次扩展，其限失真编码次扩展，其限失真编码 可视为可视为 N 长随机序列长随机序列 经由单符号离散无记忆信经由单符号离散无记忆信 道的道的 N 次扩散信道，再现为次扩散信道，再现为 N 长的随机序列长的随机序列 12N X XX X 12N YYY Y 12 ()1,2, N N iiii ax xxin 信信道道输输入入： 1212 1 (,)(,)(,) NNkk N ijiiijjjij k d a bd x xxy yyd xy N 长输入

15、符号序列长输入符号序列 与与 N 长长输出符号序列输出符号序列 间的失真函数：间的失真函数： j b i a 由于由于 N 次扩展信源和次扩展信源和 N 次扩展信道都是无记忆的，因此：次扩展信道都是无记忆的，因此： 1212 1 (|)(|)(|) NNkk N jijjjiiikji p bap y yyx xxp yx 12 ()1,2, N N jjjj by yyjm信信道道输输出出： 12 1 ()()() Nk N iiiiki p ap x xxp x 信道失真率函数课件11 符号序列的 平均失真度 1 1 ()() (|)(|) k kk N iki N jikji p ap

16、x p bap yx 11 () (,)() (|) (,) NN nm ijijiij ij D NE d a bp ap ba d a b 12N DDDD 符号序列的平均失真度：符号序列的平均失真度： ()D NND 符号序列的保真度准则：符号序列的保真度准则： ()D NND 为同一单符号离散无记忆信源为同一单符号离散无记忆信源 X 在在 N 个不同时刻通过同一单符号离散无个不同时刻通过同一单符号离散无 记忆信道所造成的平均失真度，因此都等于单符号离散无记忆信源记忆信道所造成的平均失真度，因此都等于单符号离散无记忆信源 X 通过通过 单符号离散无记忆信道所造成的平均失真度，即：单符号离

17、散无记忆信道所造成的平均失真度，即： k D 111 11 11111 ()() (|)(|)(,) NNNkk NN nnmmN iijijiij iijjk p xp xp yxp yxd xy 11111 11 1111 () (|) (,)() (|) (,) NNNNN NN nmnm ijiijijiij ijij p xp yxd xyp xp yxd xy 12 1 N Nk k DDDD 信道失真率函数课件12 4.1.2信息率失真函数的定义 在单符号信源已知并规定了单符号失真度后，并非所有的信在单符号信源已知并规定了单符号失真度后，并非所有的信 道都能满足保真度准则道都能满

18、足保真度准则 ；凡满足保真度准则的信道称为；凡满足保真度准则的信道称为 D 失真许可试验信道，所有的，所有的 D 失真许可试验信道构成集合：失真许可试验信道构成集合： DD (|):;1,2, ,1,2, Dji Pp yxDDinjm 对于离散无记忆对于离散无记忆 N 次扩展信源和次扩展信源和 N 次扩展信道，相应的次扩展信道，相应的 D 失失 真许可试验信道为：真许可试验信道为： () (|):();1,2,1,2, NN D Nji Pp baD NNDinjm 对于固定的信源分布，平均互信息是信道转移概率的下凸函对于固定的信源分布，平均互信息是信道转移概率的下凸函 数，也就是说，存在一

19、个信道使给定的信源经过此信道传输数，也就是说，存在一个信道使给定的信源经过此信道传输 时，信道的平均互信息达到最小时，信道的平均互信息达到最小 信源限失真编码后的信息传输率信源限失真编码后的信息传输率 R 就是通过试验信道的平均互就是通过试验信道的平均互 信息信息 I ( X; Y )， 为了便于传送和处理，为了便于传送和处理， 人们总是希望将信息传人们总是希望将信息传 输率输率 R 压缩到最小压缩到最小 信道失真率函数课件13 信息率失真函数 的定义(续) (|) ()min(; ) jiD p y xP R DI X Y () (|) ()min(;) jiD N N p b aP RDI

20、 X Y()N R D 给定信源和失真度后，在所有的给定信源和失真度后，在所有的 D 失真许可试验信道中，寻失真许可试验信道中，寻 找一个信道使得从输入端传送过来的信息量最小。这个最小找一个信道使得从输入端传送过来的信息量最小。这个最小 的平均互信息称为的平均互信息称为信息率失真函数 R ( D )，简称，简称率失真函数： 在研究在研究 R ( D ) 时，计算时，计算 I ( X; Y ) 所用的条件概率并没有实际信道所用的条件概率并没有实际信道 的含义，只是为了求平均互信息的最小值而引用的、假想的的含义，只是为了求平均互信息的最小值而引用的、假想的 可变试验信道的信道特性。实际上这些信道反

21、映的仅是不同可变试验信道的信道特性。实际上这些信道反映的仅是不同 的限失真信源编码，或称的限失真信源编码，或称信源压缩 R ( D ) 是在限定允许平均失真为是在限定允许平均失真为 D 时信源最小信息传输率；可时信源最小信息传输率；可 以通过改变试验信道特以通过改变试验信道特性性来达到，实质上是选择一种限失真来达到，实质上是选择一种限失真 信源编码方式使试验信道的信息传输率为最小，即在满足保信源编码方式使试验信道的信息传输率为最小，即在满足保 真度准则下，使信源的压缩率达到最高真度准则下，使信源的压缩率达到最高 信道失真率函数课件14 率失真函数的定义域 (D 的下界) 允许失真度允许失真度

22、D 是平均失真度的上限，而是平均失真度的上限，而 是非负函数是非负函数 的数学期望，因此的数学期望，因此 D 的下界至多为的下界至多为 0，对应于无失真的情况，对应于无失真的情况， 此时信息传输率应等于信源输出的信息熵，即此时信息传输率应等于信源输出的信息熵，即 D(,) ij d xy min 0D 时时： min ()(0)()R DRH X 离离散散信信源源： D 能否达到下界能否达到下界 0，与单个符号的失真函数有关；在给定的失，与单个符号的失真函数有关；在给定的失 真矩阵中，对每一个真矩阵中，对每一个 xi，找一个，找一个 yj 与之对应，使与之对应，使 d ( xi , yj )

23、最小，最小， 不同的不同的 xi 对应的最小对应的最小 d ( xi , yj ) 也不相同。相当于在失真矩阵的也不相同。相当于在失真矩阵的 每一行找一个最小的每一行找一个最小的 d ( xi , yj )，然后对各行不同的，然后对各行不同的 d ( xi , yj ) 求统求统 计平均值，就是信源平均失真度上限的下界计平均值，就是信源平均失真度上限的下界 min 1 ()min (,) n iij j i Dp xd xy 显然，如果失真矩阵的每一行至少有一个显然，如果失真矩阵的每一行至少有一个 0 元素，信源平均失元素，信源平均失 真度上限真度上限 D 的下界才能取到的下界才能取到 0 m

24、in 0 ()lim() D R DR D 连连续续信信源源： 信道失真率函数课件15 率失真函数的定义域 (D 的上界) R ( D ) 是在一定约束条件下平均互信息是在一定约束条件下平均互信息 I ( X; Y ) 的最小值，由于的最小值，由于 I ( X; Y ) 是非负的，其下界为至多为是非负的，其下界为至多为 0 如果不允许失真，平均传送一个信源符号所需的信息传输率如果不允许失真，平均传送一个信源符号所需的信息传输率 最大，最大，R ( D ) 可以达到信源熵；反之如果允许一定的失真，则可以达到信源熵；反之如果允许一定的失真，则 信息传输率可以小一些；或者说信息传输率越小，容忍的平信

25、息传输率可以小一些；或者说信息传输率越小，容忍的平 均失真度越大均失真度越大 显然，当显然，当 R ( D ) 达到下界达到下界 0 时，允许的平均失真度最大，由于时，允许的平均失真度最大，由于 满足满足 R ( D ) 0 的的 D 可以有无穷多个，定义使可以有无穷多个，定义使 R ( D ) 0 成立的成立的 最小的最小的 D 值为率失真函数的定义域的上界值为率失真函数的定义域的上界 Dmax 当当 R ( D ) 0 时，最小的时，最小的 I ( X; Y ) 0 ，这相当于，这相当于 X 和和 Y 相互相互 统计独立的情况；这意味着接收端收不到信源发送的任何信统计独立的情况；这意味着接

26、收端收不到信源发送的任何信 息，与信源不发送任何信息是等效的，所以在理论上，传送息，与信源不发送任何信息是等效的，所以在理论上，传送 信源符号的信息传输率可以压缩至信源符号的信息传输率可以压缩至 0 信道失真率函数课件16 率失真函数的定义域 (Dmax 的计算) 如果试验信道的转移概率满足如果试验信道的转移概率满足 即即 X 和和 Y 相互统计独立，等效于信道关闭或者信源不发任何消相互统计独立，等效于信道关闭或者信源不发任何消 息，此时必有：息，此时必有： ，从而，从而 (|)()1,2, jij p yxp yin (;)0I X Y ()0R D max ( ) 11 min() (|)

27、 (,) nm ijiij p y ij Dp xp yx d xy 用不同的输出概率用不同的输出概率 分布分布 对对 求数求数 学期望，取最小的学期望，取最小的 那一个作为那一个作为 ( )p y j D max D max 1 minmin() (,) n jiij jj i DDp x d xy 如果在如果在 中找到最小的中找到最小的 ，当该，当该 j 对应的对应的 而其余的输出概率为而其余的输出概率为 0 时，上式计算出的时，上式计算出的 值最小，即：值最小，即： 1,2,jm j D()1 j p y max D jX DP D ( ) 11 min() () (,) nm ijij

28、 p y ij p xp y d xy 1 ( ) 1 m() (,)in() n ii m j p y j ij xyyppx d ( ) 1 min() m jj p y j p yD 信道失真率函数课件17 0.1 0.9 0.5 0.5 0.9 0.1 D 123 ()0.3 0.2 0.5 xxxX P X 12 ,Yyy minmax ,DD求求 min 0.3 0.10.2 0.50.5 0.10.18D 1 0.3 0.10.2 0.50.5 0.90.58D max12 min(,)0.42DD D 12max ()0()1p yp yDD 当当输输出出符符号号概概率率分分布

29、布为为：，时时，取取到到 | 0 1 0 1 0 1 Y X P此此时时试试验验信信道道的的转转移移概概率率矩矩阵阵为为： 率失真函数率失真函数 R ( D ) 的定义域为的定义域为 ( Dmin, Dmax ) 一般情况下：一般情况下： Dmin 0，R ( Dmin ) H ( X ) 当当 D Dmax 时：时： R ( D ) 0 当当 D ( Dmin, Dmax ) 时时 ：0 R ( D ) H ( X ) 0.1 0.9 0.3 0.2 0.50.5 0.5 0.9 0.1 2 0.3 0.90.2 0.50.5 0.10.42D 0.58 0.42 信道失真率函数课件18 率

30、失真函数对允许平均失真度的 下凸性 1212 (1)()(1) ()RDDR DR D 12max 01,D DD 对对于于任任意意的的和和任任意意两两个个允允许许平平均均失失真真度度，有有： 12 1212 (,)(1,2, ;1,2,) (|),(|) (),(), ij jiji Xd xyinjm pyxpyx R DR DY Y 证：对对给给定定信信源源和和失失真真度度， 设设有有两两个个试试验验信信道道，它它们们达达到到对对应应的的率率失失真真函函 数数，其其输输出出分分别别为为。 12 1122 ()(;)()(;) DDDD R DI X YR DI X Y 在在保保真真度度准

31、准则则：，的的限限定定条条件件下下有有： 12 12 (|),(|) (|)(|)(1)(|) jiji jijiji pyxpyx p yxpyxpyx 根根据据定定义义一一个个新新的的试试验验信信道道： 11 () (|) (,) nm ijiij ij Dp xp y x d xy 新新试试验验信信道道的的平平均均失失真真度度为为： 信道失真率函数课件19 12 11 ()(|)(1)(|) (,) nm ijijiij ij Dp xpy xpy xd xy 12 11 (|)(|)(1)(|) () (|) (,) jijiji nm ijijiij p yxp yxpyx Dp x

32、 p y x d x y 新新试试验验 信信道道 新试验信道在所有满足保真准则新试验信道在所有满足保真准则 的信道集合中的信道集合中 并不一定并不一定 是达到率失真函数是达到率失真函数 （使平均互信息（使平均互信息 达到最小）的信道达到最小）的信道 DD (;)I X Y D P ()R D 新 试 验 信 道 的新 试 验 信 道 的 允许平均失真度允许平均失真度 12 (1)()(;)RDDR DI X Y 固定信源固定信源 X，平均互信息，平均互信息 I ( X; Y ) 是信道转移概率的下凸函数：是信道转移概率的下凸函数： 12 (;)(;)(1) (;)I X YI X YI X Y

33、 因此因此 R ( D ) 在定义域内是允许平均失真度在定义域内是允许平均失真度 D 的下凸函数，即：的下凸函数，即： 1212 (1)()(1) ()RDDR DR D 12 1111 ()(|) (,)(1)()(|) (,) nmnm ijiijijiij ijij p xpy x d xyp xpy x d xy 12 (1)DD 12 (1)DDD 12 ()(1) ()R DR D 信道失真率函数课件20 率失真函数的连续性 由数学分析理论：由数学分析理论：“定义在开区间上的凸函数必是连续函数” 知：知：定义域为定义域为 ( Dmin, Dmax ) 且具有下凸性的且具有下凸性的

34、R ( D ) 是连续函数是连续函数 123 (1)( )f xIIxxx 为为开开区区间间上上的的凸凸函函数数，则则在在上上任任取取三三点点， 必必有有： 首尾相连的弦线首尾相连的弦线 斜 率 是 递 增 的斜 率 是 递 增 的 12 (2) ,( ) , , , , , If x Ia b c dabcd xx ，凸凸函函数数在在上上满满足足李李普普希希茨茨条条件件； 在在中中任任选选四四点点满满足足：， 再再在在中中任任选选两两点点，证证明明： 2121 |()()|()f xf xL xxL为为任任意意小小的的正正数数 (3)(2)( ) , , ( ) f xI f xI 由由第第

35、步步证证明明在在上上( (一一致致) )连连续续，由由在在 上上 的的任任意意性性，最最终终证证得得凸凸函函数数在在开开区区间间上上连连续续 3221 2132 ()()()()f xf xf xf x xxxx 信道失真率函数课件21 由于允许的平均失真越大，所要求的信息率就可以越小由于允许的平均失真越大，所要求的信息率就可以越小 率失真函数率失真函数 R ( D ) 是在平均失真度小于或等于允许平均失真度为是在平均失真度小于或等于允许平均失真度为 D 的所有试验信道组成的集合的所有试验信道组成的集合 PD 中，取平均互信息中，取平均互信息 I ( X; Y ) 的最的最 小值小值 当允许的

36、平均失真度增大后，集合当允许的平均失真度增大后，集合 PD 也随之扩大，它当然仍包也随之扩大，它当然仍包 含原来满足保真度准则的所有信道；这时再在扩大的含原来满足保真度准则的所有信道；这时再在扩大的 PD 集合中集合中 挑选挑选 I ( X; Y ) 的最小值，显然新挑选出最小值或者不变，或者变的最小值，显然新挑选出最小值或者不变，或者变 小，所以率失真函数小，所以率失真函数 R ( D ) 是单调非增的是单调非增的 以下将通过证明率失真函数以下将通过证明率失真函数 R ( D ) 在定义域在定义域 ( Dmin, Dmax ) 内不可能内不可能 为常数从而证明率失真函数是严格单调递减的函数为

37、常数从而证明率失真函数是严格单调递减的函数 率失真函数的单调递减性 12 min12maxDD DDDDPP 设设，则则：，根根据据率率失失真真函函数数的的定定义义可可知知： 21 21 (|)(|) ()min(; )min(; )() jiDjiD p y xPp y xP R DI X YI X YR D minmax ()(,)R DDD因因此此率率失失真真函函数数在在定定义义域域内内是是单单调调非非增增的的。 信道失真率函数课件22 12min12max 12 , (), D DDDDD R DD D 任任取取两两个个允允许许平平均均失失真真度度满满足足： 假假设设在在区区间间上上的

38、的函函数数值值为为一一常常数数 1max 1max1max (|),(|) (),(), jiji pyxpyx R DR DY Y 设设有有两两个个试试验验信信道道，它它们们达达到到对对应应的的率率 失失真真函函数数，其其输输出出分分别别为为。 1maxmax 11maxmax ()(;)()(;)0 DDDD R DI X YR DI X Y 在在保保真真度度准准则则：，的的限限定定条条件件下下有有： min12max 1max12 0 (1) DDDD DDDD 对对于于，总总可可以以找找到到一一个个足足够够小小，满满足足： 1max max1 (|),(|) (|)(|)(1)(|)

39、jiji jijiji pyxpyx p yxpyxp yx 根根据据定定义义一一个个新新的的试试验验信信道道： max1 12 (1)DDD DDD 其其允允许许平平均均失失真真度度为为，显显然然有有： 11 () (|) (,) nm ijiij ij Dp xp y x d xy 新新试试验验信信道道的的平平均均失失真真度度为为： 信道失真率函数课件23 max1 max1 12 (|)(|)(1)(|) (1) jijiji p yxpyxp yx DDD DDD 11 () (|) (,) nm ijiij ij Dp xp yx d xy 新试验信道在所有满足保真准则的信道集合中并

40、不一定是达新试验信道在所有满足保真准则的信道集合中并不一定是达 到率失真函数的信道，因此：到率失真函数的信道，因此： R ( D ) I ( X; Y ) 满足保真准则满足保真准则 固定信源，平均互信息是信道转移概率的下凸函数，所以：固定信源，平均互信息是信道转移概率的下凸函数，所以： max1 (;)(;)(1) (;)I X YI X YI X Y min12max DDDD 综上分析可知：综上分析可知： 时，时， ，可见，可见 在区间在区间 上不是常数，原假设不成立。上不是常数，原假设不成立。 1 DD 1 ()(; )()R DI X YR D ()R D 12 ,D D max1 1

41、1 ()(|)(1)(|) (,) nm ijijiij ij Dp xpyxp yxd xy max 11 1 11 ()(|) (,) (1)()(|) (,) nm ijiij ij nm ijiij ij p xpyx d xy p xpyx d xy max1max1 (1)(1)DDDDD 11 (1) ()()R DR D 信道失真率函数课件24 根据率失真函数所具有的下凸性、连续性、严格单调下降性根据率失真函数所具有的下凸性、连续性、严格单调下降性 可绘出率失真函数的典型曲线图可绘出率失真函数的典型曲线图 率失真函数曲线的一般形式 max D 连续信源连续信源 离散信源离散信源

42、 ()H X D ()R D 0 min ()()R DH X max D 连续信源连续信源 离散信源离散信源 D ()R D min ()R D有有限限 min D 0 对于连续信源，对于连续信源， R ( 0 ) ，曲线不与，曲线不与 R ( D ) 相交相交 R ( Dmin ) H ( X ) 及及 R (Dmax ) 0 决定了率失真函数曲线边缘的决定了率失真函数曲线边缘的 两个交点两个交点 信道失真率函数课件25 4.2离散信源的信息率失真函数 由率失真函数的定义可知，求解由率失真函数的定义可知，求解 R ( D ) 实质上是求解平均互信实质上是求解平均互信 息的条件极值，与求信道

43、容量息的条件极值，与求信道容量 C 类似，可以采用拉格朗日乘类似，可以采用拉格朗日乘 子法求解子法求解 R ( D ) 是求解是求解 I ( X; Y ) 的的条件极小值，具体而言，给定信源概率，具体而言，给定信源概率 分布分布 p( x ) 和失真函数和失真函数 d ( x, y )，在满足保真度准则，在满足保真度准则 的试的试 验信道集合验信道集合 PD 中选择信道转移概率中选择信道转移概率 p( y | x )，使，使 I ( X; Y ) 最小最小 DD 1 11 (|)11,2, () (|) (,) m jji nm ijijiij p yxin p xp yx d xyD 需要满

44、足以下需要满足以下 n 1 个限定条件：个限定条件： 很难求解出很难求解出 I ( X; Y ) 条件极小值的显式表达式，在一般情况下条件极小值的显式表达式，在一般情况下 只能求得用参量只能求得用参量( (R ( D ) 的斜率的斜率 S ) )来描述的参量表达式，并借来描述的参量表达式，并借 助计算机进行迭代运算助计算机进行迭代运算 信道失真率函数课件26 4.2.1离散信源信息率失真函数 的参量表达式 11 1 (|) (; )() (|)ln (|) () nm ji iji n ij ijii p yx I X Yp xp yx p yxp x 11 (|) () (|)ln(|) (

45、|)(|) nm ijiji ij jiji H YX p xp yxp yx p yxp yx ln ()() 1 (|)()(|) jj jijji p yp y p yxp yp yx () j p y 1 ()(|) () (|)(|) n jijii jiji p yp yxp x p yxp yx 11 ( ) ()ln () (|)(|) nm jj ij jiji H Y p yp y p yxp yx (; ) ()1ln ()()1ln (|) (|) ijiji ji I X Y p xp yp xp yx p yx ( )(|) natH YH YX () () i j

46、 p x p y () i p x ()ln() (|) jj ji p yp y p yx () ()ln ()() () i ijj j p x p xp yp y p y ()1ln () ij p xp y 1 () ln (|)(|)(|) ijijiji p xp yxp yxpyx ()1ln (|) iji p xp yx 信道失真率函数课件27 (,) 1 ()()()e ij Sd xy n jjiii p yp yp x 111 (;)() (|) (,)(|)1 nmm ijiijiji ijj FI X YSp xp yx d xyDp yx (;)1I X Yn 根

47、根据据和和前前述述的的个个限限定定条条件件，构构造造如如下下的的辅辅助助函函数数： ()1ln ()()1ln (|)() (,)0 (|) ijijiiiji ji F p xp yp xp yxSp x d xy p yx (; ) ()1ln ()()1ln (|) (|) ijiji ji I X Y p xp yp xp yx p yx (|) ln(,)0 ()() ji i ij ji p yx Sd xy p yp x (,) ln (|) e () iji Sd xyji j p yx p y (,) (|)()e ij Sd xy jiij p yxp y (,) ()()

48、 ()e ij Sd xy ijiij p x yp xp y (|) ji nmp yx 共共有有个个关关于于的的方方程程： ln i j两两边边对对求求和和 (,) 1 1()e ij Sd xy m ijj p y (,) 1 1()e ij n Sd xy ii i p x i两两边边对对 求求和和 () i p x 两两边边 (,) e ij Sd xy i (,) 1 1 ()e ij i Sd xy m jj p y 信道失真率函数课件28 i nS 个个以以为为参参量量的的 (,) (|)()e ij Sd xy jiij p yxp y (,) (,) 1 1 () ()e

49、11,2, ()e ij ij j Sd xy n i Sd xy m i jj mp y p x jm p y 由由此此得得到到个个关关于于的的联联立立方方程程： (,) 1 1()e ij Sd xy n iii p x (,) 1 1 ()e ij iSd xy m jj p y () j mSp y个个以以为为参参量量的的 11 ( )() (|) (,) nm ijiij ij D Sp xp yx d xy 11 (|) ( )() (|)ln () nm ji iji ij j p yx R Sp xp yx p y ()1() j p ySDRR D 选选择择满满足足 0 0的

50、的所所有有，求求出出和和的的值值，即即可可画画出出的的函函数数曲曲线线 1 1 , , n n RS S D S D S 最最终终为为关关于于的的一一元元函函数数， 但但可可以以看看成成关关于于 的的多多元元函函数数，且且 是是关关于于的的一一元元函函数数 (,) 11 () () (,)e ij nm Sd xy ijiji ij p xp y d xy (,) (,) 11 ()e ()()eln () ij ij Sd xy nm Sd xyij iij ij j p y p xp y p y (,)(,) 1111 ()()e(,)()()eln ijij nmnm Sd xySd x

51、y iijijiiji ijij p xp ySd xyp xp y (,) 11 ( )()ln()e ij nm Sd xy iiij ij SD Sp xp y 1 ( )()ln n ii i SD Sp x 信道失真率函数课件29 1 () dd dd n ii i i p xS SD DD 1 ()ln n iii RSDp x 1 ddd ddd n i i i RRRSR DDSDD (,) 1 1()e ij Sd xy n iii p x (,) 1 1 ()e ij i Sd xy m jj p y (,)(,) 1 d ()e() (,)e0 d ijij n Sd x

52、ySd xy i iiiij i p xp x d x y S (,) 11 () () (,)e ij nm Sd xy ijiji ij Dp xp y d xy (,)(,) 1111 d () ()e() () (,)e d ijij nmnm Sd xySd xy i ijiijij ijij p xp yp xp y d xy S (,) 11 d () ()e d ij nm Sd xy i ij ij p xp yD S (,) 11 d() ()e d ij nm Sd xy ii ij ij i p x p yD S 1 d() 0 d n ii i i p x D S D

53、两两边边对对求求导导 S两两边边对对求求导导 d( )( ) ()d RD SR S S SR DD 和和中中的的参参 量量是是的的斜斜率率 () j p yj两两边边乘乘以以然然后后对对求求和和： 1 () dd dd n ii i i p xS SD SD 信道失真率函数课件30 (,) 11 () () (,)e ij nm Sd xy ijiji ij Dp xp y d xy (,) 1 1 ()e ij i Sd xy m jj p y d d minmax minmax () 00 S D R DD SSD DDD SSS 由由于于是是的的单单调调递递减减下下凸凸函函数数，故故

54、斜斜率率，且且，是是的的增增函函数数， 当当允允许许平平均均失失真真度度由由增增大大到到 时时， 的的数数值值随随之之由由增增至至 min (,) min min 0(),(), (,) e 00 ij ijiij Sd xy Dp xP yd xy Dnm DS S 当当时时，和和 均均为为非非负负数数，其其积积也也是是非非负负数数， 故故是是项项非非负负数数之之和和， 只只要要有有一一项项 不不为为 ，要要使使，必必须须有有， 即即 max max max 0 DSDDS S S ，则则，当当时时， 达达到到最最 大大值值，但但是是这这个个最最大大值值仍仍为为负负值值， 至至 多多 d m

55、axd max 00 0 R D DDRS SDD 当当时时， 因因此此 除除某某些些特特例例外外， 在在这这一一点点不不连连 续续，它它将将从从某某一一负负值值跳跳到到 0 max D D (),()R DS D d () d R S D D ()H X 信道失真率函数课件31 4.2.2二元及等概率离散信源的 信息率失真函数 12 12 00.5 ,0 ()010.5 ,() xxXp P Xpppp YyyR D D 二二元元其其中中：失失真真 ， 矩矩阵阵信信源源 输输出出符符号号集集，求求率率失失真真函函数数 0 0 jX pppp DP D max2 0.5,0.5 min j j

56、 pp DDDp 由由于于，所所以以： (,) 1 0 12 0 12 1()e ee1 ee1 ij Sd xy n iii SS SS p x pp pp 由由可可得得： 12 11 , (1e)(1e) SS pp 12 ee (),() 1e1e SS SS pppp p yp y (,) 1 0 12 0 12 1 ()e ()e()e(1e) ()e()e(1e) ij iSd xy m jj SSS SSS p y p yp yp p yp yp 由由可可得得： 信道失真率函数课件32 (,) 11 () () (,) e ij Sd xy nm ijijiji Dp xp y

57、d xy 由由可可得得： e1e1 ee 1e(1e)1e(1e) SS SS SSSS pppp Dpp pp 1 ()ln n iii RSDp x 由由可可得得： SD 对对于于这这种种简简单单信信源源， 可可以以求求出出关关于于 的的显显式式表表达达式式： e 1 D S D D D e 1 1(1) 1 e 1 e 2 (1) 2 1 e () () S S S S S S pp pe pp pe p y p y 0 0 D 12 xx pp max Dp 信信源源熵熵 允允许许一一定定失失真真可可能能 压压缩缩的的信信息息传传输输率率 e 1e S S 1 ln 1 D D S m

58、ax ln( ) 1 ln 1 p p p p S ln (1)ln (1) SS RSDppeppe ( )ln(1) S SDH pe ( )lnln 1 11 DD DD D H p ( )lnln(1)ln(1) DDDDD H p ( )ln(1)ln(1) DDDD H p ( )( ) D H pH 信道失真率函数课件33 二元离散信源率失真函数曲线 1(,) (,) ij ij d xy XY E d xy ， 即即把把视视为为误误码码个个数数，即即 和和不不一一致致，就就认认为为误误了了一一个个码码，所所 以以就就是是平平均均误误码码率率，允允许许平平 均均失失真真就就是是能

59、能容容忍忍的的平平均均误误码码率率 () 0.5 () R DDpp D R D 不不仅仅与与有有关关，还还与与有有关关， 越越 接接近近( (等等概概率率分分布布) )，曲曲线线越越靠靠上上方方， 因因为为在在相相同同的的条条件件下下，由由最最大大离离散散熵熵 定定理理，信信源源越越趋趋于于等等概概率率分分布布，其其熵熵越越 大大，即即不不确确定定性性越越大大，要要去去除除这这些些不不确确 定定性性所所需需的的信信息息传传输输率率就就越越大大 max ()() () 0.1() 0,0.10.1() 3.170.1 ()0()3.17 0 S DDpS D p S D pS D pS DB

60、SD S DS DB B 仅仅与与有有关关，与与无无关关，故故 曲曲线线只只有有一一条条， 但但不不同同的的 ，的的定定义义 域域也也不不同同；时时，的的义义域域为为： ， 所所以以的的曲曲线线仅仅到到 点点就就结结束束了了，其其，当当 时时， 即即在在点点从从 跳跳到到 ，在在点点不不连连续续 D max d1 ()ln d1 1 ln D D R S D D p S p (),()R DS D 1.0 0.811 0.469 0.5 . . 1 0 1 0 25p p p 0.1 B 0.25 A 0.5 3.17 1.58 0 信道失真率函数课件34 ()log2( ) D R DH 1