第4章-离散信源编码理论

第1页2023/2/1第四章

──────────────

离散信源编码理论4.1信源编码的基本概念4.3信源无失真编码4.4信息率失真函数及性质4.5信息率失真函数与信道容量4.7香农第三定理第2页2023/2/14.1信源编码的基本概念4.1信源编码的基本概念1.为什么要进行信源编码信源的两个重要问题信源输出的信息量计算问题；如何更有效地表示信源输出的问题。

信源编码就是为了提高通信效率，对信源所发送的消息进行变换的方法之一。为什么要进行信源编码人们都希望无失真传送，首先要对信源无差错编码；数字技术应用越来越多，模拟信源通过数字化变成数字信号传送。第3页2023/2/14.1信源编码的基本概念2.信源编码的概念信源编码定义：指定能够满足信道特性（适合于信道传输）的符号序列—码序列，来代表信源输出的消息。编码器：完成编码功能的器件。离散信源输出的码序列

离散信源输出的消息是由一个个离散符号组成的随机序列信源编码就是把信源输出的随机符号序列变成码序列第4页2023/2/14.1信源编码的基本概念2.信源编码的概念研究信源编码时，将信道编码和译码看成是信道的一部分，而突出信源编码；研究信道编码时，将信源编码和译码看成是信源和信宿的一部分，而突出信道编码。第5页2023/2/14.1信源编码的基本概念2.信源编码的概念讨论无失真信源编码先不考虑抗干扰问题，它的数学模型比较简单，如下图。信源符号：编码器的输入是信源符号X={x1,x2,…,xi,…xn}。信源符号序列：码符号/码元：元素yj是适合信道传输的符号，Y={y1,y2,…,yj,…ym}称为码符号/码元。第6页2023/2/14.1信源编码的基本概念码字（码符号序列）：码长（码字长度）：ki称为码字长度或简称码长。编码：从信源符号到码符号的一种映射。若要实现无失真编码，这种映射必须是一一对应的，可逆的。2.信源编码的概念编码器功能：将信源符号集当中的符号xi（或者长为L的信源符号序列）变换成由yj(j=1,2,…,m)组成的长度为ki

的序列。第7页2023/2/14.1信源编码的基本概念二元码：码符号集为X={0,1}，所得码字都是一些二元序列。定长码（等长码）：一组码中所有码字的码长都相同，即：ki=K(i=1,2,…,n)。变长码：一组码字中所有码字的码长各不相同，即任意码字由不同长度的码符号序列组成。非奇异码：一组码字中所有码字都不相同，即所有信源符号影射到不同的码符号序列。奇异码：一组码中有相同的码字。惟一可译码：码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号。即时码：不需要考虑后续的码符号，可以根据当前的码符号序列正确译出相应的码字。第8页2023/2/14.1信源编码的基本概念码树图m元（m进制）码树图树根：最顶部画一个起始点。树枝：从根部引出m条线段，每条线段都称为树枝。一级节点：自根部起,通过一条树枝到达的节点。一级节点最多有m个.n级节点：通过

n条树枝达到的节点。最多有mn。终节点/终端节点：下面不再有树枝的节点。中间节点：除了树根和终节点以外的节点。联枝：串联的树枝。满树：在码树图中，当每一个码字的串联枝数都相同时，就是定长码。此时的码树称为满树。第9页2023/2/14.1信源编码的基本概念[例]：码1：显然不是惟一可译码。x2和x4对应于同一码字“11”，码1是一个奇异码。码2：是非奇异码，不是惟一可译码。当收到一串码符号“01000”时，可将它译成“x4x3x1”，也可译为“x4x1x3”，“x1x2x3”或“x1x2x1x1”等，这种码从单个码字来看虽然不是奇异的，但从有限长的码序列来看，它仍然是一个奇异码。码3：虽然是惟一可译码，但它要等到下一个“1”收到后才能确定码字的结束，译码有延时。码4：既是惟一可译码，又没有译码延时。码字中的符号“1”起了逗点的作用，故称为逗点码。即时码/前缀条件码/异前置码/异字头码/逗点码/非延长码：如果一个码的任何一个码字都不是其它码字的前缀。第10页2023/2/13.克拉夫特不等式

克拉夫特不等式：m元长度为ki，i=1,2,…,n的即时码存在的充要条件是证明：必要条件：设即时码第i个码字的长度为ki，i=1,2,…,n，造一个码树图，在第ki级总共有个节点。第i个码字占据了第ki级的，根据即时码的定义，其后的树枝不能再用。对于N级满树，其后不能用的枝数为，那么总共不用的枝数为。N级满树第N级上的总枝数已知为mN，所以必有两边除以mN，就得：。4.1信源编码的基本概念第11页2023/2/13.克拉夫特不等式

克拉夫特不等式：m元长度为ki，i=1,2,…,n的即时码存在的充要条件是证明：充分条件：如果式成立，则必成立，总可以把第N级上的树枝分成n组；各组中从第N级开始删除

(i=1,2,…n)个枝；相对于N级满树，等于删除了所有可能的ki级节点的在该组中以第ki级节点作为终节点，就构造好了第i

个码字。对所有码字如法炮制，则总共删除了所有mN个节点中的。由于，于是构造了一个即时码。4.1信源编码的基本概念第12页2023/2/14.3信源无失真编码码字与信息率的关系有时消息太多，不可能或者没必要给每个消息分配一个码字；给多少消息分配码字可以做到几乎无失真译码？传送码字需要一定的信息率，码字越多，所需的信息率越大。编多少码字的问题可以转化为对信息率大小的问题；信息率越小越好，最小能小到多少才能做到无失真译码呢？

这些问题就是信源编码定理要研究的问题。第13页2023/2/14.3信源无失真编码信源编码有定长和变长两种方法。定长编码：码字长度K是固定的，相应的编码定理称为定长信源编码定理，是寻求最小K值的编码方法。变长编码：K是变值，相应的编码定理称为变长编码定理。这里的K值最小意味着数学期望最小。无失真信源编码就是要求信源符号与码字之间形成一一映射的关系，并且要求编码输出的码字序列对应的反变换是惟一的，即是惟一可译码的，否则会造成译码错误或者失真。第14页2023/2/11.定长编码定理(1)定长编码定理定长编码定理：一个熵为H(X)的离散无记忆信源X1X2…Xl…XL，若对信源长为L的符号序列进行定长编码，设码字是从m个字母的码符号集中，选取K个码元组成Y1Y2…Yk…YK。对于任意ε>0，δ>0，只要满足当L足够大时，必可使译码差错小于δ，即译码错误概率能为任意小；反之，若：

则不可能实现无失真编码，而当L足够大时，译码错误概率近似等于1。4.3信源无失真编码第15页2023/2/1(1)定长编码定理

4.3信源无失真编码定理中的公式改写成：Klog2m>LH(X)

Klog2m：表示长为K的码符号序列能载荷的最大信息量LH(X)：代表长为L的信源序列平均携带的信息量平均符号熵。定长编码定理说明：只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。第16页2023/2/1(1)定长编码定理信源熵H(X)就是一个界限（临界值）。当编码器输出的信息率超过这个临界值时，就能无失真译码，否则就不行。信源编码定理从理论上说明了编码效率接近于1，即：

的理想编码器的存在性，代价是在实际编码时取无限长的信源符号(L→∞)进行统一编码。说明：定长编码定理是在平稳无记忆离散信源的条件下论证的，但它同样适用于平稳有记忆信源，只是要求有记忆信源的极限熵和极限方差存在即可。对于平稳有记忆信源，定理中的熵应改为极限熵。4.3信源无失真编码第17页2023/2/1定长编码定理的意义

(1)对于给定的离散无记忆信源X和码元数m，如果对X的N次扩展信源进行无失真等长编码，那么当码长K满足条件时，一定存在一种编码方案，能够实现无失真编码；反之，不可能进行无失真编码。4.3信源无失真编码

(2)对于给定的信源离散无记忆X，信源的熵H(X)是一定的，当码符号数量m选定时，可以增加信源序列的长度L，使得无失真编码产生的每个符号平均长度尽可能小，但是无论怎样增加序列长度L，信源每个符号的平均码长不可能小于，即码长的极限为。第18页2023/2/1定长编码定理的意义4.3信源无失真编码(3)当序列长度L一定，译码错误概率PE为其中，D［I(ai)］为自信息量方差，定义为当信源给定时，自信息方差是一定的，序列长度L越大，错误概率越小，要实现无失真编码，序列长度就应当足够长，使PE能够满足一定要求。第19页2023/2/1(2)举例[例4.1]：设单符号信源模型为：其信息熵为：H(X)=2.55（比特／符号）

若编码效率为η

=90%，取L=1，则取：

ε=0.28，若译码差错率为δ=10－6,在差错率和效率要求都不苛刻的情况下，就必须有1600多万个信源符号一起编码，技术实现非常困难。4.3信源无失真编码1.定长编码定理第20页2023/2/1(2)举例[例]：离散无记忆信源：其信息熵为：自信息的方差为：4.3信源无失真编码若对信源X采取等长二元编码时，要求η=0.96，δ=10－5信源序列长度需长达4130万以上，才能实现给定的要求，这在实际中很难实现。一般来说，当L

有限时，高传输效率的等长码往往要引入一定的失真和错误，它不能像变长码那样可以实现无失真编码。第21页2023/2/1

编码信息率：设离散无记忆信源X的熵为H(X)，对X扩展信源的符号序列XL进行等长无失真编码，码长为K，编码信息率为如果编码信息率R′小于信源熵H(X)，存在一种编码器能够实现无失真编码；反之，如果编码信息率大于信源熵H(X)，则不能实现无失真编码。

编码效率η：

4.3信源无失真编码1.定长编码定理第22页2023/2/1(1)基本概念变长编码（不等长编码）：不等长编码允许把等长的消息变换成不等长的码序列。通常把经常出现的消息编成短码，不常出现的消息编成长码。这样可使平均码长最短，从而提高通信效率，代价是增加了编译码设备的复杂度。

例如：在不等长码字组成的序列中要正确识别每个长度不同的码字的起点就比等长码复杂得多。译码延时／译码同步：接收到一个不等长码序列后，有时不能马上断定码字是否真正结束，因而不能立即译出该码，要等到后面的符号收到后才能正确译出。2.变长编码定理4.3信源无失真编码第23页2023/2/1(2)变长编码定理（香农第一定理）平均码长：变长编码定理：若一离散无记忆信源的平均符号熵为H(X)，对信源符号进行m元变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式：化莫其平均信息率满足不等式H(X)+ε>R≥H(X)，式中ε为任意正数。4.3信源无失真编码对信源进行变长编码一般所要求的信源符号长度L比定长编码小的多。第24页2023/2/1(2)变长编码定理（香农第一定理）信道的信息传输率为（从信道的角度看）：编码效率定义为：二元无损无噪信道中m=2，所以Hm(X)=H(X)4.3信源无失真编码第25页2023/2/1(2)变长编码定理举例[例]：设单符号信源模型为：其信息熵为：H(X)=2.55（比特/符号）这里m=2，log2m=1要求η>90%，则：4.3信源无失真编码与定长编码相比，对同一信源，要求编码效率都达到90%时，变长编码只需L=4进行编码，而等长码则要求L大于1.6875×107。用变长编码时,L不需要很大就可以达到相当高的编码效率而且可实现无失真编码。第26页2023/2/1(2)变长编码定理举例[例]：离散无记忆信源：其信息熵为：用二元码符号(0,1)来构造一个即时码：x1→0，x2→1这时平均码长：编码效率为：信道信息传输率为：R=0.811比特/二元码符号4.3信源无失真编码为了提高传输效率，对无记忆信源X

的二次扩展信源X2进行编码，下面给出扩展信源X2

及其某一个即时码：第27页2023/2/1

这个码的平均长度为：

信源符号X中每一单个符号的平均码长为：4.3信源无失真编码其编码效率为：信息传输速率为：编码复杂了一些，但信息传输率有了提高。对信源X的三次和四次扩展信源进行编码，编码效率为：信息传输率为：第28页2023/2/1(2)变长编码定理与定长码比较：对于同一信源，要求编码效率都达到96%时，变长码只需对二次扩展信源（N=2）进行编码，而等长码则要求L>4.13×107。

结论用变长码编码时，L不需要很大就可以达到相当高的编码效率，而且可以实现无失真编码。随着扩展信源次数的增加，编码的效率越来越接近于1比特/二元码符号，达到信源与信道匹配，使信道得到充分利用。4.3信源无失真编码第29页2023/2/1信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若R>C，则传输总要失真。完全无失真传送不可实现

实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大；实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量R>>C。基本概念4.4信息率失真函数及性质第30页2023/2/1技术发展的需要随着科技的发展，数字系统应用得越来越广泛，需要传送、存储和处理大量的数据。为了提高传输和处理效率，需要对数据压缩，这样会带来一定的信息损失。信息时代，信息爆炸，要求解决对海量数据有效的压缩，减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，想方设法压缩给定消息集合占用的空间域、时间域和频率域资源.

如海洋地球物理勘探遥测数据，用60路传感器，每路信号1kHz，16位A/D量化，每航测1km就需记录1盘0.5英寸的磁带，一条测量船每年就可勘测15000km。基本概念4.4信息率失真函数及性质第31页2023/2/1实际生活中的需要

实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。有些失真没有必要完全消除。既然允许一定的失真存在，对信息率的要求便可降低。基本概念4.4信息率失真函数及性质第32页2023/2/1信息率失真理论研究的内容:

信息率与允许失真之间的关系。

信息率失真函数

香农定义了信息率失真函数R(D)。“保真度准则下的信源编码定理”指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。基本概念4.4信息率失真函数及性质第33页2023/2/1信息率失真函数极小值问题

I(X;Y)是P(X)和P(X/Y)的二元函数；在讨论信道容量时：规定了P(X/Y)，I(X;Y)变成了P(X)的函数。在离散情况下，因为I(X;Y)对p(xi)是上凸函数，所以变更p(xi)所求极值一定是I(X;Y)的极大值；在连续情况下，变更信源P(X)求出的也是极大值，但求极值时还要一些其它的限制条件。在讨论信息率时：规定p(xi)，变更p(yj/xi)来求平均互信息的极值，称为信道容量对偶问题。由于I(X;Y)是p(yj/xi)的下凸函数，所求的极值一定是极小值。但若X和Y相互统计独立（p(yj/xi)=p(yj)），这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，这样求极小值就没意义了。引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变的有意义了。4.4信息率失真函数及性质第34页2023/2/1(1)信息率与失真的关系信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真。误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息的信息率也越小。4.4.1失真测度4.4信息率失真函数及性质第35页2023/2/1(2)失真度失真度

设离散无记忆信源为：信源符号通过信道传送到接收端Y：信道的传递概率矩阵：对每一对(xi,yj)，指定一个非负函数d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m称d(xi,yj)为单个符号的失真度（失真函数）。表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真。4.4.1失真测度4.4信息率失真函数及性质第36页2023/2/1(2)失真度失真矩阵

失真度还可表示成矩阵的形式称[D]为失真矩阵。它是n×m阶矩阵。连续信源和连续信道的失真函数在连续信源和连续信道情况下，失真度定义为：d(x,y)≥0。4.4信息率失真函数及性质第37页2023/2/1(3)常用的失真函数第一种：

当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以定义失真度为0；当i≠j时，用Y代表X就有误差。这种定义认为对所有不同的i和j引起的误差都一样，所以定义失真度常数a。特点：对角线上的元素均为0，对角线以外的其它元素都为常数a。汉明失真函数：a=1。4.4.1失真测度4.4信息率失真函数及性质第38页2023/2/1(3)常用的失真函数

第二种（平方误差失真函数）：d(xi,yj)=(yj－xi)2

失真矩阵：平方误差失真矩阵。若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重,严重程度用平方表示。

第三种（绝对失真函数）：d(xi,yj)=|yj－xi|4.4信息率失真函数及性质失真矩阵：绝对误差失真矩阵。失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。第39页2023/2/1(4)平均失真度平均失真度

d(xi,yj)只能表示两个特定的具体符号xi和yj之间的失真。平均失真度：失真度的数学期望，即：4.4.1失真测度4.4信息率失真函数及性质第40页2023/2/1(4)平均失真度平均失真度的意义

是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(xi)、信道统计特性p(yj/xi

)和失真度d(xi,yj)的函数。当p(xi)，p(yj/xi

)和d(xi,yj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。如果信源和失真度一定，就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。保真度准则

人们所允许的失真指的都是平均意义上的失真。保真度准则：规定平均失真度不能超过某一限定的值D，即，则D

就是允许失真的上界。该式称为保真度准则。4.4信息率失真函数及性质第41页2023/2/1(5)N次扩展信道的平均失真度

N次扩展

单符号离散无记忆信源X{x1,x2,…,xn}的N次扩展信源XN

=X1X2…XN

，在信道中的传递作用相当于单符号离散无记忆信道的N次扩展信道，输出也是一个随机变量序列YN=Y1Y2…YN

。此时输入共有nN个不同的符号：信道的输出共有mN个不同的符号：4.4.1失真测度4.4信息率失真函数及性质第42页2023/2/1(5)N次扩展信道的平均失真度

N次扩展

定义离散无记忆信道{X

P(Y/X)Y}的N次扩展信道的输入序列X和输出序列Y

之间的失真函数：定义的说明：离散无记忆信道的N次扩展信道输入输出之间的失真，等于输入序列X中N个信源符号xi1,xi2,…,xiN各自通过信道{X

P(Y/X)Y}，分别输出对应的N个信宿符号yj1,yj2,…,yjN后所引起的N个单符号失真d(xik,yjk)(k=1,2,…,N)之和。

N次离散无记忆扩展信源和信道的平均失真度为，则：4.4信息率失真函数及性质第43页2023/2/1(5)N次扩展信道的平均失真度“N次扩展”与“单符号”平均失真度的关系

由扩展信源和扩展信道的无记忆性有：（k=1,2,…,N）是同一信源X在N个不同时刻通过同一信道{X

P(Y/X)Y}所造成的平均失真度，因此都等于单符号信源X通过信道{X

P(Y/X)Y}所造成的平均失真度，即：结论说明：离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的N倍。N次扩展的保真度准则：离散无记忆N次扩展信源通过离散无记忆N次扩展信道的保真度准则为：4.4信息率失真函数及性质第44页2023/2/1(1)试验信道单符号信源和单符号信道的试验信道当固定信源（P(X)已知），单个符号失真度也给定时，选择信道使。凡满足要求的信道称为D失真许可的试验信道，简称试验信道。所有试验信道构成的集合用PD来表示，即：4.4.2信息率失真函数的定义

N次扩展的试验信道：

对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道集合PD(N)为：4.4信息率失真函数及性质第45页2023/2/14.4.2信息率失真函数的定义(2)信息率失真函数单符号信源和单符号信道的信息率失真函数

信息率失真函数（率失真函数）R(D)：在信源和失真度给定以后，PD是满足保真度准则的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj/xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即：在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。4.4信息率失真函数及性质第46页2023/2/14.4.2信息率失真函数的定义(2)信息率失真函数“N次扩展”的信息率失真函数“N次扩展”的信息率失真函数RN(D)：对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，在所有满足保真度准则的N维试验信道集合中，一定可以寻找到某个信道使平均互信息取最小值：由信源和信道的无记忆性，可以证明：RN(D)=NR(D)4.4信息率失真函数及性质第47页2023/2/14.4.2信息率失真函数的定义(3)求信息率失真函数的方法对偶问题：

平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函数，又是信道传递概率p(yj/xi)的下凸函数。率失真函数R(D)是在允许平均失真度D和信源概率分布p(xi)已给的条件下，求平均互信息的极小值（最小）问题。而信道容量C是在信道特性p(yj/xi)已知的条件下求平均互信息的极大值（最大）问题。这两个问题是对偶问题。求信道容量的方法：信道容量是假定信道固定的前提下，选择一种试验信源，使信息率最大。一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。4.4信息率失真函数及性质第48页2023/2/14.4.2信息率失真函数的定义(3)求信息率失真函数的方法求信息率失真函数的方法：

信息率失真函数R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。4.4信息率失真函数及性质第49页2023/2/14.4.2信息率失真函数的定义(4)研究信道编码和率失真函数的意义研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。

研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。4.4信息率失真函数及性质第50页2023/2/14.4.3信息率失真函数的性质(1)率失真函数的定义域什么是率失真函数的定义域允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度的上限值。率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。

D的选取必须根据固定信源X的统计特性p(x)和选定的失真函数d(xi,yj)，在平均失真度的可能取值范围内。4.4信息率失真函数及性质第51页2023/2/1(1)率失真函数的定义域信源最小平均失真度Dmin

是非负函数d(xi,yj)的数学期望，也是一个非负函数，显然其下限为0。因此允许平均失真度D的下限也必然是0，这就是不允许有任何失真的情况。允许平均失真度D能否达到其下限值0，与单个符号的失真函数有关。

信源最小平均失真度Dmin

：对于每一个xi，找出一个yj与之对应，使d(xi,yj)最小，不同的xi对应的最小d(xi,yj)也不同。这相当于在失真矩阵的每一行找出一个最小的d(xi,yj)，各行的最小d(xi,yj)值都不同。对所有这些不同的最小值求数学期望，就是信源的最小平均失真度。4.4信息率失真函数及性质第52页2023/2/1(1)率失真函数的定义域信源最小平均失真度Dmin

只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。

当Dmin=0时（信源不允许任何失真存在），信息率至少应等于信源输出的平均信息量（信源熵），即R(0)=H(X)。连续信源有。这时虽然信源熵是有限的，但信息量是无穷大。实际信道容量总是有限的，无失真传送这种连续信息是不可能的。只有当允许失真（R(D)为有限值），传送才是可能的。4.4.3信息率失真函数的性质4.4信息率失真函数及性质第53页2023/2/1(1)率失真函数的定义域信源最小平均失真度Dmin

[举例]：除删信源X取值于{0,1}，Y取值于

{0,1,2}，失真矩阵为：满足最小允许失真度的试验信道是一个无噪无损的试验信道：4.4信息率失真函数及性质第54页2023/2/1(1)率失真函数的定义域信源最大平均失真度Dmax

信源最大平均失真度Dmax：必须的信息率越小，容忍的失真就越大。当R(D)等于0时，对应的平均失真最大，也就是函数R(D)定义域的上界值Dmax

。信息率失真函数是平均互信息的极小值：当R(D)=0时，平均互信息的极小值等于0；当D>Dmax时，从数学意义上讲，因为R(D)是非负函数，所以它仍只能等于0。这相当于输入X和输出Y统计独立。意味着在接收端收不到信源发送的任何信息，与信源不发送任何信息等效。或者说传送信源符号的信息率可以压缩至0。4.4信息率失真函数及性质第55页2023/2/1(1)率失真函数的定义域信源最大平均失真度Dmax

计算Dmax的值令试验信道特性p(yj/xi)=p(yj)(i=1,2,…,n)这时X和Y相互独立，等效于通信中断，因此I(X;Y)=0，即R(D)=0。满足上式的试验信道有许多，相应地可求出许多平均失真度值，从中选取最小的一个，就是这类平均失真值的下界Dmax。4.4信息率失真函数及性质第56页2023/2/1(1)率失真函数的定义域信源最大平均失真度Dmax

计算Dmax的值上式是用不同的概率分布{p(yj)}对Dj求数学期望，取数学期望当中最小的一个作为Dmax。实际是用p(yj)对Dj进行线性分配，使线性分配的结果最小。当p(xi)和d(xi,yj)给定时，必可计算出Dj

，Dj随j的变化而变化，p(yj)是任选的，只需满足非负性和归一性。若Ds是所有Dj当中最小的一个，可取p(ys)=1，其它p(yj)为0，这时Dj的线性分配（数学期望）必然最小，即：4.4信息率失真函数及性质第57页2023/2/1(1)率失真函数的定义域[例4.1.1]二元信源，相应的失真矩阵，计算Dmax

。先计算Dj

：

根据概率的完备性：p(y1)+p(y2)=1当p(y1)=0，p(y2)=1时，得到最小值：4.4信息率失真函数及性质第58页2023/2/1(1)率失真函数的定义域结论

R(D)的定义域为：(Dmin,Dmax)

一般情况下：Dmin=0，R(Dmin)=H(X)

当D≥Dmax时：R(D)=0

当Dmin<D<Dmax时：0<R(D)<H(X)4.4.3信息率失真函数的性质4.4信息率失真函数及性质第59页2023/2/14.4.3信息率失真函数的性质(2)率失真函数对允许平均失真度的下凸性对任一0≤θ≤1和任意平均失真度D，D’’≤Dmax，

R[θD’+(1－θ)D’’]≤θR(D’)+(1－θ)R(D’’)。4.4信息率失真函数及性质第60页2023/2/14.4.3信息率失真函数的性质(3)率失真函数的单调递减和连续性R(D)的连续性：可由平均互信息I(X;Y)是信道传递概率p(yj/xi)的连续性来证明。R(D)单调递减性：可以证明，在Dmin<D<Dmax范围内R(D)单调递减。率失真函数曲线图说明

R(0)=H(X)，R(Dmax)=0，决定了曲线边缘上的两个点；在0和Dmax之间，R(D)是单调递减的下凸函数；在连续信源时，当D→0时，

R(D)→∞，曲线将不与R(D)

轴相交。4.4信息率失真函数及性质第61页2023/2/14.5信息率失真函数与信道容量对离散信源，求R(D)与求C类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；C是求平均互信息的条件极大值，R(D)是求平均互信息的条件极小值。第62页2023/2/14.5.1信息率失真函数与信息价值信息价值比信息量更难定义，它与信息的接收者有关。同样的信息对不同的使用者，信息量相同但价值却不一样。香农信息论研究的是客观信息量，一般不涉及接收者的情况。从信息率失真理论出发，如果把平均失真理解成平均损失，则损失的大小就与接收者的情况有关了，在此基础上可定义信息价值，从而用信息论解决实际问题。4.5信息率失真函数与信道容量第63页2023/2/14.5.1信息率失真函数与信息价值说明：

信息价值随着信息率的增加而增加；获取信息要付出代价，得到信息会获得利益。一般来说，获得的信息越多，付出的代价也越大；信息价值的概念从理论上定量地证明了信息是财富的假说；进一步的研究证明：信息还可以代替人力、物质、能源和资本，从而得到更多的经济利益。这些问题的深入讨论涉及到信息经济学理论，属于广义信息论范畴。4.5信息率失真函数与信道容量第64页2023/2/14.5.2信道容量与信息率失真函数的比较

从数学上说，信道容量和信息率失真函数的问题，都是求平均互信息极值问题，有相仿之处，故常称为对偶问题。(1)

求极值问题(2)

特性(3)

解决的问题4.5信息率失真函数与信道容量第65页2023/2/14.5.2信道容量与信息率失真函数的比较(1)求极值问题平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)或概率密度函数p(x)的上凸函数。根据上凸函数定义，如果I(X;Y)在定义域内对p(xi)或p(x)的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下，求平均互信息极大值的问题，即：4.5信息率失真函数与信道容量第66页2023/2/14.5.2信道容量与信息率失真函数的比较(1)求极值问题I(X;Y)又是信道转移概率分布p(yj/xi)(i=1,2,…,n；j=1,2,…,m)或条件概率密度函数p(y/x)的下凸函数，因此在满足保真度准则条件下，I(X;Y)对p(yj/xi)或p(y/x)的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即：4.5信息率失真函数与信道容