第6章信息率失真函数

2023/9/171第六章

率失真编码

-信息率失真函数,保真度准则下的信源编码内容提要数据压缩是信息传输和处理的重要研究内容，率失真理论研究的就是在允许一定失真的前提下，对信源的压缩编码。率失真信源编码定理（香农第三定理）指出：率失真函数R(D)就是在给定失真测度条件下，对信源熵可压缩的最低程度。本章只限于研究率失真理论最基本的内容，失真测度，率失真函数，率失真函数的定义域，值域，性质及定量计算。R(D)的计算很烦琐，文中通过二个例子介绍了几种特殊情况下R(D)的求法，一般情况只能用参数法求解。连续信源用连续随机变量描述输出的信源称为连续信源.第一章给出的定义根据样本空间X取值分布的不同情况，信源可分为以下类型。离散信源：消息集X为离散集合。即时间和幅度取值都离散的信源。连续信源：时间离散而幅度取值连续的信源，如温度，压力等；波形信源：时间和幅度取值连续的信源，如语言、图像信源等。连续信源和波形信源输出的消息都可以经过抽样和量化分别处理成时间和幅度取值都离散的消息，因此，本书中主要讨论离散信源的情况。--像数学中的sin(x)，cos(x).连续信源的数学模型连续信源基本的数学模型为

R是全实数集，是连续变量x的取值范围p(x)为x的概率密度连续信源的熵连续信源的熵定义为连续信源的熵并不是实际信源输出的绝对熵连续信源的绝对熵应该再加上一项无限大的常数连续信源的可能取值有无限多个，若取值是等概率分布的，那么信源不确定性为无限大H(X)不能代表信源的平均不确定性大小，也不能代表连续信源输出的信息量连续信源的联合熵和条件熵两个连续变量X，Y的联合熵和条件熵定义为:单符号连续信道模型单符号连续信道模型可用{X,p(y|x),Y}表示X是输入连续型随机变量，取值区间为[a,b]或实数域RY是输出连续型随机变量，取值区间为[c,d]或实数域R信道的传递概率密度函数为p(y|x)，并满足：基本连续信道示意图信道输入X满足：信宿接收Y满足：连续信道的平均互信息量连续信道的的平均互信息量定义为单符号连续信道的信息传输率单符号连续信道的信息传输率定义为：

R＝I(X;Y)限失真信源编码“消息完全无失真传送”的可实现性信道编码定理：无论何种信道，只要信息传输率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若R>C，则传输总要失真。或总不能实现无失真的传输，使传输错误概率任意小。但实际上，完全无失真传送不可实现：实际的信源常常是连续的，而连续信源的绝对熵为无限大，若要求无失真地传送连续信源的消息，则要求信息传输率R为无穷大；实际信道带宽是有限的，所以信道容量受限制。为此，在实际通信中，信源输出的信息传输率总是大大超过信道容量（R>>C），根据信道编码定理因此不可能实现完全无失真地传输信源的信息。然而，在实际生活中，人们一般并不要求完全无失真地恢复消息。通常总是要求保证一定质量（一定保真度）的条件下近似地再现原来的消息，也就是允许一定的错误（失真）存在。2023/9/1712/1642023/9/1713/1642023/9/1714/164无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。但是，无失真的编码并非总是必要的。研究背景2023/9/1715/164香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。研究背景(续)2023/9/1716/164学习提纲信源的失真度和信息率失真函数的定义与性质；离散信源的信息率失真函数计算；保真度准则下的信源编码定理。本章主要讨论的问题是在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，即最少需要多少比特才能描述信息。也就是，在允许一定程度失真的条件下，如何能快速的传递信息。2023/9/1717/1646.1.1系统模型6.1失真测度这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。信源信源编码信源译码信宿信道编码信道信道译码干扰广义无干扰信道图6.1通信系统2023/9/1718/1646.1.1系统模型信源信宿试验信道为了定量地描述信息传输率和失真的关系，一方面可以略去广义的无扰信道，另一方面我们用虚拟手法拿信道来表示失真信源编码的作用，把信源编码和信源译码等价成一个信道，由于是失真编码，所以信道不是一一对应的，用信道传递概率来描述编、译码前后的关系。这就使图6.1的通信系统简化成图6.2.一般我们称此信道为试验信道。现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。p(y|x)图6.2简化的通信系统UV2023/9/1719/1646.1.2失真度和平均失真度

一、失真度从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。2023/9/1720/164经信道传输后的输出序列为表示信源发出一个符号xi，而在接收端收到yj，所引起的失真度的定量描述。

即为失真函数（失真度）单符号失真度2023/9/1721/164若信源变量X有r个符号，接收变量Y有s个符号，则d(xi,yj)就有r×s个,它可以排列成矩阵形式，即：它为失真矩阵D，是r×s

阶矩阵。失真矩阵2023/9/1722/164这里假设x是信源，y是信宿，那么x和y之间必有信道。实际这里x指的是原始的未失真信源，而y是指失真以后的信源。因此，从x到y之间实际上是失真算法，所以这里的转移概率p(yj|xi)是指一种失真算法注意：2023/9/1723/164有时又把p(yj|xi)称为试验信道的转移概率，如图所示。原始信源失真信源试验信道信道xyp(yj/xi)注意（续）2023/9/1724/164

[例1]

离散对称信源(r=s)。信源变量X＝{x1,x2,…xr}，接收变量Y＝{y1,y2,…ys}。定义单个符号失真度：这种失真称为汉明失真。失真函数举例(1)2023/9/1725/164失真函数举例(1)汉明失真矩阵是一方阵，对角线上的元素为零，即

对二元对称信源(s＝r＝2)，信源x＝{0,1}，接收变量y＝{0,1}。在汉明失真定义下，失真矩阵为：2023/9/1726/164

[例2]删除信源。信源变量x＝{x1,x2,…xr}，接收变量y＝{y1,y2,…ys}(s=r+1)。定义其单个符号失真度为：其中接收符号ys作为一个删除符号。在这种情况下，意味着若把信源符号再现为删除符号ys时，其失真程度要比再现为其他接收符号的失真程度少一半。除j=s以外所有的j和i所有i失真函数举例(2)r+12023/9/1727/164失真函数举例(2)若二元删除信源r

＝2，s＝3，

X＝{0,1}，Y＝{0,1,2}。失真度为：d(0,0)=d(1,1)=0d(0,1)=d(1,0)=1d(0,2)=d(1,2)=1/22023/9/1728/1642023/9/1729/1642023/9/1730/1642023/9/1731/164

[例3]对称信源(s=r)。信源变量X＝{x1,x2,…xr}，接收变量Y＝{y1,y2,…ys}。失真度定义为：若信源符号代表信源输出信号的幅度值，这就是一种以方差表示的失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，严重程度用平方来表示。失真函数举例(3)2023/9/1732/164失真函数举例(3)当r＝3时，X＝{0,1,2}，Y＝{0,1,2}，则失真矩阵为：写出每个失真矩阵的矩阵元2023/9/1733/164失真度小结

上述三个例子说明了具体失真度的定义。一般情况下根据实际信源的失真，可以定义不同的失真和误差的度量。另外还可以按其他标准，如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(x,y)。常用失真函数小结2023/9/1736/164前三个（均方，绝对和相对失真）适用于连续信源，后一个适用于离散信源2023/9/1737/164序列失真度-N次扩展信源的失真函数假定离散信源N长符号序列为2023/9/1738/164书上例题P118,例6.42023/9/1739/164信源X和信宿

Y都是随机变量，故单个符号失真度d(xi,yj)也是随机变量。显然，规定了单个符号失真度d(xi,yj)后，传输一个符号引起的平均失真，即信源平均失真度：平均失真度2023/9/1740/164

在离散情况下，信源X＝{x1,x2,…xr}，其概率分布P(X)＝[P(x1),P(x2),…P(xr)]，信宿y＝{y1,y2,…ys}。若已知试验信道的传递概率为P(yj|xi)时，则平均失真度为：平均失真度（续）2023/9/1741/1642023/9/1742/164序列编码的平均失真假定输入序列为2023/9/1743/164扩展后的失真矩阵利用前一页的公式2023/9/1744/164平均失真度理解注意：2023/9/1745/164平均失真度理解（续）信源固定(给定P(x))，单个符号失真度固定时(给定d(xi,yj))，选择不同试验信道，相当于不同的编码方法，所得的平均失真度是不同的。2023/9/1746/164若平均失真度D不大于我们所允许的失真D，即：

D

D称此为保真度准则。D失真许可的试验信道凡满足保真度准则--------平均失真度D

D的试验信道称为---D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号BD表示，即：

BD={P(yj

|

xi)：D

D}2023/9/1747/164试验信道的理解信源编码器假想信道

希望在满足一定失真的情况下，必须传输的信息量尽可能的少

希望在用来再现信源信息的所必须获得的平均信息量最低Theseventeenthclass--20142023/9/1748/1646.2信息率失真函数及其性质研究背景信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率R尽可能地小。即在满足保真度准则下，寻找信源必须传输给收信者的信息率R的下限值-------------这个下限值与D有关。新内容2023/9/1749/1646.2信息率失真函数及其性质研究思路从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息I(X;Y)来表示，这就变成了在满足保真度准则的条件下，寻找平均互信息I(X;Y)的最小值。2023/9/1750/1646.2信息率失真函数及其性质寻找平均互信息I(X;Y)的最小值。而BD是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合BD中寻找一个信道p(Y/X)，使I(X;Y)取极小值。由于平均互信息I(X;Y)是p(Y/X)的U型（下）凸函数，所以在BD集合中，极小值存在。2023/9/1751/1646.2信息率失真函数及其性质在D允许信道BD可以寻找到一个信道p(Y/X)，使得给定的信源经过此信道传输时，其信息传输率I(X;Y)取极小值，定义为信息率失真函数R(D)，也称为率失真函数，即2023/9/1752/1646.2.1率失真函数R(D)的意义信息率失真函数的意义：对于给定的信源，在满足保真准则的前提下，信息率失真函数R(D)是信息允许压缩的最低值物理含义：率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。2023/9/1753/164一、求极值问题I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)的上凸函数，信道容量就是在固定信道情况下（p(Y/X)），求平均互信息极大值的问题，即I(X;Y)又是信道转移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)的下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即6.2.2率失真函数与信道容量比较2023/9/1754/164二、特性信道容量C一旦求出后，就只与信道转移概率p(yj/xi)有关，反映信道特性，与信源特性无关；信息率失真函数R(D)一旦求出后，就只与信源概率分布p(xi)有关，反映信源特性，与信道特性无关。率失真函数与信道容量比较2023/9/1755/164三、解决的问题信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。率失真函数与信道容量比较2023/9/1756/164四、研究信道编码和率失真函数的意义研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。率失真函数与信道容量比较2023/9/1757/164四、研究信道编码和率失真函数的意义（续）

研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。率失真函数与信道容量比较2023/9/1758/1642023/9/1759/1646.2.3信息率失真函数的性质R(D)的定义域R(D)是关于平均失真度D的下凸函数R(D)在区间(Dmin,Dmax)上是连续和严格单调递减函数2023/9/1760/164R(D)的定义域什么是率失真函数的定义域

允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度D的上限值。率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi,yj)，在平均失真度D的可能取值范围内。2023/9/1761/164R(D)的定义域--DminDmin和R(Dmin)由于平均失真度D是失真函数d(x,y)的数学期望，且d(x,y)≥0，所以平均失真度D是非负的，即D≥0，其下界Dmin=0当Dmin＝0，表示不允许任何失真，但：允许平均失真度D一定能达到Dmin＝0这个下界吗？2023/9/1762/164R(D)的定义域--Dmin允许平均失真度D能否达到其下限值0，与单个符号的失真函数有关。信源最小平均失真度Dmin：对于每一个xi，找出一个yj与之对应，使d(xi,yj)最小，不同的xi对应的最小d(xi,yj)也不同。这相当于在失真矩阵的每一行找出一个最小的d(xi,yj)

，各行的最小d(xi,yj)值都不同。对所有这些不同的最小值求数学期望，就是信源的最小平均失真度。试验信道为2023/9/1764/164R(D)的定义域--Dmin小结只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。当Dmin＝0，表示不允许任何失真，即：信息传输率等于信源输出的信息量2023/9/1765/164R(D)的定义域--Dmin小结（续）连续信源有这时虽然信源熵是有限的，但信息量是无穷大。实际信道容量总是有限的，无失真传送这种连续信息是不可能的。只有当允许失真（R(D)为有限值），传送才是可能的。求最小失真度1、书上P122例6.7求2、删除信源X取值于{0,1},Y取值于{0,1,2},而失真度为求最小失真度3、设信源，信宿Y{0,1}.失真度为求最小失真度解：2023/9/1768/164R(D)的定义域---Dmax

Dmax

和R(Dmax)I(X;Y)≥0，R(D)是在约束条件下I(X;Y)的最小值，所以R(D)≥0，其最小值为零，当R(D)=0这相当于输入X和输出Y统计独立。意味着在接收端收不到信源发送的任何信息，与信源不发送任何信息等效。或者说传送信源符号的信息率可以压缩至0。2023/9/1769/164R(D)的定义域---Dmax

Dmax

和R(Dmax)取满足R(D)=0的所有D中的最小的，定义为R(D)定义域的上限Dmax；即Dmax是满足R(D)=0的所有平均失真度D中的最小值。此时，R(D)=0，意味着不需传送任何信息。Dmax=?----如何计算呢2023/9/1770/164R(D)的定义域---DmaxR(D)=0，即I(X;Y)=0，这时X和Y相互独立，等效于通信中断，因此可令试验信道特性p(yj/xi)=p(yj)(i=1,2,…,n)。满足上式的试验信道有许多，相应地可求出许多平均失真值，从中选取最小的一个，就是这类平均失真值的下界Dmax。2023/9/1771/164R(D)的定义域---Dmax

续则满足上式的试验信道有许多，相应地可求出许多平均失真值，从中选取最小的一个，就是这类平均失真值的下界Dmax。这时X和Y相互独立，等效于通信中断2023/9/1772/164R(D)的定义域-----Dmax续如果选取的分布而对，取则2023/9/1773/1642023/9/1774/1642023/9/1775/1642023/9/1776/164R(D)的定义域------例题[例]

设试验信道输入符号集{a1,a2,a3}，各符号对应概率分别为={1/3,1/3,1/3}，失真矩阵如下所示，求Dmin和Dmax以及相应的试验信道的转移概率矩阵。2023/9/1777/164解：令对应最小失真度的，其它为“0”，可得对应的试验信道转移概率矩阵为

R(D)的定义域------例题续2023/9/1778/164上式中第二项最小，所以令

，

，可得对应

的试验信道转移概率矩阵为R(D)的定义域------例题续2023/9/1779/1642023/9/1780/1642023/9/1781/164Theeighteenthclass--20144.4给定信源分布=，失真测度矩阵[d]=，求率失真函数R（D）的定义域和值域。新内容2023/9/1783/164解：定义域：Dmin=0×0.5+0×0.25+0×0.25=0Dmax=min{2×0.25+1×0.25,2×0.5+1×0.25,1×0.5+3×0.25}=0.75值域：R（Dmin）=－0.5log0.5－0.25log0.25－0.25log0.25=0.45R（Dmax）=02023/9/1784/164求Dmin以及相应的试验信道？2023/9/1785/1642023/9/1786/164R(D)的定义域结论

R(D)的定义域为(Dmin,Dmax)；一般情况下Dmin=0，R(Dmin)=H(X)；当D≥Dmax时，R(D)=0；当Dmin<D<Dmax时，0<R(D)<H(X)。2023/9/1787/164R(D)是关于D的下凸函数2023/9/1788/164R(D)是关于D的下凸函数（续）均值的函数小于等于函数的均值书P122有详细的证明2023/9/1789/164R(D)在区间(Dmin,Dmax)上是严格递减函数2023/9/1790/164R(D)的三个结论2023/9/1791/164R(D)的一般曲线图离散系统连续系统连续信源的情况下2023/9/1792/164信息率失真函数的性质由以上分析可见，当规定了允许的失真D，又找到了适当的失真函数dij，就可以找到该失真条件下的最小信息率R(D)，这个最小信息率是一个极限值。在满足保真度准则的前提下，用不同方法进行数据压缩时，R(D)函数就是压缩程度的衡量，由R(D)可知是否还有压缩的潜力，潜力有多大，因此对它的研究很有实际意义。2023/9/1793/164限失真信源编码定理

香农第三定理2023/9/1794/164也可以将该定理作如下的叙述：R(D)为离散无记忆信源的信息率失真函数，D为允许的失真度，则只要实际的信息率R满足R≥R(D)，就存在一种编码方法，使其译码的平均失真度

，其中ε为任意小的正数；反之，若R<R(D)，则无论怎样的编码方法，都不能使，或必有，即译码平均失真度比大于允许的平均失真度香农第三定理2023/9/1795/164香农第三定理续从Shannon第三定理可以看出：（1）R(D)是保真度准则下，信源信息率压缩的下限值。无失真信源编码信息率压缩的下限值是信源熵H(X)，而D≤D+ε所以Shannon第三定理是限失真信源信息率压缩的理论基础。（2）把Shannon第三定理和第二定理结合起来，有可能实现有效性和可靠性的优化。2023/9/1796/164限失真信源编码定理：存在定理香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在以下两方面的问题：1、符合实际信源的R(D)函数的计算相当困难。1）需要对实际信源的统计特性有确切的描述

2）需要对符合主客观实际的失真给予正确的描述3）即使满足了前两条，R(D)的计算也比较困难2023/9/1797/164限失真信源编码定理：存在定理

2、即使求得很好的R(D)函数，还需要研究采取何种编码方法才能达到极限值R(D)。目前，这两方面工作都有进展。2023/9/1798/164信息论“三大定理”总结香农信息论的三个基本概念—信源熵、信道容量、信息率失真函数，都是临界值，是从理论上衡量通信能否满足要求的重要界限。香农的三个基本编码定理—无失真信源编码定理、信道编码定理、限失真信源编码定理，这是三个理想编码的存在性定理。分别又称为香农第一、第二、第三定理。2023/9/1799/164信息论“三大定理”总结（续）虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到“理想编码”，则完全是另外一回事。2023/9/17100/164率失真函数的参量表达式方法求解已知信源的概率分布p(x)和失真函数d(x,y),就可以确定信源的信息率失真函数R(D),它是在约束条件，即保真度准则下，求极小值问题。一般情况下难以得到明显的解析表达式，通常情况下需要用参量表示法，或采用迭代算法求解。The13thweek2023/9/17101/164拉格朗日乘子法

2023/9/17102/164R(D)参量表示法求解设离散信源的输入序列为输出序列为字符传输的失真函数为2023/9/17103/164R(D)参量表示法求解（续）采用如下简记2023/9/17104/164R(D)参量表示法求解续信息率失真函数R(D)的计算为在约束条件信道矩阵每一行等于12023/9/17105/164R(D)参量表示法求解续信道的传递概率具体的过程可以参照书上P129，做为了解过程。2023/9/17106/164运用拉格朗日乘子法求信息率失真函数R(D)的具体步骤：五步，具体在P131.2023/9/17107/164应用参量表示法计算R(D)的例题例：二进制对称信源，设信源输入符号集为（0，1）---书上P131，看看过程其中p(0)=p,p(1)=1-p,p≤1/2,失真函数定义为设输出符号集为(0,1)，求信息率失真函数R(D)2023/9/17108/164应用参量表示法计算R(D)的例题(续)解：2023/9/17109/164应用参量表示法计算R(D)的例题(续)2023/9/17110/164应用参量表示法计算R(D)的例题(续)2023/9/17111/164应用参量表示法计算R(D)的例题(续)2023/9/17112/164应用参量表示法计算R(D)的例题(续)2023/9/17113/164应用参量表示法计算R(D)的例题(续)结果很重要Thenineteenthclass--2014Over!!2023/9/17114/164复习上一次课主要内容一、信息率失真函数的两个性质1、R(D)是关于D的下凸函数、2、R(D)在区间(Dmin,Dmax)上是严格递减函数二、香农第三定理（限失真信源编码定理）三、R(D)的参数法求解2023/9/17115/164也可以将该定理作如下的叙述：R(D)为离散无记忆信源的信息率失真函数，D为允许的失真度，则只要实际的信息率R满足R≥R(D)，就存在一种编码方法，使其译码的平均失真度D≤D+ε，其中ε为任意小的正数；反之，若R<R(D)，则无论怎样的编码方法，都不能使D≤D+ε香农第三定理2023/9/17116/164率失真函数的参量表达式方法求解已知信源的概率分布p(x)和失真函数d(x,y),就可以确定信源的信息率失真函数R(D),它是在约束条件，即保真度准则下，求极小值问题。一般情况下难以得到明显的解析表达式，通常情况下需要用参量表示法，或采用迭代算法求解。2023/9/17117/164应用参量表示法计算R(D)的例题例：二进制对称信源，设信源输入符号集为（0，1）其中p(0)=p,p(1)=1-p,p≤1/2,失真函数定义为设输出符号集为(0,1)，求信息率失真函数R(D)2023/9/17118/164应用参量表示法计算R(D)的例题(续)结果很重要2023/9/17119/164四、二元信源在对称失真函数定义下的率失真函数

这样的条件下，我们称该信源为二元对称信源。BinarySymmetricSource---BSS

由于此类信源的特殊性，故可以求得它的信息率失真函数的解析表达式:新内容2023/9/17120/164例6-6：我们按照上节所给出的求解步骤依次解答。2023/9/17121/164第二步：求解参数方程解之:2023/9/17122/164又根据所计算出的

i列出方程：其中的q为理想的输出分布。带入

i得联立方程组：2023/9/17123/164§6.3离散信源率失真函数的计算解之：下一步带入参数表达式R(D)：2023/9/17124/164§6.3离散信源率失真函数的计算实际上对于这种最简单的离散信源，我们可以利用S和D的关系来消掉参数S，从而得到R(D)

的解析式，但它仅是一个特例。2023/9/17125/164§6.3离散信源率失真函数的计算我们只要将S和exp(s)带入R(s)中就可得到R(D)函数的解析表达式：所以计算得二元离散对称信源的信息率失真函数----重要结论---课后的习题经常用到三、r元等概分布对称信源的率失真函数对应的率失真分布：r元对称信源X={x1,x2,…,xr},且信源为等概分布P(x)=1/r,失真度为汉明失真度，率失真函数为习题：一个四元对称信道接收符号为其失真矩阵为求信源的R(D)函数

因为是四元对称信道，又是等概率分布，所以根据四元离散对称信源可得

利用已知公式2023/9/17130/164R(D)的意义对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性并可以求解出不同的信息率失真R’(D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。2023/9/17131/164R(D)的意义阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。2023/9/17132/164经信道传输后的输出序列为表示信源发出一个符号xi，而在接收端收到yj，所引起的失真度的定量描述。

即为失真函数1、单符号失真度本章小结2023/9/17133/164

在离散情况下，信源X＝{x1,x2,…xr}，其概率分布P(X)＝[P(x1),P(x2),…P(xr)]，信宿y＝{y1,y2,…ys}。若已知试验信道的传递概率为P(yj|xi)时，则平均失真度为：2、平均失真度2023/9/17134/1643、信息率失真函数及其性质在D允许信道BD可以寻找到一个信道p(Y/X)，使得给定的信源经过此信道传输时，其信息传输率I(X;Y)取极小值，定义为信息率失真函数R(D)，也称为率失真函数，即2023/9/17135/1644、如何求R(D)的定义域和值域2023/9/17136/1645、香农第三定理——保真度准则下的率失真编码定理，这是信息理论的重要定理之一。2023/9/17137/164本章一些例子2023/9/17138/1642023/9/17139/1642023/9/17140/1642023/9/17141/1642023/9/17142/1642023/9/17143/1642023/9/17144/1642023/9/17145/1642023/9/17146/1642023/9/17147/1642023/9/17148/164复习问题的引人—率失真编码，信息率失真函数有噪信道编码定理告诉我们：只要信道的信息传输率R小于信道容量C，总能找到一种编码方法，使的在该信道上的信息传输率的差错概率任意小(错误概率的计算方法也讲过了)；反之，若信道的信息传输率R大于信道容量C，则不可能使信息传输差错概率任意小。但是无失真的编码并非总是必要的。实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求再现原始消息的近似值（例如语音信号有一些失真，人们也能听明白电话的内容），也就是允许一定的失真存在；其次，无失真的编码并非总是可能。实际上，信源的输出常常是连续的消息，所以信源的信息量无限大。要想无失真地传送连续信源的消息，要求信息率R必须是无穷大；再者由于信道噪声的影响，即使信源消息的编码是无失真的，信息在传输过程也会产生差错或失真。所以，在实际信息传输系统中，失真是不可避免的，有时甚至是必要的。在允许一定程度失真的条件下，能够多大程度地压缩信息，即最少需要多少比特数才能描述信源，也就是，在允许一定程度失真的条件下，如何能快速的传递信息，这就是本章要讨论的问题，---率失真编码，信息率失真函数R(D)。2023/9/17149/164已讲过的主要内容1、单符号失真度，失真矩阵，几种常用的失真函数；2、平均失真度；--定义和计算3、D失真许可的试验信道；--保真度准则4、信息率失真函数及其性质；--率失真函数的定义，定义域，值域等。2023/9/17150/164经信道传输后的输出序列为表示信源发出一个符号xi，而在接收端收到yj，所引起的失真度的定量描述。

即为失真函数1、单符号失真度2023/9/17151/164若信源变量X有r个符号，接收变量Y有s个符号，则d(xi,yj)就有r×s个,它可以排列成矩阵形式，即：它为失真矩阵D，是r×s

阶矩阵。失真矩阵2023/9/17152/164前三个（均方，绝对和相对失真）适用于连续信源，后一个适用于离散信源几种常用失真函数2023/9/17153/164信源X和信宿

Y都是随机变量，故单个符号失真度d(xi,yj)也是随机变量。显然，规定了单个符号失真度d(xi,yj)后，传输一个符号引起的平均失真，即信源平均失真度：2、平均失真度2023/9/17154/164

在离散情况下，信源X＝{x1,x2,…xr}，其概率分布P(X)＝[P(x1),P(x2),…P(xr)]，信宿y＝{y1,y2,…ys}。若已知试验信道的传递概率为P(yj|xi)时，则平均失真度为：2023/9/17155/1642023/9/17156/164平均失真度理解注意：2023/9/17157/164平均失真度理解（续）信源固定(给定P(x))，单个符号失真度固定时(给定d(xi,yj))，选择不同试验信道，相当于不同的编码方法，所得的平均失真度是不同的。2023/9/17158/164若平均失真度D不大于我们所允许的失真D，即：

D

D称此为保真度准则。3、D失真许可的试验信道凡满足保真度准则--------平均失真度D

D的试验信通称为---D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号BD表示，即：

BD={P(yj

|

xi)：D

D}2023/9/17159/1644、信息率失真函数及其性质研究背景信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率R尽可能地小。即在满足保真度准则下，寻找信源必须传输给收信者的信息率R的下限值-------------这个下限值与D有关。2023/9/17160/164研究思路从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息I(X;Y)来表示，这就变成了在满足保真度准则的条件下，寻找平均互信息I(X;Y)的最小值。2023/9/17161/164寻找平均互信息I(X;Y)的最小值。而BD是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合BD中寻找一个信道p(Y/X)，使I(X;Y)取极小值。由于平均互信息I(X;Y)是p(Y/X)的U型（下）凸函数，所以在BD集合中，极小值存在。2023/9/17162/164在D允许信道BD可以寻找到一个信道p(Y/X)，使得给定的信源经过此信道传输时，其信息传输率I(X;Y)取极小值，定义为信息率失真函数R(D)，也称为率失真函数，即2023/9/17163/164率失真函数R(D)的意义信息率失真函数的意义：对于给定的信源，在满足保真准则的前提下，信息率失真函数R(D)是信息允许压缩的最低值物理含义：率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。2023/9/17164/164一、求极值问题I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)的上凸函数，信道容量就是在固定信道情况下（p(Y/X)），求平均互信息极大值的问题，即I(X;Y)又是信道转移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)的下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即率失真函数与信道容量比较2023/9/17165/164二、特性信道容量C一旦求出后，就只与信道转移概率p(yj/xi)有关，反映信道特性，与信源特性无关；信息率失真函数R(D)一旦求出后，就只与信源概率分布p(xi)有关，反映信源特性，与信道特性无关。率失真函数与信道容量比较2023/9/17166/164三、解决的问题信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现—文章第四，第五章详细讨论过；信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。率失真函数与信道容量比较2023/9/17167/164四、研究信道编码和率失真函数的意义研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。率失真函数与信道容量比较2023/9/17168/164四、研究信道编码和率失真函数的意义（续）

研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。率失真函数与信道容量比较2023/9/17169/1642023/9/17170/164信息率失真函数的性质R(D)的定义域R(D)是关于平均失真度D的下凸函数R(D)在区间(Dmin,Dmax)上是连续和严格单调递减函数2023/9/17171/164R(D)的定义域什么是率失真函数的定义域

允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度D的上限值。率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi,yj)，在平均失真度D的可能取值范围内。2023/9/17172/164R(D)的定义域--DminDmin和R(Dmin)由于平均失真度D是失真函数d(x,y)的数学期望，且d(x,y)≥0，所以平均失真度D是非负的，即D≥0，其下界Dmin=0当Dmin＝0，表示不允许任何失真，但：允许平均失真度D一定能达到Dmin＝0这个下界吗？2023/9/17173/164R(D)的定义域--Dmin允许平均失真度D能否达到其下限值0，与单个符号的失真函数有关。信源最小平均失真度Dmin：对于每一个xi，找出一个yj与之对应，使d(xi,yj)最小，不同的xi对应的最小d(xi,yj)也不同。这相当于在失真矩阵的每一行找出一个最小的d(xi,yj)

，各行的最小d(xi,yj)值都不同。对所有这些不同的最小值求数学期望，就是信源的最小平均失真度。2023/9/17174/164R(D)的定义域--Dmin只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。当Dmin＝0，表示不允许任何失真，即：信息传输率等于信源输出的信息量2023/9/17175/1643、设信源，信宿Y{0,1}.失真度为求最小失真度解：2023/9/17176/164R(D)的定义域---Dmax

Dmax

和R(Dmax)I(X;Y)≥0，R(D)是在约束条件下I(X;Y)的最小值，所以R(D)≥0，其最小值为零，当R(D)=0这相当于输入X和输出Y统计独立。意味着在接收端收不到信源发送的任何信息，与信源不发送任何信息等效。或者说传送信源符号的信息率可以压缩至0。2023/9/17177/164R(D)的定义域---Dmax

Dmax

和R(Dmax)取满足R(D)=0的所有D中的最小的，定义为R(D)定义域的上限Dmax；即Dmax是满足R(D)=0的所有平均失真度D中的最小值。此时，R(D)=0，意味着不需传送任何信息。Dmax=?----如何计算呢2023/9/17178/1642023/9/17179/1642023/9/17180/1642023/9/17181/164例题[例]

设试验信道输入符号集{a1,a2,a3}，各符号对应概率分别为={1/3,1/3,1/3}，失真矩阵如下所示，求Dmin和Dmax以及相应的试验信道的转移概率矩阵。2023/9/17182/164解：令对应最小失真度的，其它为“0”，可得对应的试验信道转移概率矩阵为

2023/9/17183/164上式中第二项最小，所以令

，

，可得对应

的试验信道转移概率矩阵为2023/9/1