g第4-5章：连续信号与连续信道容量

第四章连续信源和连续信道容量连续信源连续信道容量4.1连续信源连续信源的统计特性连续信源的熵几种特殊连续信源的熵TTP已优化方便打印1、连续信源的统计特性连续信源，指输出消息在时间和取值上都连续的信源；连续信源输出的消息是随机的，与随机过程相对应；连续信源的统计特性---概率密度函数；单变量连续信源的输出是取值连续的随机变量。可用变量的概率密度、变量间的条件概率密度和联合概率密度描述。①一维概率密度函数随机变量X的一维概率密度函数（边缘概率密度函数）为：②条件概率密度和联合概率密度函数条件概率密度函数：联合概率密度函数：它们之间的关系为：边缘概率密度函数满足：2、连续信源的熵单变量连续信源数学模型：R是连续变量X

的取值范围。先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。设p(x)

如图所示。把连续随机变量X

的取值分割成n

个小区间，各小区间等宽，即：Δ=(b－a)/n。则变量落在第i个小区间的概率为：其中

xi

是a+(i－1)Δ

到

a+iΔ

之间的某一值。当p(x)

是X

的连续函数时，由中值定理可知，必存在一个

xi

值使上式成立。这样连续变量

x

就可用取值为xi(i=1,2,…,n)

的离散变量近似。连续信源被量化成离散信源。上式右端的第一项一般是定值，而第二项在Δ→0

时是一无限大量。丢掉后一项，定义连续信源的熵为：上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。连续信源的联合熵和条件熵两个连续变量的联合熵：两个连续变量的条件熵：3、几种特殊连续信源的熵(1)均匀分布的连续信源的熵一维连续随机变量

X在[a,b]

区间内均匀分布时的熵为:Hc(X)=log2(b－a)若

N

维矢量X=(X1X2…XN)

中各分量彼此统计独立，且分别在[a1,b1][a2,b2]…[aN,bN]

的区域内均匀分布，即：(2)高斯分布的连续信源的熵一维随机变量X

的取值范围是整个实数轴R，概率密度函数呈正态分布，即：x=-4:0.3:4;m1=1;n1=0.5;m2=2;n2=0.5;m3=1;n3=0.3;z1=(1/sqrt(2*pi*n1))*exp((-1/2)*(x-m1).^2/n1^2);z2=(1/sqrt(2*pi*n2))*exp((-1/2)*(x-m2).^2/n2^2);z3=(1/sqrt(2*pi*n3))*exp((-1/2)*(x-m3).^2/n3^2);subplot(3,1,1);plot(x,z1)subplot(3,1,2);plot(x,z2)subplot(3,1,3);plot(x,z3)说明高斯连续信源的熵与数学期望m

无关，只与方差σ2有关；熵描述的是信源的整体特性，由图2.3.2看出，当均值m

变化时，只是p(x)

的对称中心在横轴上发生平移，曲线的形状没有任何变化，即数学期望m

对高斯信源的总体特性没有任何影响；若方差σ2不同，曲线的形状随之改变，所以高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。连续信道的数学模型连续信道容量---香农公式举例4.2连续信道容量连续信道：输入输出随机变量都取值于连续集合的信道一、单维连续通信系统数学模型：XYp(Y/X)两类情况

高斯加性信道非高斯加性信道加性信道的重要性质：信道的传递概率密度函数就等于噪声的概率密度函数加性信道条件熵是由噪声引起的，所以称为噪声熵由于加性噪声N和信源X相互统计独立，X的概率密度函数p(x)的变动不会引起噪声熵H(N)的改变，因此加性信道的容量C就是选择p(x)，使输出熵H(Y)达到最大。

连续信道容量可以证明式中S

－信号平均功率（W）；

N

－噪声功率（W）；

B

－带宽（Hz）。设噪声单边功率谱密度为n0，则N=n0B； 故上式可以改写成：由上式可见，连续信道的容量Ct和信道带宽B、信号功率S及噪声功率谱密度n0三个因素有关。 当S

，或n0

0时，Ct

。 但是，当B

时，Ct将趋向何值？令：x=S/n0B，上式可以改写为：利用关系式上式变为 上式表明，当给定S/n0时，若带宽B趋于无穷大，信道容量不会趋于无限大，而只是S/n0的1.44倍。这是因为当带宽B增大时，噪声功率也随之增大。

Ct和带宽B的关系曲线：图4-24信道容量和带宽关系S/n0S/n0BCt1.44(S/n0)上式还可以改写成如下形式：式中 Eb

－每比特能量；

Tb=1/B

－每比特持续时间。 上式表明，为了得到给定的信道容量Ct，可以增大带宽B以换取Eb的减小；另一方面，在接收功率受限的情况下，由于Eb=STb，可以增大Tb以减小S来保持Eb和Ct不变。香农公式的主要结论：（1）信道容量C随S/N增大而增大；（2）N－>0,C－>∞，无扰信道的容量为无穷大；（3），n0为噪声功率谱密度；【例】已知黑白电视图像信号每帧有30万个像素；每个像素有8个亮度电平；各电平独立地以等概率出现；图像每秒发送25帧。若要求接收图像信噪比达到30dB，试求所需传输带宽。【解】因为每个像素独立地以等概率取8个亮度电平，故每个像素的信息量为

Ip=-log2(1/8)=3 (b/pix) 并且每帧图像的信息量为

IF=300,000

3=900,000(b/F) 因为每秒传输25帧图像，所以要求传输速率为

Rb=900,000

25=22,500,000=22.5

106(b/s) 信道的容量Ct必须不小于此Rb值。将上述数值代入式：得到 22.5

106=Blog2(1+1000)

9.97B最后得出所需带宽

B=(22.5

106)/9.97

2.26(MHz)信道的信息传输率R与信源分布密切相关；当信息传输率R=信道容量C时----信道与信源匹配当信息传输率R≠信道容量C时----信道与信源不匹配，信道有冗余通信系统的优化模型第五章信源编码n信源信源编码加密信道编码信源译码信道译码信道解密信宿密钥源噪声密钥源ULVLULSmCmXnYnC’mS’mVLK1K2本章内容离散信源编码连续信源编码编码的基本概念码的分类香农编码费诺编码赫夫曼编码无失真信源编码定理---香农第一定理5.1离散信源编码{a1,a2,…,aK}为信源符号集，序列中每一个符号uml都取自信源符号集。{b1

，b2

，…，bD}是适合信道传输的D个符号，用作信源编码器的编码符号。编码输出码字cm=cm1cm2…

cmn，cmk∈{b1

，b2

，…，bD}k=1,2,

…,n，n表示码字长度，简称码长

信源符号{a1,a2,…,aK}

信道符号（码符号）{b1,b2,…,bD}

信源编码器

ui=ui1ui2…

uiL

码字ci=ci1ci2…

cin

1、编码的基本概念信源符号集={我,

是,一名，学生，老师，编码，理论,…}

信道符号集={I

，am，is,are,a,student,coding,theory,apple,…}如果某次该编码器的输入是“我是一名学生”，即输入序列ui

=(ui1=“我”，ui2=“是”，ui3=“一名”

，ui4=“学生”)，编码器的输出“Iamastudent”，即输出序列ci=(ci1=“I”,

ci2=“am”,

ci3

=“a”,

ci4

=“student”)

信源编码可看成是从信源符号集到码符号集的一种映射，即将信源符号集中的每个元素（可以是单符号，也可以是符号序列）映射成一个长度为n的码字。对于同一个信源，编码方法是多种的。【例5.1】

用{u1

，u2

，u3，u4，}表示信源的四个消息，码符号集为{0,1}，表1列出了该信源的几种不同编码。表1同一信源的几种不同编码2、编码的分类信源消息各消息概率码1码2码3码4u1q(u1)000001u2q(u2)1101110u3q(u3)101000100u4q(u4)1111111000码510100100013.变长码若码字集合C中的所有码字cm(m=1,2,…,M)，其码长不都相同，称码C为变长码，表1中列出的码3、码4和码5就是变长码。2.等长码在一组码字集合C中的所有码字cm(m=1,2,…,M)，其码长都相同，则称这组码C为等长码，表1中列出的码1、码2就码长n=2等长码一般，可以将码简单的分成如下几类：1.二元码若码符号集为{0，1}，则码字就是二元序列，称为二元码,二元码通过二进制信道传输，这是数字通信和计算机通信中最常见的一种码，表1列出的5种码都是二元码。5.非奇异码从信源消息到码字的影射是一一对应的，每一个不同的信源消息都用不同的码字对其编码，例表1中的码2、码3、码4和码5都是非奇异码。4.奇异码对奇异码来说，从信源消息到码字的影射不是一一对应的。例表1中的码1，信源消息u2和u4都用码字11对其编码，因此这种码就是奇异码，奇异码不具备惟一可译性。

6）唯一可译码：若码的任意一串有限长的码符号序列只能唯一地被译成所对应的信源符号序列，则此码称为唯一可译码，否则就称为非唯一可译码。等长码非奇异码00011011唯一可译如果接收端收到一个完整的码字后，不能立即译码，还要等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码。7非即时码：非奇异码11010010001001不即时任何一个码字是其它码字的延长或前缀如果收到一个完整的码字以后，就可以立即译码，则叫做即时码。即时码要求任何一个码字都不是其他码字的前缀部分，也叫做异前缀码。8、即时码非奇异码1010010001任何一个码字不是其它码字的延长或前缀即时码01即时即时码的判决准则克拉夫特不等式：设信源为，对其进行r元信源编码，相应码字长度为，则即时码存在的充要条件是：唯一可译码的判决准则麦克米伦不等式：设信源为，对其进行r元信源编码，相应码字长度为，则唯一可译码存在的充要条件是：不同编码方式的衡量标准平均码长：对离散无记忆信源进行信源编码，设编码后各个码字的码长分别为，则定义该码的平均码长为：如果某种编码方式的平均码长小于所有其他编码方式，则该码称为紧致码或最佳码。编码信息率(编码速率)：码长

表示长为N的信源序列用多少个r进制码符号表示，因此表示平均一个信源符号用多少个r进制符号表示，再乘以表示将r进制转换成二进制编码效率：含义：理论上平均每个信源符号用多少个二进制符号的个数除以实际上用的二进制码符号的个数，即表示一种编码的效率。有时消息太多，不可能或者没必要给每个消息都分配一个码字；给多少消息分配码字可以做到几乎无失真译码？传送码字需要一定的信息率，码字越多，所需的信息率越大。编多少码字的问题可以转化为对信息率大小的问题；信息率越小越好，最小能小到多少才能做到无失真译码呢？这些问题就是信源编码定理要研究的问题。

码字与信息率的关系

信源编码有定长和变长两种方法。定长编码：码字长度K

是固定的，相应的编码定理称为定长信源编码定理，是寻求最小K值的编码方法。变长编码：K是变值，相应的编码定理称为变长编码定理。这里的K值最小意味着数学期望最小。信源编码的方法定长编码定理：一个熵为H(X)的离散无记忆信源X1X2…Xl…XN，若对信源长为N的符号序列进行定长编码，设码字是从m个字母的码符号集中，选取K个码元组成Y1Y2…Yk…YK。对于任意ε>0，δ>0，只要满足则当N足够大时，必可使译码差错小于δ，即译码错误概率能为任意小.反之，若：

则不可能实现无失真编码，而当N足够大时，译码错误概率近似等于1.3、定长编码定理定理中的公式改写成：Klog2m>NH(X)

Klog2m：表示长为K

的码符号序列能载荷的最大信息量NH(X)

：代表长为N

的信源序列平均携带的信息量平均符号熵。

定长编码定理告诉我们：只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。可以证明：信源编码定理从理论上说明了编码效率接近于1，即：的理想编码器的存在性，代价是在实际编码时取无限长的信源符号(N→∞)进行统一编码。说明：定长编码定理是在平稳无记忆离散信源的条件下论证的，但它同样适用于平稳有记忆信源，只是要求有记忆信源的极限熵和极限方差存在即可。对于平稳有记忆信源，定理中的熵应改为极限熵。[例]：设单符号信源模型为：其信息熵为：H(X)=2.55（比特／符号）

σ2(x)=1.323若要求编码效率为η

=90%，即：译码差错率为δ=10－6，则ε=0.28，在差错率和效率要求都不苛刻的情况下，就必须有1600多万个信源符号一起编码，技术实现非常困难。[例]：离散无记忆信源：其信息熵为：自信息的方差为：若对信源X采取等长二元编码时，要求η=0.96，δ=10－5信源序列长度需长达4130万以上，才能实现给定的要求，这在实际中很难实现。一般来说，当N

有限时，高传输效率的等长码往往要引入一定的失真和错误，它不能像变长码那样可以实现无失真编码。(1)基本概念变长编码（不等长编码）：不等长编码允许把等长的消息变换成不等长的码序列。通常把经常出现的消息编成短码，不常出现的消息编成长码。这样可使平均码长最短，从而提高通信效率，代价是增加了编译码设备的复杂度。例如：在不等长码字组成的序列中要正确识别每个长度不同的码字的起点就比等长码复杂得多。译码延时／译码同步：接收到一个不等长码序列后，有时不能马上断定码字是否真正结束，因而不能立即译出该码，要等到后面的符号收到后才能正确译出。(1)基本概念 (2)码树图 (3)变长编码定理

4、变长编码定理[例]：码1：显然不是惟一可译码。x2

和x4

对应于同一码字“11”，码1

是一个奇异码。码2：是非奇异码，不是惟一可译码。当收到一串码符号“01000”时，可将它译成“x4x3x1”，也可译为“x4x1x3”，“x1x2x3”或“x1x2x1x1”等，这种码从单个码字来看虽然不是奇异的，但从有限长的码序列来看，它仍然是一个奇异码。[例]：码3：虽然是惟一可译码，但它要等到下一个“1”收到后才能确定码字的结束，译码有延时。码4：既是惟一可译码，又没有译码延时。码字中的符号“1”起了逗点的作用，故称为逗点码。即时码/前缀条件码/异前置码/异字头码/逗点码/非延长码：如果一个码的任何一个码字都不是其它码字的前缀。码4是即时码

(2)码树图

m

元（m

进制）码树图树根：最顶部画一个起始点。树枝：从根部引出

m

条线段，每条线段都称为树枝。一级节点：自根部起,通过一条树枝到达的节点。一级节点最多有m

个.n级节点：通过

n

条树枝达到的节点。最多有mn。终节点/终端节点：下面不再有树枝的节点。中间节点：除了树根和终节点以外的节点。联枝：串联的树枝。满树：在码树图中，当每一个码字的串联枝数都相同时，就是定长码。此时的码树称为满树。

例如：码长为N的满树的终节点个数为mN，即可表示mN个码字。非满树：有些树枝未用时的码树。

非满树构造的就是变长码。如果每一个码字都被安排在终节点上,这种码就是即时码。(3)变长编码定理①变长编码定理（香农第一定理）平均码长：变长编码定理：若一离散无记忆信源的平均符号熵为H(X)，对信源符号进行

m元变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式：其平均信息率满足不等式

H(X)+ε>R≥H(X)，式中ε为任意正数。多符号情况对于平稳无记忆信源来说，当信源输出的是长度为N的消息序列时，容易证明定理中式子可改进为：这时的代表平均码序列长度。证明：多符号情况已知编码后平均每个信源符号能载荷的最大信息量为（不等长信源编码信源平均输出信息率）：对信源进行变长编码一般所要求的信源符号长度N

比定长编码小的多。①变长编码定理（香农第一定理）信道的信息传输率为（从信道的角度看）：编码效率定义为：二元无损无噪信道中m=2，所以Hm(X)=H(X)[例]：设单符号信源模型为：其信息熵为：H(X)=2.55（比特/符号）这里m=2，log2m=1要求η>90%，则：[例]：与定长编码相比，对同一信源，要求编码效率都达到90%

时，变长编码只需N=4

进行编码，而等长码则要求N

大于1.6875×107。用变长编码时,N不需要很大就可以达到相当高的编码效率而且可实现无失真编码。[例]：离散无记忆信源：其信息熵为：用二元码符号(0,1)来构造一个即时码：x1→0，x2→1这时平均码长：编码效率为：信道信息传输率为：R=0.811比特/二元码符号[例]：为了提高传输效率，对无记忆信源X

的二次扩展信源X2进行编码，下面给出扩展信源X2

及其某一个即时码：这个码的平均长度为：信源符号X中每一单个符号的平均码长为：[例]：其编码效率为：信息传输速率为：编码复杂了一些，但信息传输率有了提高。对信源X的三次和四次扩展信源进行编码，编码效率为：信息传输率为：[例]：与定长码比较：对于同一信源，要求编码效率都达到96%时，变长码只需对二次扩展信源（N=2）进行编码，而等长码则要求N>4.13×107。结论用变长码编码时，L不需要很大就可以达到相当高的编码效率，而且可以实现无失真编码。随着扩展信源次数的增加，编码的效率越来越接近于1比特/二元码符号，达到信源与信道匹配，使信道得到充分利用。二进制香农码的编码步骤如下：将信源符号按概率从大到小的顺序排列，为方便起见，令：p(x1)≥p(x2)≥…≥p(xn)

令p(x0)=0，用pa(xj)，j=i+1表示第i个码字的累加概率，则：确定满足下列不等式的整数ki，并令ki为第i个码字的长度－log2

p(xi)≤ki<1－log2

p(xi)

将pa(xj)用二进制表示，并取小数点后ki

位作为符号xi的编码。设离散无记忆信源：5、香农编码[例6.1.1]：有一单符号离散无记忆信源：对该信源编二进制香农码。计算出给定信源香农码的平均码长：若对上述信源采用等长编码，要做到无失真译码，每个符号至少要用3个比特表示。相比较，香农编码对信源进行了压缩。由离散无记忆信源熵定义，可计算出信源上熵为：对上述信源采用香农编码的信息率为：编码效率为信源熵和信息率之比。则：可以看出，编码效率并不是很高。将概率按从大到小的顺序排列，令：p(x1)≥p(x2)≥…≥p(xn)按编码进制数将概率分组，使每组概率尽可能接近或相等。如编二进制码就分成两组，编m进制码就分成m组。给每一组分配一位码元。将每一分组再按同样原则划分，重复步骤2和3，直至概率不再可分为止。6、费诺编码[例6.3.1]：设有一单符号离散信源对该信源编二进制费诺码。表二进制费诺编码

信源符号

概率

编码

码字

码长

x1

0.25

0

00

2

x2

0.25

0

1

01

2

x3

0.20

0

10

2

x4

0.15

0

110

3

x5

0.10

0

1110

4

x6

0.05

1

1

1

1

1111

4

该信源的熵为：平均码长为：对上述信源采用费诺编码的信息率为：编码效率为：本例中费诺编码有较高的编码效率。费诺码比较适合于每次分组概率都很接近的信源。特别是对每次分组概率都相等的信源进行编码时，可达到理想的编码效率。[例6.3.2]：有一单符号离散无记忆信源对该信源编二进制费诺码，编码过程如下表。信源熵为：H(X)=2.75(比特/符号)平均码长为：编码效率为η=1。之所以如此，因为每次所分两组的概率恰好相等。哈夫曼(Huffman)编码是一种效率比较高的变长无失真信源编码方法。7、哈弗曼编码编码步骤(1)将信源符号按概率从大到小的顺序排列，令：p(x1)≥p(x2)≥…≥p(xn)(2)

信源的第一次缩减信源：给两个概率最小的信源符号p(xn－1)和p(xn)各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n－1)个信源符号的新信源，用S1表示。(3)将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤(2)，得到只含(n－2)个符号的缩减信源S2。(4)重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。[例]设单符号离散无记忆信源如下，要求对信源编二进制哈夫曼码。在图中读取码字的时候，一定要从后向前读，此时编出来的码字才是可分离的异前置码。若从前向后读取码字，则码字不可分离。信源熵为：平均码长为：编码效率为：若采用定长编码，码长K=3，则编码效率：哈夫曼的编码效率提高了12.7%。注意：哈夫曼的编法并不唯一。每次对缩减信源两个概率最小的符号分配“0”和“1”码元是任意的，所以可得到不同的码字。只要在各次缩减信源中保持码元分配的一致性，即能得到可分离码字。不同的码元分配，得到的具体码字不同，但码长ki不变，平均码长也不变，所以没有本质区别；缩减信源时，若合并后的新符号概率与其他符号概率相等，从编码方法上来说，这几个符号的次序可任意排列，编出的码都是正确的，但得到的码字不相同。不同的编法得到的码字长度ki也不尽相同。

[例]：单符号离散无记忆信源用两种不同的方法对其编二进制哈夫曼码。方法一：合并后的新符号排在其它相同概率符号的后面。

方法二：合并后的新符号排在其它相同概率符号的前面。单符号信源编二进制哈夫曼码，编码效率主要决定于信源熵和平均码长之比。对相同的信源编码，其熵是一样的，采用不同的编法，得到的平均码长可能不同。平均码长越短，编码效率就越高。编法一的平均码长为：编法二的平均码长为：可见，本例两种编法的平均码长相同，所以编码效率相同。讨论：码字长度的方差σ2：长度ki与平均码长之差的平方的数学期望，即：编法一码字长度方差：编法二码字长度方差：哪种方法更好？比较：第二种编码方法的码长方差要小许多。第二种编码方法的码长变化较小，比较接近于平均码长。第一种方法编出的5个码字有4种不同的码长；第二种方法编出的码长只有两种不同的码长；第二种编码方法更简单、更容易实现，所以更好。结论：在哈夫曼编码过程中，对缩减信源符号按概率由大到小的顺序重新排列时，应使合并后的新符号尽可能排在靠前的位置，这样可使合并后的新符号重复编码次数减少，使短码得到充分利用。对m进制编码，可分离的码字数必为即信源所含有的符号数为上值，如果不等于，则必须增加s个不用的码字，此时s<m-1当有s个码字不用时，第一次对最小概率符号分配码元时就只取(m-s)个，分别配以0,1，…，m-s-1，把这些符号的概率相加作为一个新符号的概率，与其他符号一起重新排列。以后每次就可以取m个符号，分别配以0,1，…，m-1m进制哈夫曼编码对如下单符号离散无记忆信源编三进制哈夫曼码.[例]设单符号离散无记忆信源如下，要求对信源编三进制哈夫曼码。平均码长为：信息率为：编码效率为：可见：哈夫曼的编码效率相当高，对编码器的要求也简单得多。结论香农码、费诺码、哈夫曼码都考虑了信源的统计特性，使经常出现的信源符号对应较短的码字，使信源的平均码长缩短，从而实现了对信源的压缩；香农码有系统的、唯一的编码方法，但在很多情况下编码效率不是很高;费诺码和哈夫曼码的编码方法都不唯一；费诺码比较适合于对分组概率相等或接近的信源编码，费诺码也可以编m进制码，但m越大，信源的符号数越多，可能的编码方案就越多，编码过程就越复杂，有时短码未必能得到充分利用；哈夫曼码对信源的统计特性没有特殊要求，编码效率比较高，对编码设备的要求也比较简单，因此综合性能优于香农码和费诺码。定理1：对于熵为H(U)的离散无记忆信源，若对其进行r元信源编码，则一定存在一种编码方式构成唯一可译码，其平均码长满足：6、无失真编码定理---香农第一定理熵除以logr只是为了将熵的单位转换到r进制，以保持与平均码长的单位统一，因此上式可写成：如果是二元编码，要构成唯一可译码，平均码长要处在信源熵和信源熵加1之间。定理2：无失真信源编码定理(香农第一定理)离散无记忆信源U的N次扩展信源UN，对该扩展信源UN进行r元信源编码，总可以找到一种编码方式构成唯一可译码，使信源UN中每个信源符号(即长度为N的信源序列)所需的平均码长满足：(1)“消息完全无失真传送”的可实现性信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若R>C，则传输总要失真。完全无失真传送不可实现实际的信源常常是连续的，信息率无限大，要无失真传送要求信道容量C

为无穷大；实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量R>>C。5.2限失真信源编码(2)实际中允许一定程度的失真实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。有些失真没有必要完全消除。既然允许一定的失真存在，对信息率的要求便可降低。(3)信息率失真理论

信息率失真理论研究的内容:信息率与允许失真之间的关系.

信息率失真函数香农定义了信息率失真函数

R(D)。

“保真度准则下的信源编码定理”指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。

(3)信息率失真理论信息率失真函数极小值问题

I(X;Y)

是P(X)

和P(Y/X)

的二元函数；

在讨论信道容量时：规定了P(Y/X)，I(X;Y)变成了P(X)的函数。在离散情况下，因为I(X;Y)对p(xi)是上凸函数，所以变更p(xi)所求极值一定是I(X;Y)的极大值；在连续情况下，变更信源P(X)求出的也是极大值，但求极值时还要一些其它的限制条件。(3)信息率失真理论信息率失真函数极小值问题

在讨论信息率时：可规定p(xi)，变更p(yj/xi)来求平均互信息的极值，称为信道容量对偶问题。由于I(X;Y)是p(yj/xi)的下凸函数，所求的极值一定是极小值。但若X和Y相互统计独立（p(yj/xi)=p(yj)），这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，这样求极小值就没意义了。引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变的有意义了。失真的度量信息率失真函数离散信源的信息率失真函数连续信源的信息率失真函数限失真信源编码定理---香农第三定理5.2.1信息的度量(1)失真度(2)常用失真函数(3)平均失真度（1）失真度设离散无记忆信源为：失真的度量失真度对每一对(xi,yj)，指定一个非负函数d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m称d(xi,yj)

为单个符号的失真度（失真函数）。表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真。失真矩阵失真度还可表示成矩阵的形式称[D]

为失真矩阵。它是

n×m

阶矩阵。连续信源和连续信道的失真函数在连续信源和连续信道情况下，失真度定义为：d(x,y)≥0（2）常用的失真函数第一种：当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以定义失真度为0；当i≠j时，用Y代表X就有误差。这种定义认为对所有不同的i和j引起的误差都一样，所以定义失真度常数a。特点：对角线上的元素均为0，对角线以外的其它元素都为常数a。

汉明失真函数：

a=1。第二种（平方误差失真函数）：d(xi,yj)=(yj－xi)2

失真矩阵：平方误差失真矩阵。若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重,严重程度用平方表示.第三种（绝对失真函数）：

失真矩阵：绝对失真矩阵。反映信宿接收幅值偏离信源发出幅值的程度

第四种（相对失真函数）：

失真矩阵：相对失真矩阵。反映信宿收到信息后主观感觉上的失真程度

二元对称信源汉明失真函数为接收变量失真矩阵为表示：当发送信源符号0(或符号1)而接收后再现的仍是符号0(或符号1)时，则认为无失真存在，反之，则认为有错误存在信源失真函数为接收变量失真矩阵为信源失真函数为接收变量失真矩阵为（3）平均失真度平均失真度

d(xi,yj)只能表示两个特定的具体符号xi和yj之间的失真。

平均失真度：失真度的数学期望，即：平均失真度的意义是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(xi)

、信道统计特性p(yj/xi)

和失真度d(xi,yj)

的函数。当p(xi)，p(yj/xi)和d(xi,yj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。如果信源和失真度一定，就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。二元等概信源失真函数为汉明失真函数通过信道P传输失真矩阵为求平均失真度

N次扩展信道的平均失真度单符号离散无记忆信源X{x1,x2,…,xn}的N次扩展信源XN

=X1X2…XN

，在信道中的传递作用相当于单符号离散无记忆信道的N次扩展信道，输出也是一个随机变量序列YN=Y1Y2…YN

。此时输入共有nN个不同的符号：保真度准则:人们所允许的失真指的都是平均意义上的失真。

保真度准则：规定平均失真度不能超过某一限定的值D，即，则D就是允许失真的上界。该式称为保真度准则。

定义离散无记忆信道{X

P(Y/X)Y}的N次扩展信道的输入序列ai和输出序列bj之间的失真函数：信道的输出共有mN个不同的符号：定义的说明：离散无记忆信道的N次扩展信道输入输出之间的失真，等于输入序列ai中N个信源符号xi1,xi2,…,xiN各自通过信道{X

P(Y/X)Y}，分别输出对应的N个信宿符号yj1,yj2,…,yjN后所引起的N个单符号失真d(xik,yjk)(k=1,2,…,N)之和。

N次离散无记忆扩展信源和信道的平均失真度为，则：

“N次扩展”与“单符号”平均失真度的关系由扩展信源和扩展信道的无记忆性有：

“N次扩展”与“单符号”平均失真度的关系（k=1,2,…,N）是同一信源X在N个不同时刻通过同一信道{X

P(Y/X)Y}所造成的平均失真度，因此都等于单符号信源X通过信道{X

P(Y/X)Y}所造成的平均失真度，即：

结论说明：离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的N倍。

N次扩展的保真度准则：离散无记忆N次扩展信源通过离散无记忆N次扩展信道的保真度准则为：5.2.2信息率失真函数(1)试验信道(2)信息率失真函数(3)求信息率失真函数的方法(4)研究信道容量和率失真函数的意义(5)信息率失真函数的性质(1)试验信道单符号信源和单符号信道的试验信道当固定信源（P(X)已知），单个符号失真度也给定时，选择信道使。凡满足要求的信道称为D失真许可的试验信道，简称试验信道。所有试验信道构成的集合用PD

来表示，即：N次扩展的试验信道：对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道集合PD(N)

为：(2)信息率失真函数单符号信源和单符号信道的信息率失真函数

信息率失真函数（率失真函数）R(D)

：在信源和失真度给定以后，PD是满足保真度准则的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj/xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即：在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。(2)信息率失真函数

“N次扩展”的信息率失真函数

“N次扩展”的信息率失真函数RN(D)

：对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，在所有满足保真度准则的N维试验信道集合中，一定可以寻找到某个信道使平均互信息取最小值：由信源和信道的无记忆性，可以证明：RN(D)=NR(D)(3)求信息率失真函数的方法对偶问题：平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函数，又是信道传递概率p(yj/xi)的下凸函数。率失真函数R(D)是在允许平均失真度D

和信源概率分布p(xi)已给的条件下，求平均互信息的极小值（最小）问题。而信道容量C

是在信道特性p(yj/xi)已知的条件下求平均互信息的极大值（最大）问题。这两个问题是对偶问题。求信息率失真函数的方法：信息率失真函数R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。(3)求信息率失真函数的方法求信道容量的方法：信道容量是假定信道固定的前提下，选择一种试验信源，使信息率最大。一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。(4)研究信道容量和率失真函数的意义研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。

研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。(a)率失真函数的定义域什么是率失真函数的定义域

率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。

D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi,yj)，在平均失真度的可能取值范围内。(5)信息率失真函数的性质(a)率失真函数的定义域(b)率失真函数对允许平均失真度的下凸性(c)率失真函数的单调递减和连续性信源最小平均失真度Dmin

是非负函数d(xi,yj)的数学期望，也是一个非负函数，显然其下限为0。因此允许平均失真度D的下限也必然是0，这就是不允许有任何失真的情况。允许平均失真度D能否达到其下限值0，与单个符号的失真函数有关。

对于每一个xi，找出一个yj与之对应，使d(xi,yj)最小，不同的xi对应的最小d(xi,yj)也不同。这相当于在失真矩阵的每一行找出一个最小的d(xi,yj)，各行的最小d(xi,yj)值都不同。对所有这些不同的最小值求数学期望，就是信源的最小平均失真度。信源最小平均失真度Dmin

只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。当Dmin=0时（信源不允许任何失真存在），信息率至少应等于信源输出的平均信息量（信源熵），即R(0)=H(X)。连续信源有。要想无失真的传送连续信息，就要求信息率为无穷大。实际信道容量总是有限的，无失真传送这种连续信息是不可能的。只有当允许失真（R(D)为有限值），传送才是可能的。信源最小平均失真度Dmin

[举例]：删除信源X取值于{0,1}，Y取值于{0,1,2}，失真矩阵为：满足最小允许失真度的试验信道是一个无噪无损的试验信道：信源最大平均失真度Dmax

信源最大平均失真度Dmax：必须的信息率越小，容忍的失真就越大。当R(D)等于0时，对应的平均失真最大，也就是函数R(D)定义域的上界值Dmax

。信息率失真函数是平均互信息的极小值：当R(D)=0时，平均互信息的极小值等于0；当D>Dmax时，从数学意义上讲，因为R(D)是非负函数，所以它仍只能等于0。这相当于输入X和输出Y统计独立。意味着在接收端收不到信源发送的任何信息，与信源不发送任何信息等效。或者说传送信源符号的信息率可以压缩至0。计算Dmax的值令试验信道特性p(yj/xi)=p(yj)(i=1,2,…,n)这时X和Y相互独立，等效于通信中断，因此I(X;Y)=0，即R(D)=0。满足上式的试验信道有许多，相应地可求出许多平均失真度值，从中选取最小的一个，就是这类平均失真值的下界Dmax。计算Dmax的值上式是用不同的概率分布{p(yj)}对Dj求数学期望，取数学期望当中最小的一个作为Dmax。实际是用p(yj)对Dj进行线性分配，使线性分配的结果最小。当p(xi)和d(xi,yj)给定时，必可计算出Dj

，Dj随j的变化而变化，p(yj)是任选的，只需满足非负性和归一性。若Ds是所有Dj当中最小的一个，可取p(ys)=1，其它p(yj)为0，这时Dj的线性分配（数学期望）必然最小，即：当p(y1)=0，p(y2)=1时，得到最小值：当p(y1)=1，p(y2)=0时，得到最小值：结论

R(D)的定义域为：(Dmin,Dmax)

一般情况下：Dmin=0，R(Dmin)=H(X)

当D≥Dmax时：R(D)=0

当Dmin<D<Dmax时：0<R(D)<H(X)(b)率失真函数对允许平均失真度的下凸性对任一0≤θ≤1

和任意平均失真度Dmin

≤

D’

，D’’≤Dmax，

R[θD’+(1－θ)D’’]≤θR(D’)+(1－θ)R(D’’)。率失真函数曲线图说明

R(0)=H(X)

，R(Dmax)=0，决定了曲线边缘上的两个点；在

0

和

Dmax之间，R(D)

是单调递减的下凸函数；在连续信源时，当D→0

时，R(D)→∞

，曲线将不与R(D)

轴相交。(c)率失真函数的单调递减和连续性R(D)的连续性：可由平均互信息I(X;Y)是信道传递概率p(yj/xi)的连续性来证明。R(D)单调递减性：可以证明，在Dmin<D<Dmax范围内R(D)

单调递减。5.2.3离散信源的信息率失真函数(1)离散信源信息率失真函数的参量表达式(a)求极小值方法(b)离散信源的信息率失真函数(c)

参量S

的说明(2)二元及等概率离散信源的信息率失真函数(a)二元离散信源的率失真函数(b)信息率失真函数曲线图说明(c)二元等概率离散信源的率失真函数(1)离散信源率失真函数的参量表达式(a)求极小值方法已知信源概率分布函数

p(xi)

和失真度

d(xi,yj)，在满足保真度准则的条件下，在试验信道集合

PD

当中选择

p(yj/xi)，使平均互信息：最小(1)离散信源率失真函数的参量表达式(b)离散信源的信息率失真函数已知平均互信息在(2)的条件限制下求

I(X;Y)的极值，引入拉各朗日乘子

S

和μi(i=1,2,…,n)，构造一个新函数：(1)离散信源率失真函数的参量表达式(b)离散信源的信息率失真函数(1)离散信源率失真函数的参量表达式(b)离散信源的信息率失真函数第二步：求p(yj)(1)离散信源率失真函数的参量表达式(b)离散信源的信息率失真函数第一步：求λi第三步：求p(yj/xi)

将解出的λi和p(yj)代入式(6)，可求得m·n个以S为参量的p(yj/xi)。第四步：求D(S)

将这

m·n

个

p(yj/xi)

代入(2)得到以S为参量的允许平均失真函数

D(S)。第五步：求R(S)

将这

m·n

个

p(yj/xi)

代入(1)得到以

S为参量的率失真函数

R(S)。第六步：由于

p(yj)不能是负值，参量S

的取值有一定的限制。选择使p(yj)非负的所有

S，得到

D

和

R

值，可以画R(D)曲线，如图4.2.1。(1)离散信源率失真函数的参量表达式(c)

参量S

的说明可以证明：参量

S就是R(D)函数的斜率。参量S的特性：由于R(D)是D的单调递减函数，并且是U型凸函数，故斜率

S必为负，且是D的递增函数，D从0变到Dmax，S将逐渐增加；当D=0时：S的最小值趋于负无穷（R(D)的斜率）。(c)

参量S

的说明当D=Dmax

时：S达到最大；这个最大值也是某一个负值，极限是0。当D>Dmax

时：在D=Dmax

处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域[0,Dmax]内，除某些特例外，S将是D的连续函数。(2)二元及等概率离散信源的信息率失真函数(a)二元离散信源的率失真函数设二元信源

计算率失真函数R(D)(a)二元离散信源的率失真函数先求出Dmax(a)二元离散信源的率失真函数第一步：求λi，由式(7)有：(a)二元离散信源的率失真函数第二步：求p(yj)，由式(8)有：(2)二元及等概率离散信源的信息率失真函数(a)二元离散信源的率失真函数第三步：求p(yj/xi)，由式(6)有：(2)二元及等概率离散信源的信息率失真函数(a)二元离散信源的率失真函数第四步：求D(S)，将上述结果代入式(10)有：(2)二元及等概率离散信源的信息率失真函数(a)二元离散信源的率失真函数第五步：求R(S)将上述结果代入式(11)有：(2)二元及等概率离散信源的信息率失真函数(a)二元离散信源的率失真函数第五步：求R(S)对于这种简单信源，可从

D(S)

解出

S

与

D

的显式表达式：(2)二元及等概率离散信源的信息率失真函数(a)二元离散信源的率失真函数第五步：求R(S)(2)二元及等概率离散信源的信息率失真函数(a)二元离散信源的率失真函数第六步：通过以上步骤计算出来的

R(D)

和S(D)如图4.2.2。(2)二元及等概率离散信源的信息率失真函数(b)信息率失真函数曲线图说明若α