中南大学信息论与编码讲义PPT学习教案

1、会计学1中南大学信息论与编码讲义中南大学信息论与编码讲义 一 般 可以 对 信源 输出的信息进行失真处理 , 降低信 息率 , 提 高传输 效率那么允许在一定程度的失真条件下 , 能够把信源信 息压 缩到什 么程 度 , 至少需 要多 少比特的 信 息 率 才 能 描 述 信 源 呢 ? 本章主要讨论在一定程度的失真情况下，所需的最 少信息率。第1页/共31页第2页/共31页 信息源在单位时间内产生一个符号u，该符号取自一个称为信源符号集的有现集合AU。 假设信源产生的符号序列可以用一系列独立、同分布的离散随机变量U1,U2,来描述，其共同的分布函数为P(U=u)=p(u)。这样一个信源称为离

2、散无记忆信源(DMS)，而p(u)的数值称为信源统计。第3页/共31页 信源输出的符号uAU，经过有失真的信源编码器 , 输出为v AV 。如果u=v，则表示为没有失真；如果uv产生了失真。失真的大小 , 用一个量来表示，即使用函数d(u,v)来衡量用v代替u所引起的失真程度。函数d称为失真测度。第4页/共31页 如果AU=0,1,r-1, AV=0,1,s-1，则失真测度d(u,v)表示为一个rs的矩阵。),(.),(),(.),(.),(),(),(.),(),(111101111101101000srrrssvuvuvuvuvuvuvuvuvuD第5页/共31页例3.1 AU=AV=0,

3、1，p(0)=p，p(1)=q=1-p 。0110D例3.2 AU=-1,0,1,AV=-1/2,1/2，p(-1)=p(0)=p(1)=1/3。121121D 值得注意的是,失真函数d(u,v)的数值是依据实际应用情况人为决定的。第6页/共31页 对于多符号信源，必须使用一个矢量u=(u1,uk)来描述信源的产生的符号，即uAUk；同信宿也要用矢量v=(v1,vk)来描述，即vAVk。其失真测度定义为：d(u,v)=id(ui,vi)。第7页/共31页由于u,v是一个随机变量，则d(u,v)也是一个随机变量。要分析整个信源的真大小, 就需要用其数学期望或统计平均值表示 , 将失真测度的数学期

4、望称为平均失真测度，记为vuvuvuduvpupvudvupdE,),()|()(),(),()(第8页/共31页 对于信息容量为C的信道传输信息传输率为R的信源时，如果RC，就必须对信源压缩，使其压缩后信息传输率R小于信道容量C，但同时要保证压缩所引人的失真不超过预先规定的限度。信息压缩问题就是对于给定的信源，在满足平均失真 E(d)的前提下，使信息率尽可能小。第9页/共31页)();(min)(kdEVUIRk：U=U1,Uk, V=V1,Vk 从信源、信道的观点出发，就是寻找一个信道(p(v|u)，在在满足平均失真E(d)k的前提下，使信息率尽可能。我们将这个信道称为k维试验信道。第10

5、页/共31页kkRkR)(1inf)(第11页/共31页 对于给定信 源 , 在平均失真不超过失真限度的条件下 , 信息率容许压缩的最小值为R( ) 。 对信源、信道的观点，就是在平均失真不超过失真限度的条件下 , 信源符号所需的最小值比特数（假设单位为比特） 。第12页/共31页UAuvvudup),(min)(minuvvuvvuvvuvudupuvpvudupvuduvpupvuduvpupdE),(min)()|(),(min)(),(min)|()(),()|()()(,第13页/共31页如果12，则满足E(d)k2的所有试验信道，一定是满足E(d)k1的试验信道，所以Rk (1)

6、Rk (2) 。所以Rk ()在min范围内是下降函数。第14页/共31页证明：假设a1,a2 0,a1+a2=1。只要证明对于任意1,2 min ，有Rk(a11+ a22) a1Rk(1)+ a2Rk(2).第15页/共31页证明：(略)第16页/共31页uvvudup),()(minmaxmin max第17页/共31页R()=minI(U;V)：E(d)=， minmax第18页/共31页rrHR/10/110)(2log)(AU=AV=0,1,r-1，信源统计分布为PU=u=1/r.而失真为：vuvuvud10),(这种特殊的失真测度称为概率失真测度，或汉明失真测度。第19页/共31

7、页例3.1(续)PU=0=p,PU=1=q。 min=up(u) minv d(u,v)=0。 max=minv up(u) d(u,v)=minp,q=p。对于minmax，选择达到了R()试验信道。即，E(d)=P(UV)=,求I的最小值。方法1：由定理1.2知，H(U|V)H()。故有I(U;V)=H(U)-H(U|V)=H(p)-H(U|V)H(p)-H()。下面通过证明可以找到一个试验信道达到这个值H(p)-H()。定义一个反向试验信道，即给定转移概率p(u|v)。如图所示：0110D第20页/共31页对于这样一个反向信道，显然满足：E(d)=p(u,v)d(u,v) =p(v)p(u|v)d(u,v)=p(v=0)+p(v=1)=v=0v=1u=0u=11-1-I(u;v)=H(u)-H(u|v)=H(p)-H()设=p(v=0),则有p(u=0)= (1-)+(1-),=(p-)/(1-2)。因0 和