限失真信源编码教学教程

第十讲本章主要研究问题:1.如何理解限失真信源编码?2.如何定义失真函数?3.如何定义信息率失真函数?4.如何描述限失真编码定理?5.

常用的限失真信源编码方法有哪些?

第四章限失真信源编码控制信息失真的原因?

在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度，

第一节平均失真和信息率失真函数4.1.1失真函数

如何定义失真函数?

假如某一信源X输出一个随机序列X=x1,x2,…,xn经信道传输后变成Y=y1,y2,…,ym。如果

xi=yi.i=1,2,…,n，j=1,2,…,m(4-1-1)

则认为没有失真。如果xj≠yj，就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi,yi),以衡量用yj代替xi所引起的失真程度。

一般失真函数定义为如何定义失真矩阵?

将所有的失真函数d(xi,yj)，i=1,2,…,n；j＝1,2,…,m排列起来，用矩阵表示为例4-1-1

设信源符号序列为X＝{0,1}，接收端收到符号序列为Y＝{0,1,2}，规定失真函数为

d(0,0)＝d(1,1)=0d(0,1)=d(1,0)=1d(0,2)=d(1,2)=0.5

求：失真矩阵d?解：失真矩阵为说明:(1)

最常用的失真函数均方失真函数：d(xi,yj)=(xi-yj)2

绝对失真函数：d(xi,yj)=

相对失真函数：d(xi,yj)=

误码失真函数：d(xj,yj)=(2)最常用的失真函数及其适用性均方失真函数,绝对失真函数,相对失真函数适用于连续信源;误码失真适用于离散信源。(3)失真函数困难性比较均方失真和绝对失真只与(xi-yj)有关，而不是分别与xi及yj有关，在数学处理上比较方便；相对失真与主观特性比较匹配，因为主观感觉往往与客观量的对数成正比，但在数学处理中就要困难得多。离散矢量信源符号失真函数定义为：

如果假定离散矢量信源符号为矢量序列X＝{x1x2…xi…xn}，其中N长符号序列xi=[xi1xi2…xiN]，经信道传输后，接收端收到矢量序列Y={y1y2…yj…ym}，其中N长符号序列yj=[yj1yj2…yjN

]则失真函数定义为式中d(xik,yjk)是信源输出第i个N长符号xi中的第k个符号xik，接收端收到第j个N长符号yj中的第k个符号yjk的失真函数。4.1.2平均失真

1.

离散随机变量平均失真定义

说明:

(1)由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真。(2)p（xi,yj）,i=1,2,…,n，j=1,2,…,m是联合分布；p（xi）是信源符号概率分布；p（yj

／xi），i=l，2，…，n，j＝l，2，…，m是转移概率分布；d（xi,yj），i=1，2，…，n,j=1，2，…

，m是离散随机变量的失真函数.(3)平均失真D是对给定信源分布p（xi）在给定转移概率分布为p（yj／xi）的信道中传输时的失真的总体量度。

2.

离散随机变量平均失真定义平均失真说明:

(1)pxy(x,y)是连续随机变量的联合概率密度.

(2)d（x，y）是连续随机变量的失真函数。

3.矢量传输情况平均失真度说明:Dk是第k个符号的平均失真。

4.1.3信息率失真函数R（D）1.信息率失真函数R（D）问题产生?

对于信息容量为C的信道传输信息传输率为R的信源时，如果R＞C，就必须对信源压缩，使其压缩后信息传输率R’小于信道容量C，但同时要保证压缩所引人的失真不超过预先规定的限度几信息压缩问题就是对于给定的信源，在满足平均失真

的前提下，使信息率尽可能小。2.什么叫允许信道（也称为允许的试验信道）?

对于连续的情况,允许信道定义为3.对于离散无记忆信道,允许信道（也称为允许的试验信道）4.信息率失真函数R（D）

说明:对于离散无记忆信源，R（D）函数可写成例4－1－2

已知,编码器输人的概率分布为:p（x）＝{0.5，0.5}，信道矩阵分别为:

求:互信息。解：因为p(xiyj)＝p(xi)p(yj/xi)；

用p’ij代人得

p’（x1y1）=0.3，p’（x1y2）＝0.2，

p’（x2y1）=0.1，p’（x2y2）＝0.4

因为p(yi)=,所以

p’（y1）＝0.4，p’（y2）＝0.6又因为p（xi/yj）=p(xiyj)/p(yj)，所以

p’(x1/y1)=3/4,p’(x1/y2)=1/3,p’(x2/y1)=1/4,p’(x2/y2)=2/3

根据互信息公式代人可得