二元信源R的求解

1、摘要在实际信息处理过程中，往往允许有一定的失真，例如连续信源发出的消息， 由于其可能取值有无限多种，信源熵H (U)无穷大，想要传输这样的信息，必 须经过A/D转换这就会引起量化失真。人们是视觉和听觉都允许有一定的失真, 电影和电视就利用了人的视觉残留，使人没有发觉影片是由一张张画面快速连接 起来的。所以，一般可以对信源输出的信息进行失真处理，降低信息率提高传输 效率。引入失真函数R (D)后，对规定失真限度，和定量的失真测度后，使用 MATLAB对信号的失真率进行分析，观察模拟出的波形和数据，以便有效改善 信号传输质量。关键词： 失真；R (D)； MATLAB目录 TOC o 1-5 h

2、z HYPERLINK l bookmark4 o Current Document 1 课题描述 1 HYPERLINK l bookmark6 o Current Document 2 设计原理 1R(D)函数的定义1R(D)函数的性质3 HYPERLINK l bookmark12 o Current Document 3 设计过程 3设计思路 3设计内容 4设计程序 5总 结 8 HYPERLINK l bookmark26 o Current Document 参考文献 91课题描述失真在传输中是不可避免的，接收者(信宿)无论是人还是机器设备，都有 一定的分辨能力与灵敏度，超过分辨能

3、力与灵敏度的信息传送过程是毫无意义 的。即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范 围内的失真。我们的目的就是研究不同的类型的客观信源与信宿，在给定的 Qos 要求下的最大允许(容忍)失真D,及其相应的信源最小信息率R(D).对限失真 信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U).显然 H(U)$R(D).当且仅当D=0时，等号成立；为了定量度量D,必须建立信源的 客观失真度量，并与D建立定量关系；R(D)函数是限失真信源信息处理的理论 基础。本课题主要针对二元信源失真函数R (D)进行规划、求解、编程、仿真。2 设计原理R(D)函数的定义信

4、源与信宿联合空间上失真测度的定义d(u i v j )(2.1.1)(2.1.2)U x V T R + 0, g )(2.1.1)(2.1.2)其中：u G U iv G Vj(单消息信源空间)(单消息信宿空间)则有d = EE p ( u v)d ( u v )i ji juv i称 d 为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质d ( u v )=d ( u v )=ij,当minu G minu G Uid ( u v i , v G V jQo 0 d 二工工 pPd D jii j ji ijJ(2.1.3)根据前面在互信息中已讨论过的性质：I (U ; V )二

5、 I ( p ； P )i ji且互信息是 p i 的上凸 函数，其 极限值 存在且为信道容量：C = max I ( p ; P )ijiR(D) = m inI(U ;V ) =R(D) = m inI(U ;V ) =P e Pji Dm inI( p ;P )(2.1.4)i ji(2.1.4)P ePji D即互信息是 P ji 的下凸函数。其极限值存在且为信息率失真函数它还存在如下图下列等效定义：由定义，R(D)函数是在限定失真为最大允许失真为D时信源最小信息速率, 它是通过改变试验信道p ,特性(实际上是信源编码)来达到的。所以R(D)是 表示不同 D 值时对应的理论上最小信息速

6、率值。然而对于不同的实际信源，存在着不同类型的信源编码，理论上最佳的 R(D) 之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数 的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。R(D)函数的性质对于R(D)性质以前先简要介绍R(D)的定义域。对离散：【0, D max对应 R(D)值:R()= max R(D)= H ( P )(2.2.1)R (D ) = min R (D ),即当 R T 0 时 D 值。max 对连续： 【D, D min maxR (D ) = H ( p ) = gmincR (D ) = min R

7、(D ),即当 R T 0 时 D 值max对离散、单个消息限定失真信源，其R(D)函数满足下列性质：Q R(D)是D的下凸(u )函数；QR(D)是D的单调非增函数；Q3 R(D) 是 D 的连续函数；Q R (D = 0) = H ( p )3设计过程3.1设计思路首先对于信息失真函数R (D 首先对于信息失真函数R (D )minP G Pji DI(pip ) 求解 ji分析可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量 (R(D)的斜率S)来描述的参量表达式, 并借助计算机进行迭代运算。由信道容量 C 与 R(D) 数学C =

8、max I ( X ; Y C = max I ( X ; Y )pi(3.1.1)P G P ji D然后使用MATLAB对所选的课题进行仿真绘制出波形。MATLAB集科学计 算、图像处理、声音处理于一身，是一个高度的集成系统，有良好的用户界面， 并有良好的帮助功能。MATLAB不仅流行于控制界，在机械工程、生物工程、 语音处理、图像处理、信号分析、计算机技术等各行各业中都有极广泛的应用。 MATLAB语言的特点：1.编程效率高2.用户使用方便3.扩充能力强4.语 句简单，内涵丰富 5高效方便的矩阵和数组运算 6方便的绘图功能。3.2设计内容有一个二元等概率平稳无记忆信源U,且失真函数为:0

9、0(002100(0021(d ij)试求其 R(D)=?解：由：d d = 22 pPdi ji ij ij 为了运算方便，取 D = 2 2 p P di ji ij ij1上式中，已知：Pi = 2，D （允许失真）给定。则Pjf dij 一一对应。这时，由概率归一性，可进一步假设P=ji(A 0A0分可见：1 分 1 - A0代入上述公式，有D =工工p P di ji ijij11=A x 0 + 0 X8 + (1 一 A) x 1 +0 X8 + A x 0 + (1 一 A) x 12211=(1 A) +(1 A) = (1 A)22再将它代入转移概率公式中：PjiPji1

10、D 0由： qjE P P ，得：(q .) = (1 由： qji ji j 2i1 D 1 D则：H (V ) = H (q .) = H (, D ,)j 2 2H (V /U ) = H (P ) = H (1 D,D)jiR (D ) = I (U ; V )=H (V ) H (V / U )D参量D参量1 D1D=H (, D ,)H (1 D , D )221 D1 D=2 x logD log D + (1 一 D ) log( 1 一 D ) + D log D22= (1 D ) log 2(1 D )log( 1 D ) + (1 D ) log( 1 D )= (1

11、D ) log 2设计程序for p=0.1:0.1:0.5 d=0.000001:0.0001:0.5;r=-p*log2(p)-(1-p)*log2(1-p)+d.*log2(d)+(1-d).*log2(1-d); holdon;plot(d,r);endhold off;figure;for i=2:6 p=1/i;d=0.000001:0.0001:1-p; r=-log(p)-d*log(i-1)+d.*log(d)+(1-d).*log(1-d); plot(d,r);hold on;end hold off;程序运行结果如下:图 2 ：信息率失真函数的仿真图形分析结果：率失真函

12、数R(D)是关于失真率(D)的一个下凸形函数，当失真率(D) =0.5时，率失真函数取得最小值。这一结论对二元信源和等概率分布的信源都成立。实验改进意见：在输出图像时，因为绘制图像的程序是用循环结果绘制的，所以 画出的曲线形状都是一样的，所以利用了 Matlab的图像菜单操作对不同p值的 曲线的线性进行改变，但在程序中无法体现，改进意见：能够用程序进行线性的 改变。对于二元信息率失真函数大致可以用下图概括：車 R (D )图 3 ：二元信息率失真函数的等效图总结通过实际完成二元信源R (D)的求解的课程设计，首先初步掌握了使用 MATLAB语言进行编程的方法。其次巩固了所学的理论知识，更好地将理论与 实践相结合，而且对变换编码的基本思想与目的和信源失真函数R(D)的基本 原理有了更深一层的理解，更重要的是提高了独立分析和解决实际问题的能力， 这为以后进一步学习和实验提供了宝贵的经验。在本课程设计过程中，深刻认识到课本上的知识是机械的，抽象的，只有通