二元信源R的求解

1、摘要在实际信息处理过程中，往往允许有一定的失真，例如连续信源发出的消息， 由于其可能取值有无限多种，信源熵H（U）无穷大，想要传输这样的信息，必 须经过A/D转换这就会引起量化失真。人们是视觉和听觉都允许有一定的失真， 电影和电视就利用了人的视觉残留，使人没有发觉影片是由一张张画面快速连接 起来的。所以，一般可以对信源输出的信息进行失真处理，降低信息率提高传输 效率。引入失真函数R（D）后，对规定失真限度，和定量的失真测度后，使用 MATLAB对信号的失真率进行分析，观察模拟出的波形和数据，以便有效改善 信号传输质量。关键词： 失真；R（D）； MATLAB TOC o 1-5 h z HYP

2、ERLINK l bookmark9 o Current Document 1课题描述1 HYPERLINK l bookmark12 o Current Document 2设计原理1R(D)函数的定义1R(D)函数的性质3 HYPERLINK l bookmark24 o Current Document 3设计过程33.1设计思路33.2设计内容43.3设计程序5总 结8 HYPERLINK l bookmark33 o Current Document 参考文献91课题描述失真在传输中是不可避免的，接收者(信宿)无论是人还是机器设备，都有 一定的分辨能力与灵敏度，超过分辨能力与灵敏度的

3、信息传送过程是毫无意义 的。即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范 围内的失真。我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos 要求下的最大允许(容忍)失真D，及其相应的信源最小信息率R(D).对限失真 信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U).显然 H(U)NR(D).当且仅当D=0时，等号成立；为了定量度量D，必须建立信源的 客观失真度量，并与D建立定量关系；R(D)函数是限失真信源信息处理的理论 基础。本课题主要针对二元信源失真函数R (D)进行规划、求解、编程、仿真。2设计原理2.1 R(D)函数的定义信源与信宿

4、联合空间上失真测度的定义d( u iv j )X V T其中：，R + 0,8 )(2.1.1)u i G U(单消息信源空间)vj G V(单消息信宿空间)则有d =Iui1 p ( u v ) d ( u v )v j(2.1.2)称为统计平均失真，它在信号空间中可以看作一类“距离”，(P d ( u v ) = 0 当 u = vC mind ( u v ) =02 u G U ,v j G V第1页共9页它有性质03 0 d ( u v ) d =22 p P d D I i j J(2.1.3)根据前面在互信息中已讨论过的性质：I (U ; V ) = I ( p; P且互信息是p

5、i的上凸函数，其极限值存在且为信道容量：C = max I ( p ; P ) pi1这里，我们给出其对偶定义：P . e Pdmin I(p ; Pji(2.1.4)即互信息是P ji的下凸函数。其极限值存在且为信息率失真函数。它还存在如下图下列等效定义：图1：信息率失真函数的等效图由定义，R(D)函数是在限定失真为最大允许失真为D时信源最小信息速率，它是通过改变试验信道p ji特性(实际上是信源编码)来达到的。所以R(D)是 表示不同D值时对应的理论上最小信息速率值。然而对于不同的实际信源，存在着不同类型的信源编码，理论上最佳的R(D) 之间存在着差异，它反映了不同方式信源编码性能的优劣，

6、这也正是R(D)函数 的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。2.2 R(D)函数的性质对于R(D)性质以前先简要介绍R(D)的定义域。对离散：【0, D max 对应 R(D)值:R(0)= max R (D) = H (p)(2.2.1)R (D ma ) = min R (D ),即当 R 0 时 D 值。对连续：【D min , D max R (D) = H ( p ) =8R (D) = min R (D ),即当 R 0 时 D 值对离散、单个消息限定失真信源，其R(D)函数满足下列性质：Q R(D)是D的下凸(D )函数；QR(D)

7、是D的单调非增函数；Q R(D)是D的连续函数；Q R (D = 0) = H ( p )3设计过程3.1设计思路首先对于信息失真函数R ( Dminp / p分析可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量 (棘)的斜率S)来描述的参量表达式， 并借助计算机进行迭代运算。由信道容量C与R(D)数学C = max I ( X ; Y )p.(3.1.1)R ( D ) = min I (U ; V )P , e P d然后使用MATLAB对所选的课题进行仿真绘制出波形。MATLAB集科学计 算、图像处理、声音处理于一身，是一个高度的集成

8、系统，有良好的用户界面， 并有良好的帮助功能。MATLAB不仅流行于控制界，在机械工程、生物工程、 语音处理、图像处理、信号分析、计算机技术等各行各业中都有极广泛的应用。 MATLAB语言的特点：1.编程效率高2.用户使用方便3.扩充能力强4.语 句简单，内涵丰富5.高效方便的矩阵和数组运算6.方便的绘图功能。3.2设计内容有一个二元等概率平稳无记忆信源，且失真函数为:0020(0上式中，已知:D （允许失真）给定。则PJi一一对应。试求其R（D）=? 解：由：D piPJidJ为了运算方便，这时，由概率归一性，可进一步假设：（A1 - A0，P .=J 01 - AA Jf 0 f A可见：

9、（1 f 1 - A8 f 0代入上述公式，有11=A X 0 + 0 X8 + (1 - A) X 1 +0 X8 + A X 0 + (1 - A) x 12=(1 - A) + 上(1 - A) = (1 - A) 22再将它代入转移概率公式中：(1 - D DP .= TOC o 1-5 h z j I 0D由：q . = Z p P ，得：(q )=i则：H (V ) = H (q .) = H (1 - D , D ,)22H (V / U ) = H (P ) = H (1 - D , D )R (D ) = I (U ; V )= H (V ) H (V / U )D参量D参量

10、1 - D、H (2)-H (1 - D , D )2=2 x log D log D + (1 - D ) log( 1 - D ) + D log D22 =(1 - D )log 2 - (1 - D ) log( 1 - D ) + (1 - D ) log( 1 - D )=(1 - D )log 23.3设计程序for p=0.1:0.1:0.5d=0.000001:0.0001:0.5;r=-p*log2(p)-(1-p)*log2(1-p)+d.*log2(d)+(1-d).*log2(1-d);hold on;plot(d,r);endhold off;figure;for

11、i=2:6p=1/i;d=0.000001:0.0001:1-p;r=-log(p)-d*log(i-1)+d.*log(d)+(1-d).*log(1-d);plot(d,r);hold on;endhold off;程序运行结果如下：图2：信息率失真函数的仿真图形分析结果：率失真函数R（D）是关于失真率（D）的一个下凸形函数，当失真率（D）=0.5时，率失真函数取得最小值。这一结论对二元信源和等概率分布的信源都成立。实验改进意见：在输出图像时，因为绘制图像的程序是用循环结果绘制的，所以 画出的曲线形状都是一样的，所以利用了 Matlab的图像菜单操作对不同p值的 曲线的线性进行改变，但在程序中无法体现，改进意见：能够用程序进行线性的 改变。对于二元信息率失真函数大致可以用下图概括：D = 0D = 1图3：二元信息率失真函数的等效图总结通过实际完成二元信源R (D)的求解的课程设计，首先初步掌握了使用 MATLAB语言进行编程的方法。其次巩固了所学的理论知识，更好地将理论与 实践相结合，而且对变换编码的基本思想与目的和信源失真函数R(D)的基本 原理有了更深一层的理解，更重要的是提高了独立分析和解决实际问题的能力， 这为以后进一步学习和实验提供了宝贵的经验。在本课程设计过程中，深刻认识到课本上的知识是机械的，抽象的，只有