#中北大学信息论实验报告(含数据详解版)_第1页
#中北大学信息论实验报告(含数据详解版)_第2页
#中北大学信息论实验报告(含数据详解版)_第3页
#中北大学信息论实验报告(含数据详解版)_第4页
#中北大学信息论实验报告(含数据详解版)_第5页
已阅读5页,还剩3页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、信息论与编实验报告姓名班级学号实验一:绘制信源熵函数曲线一、实验目的掌握离散信源熵的原理和计算方法。熟悉matlab软件的基本操作,练习应用matlab软件进行信源熵函数曲线的绘制。理解信源熵的物理意义,并能从信源熵函数曲线图上进行解释其物理意义。二、实验原理离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。假定X是一个离散随机变量,即它的取值范围R=x,x,x,是有限或可数的。设第i个变量x发生的概率为p=Px=x。贝y:iii定义一个随机事件的自信息量I(X.)为其对应的随机变量x出现概率对数的负值。即:(X)=-logp(x)定义随机事件x

2、的平均不确定度H(X)为离散随机变量x出现概率的数学期望,即:H(X)=工p(x)I(x)=一工p(x)logp(x)单位为比特/符号或比特/符号序列。平均不确定度H(X)的定义公式与热力学中熵的表示形式相同,所以又把平均不确定度H(X)称为信源X的信源熵。必须注意一下几点:某一信源,不管它是否输出符号,只有这些符号具有某些概率特性,必有信源的熵值;这熵值是在总体平均上才有意义,因而是个确定值,一般写成H(X),X是指随机变量的整体(包括概率分布)。信息量则只有当信源输出符号而被接收者收到后,才有意义,这就是给与信息者的信息度量,这值本身也可以是随机量,也可以与接收者的情况有关。熵是在平均意义

3、上来表征信源的总体特征的,信源熵是表征信源的平均不确定度,平均自信息量是消除信源不确定度时所需要的信息的量度,即收到一个信源符号,全部解除了这个符号的不确定度。或者说获得这么大的信息量后,信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等,但含义不同。当某一符号x的概率p(x)为零时,p(x)logp(x)在熵公式中无意义,为此规定这时的1111p(x)logp(x)也为零。当信源X中只含有一个符号x时,必有p(x)=l,此时信源熵H(X)ii为零。MATLAB二维绘图三、实验内容用matlab软件绘制二源信源熵函数曲线。根据曲线说明信源熵的物理意义。实验过程:输入代码p=0:0.0

4、2:1;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h)物理意义:信源熵为信源的平均不确定性,而概率的大小决定了信息量的大小。由图上可知概率为1时,信息量最小,不确定性最低;概率等于0.5时熵最大。实验二:哈夫曼编解码一、实验目的掌握哈夫曼编码的原理及编码步骤练习matlab中哈夫曼编码函数的调用及通信工具箱的使用二、实验原理通信的根本问题是如何将信源输出的信息在接收端的信宿精确或近似的复制出来。为了有效地复制信号,就通过对信源进行编码,使通信系统与信源的统计特性相匹配。若接收端要求无失真地精确地复制信源输出的信息,这样的信源编码即为无失真编码。即使对于一个小的

5、时间段内,连续信源输出的信息量也可以是无限大的,所以对其是无法实现无失真编码的;而离散信源输出的信息量却可以看成是有限的,所以只有离散信源才可能实现无失真编码。凡是能载荷一定的信息量,且码字的平均长度最短,可分离的变长码的码字集合都可以称为最佳码。为此必须将概率大的信息符号编以短的码字,概率小的符号编以长的码字,使得平均码字长度最短。变字长编码的最佳编码定理:在变字长码中,对于概率大的信息符号编以短字长的码;对于概率小的信息符号编以长字长的码。如果码字长度严格按照符号概率的大小顺序排列,则平均码字长度一定小于俺任何顺序排列方式得到的码字长度。哈夫曼编码就是利用了这个定理,讲等长分组的信源符号,

6、根据其概率分布采用不等长编码。概率大的分组,使用短的码字编码;概率小的分组,使用长的码字编码。哈夫曼编码把信源按概率大小顺序排列并设法按逆次序分配码字的长度。在分配码字的长度时,首先将出现概率最小的两个符号相加,合成一个概率;第二步把这个合成的概率看成是一个新组合符号的概率,重复上述做法,直到最后只剩下两个符号的概率为止。完成以上概率相加顺序排列后,再反过来逐步向前进行编码。每一步有两个分支,各赋予一个二进制码,可以对概率大的编为0码,概率小的编为1码。反之亦然。哈夫曼编码的具体步骤归纳如下:统计n个信源消息符号,得到n个不同概率的信息符号。将这n个信源信息符号按其概率大小依次排序:Pg)三P

7、g三P取两个概率最小的信息符号分别配以0和1两个码元,并将这两个概率相加作为一个新的信息符号的概率,和未分配的信息符号构成新的信息符号序列。将剩余的信息符号,按概率大小重新进行排序。重复步骤3,将排序后的最后两个小概论相加,相加和与其他概率再排序。如此反复重复n-2次,最后只剩下两个概率。从最后一级开始,向前返回得到各个信源符号所对应的码元序列,即相应的码字,构成霍夫曼编码字。编码结束。哈夫曼编码产生最佳整数前缀码,即没有一个码字是另一个码字的前缀,因此哈夫曼编码是唯一码。编码之后,哈夫曼编码的平均码长为:K=p(x)Kiii=1哈夫曼编码的效率为三、实验内容信源熵=H(x)平均码长K为某一信

8、源进行哈夫曼编码。该信源的字符集为X=x,x2,x6,相应的概率矢量126为:P=(0.30,0.25,0.21,0.10,0.09,0.05),即X,P的概率空间为:X_xxxxxx123456P_0.300.250.210.100.090.05_根据哈夫曼编码算法对该信源进行哈夫曼编码。并计算其平均码长和编码效率。调用matlab哈夫曼编码函数进行哈夫曼编码,与人工编码结果做比较。huffmandict函数:为已知概率分布的信源模型生成哈夫曼编解码索引表。调用方法如下:dict,avglen=huffmandict(symbols,p)dict,avglen=huffmandict(sym

9、bols,p,N)dict,avglen=huffmandict(symbols,p,N,variance)实验过程:a=1:6;p=0.300.250.210.100.090.05;dict,avglen=huffmandict(a,p)dict=11x2double21x2double31x2double41x3double51x4double61x4doubleavglen=2.3800dict,avglen=huffmandict(a,p,4)dict=112231x2double41x2double51x2double61x2doubleavglen=1.4500dict,avgle

10、n=huffmandict(a,p,3)dict=1121x2double31x2double41x3double51x3double61x3doubleavglen=1.9400dict,avglen=huffmandict(a,p,5)dict=1121x2double31x2double41x2double51x2double61x2doubleavglen=1.7000实验三:离散信道容量一、实验目的1.掌握离散信道容量的计算。2.理解离散信道容量的物理意义。练习应用matlab软件进行二元对称离散信道容量的函数曲线的绘制,并从曲线上理解其物理意义。二、实验原理信道是传送信息的载体信号

11、所通过的通道。信息是抽象的,而信道则是具体的。比如二人对话,二人间的空气就是信道;打电话,电话线就是信道;看电视,听收音机,收、发间的空间就是信道。研究信道的目的:在通信系统中研究信道,主要是为了描述、度量、分析不同类型信道,计算其容量即极限传输能力,并分析其特性。二元对称信道BSC(BinarySymmetricChannel)二进制离散信道模型有一个允许输入值的集合X=0,1和可能输出值的集合Y=0,1,以及一组表示输入和输出关系的条件概率(转移概率)组成。如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错,且条件概率对称,即Jp(Y二0/X二1)二p(Y二1/X二0)二pp(Y二1/X二1)二p(Y二0/X二0)二1-p这种对称的二进制输入、二进制输出信道称做二元对称信道(或二进制对称信道,简称BSC信道),如下图所示:信道容量公式:maxI(X,Y)p(x)三、实验内容BSC信道是DMC

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论