版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
《信息论与编码》实验指导书网络与通信工程学院6月目录实验一绘制信源熵函数曲线 4实验二哈夫曼编解码 7实验三离散信道容量 13实验一绘制信源熵函数曲线(2学时)一、实验目的掌握离散信源熵的原理和计算办法。熟悉matlab软件的基本操作,练习应用matlab软件进行信源熵函数曲线的绘制。理解信源熵的物理意义,并能从信源熵函数曲线图上进行解释其物理意义。二、实验原理离散信源有关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。假定X是一种离散随机变量,即它的取值范畴R={x1,x2,x3,…}是有限或可数的。设第i个变量xi发生的概率为pi=P{X=xi}。则:定义一种随机事件的自信息量I(xi)为其对应的随机变量xi出现概率对数的负值。即:I(xi)=-log2p(xi)定义随机事件X的平均不拟定度H(X)为离散随机变量xi出现概率的数学盼望,即:单位为比特/符号或比特/符号序列。平均不拟定度H(X)的定义公式与热力学中熵的表达形式相似,因此又把平均不拟定度H(X)称为信源X的信源熵。必须注意一下几点:某一信源,不管它与否输出符号,只有这些符号含有某些概率特性,必有信源的熵值;这熵值是在总体平均上才故意义,因而是个拟定值,普通写成H(X),X是指随机变量的整体(涉及概率分布)。信息量则只有当信源输出符号而被接受者收到后,才故意义,这就是给与信息者的信息度量,这值本身也能够是随机量,也能够与接受者的状况有关。熵是在平均意义上来表征信源的总体特性的,信源熵是表征信源的平均不拟定度,平均自信息量是消除信源不拟定度时所需要的信息的量度,即收到一种信源符号,全部解除了这个符号的不拟定度。或者说获得这样大的信息量后,信源不拟定度就被消除了。信源熵和平均自信息量两者在数值上相等,但含义不同。当某一符号xi的概率p(xi)为零时,p(xi)logp(xi)在熵公式中无意义,为此规定这时的p(xi)logp(xi)也为零。当信源X中只含有一种符号x时,必有p(x)=1,此时信源熵H(X)为零。例1-1,设信源符号集X={0,1},每个符号发生的概率分别为p(0)=p,p(1)=q,p+q=1,即信源的概率空间为则该二元信源的信源熵为:H(X)=-plogp–qlogq=-plogp–(1-p)log(1-p)即:H(p)=-plogp–(1-p)log(1-p)其中0≤p≤1P=0时,H(0)=0P=1时,H(1)=0MATLAB二维绘图例对函数y=f(x)进行绘图,则用matlab中的命令plot(x,y)就能够自动绘制出二维图来。如果打开过图形窗口,则在近来打开的图形窗口上绘制此图;如果未打开图形窗口,则开一种新的图形窗口绘图。例1-2,在matlab上绘制余弦曲线图,y=cosx,其中0≤x≤2。>>x=0:0.1:2*pi;%生成横坐标向量,使其为0,0.1,0.2,…,6.2>>y=cos(x);%计算余弦向量>>plot(x,y)%绘制图形三、实验内容用matlab软件绘制二源信源熵函数曲线。根据曲线阐明信源熵的物理意义。四、实验规定提前预习实验,认真阅读实验原理以及对应的参考书。认真高效的完毕实验,实验中服从实验室管理人员以及实验指导老师的管理。认真填写实验报告。五、实验成果:1、程序以下:p=0:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p);h(1)=0;h(end)=0;plot(p,h)xlabel('概率p');ylabel('信道容量');2、图形以下:3、信源熵的物理意义:熵是在平均意义上来表征信源的总体特性的,能够表征信源的平均不拟定。实验二哈夫曼编码(4学时)一、实验目的掌握哈夫曼编码的原理及编码环节练习matlab中哈夫曼编码函数的调用及通信工具箱的使用二、实验原理通信的根本问题是如何将信源输出的信息在接受端的信宿精确或近似的复制出来。为了有效地复制信号,就通过对信源进行编码,使通信系统与信源的统计特性相匹配。若接受端规定无失真地精确地复制信源输出的信息,这样的信源编码即为无失真编码。即使对于一种小的时间段内,持续信源输出的信息量也能够是无限大的,因此对其是无法实现无失真编码的;而离散信源输出的信息量却能够当作是有限的,因此只有离散信源才可能实现无失真编码。但凡能载荷一定的信息量,且码字的平均长度最短,可分离的变长码的码字集合都能够称为最佳码。为此必须将概率大的信息符号编以短的码字,概率小的符号编以长的码字,使得平均码字长度最短。变字长编码的最佳编码定理:在变字长码中,对于概率大的信息符号编以短字长的码;对于概率小的信息符号编以长字长的码。如果码字长度严格按照符号概率的大小次序排列,则平均码字长度一定不大于俺任何次序排列方式得到的码字长度。哈夫曼编码就是运用了这个定理,讲等长分组的信源符号,根据其概率分布采用不等长编码。概率大的分组,使用短的码字编码;概率小的分组,使用长的码字编码。哈夫曼编码把信源按概率大小次序排列,并设法按逆次序分派码字的长度。在分派码字的长度时,首先将出现概率最小的两个符号相加,合成一种概率;第二步把这个合成的概率当作是一种新组合符号的概率,重复上述做法,直到最后只剩余两个符号的概率为止。完毕以上概率相加次序排列后,再反过来逐步向迈进行编码。每一步有两个分支,各赋予一种二进制码,能够对概率大的编为0码,概率小的编为1码。反之亦然。哈夫曼编码的具体环节归纳以下:统计n个信源消息符号,得到n个不同概率的信息符号。将这n个信源信息符号按其概率大小依次排序:
p(x1)≥p(x2)≥…≥p(xn)取两个概率最小的信息符号分别配以0和1两个码元,并将这两个概率相加作为一种新的信息符号的概率,和未分派的信息符号构成新的信息符号序列。将剩余的信息符号,按概率大小重新进行排序。重复环节3,将排序后的最后两个小概论相加,相加和与其它概率再排序。如此重复重复n-2次,最后只剩余两个概率。从最后一级开始,向前返回得到各个信源符号所对应的码元序列,即对应的码字,构成霍夫曼编码字。编码结束。哈夫曼编码产生最佳整数前缀码,即没有一种码字是另一种码字的前缀,因此哈夫曼编码是唯一码。编码之后,哈夫曼编码的平均码长为:哈夫曼编码的效率为:例2-1设信源共7个符号消息,其概率以下表所示信源消息符号xix1x2x3x4x5x6x7符号概率P(xi)0.200.190.180.170.150.100.01其编码过程以下所示:该哈夫曼码的平均码长为编码效率为:三、实验内容为某一信源进行哈夫曼编码。该信源的字符集为X={x1,x2,…x6},对应的概率矢量为:P=(0.30,0.25,0.21,0.10,0.09,0.05),即X,P的概率空间为:根据哈夫曼编码算法对该信源进行哈夫曼编码。并计算其平均码长和编码效率。调用matlab哈夫曼编码函数进行哈夫曼编码,与人工编码成果做比较。huffmandict函数:为已知概率分布的信源模型生成哈夫曼编解码索引表。调用办法以下:[dict,avglen]=Huffman(symbols,p)[dict,avglen]=huffmandict(symbols,p,N)[dict,avglen]=huffmandict(symbols,p,N,variance)四、实验规定提前预习实验,认真阅读实验原理以及对应的参考书。认真高效的完毕实验,实验中服从实验室管理人员以及实验指导老师的管理。认真填写实验报告。五、实验成果:1、程序以下:clc;symbols=1:6;p=[0.30,0.25,0.21,0.10,0.09,0.05];[dict,avglen]=huffmandict(symbols,p);H=0;fori=1:length(symbols)H=H-p(i).*log2(p(i));end;R=H./avglen;dictavglenR2、成果以下:dict=[1][1x2double][2][1x2double][3][1x2double][4][1x3double][5][1x4double][6][1x4double]avglen=2.3800R=0.9894实验三离散信道容量(2学时)一、实验目的掌握离散信道容量的计算。理解离散信道容量的物理意义。练习应用matlab软件进行二元对称离散信道容量的函数曲线的绘制,并从曲线上理解其物理意义。二、实验原理信道是传送信息的载体—信号所通过的通道。信息是抽象的,而信道则是具体的。例如二人对话,二人间的空气就是信道;打电话,电话线就是信道;看电视,听收音机,收、发间的空间就是信道。研究信道的目的:在通信系统中研究信道,重要是为了描述、度量、分析不同类型信道,计算其容量,即极限传输能力,并分析其特性。二元对称信道BSC(BinarySymmetricChannel)二进制离散信道模型有一种允许输入值的集合X={0,1}和可能输出值的集合Y={0,1},以及一组表达输入和输出关系的条件概率(转移概率)构成。如果信道噪声和其它干扰造成传输的二进序列发生统计独立的差错,且条件概率对称,即这种对称的二进制输入、二进制输出信道称做二元对称信道(或二进制对称信道,简称BSC信道),以下图所示:信道容量公式:三、实验内容BSC信道是DMC信道对称信道的特例,对于转移概率为P(0/1)=P(1/0)=p,P(0/0)=P(1/01)=1-p,求出其信道容量公式,并在matl
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 人力资源总监述职报告
- 幼儿园班主任辞职报告范文锦集6篇
- 小学语文六年级语文上册教案
- 学生会宣传部述职报告(合集11篇)
- xx省城市更新项目可行性研究报告
- 小学学校校长辞职报告合集5篇
- 城中村现状分析
- 2024年水泵供应及销售协议范本版B版
- 2024年仓库主管个人年度工作总结模板(五篇)
- 2024年联营合同范本
- 2023年中国铁路南宁局集团有限公司招聘考试真题
- 汽车底盘课件 课程3 手动变速器的构造与维修
- 2023届河南省郑州市高三第一次质量预测生物试题(解析版)
- python实现魔兽世界自动钓鱼辅助工具(附源码)
- GB/T 11017.2-2024额定电压66 kV(Um=72.5 kV)和110 kV(Um=126 kV)交联聚乙烯绝缘电力电缆及其附件第2部分:电缆
- DB11∕T 243-2014 户外广告设施技术规范
- 飞灰二恶英类低温催化分解污染控制技术规范-编制说明(征求意见稿)
- 会计凭证附件管理制度范文
- GB/T 44462.1-2024工业互联网企业网络安全第1部分:应用工业互联网的工业企业防护要求
- 保洁突发事件应急预案
- 三农领域法律法规解读手册
评论
0/150
提交评论