信息论与编码实验指导书

1、精品文档?信息论与编码?试验指导书信息与通信工程学院 信息工程系2021年6月目 录试验一 绘制信源熵函数曲线4试验二 哈夫曼编解码7试验三 离散信道容量131 试验一 绘制信源熵函数曲线一、试验目的1. 把握离散信源熵的原理和计算方法。2. 生疏matlab软件的根本操作，练习应用matlab软件进行信源熵函数曲线的绘制。3. 理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。二、试验原理1. 离散信源相关的根本概念、原理和计算公式产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。假定X是一个离散随机变量，即它的取值范围R=x1，x2，x3，是有限或可数的。设第i个

2、变量xi发生的概率为pi=PX=xi。那么：定义一个随机大事的自信息量Ixi为其对应的随机变量xi消灭概率对数的负值。即：Ixi= -log2 p(xi)定义随机大事X的平均不确定度HX为离散随机变量xi消灭概率的数学期望，即：单位为 比特/符号 或 比特/符号序列。平均不确定度HX的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度HX称为信源X的信源熵。 必需留意一下几点：a) 某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成HX，X是指随机变量的整体包括概率分布。b) 信息量那么只有当信源输出符号而被

3、接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的状况有关。c) 熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消退信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说获得这么大的信息量后，信源不确定度就被消退了。信源熵和平均自信息量两者在数值上相等，但含义不同。d) 当某一符号xi的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵HX为零。例

4、1-1，设信源符号集X=0，1，每个符号发生的概率分别为p(0)=p，p(1)=q，p+ q=1，即信源的概率空间为那么该二元信源的信源熵为：H(X) = - p log p q log q = - p log p (1- p) log (1- p) 即：H (p) = - p log p (1- p) log (1- p) 其中0 p 1P=0时，H(0) = 0P=1时，H(1) = 02. MATLAB二维绘图例对函数y= f(x)进行绘图，那么用matlab中的命令plot(x, y)就可以自动绘制出二维图来。假设翻开过图形窗口，那么在最近翻开的图形窗口上绘制此图；假设未翻开图形窗口，

5、那么开一个新的图形窗口绘图。例1-2，在matlab上绘制余弦曲线图，y = cos x，其中0 x 2p。x=0:0.1:2*pi； %生成横坐标向量，使其为0，0.1，0.2，6.2y=cos(x)； %计算余弦向量plot(x,y) %绘制图形三、试验内容用matlab软件绘制二源信源熵函数曲线。依据曲线说明信源熵的物理意义。四、试验要求1. 提前预习试验，认真阅读试验原理以及相应的参考书。2. 认真高效的完成试验，试验中听从试验室管理人员以及试验指导老师的管理。3. 认真填写试验报告。五、试验结果：1、程序如下：p=0:0.001:1;h=-p.*log2(p)-(1-p).*log2

6、(1-p);h(1)=0;h(end)=0;plot(p,h)xlabel(概率p);ylabel(信道容量);2、图形如下：3、信源熵的物理意义：熵是在平均意义上来表征信源的总体特性的,可以表征信源的平均不确定。2 试验二 哈夫曼编码一、试验目的1. 把握哈夫曼编码的原理及编码步骤2. 练习matlab中哈夫曼编码函数的调用及通信工具箱的使用二、试验原理通信的根本问题是如何将信源输出的信息在接收端的信宿精确或近似的复制出来。为了有效地复制信号，就通过对信源进行编码，使通信系统与信源的统计特性相匹配。假设接收端要求无失真地精确地复制信源输出的信息，这样的信源编码即为无失真编码。即使对于一个小的

7、时间段内，连续信源输出的信息量也可以是无限大的，所以对其是无法实现无失真编码的；而离散信源输出的信息量却可以看成是有限的，所以只有离散信源才可能实现无失真编码。但凡能载荷肯定的信息量，且码字的平均长度最短，可分别的变长码的码字集合都可以称为最正确码。为此必需将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。变字长编码的最正确编码定理：在变字长码中，对于概率大的信息符号编以短字长的码；对于概率小的信息符号编以长字长的码。假设码字长度严格依据符号概率的大小挨次排列，那么平均码字长度肯定小于俺任何挨次排列方式得到的码字长度。哈夫曼编码就是利用了这个定理，讲等长分组的信源

8、符号，依据其概率分布接受不等长编码。概率大的分组，使用短的码字编码；概率小的分组，使用长的码字编码。哈夫曼编码把信源按概率大小挨次排列，并设法按逆次序安排码字的长度。在安排码字的长度时，首先将消灭概率最小的两个符号相加，合成一个概率；第二步把这个合成的概率看成是一个新组合符号的概率，重复上述做法，直到最终只剩下两个符号的概率为止。完成以上概率相加挨次排列后，再反过来逐步向前进行编码。每一步有两个分支，各赐予一个二进制码，可以对概率大的编为0码，概率小的编为1码。反之亦然。哈夫曼编码的具体步骤归纳如下：1. 统计n个信源消息符号，得到n个不同概率的信息符号。2. 将这n个信源信息符号按其概率大小

9、依次排序： p(x1) p(x2) p(xn)3. 取两个概率最小的信息符号分别配以0和1两个码元，并将这两个概率相加作为一个新的信息符号的概率，和未安排的信息符号构成新的信息符号序列。4. 将剩余的信息符号，按概率大小重新进行排序。5. 重复步骤3，将排序后的最终两个小概论相加，相加和与其他概率再排序。6. 如此反复重复n-2次，最终只剩下两个概率。7. 从最终一级开头，向前返回得到各个信源符号所对应的码元序列，即相应的码字，构成霍夫曼编码字。编码结束。哈夫曼编码产生最正确整数前缀码，即没有一个码字是另一个码字的前缀，因此哈夫曼编码是唯一码。编码之后，哈夫曼编码的平均码长为：哈夫曼编码的效率

10、为：例2-1 设信源共7个符号消息，其概率如下表所示信源消息符号xix1x2x3x4x5x6x7符号概率P xi 0.200.190.180.170.150.100.01其编码过程如下所示：该哈夫曼码的平均码长为编码效率为：三、试验内容为某一信源进行哈夫曼编码。该信源的字符集为X=x1, x2, x6 ，相应的概率矢量为：P=(0.30,0.25,0.21,0.10,0.09,0.05)，即X，P的概率空间为：依据哈夫曼编码算法对该信源进行哈夫曼编码。并计算其平均码长和编码效率。调用matlab哈夫曼编码函数进行哈夫曼编码，与人工编码结果做比较。1. huffmandict函数： 为概率分布的

11、信源模型生成哈夫曼编解码索引表。调用方法如下：dict，avglen = Huffman (symbols, p)dict，avglen = huffmandict (symbols, p, N)dict，avglen = huffmandict (symbols, p, N, variance)四、试验要求1. 提前预习试验，认真阅读试验原理以及相应的参考书。2. 认真高效的完成试验，试验中听从试验室管理人员以及试验指导老师的管理。3. 认真填写试验报告。五、试验结果：1、程序如下：clc;symbols=1:6;p=0.30,0.25,0.21,0.10,0.09,0.05;dict,av

12、glen = huffmandict (symbols,p);H=0;for i=1:length(symbols) H=H-p(i).*log2(p(i);end;R=H./avglen;dictavglen R 2、结果如下:dict = 1 1x2 double 2 1x2 double 3 1x2 double 4 1x3 double 5 1x4 double 6 1x4 doubleavglen =2.3800R = 0.98943 试验三 离散信道容量一、试验目的1. 把握离散信道容量的计算。2. 理解离散信道容量的物理意义。3. 练习应用matlab软件进行二元对称离散信道容量

13、的函数曲线的绘制，并从曲线上理解其物理意义。二、试验原理信道是传送信息的载体信号所通过的通道。信息是抽象的，而信道那么是具体的。比方二人对话，二人间的空气就是信道；打 ， 线就是信道；看电视，听收音机，收、发间的空间就是信道。争辩信道的目的：在通信系统中争辩信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输力量，并分析其特性。二元对称信道BSCBinary Symmetric Channel二进制离散信道模型有一个允许输入值的集合X=0，1和可能输出值的集合Y=0，1，以及一组表示输入和输出关系的条件概率转移概率组成。假设信道噪声和其他干扰导致传输的二进序列发生统计独立的过失，且条件概率对称，即这种对称的二进制输入、二进制输出信道称做二元对称信道或二进制对称信道，简称BSC信道，如以下图所示：信道容量公式：三、试验内容BSC信道是DMC信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matlab上绘制信道容量C与p的曲