信息论实验指导书

1、信息论与编码实验指导书任课教师：刘亚荣桂林理工大学电计系1Matlab基础：1、变量不需指定类型，拿来就用；变量区分大小写2、向量定义： x=1/2, 1/4, y=(0:360)*pi/180;向量的转置x（列向量）3、 .* ./ .运算，逐个元素进行运算。例x1=1/2,1/4,1/4, x2=2,4,4， 则x1*x2有定义（逐元素相乘=1,1,1）a=3 显示出a=3。5、画图命令plot(x,y); x（向量）是一系列坐标， y（向量）是一系列值。6、求和：sum(), 求积分：求微分：符号微分diff(f)求f对自由变量的一阶微分diff(f,v) 求f对符号变量v的一阶微分di

2、ff(f,v,n)求f对符号变量v求n阶微分符号积分int(f,v) 求表达式f的对符号变量v的不定积分int(f,v,a,b) 求表达式f的对符号变量v的在(a,b)范围内定积分7 M函数文件的基本结构函数文件由function语句引导，其基本结构为：function 输出形参表=函数名(输入形参表)注释说明部分函数体语句说明：(1)关于函数文件名: 函数文件名与函数名也可以不相同。当两者不同时，MATLAB将忽略函数名而确认函数文件名，因此调用时使用函数文件名。(2)关于注释说明部分。注释说明包括三部分内容：紧随函数文件引导行之后以%开头的第一释行。(3)关于return语句。执行到该语句

3、就结束函数的执行，程序流程转至调用该函数的位置。通常，在函数文件中也可不使用return语句，这时在被调函数执行完成后自动返回。8显示图形y= xy2t=y=实验一：计算离散信源的熵一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。3、掌握二元离散信源的最大信息量与概率的关系。4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。四、实验报告要求简要总结离散信源

4、的特点及离散信源平均信息量的计算 ,写出习题的MATLAB实现语句。信息论基础：自信息的计算公式1I(a)Matlab 实现： 或I=-log2(p)p2a熵（平均自信息）的计算公式 p p1qqH(x) p pii2i2ii1i1Matlab实现：HX=sum(-x.*log2(x) ；或者h=h-x(i)*log2(x(i);习题：1. 甲地天气预报构成的信源空间为：3晴云大雨 小雨X 111818p(x),24乙地信源空间为：晴 小雨Y 718p(y),8求此两个信源的熵。求各种天气的自信息量。案：H(X) HY)2、某信息源的符号集由 A、B、C、D、E 组成，设每一符号独立出现，其出

5、现的概率分别为，1/4，1/8，1/8，3/16，5/16，试求该信源符号的平均信息量。（答案：H(X) = 符号）3、设有四个消息分别以概率 传送，每一消息的出现是相互H(X) =1.75bit/符号）4. 设一个二元信源（只有 0 和 1 两种符号）其概率空间为： X0 p(x) p,1 p编程画出 H 与 p 的关系，并说明当 P 呈什么分布时，平均信息量达到最大值。（说明：H=-p.*log2(p)-(1-p).log2(1-p);）实验二：验证熵的可加性与强可加性1. 【例 2.6】有一离散无记忆信源a a a2X13 1 1 1p(x), ,2 4 4验证二次扩展信源X 的熵等于离

6、散信源X 的熵的 2 倍，即2H(X ) 2H(X)2答案：H(X)1.5;H(X ) 3.022. 验证两个统计独立的信源X,Y ，验证：4H() H(X)HY)其中：a a a X b b b Y 123123 1 1 1 1 1 1, ,p(x), ,2 4 4p(y)3 3 3H(X) HY) H()3、条件熵的计算与熵的强可加性验证离散二维平稳信源，满足：H(X X ) H(X )H(X | X )12121某一离散二维平稳信源 0 1 2 X 11 4 1p(x), ,36 9 4X X 其联合概率分布 p(X X )为：1212001141211017编程计算：1) 联合熵H(X

7、 X )122) 条件熵H(X | X )213) 验证：H(X X ) H(X )H(X | X )12121H(X )1.5426; H(X | X )0.8717答案：121H(X X )2.4144 H(X )H(X | X )2.414412121联合熵的计算HXY=0;5for i=1:size(b,1)for j=1:size(b,2)if b(i,j)0HXY=HXY-b(i,j).*log2(b(i,j);endendendHXY实验三：离散信道的平均互信息的计算1. 【习题 】设信源 Xx x 120.6,0.4p(x) 通过一干扰信道，接收到符号为Y y ,y ，其信道矩

8、阵为：12 5166P31,441) 求信源 X 中事件x 和x 分别含有的自信息；122) 收到消息 y (j 1,2)后，获得的关于x (i 1,2)的信息量；ji3) 求信源 X 和输出变量 Y 的信息熵；4) 信道疑义度H(X |Y)和噪声熵HY | X)；5) 接收到消息 Y 后获得的平均互信息；答案：I(x ) I(x )12I(x ;y )I(x ;y )I(x ;y )0.0931,I(x ;y )11122122H(X)HY)H(X |Y)I(X;Y)HY | X)2. 二元信道的互信息与信源分布的关系有二元信源：6 0 1 X p(x) 1 有二元信道，其传递矩阵为：10.

9、8 0.2，其中 ，即传递矩阵P0.2 0.8p pPp p 1 p编程实现下面题目：1) 画出平均互信息随信源分布 的关系曲线，并求出最大平均互信息。I(X;Y)验证：信道容量（最大平均互信息）满足： C 1 H(p)2）验证：信道容量（最大平均互信息）满足：C 1H(p)实验四：离散信道及其信道容量一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、了解信道传输概率的状态图和信道转移概率矩阵特点；2、了解什么是信道容量和最佳输入概率分布；3、列出计算信道容量和平均互信息的计算步骤；4、熟悉 Matlab 编程；三、实验内容:1、写出几种特殊离散信道的信道容量计算的 Matlab

10、 程序。2、将程序在计算机上仿真实现，验证程序的正确性。3、完成习题四、实验报告要求简要总结离散信道的特点及信道容量的计算，并写出具体仿真步骤。习题：1 1/2 1/2 000 00 5 3/10 1/10 0P 0C r0 100002 71 0P 1 0Cs0 13 】1 1 1 13 3 6 61 1 1 16 6 3 3P C logs H(p p )L1s4 1 1 12 4 41 2 1P6 3 61 1 38 8 4求 p(a )Cip(a) C= =解：一般信道信道容量计算步骤：ss求pb |a ) pb |a j） pb |a )jijjiijj1j18js log 2）cj

11、1 2 求pb )）pb )jcjjr p(a )pb |a ) 求p(a )）pb )jijiii1实验五：连续信源的差熵与波形信道的信道容量一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉连续信源的特点；2、学习仿真连续信源的方法3、学习连续信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算连续信源平均信息量的Matlab 程序。2、将程序在计算机上仿真实现，验证程序的正确性。3、完成习题并写出具体实现步骤。四、实验报告要求简要总结连续信源的特点及连续信源平均信息量的计算。知识点：1 x 2p=1/sqrt(2*pi*u2)*exp(-(x

12、-m)2/(2*u2);3int(f,v,a,b)f v f x x 12I dx,(x 2x2)22 x4“”9 ， 和 。5、连续信源的差熵与波形信道的信道容量：h(x) p(x) p(x)RSc B )N练习：一、计算下面几类信源的差熵：1 均匀分布连续信源 1(a xb)p(x)ba(xb,xa) 0其中b8,a 4 2 高斯信源1(xm)2p(x)exp()22其中m 3, 423 指数分布信源【习题 4.2】p(x) e x(x 0;0)其中 1/44 拉普拉斯概率分布信源【习题 4.2】1012e(x ; 0)p(x) |x|其中 1/4解答：h b a) 2均匀分布信源的差熵为

13、： 1高斯分布信源的差熵为：h )3.047122e指数分布信源的差熵为：hlog( )3.44272e拉普拉斯分布信源的差熵为：hlog( )4.4427二、波形信道的信道容量实验目的：掌握香农公式，即信息传输率、带宽、信噪比的关系PC W )sPn【习题 4.183kHz, 又设信Ps号功率+噪声功率)/噪声功率=10dB )10lg 是以10 为底Pn1) 2) 若信噪比降为5dB，要达到相同的最大信息传输率，信道带宽应是多少？答案：1. 最大信息传输率R 9965.784(bit/s)t2. 带宽应为： W = 4.8439e+003实验六：无失真信源编码与保真度准则下的信源编码一、实

14、验设备:1、计算机2、软件：Matlab二、实验目的:1、理解无失真信源编码与保真度准则下的信源编码的物理意义；2、理解无失真信源编码与保真度准则下的信源编码的区别；3、熟悉 Matlab 编程；三、实验内容:1、学习应用信源编码定理解决实际问题。2、将程序在计算机上仿真实现，验证程序的正确性。3、完成习题并写出具体实现步骤。四、实验报告要求11写出习题实现的具体步骤。习题：ss21S15.4）若有一信源，每秒钟发出2.66个信源符号。 4P(s)55说明原因。 3U 7.1）一个四元对称信源,接收符号为 114141Pu)440 1 1 1 0 1 1V 0,1,2,3，其失真矩阵为D，求和

15、Dmax D。1 1 0 11 1 1 0实验七：有噪信道编码定理一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、理解有噪信道编码定理的物理意义；2、熟悉 Matlab 编程；三、实验内容:1、学习应用有噪信道编码定理解决实际问题。2、将程序在计算机上仿真实现，验证程序的正确性。3、完成习题并写出具体实现步骤。四、实验报告要求写出习题实现的具体步骤。习题：121131216126131 6.1）设有一离散信道，其信道传递矩阵为：，并设6113211p(x ) , p(x ) p(x ) ,试分别按最小错误概率准则与最大似然译码准则确24定译码规则，并计算相应的平均错误概率。12

16、3 编码编码）一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、掌握无失真的信源编码的基本原理；2、熟练掌握Huffman以及香农-费诺-埃利斯编码的方法步骤；三、实验内容:1、根据 Huffman 编码的方法步骤，用 Matlab 编写二元 Huffman 编码的程序；2、用习题 1 验证程序的正确性。3、编写程序实现香农-费诺-埃利斯编码，并完成习题。四、实验报告要求 Huffman编码的 Matlab 2、写出习题实现具体步骤。源程序：aa13习题：1、某一离散信源概率分布：p=1/2,1/4,1/8,1/16,1/16 求信源的熵，并对该信源进行二元哈夫曼编码，得到码字和

17、平均码长以及编码效率。s sssS 2、设一离散无记忆信源12134111P(s) 4288埃利斯编码，并求平均码长及编码效率。答案：ssss 10, L二元码/)1234香农-费诺-埃利斯编码步骤：12k11）F(S) F(a ) P(a )P(a )kkii11412）l(a ) ) 1P(a )kk3） 取 （l(a )作为 所对应的码字W F Sakkk实验十 信道的纠错编码（线性分组码）一、实验设备:1、计算机2、软件：Matlab二、实验目的:通过线性分组码的实验，进一步加深对线性分组码编码理论的理解。三、实验内容:1、对线性分组码编码规则进行验证。2、对译码数据输出进行验证。四、实验报告要求1、完成例题，并写出具