《信息论》实验指导书—-应用MATLAB软件实现

1、精选优质文档-倾情为你奉上 信息与编码理论上机实验指导书 应用MATLAB软件实现 UPC通信工程系前 言 本实验系列是采用MATLAB软件，主要针对信息论基础课程中的相关内容进行的实验。 MATLAB是一完整的并可扩展的计算机环境，是一种进行科学和工程计算的交互式程序语言。它的基本数据单元是不需要制定维数的矩阵，它可直接用于表达数学的算式和技术概念，解决同样的数值计算问题，使用MATLAB要比使用Basic、Fortran和C语言等提高效率许多倍。MATLAB还是一种有利的教学工具，在大学的线性代数课程以及其它领域的高一级课程的教学中，已称为标准的教学工具。 该指导书共安排了4个实验，现就一

2、些情况作简要说明：各实验要求学生在MATLAB系统上尽量独立完成，弄懂。实验内容紧扣课程教学内容的各主要基本概念，希望同学们在完成每个实验后，对所学的内容起到巩固和加深理解的作用。每个实验做完后必须交一份实验报告。恳请各位实验老师和同学在实验中提出宝贵意见，以利于以后改进提高。 目 录 实验一 离散信源及其信息测度.3实验二 离散信道及其容量.6实验三 无失真信源编码.8实验四 有噪信道编码.10附录 部分常用MATLAB命令.12实验一 离散信源及其信息测度一、实验目的离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展

3、信源的熵的概念的理解。二、实验环境windows XP,MATLAB 三、实验原理信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 信源熵是信源的统计平均不确定性的描述，是概率函数的函数。四、实验内容 1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。 2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1

4、:一个1收到；给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求：(a)已知发出一个0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量； 3、给定离散无记忆信源X，其概率空间为 求该信源的熵和其二次、三次扩展信源的熵。(编写一M函数文件：function H_X1,H_X2,H_X3=t03(X1,P1)%t03 求信源和其二次、三次扩展信源的熵%输入为X1,P1,分别为信源符号和概率阵%输出为原离散信源的熵H_X1和二次、三次扩展信源的熵H_X2、H_X3 4、某离散二维平稳信源的概率空间：X1X2P00 01 02 10 11

5、 12 20 21 221/4 1/18 0 1/18 1/3 1/18 0 1/18 7/36= 设发出的符号只与前一个符号有关。求：(a)认为信源符号之间无依赖性时，信源X的信息熵H(X)；(b)认为有依赖性时的条件熵H（X2X1）;(c)联合熵H(X1X2);(d)根据以上三者之间的关系，验证结果的正确性。 5、有两个二元随机变量X和Y，它们的联合概率分布函数如下表： Y X01 01/8 3/81 3/8 1/8同时定义另一随机变量Z=X*Y，试求：a、熵H(X),H(Z),H(X,Z)和H(X,Y,Z);b、条件熵H(X|Y),H(X|Z),H(Y|X,Z);c、互信息I(X;Y),

6、I(X;Z),I(X;Y|Z); 五、实验过程每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；1)设计思路1、每字符从26 个英文字母和1 个空格中等概选取，一共100 个字符，那么可以组成27100 条消息，每条消息出现的概率是1/（27100），由自信息量公式可得每条消息的自信息量。2、求出各种条件概率，将其代入信息量公式计算信息量。3、离散无记忆信源X 熵，可将其概率代入信息熵的计算公式得到，二次，三次扩展信源，可先求出其概率空间。4.由离散二维平稳信源的概率空间，及信息熵，条件熵，联合熵的公式，可得到我们要的结果。5、计算各种情况的概率，X 的概率，Y 的概率，Z=XY

7、联合概率等，然后代入公式求解。6、程序代码：clear all,clc;%test1.1%有条100 字符英文信息，假定其中每字符从26 个英文字母和1 个空格中等概选取%求每条信息提供的信息量H1=log2(27100)%test1.2%事件：u0:一个0 发出；u1:一个1 发出； v0:一个0 收到；v1:一个1 收到；%给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2p_u0=1/2;p_v0_u0=3/4;p_v0_u1=1/2;p_v1_u0=1-p_v0_u0;%(a)已知发出一个0，求收到符号后得到的信息量；H_V_u0=p_v0_u0*lo

8、g2(p_v0_u0)-p_v1_u0*log2(p_v1_u0);%(b)已知发出的符号，求收到符号后得到的信息量p_u1=1-p_u0;p_v1_u1=1-p_v0_u1;p_u0v0=p_v0_u0*p_u0;p_u0v1=p_v1_u0*p_u0;p_u1v0=p_v0_u1*p_u1;p_u1v1=p_v1_u1*p_u1;H_V_U=-p_u0v0*log2(p_v0_u0)-p_u0v1*log2(p_v1_u0)-p_u1v0*log2(p_v0_u1)-p_u1v1*log2(p_v1_u1)%test1.3c=0.3,0.7;y1,y2,y3=t05(c)%信源的熵和其二次

9、、三次扩展信源的熵%test1.4P_X1X2=1/4 1/18 0;1/18 1/3 1/18;0 1/18 7/36;%联合分布%(a)认为信源符号之间无依赖性时，信源X 的信息熵H(X)；P_X=sum(P_X1X2);H_X=sum(-P_X.*log2(P_X);fprintf('X 的信源熵： H_X=%6.3fn',H_X);%(b)认为有依赖性时的条件熵H（X2X1）;P_X1_X2=P_X1X2(:,1)/P_X(1),P_X1X2(:,2)/P_X(2),P_X1X2(:,3)/P_X(3);%条件矩阵P_X1_X2(find(P_X1_X2=0)=1;%将

10、0 换为1H_X1_X2=sum(-P_X1X2.*log2(P_X1_X2);fprintf('X 的条件熵： n H_X1_X2=%6.3fn',H_X1_X2);%(c)联合熵H(X1X2)P_X1X2(find(P_X1X2=0)=1;%将0 换为1H_X1X2=sum(-P_X1X2.*log2(P_X1X2);fprintf('X 的联合熵： n H_X1X2=%6.3fn',H_X1X2);%test1.5%有两个二元随机变量X 和Y,同时定义另一随机变量Z=X*Y，试求：% a、熵H(X),H(Z),H(X,Z)和H(X,Y,Z);% b、条件熵

11、H(X|Y),H(Y|X,Z);% c、互信息I(X;Y),I(X;Y|Z);功能函数t03：function H_X1,H_X2,H_X3=t03(X1,P1)%t03%输入为X1,P1,分别为信源符号和概率阵%输出为原离散信源的熵和扩展信源的熵X2=X_grow(2);p0=0.7;p1=1-p0;H_X1=sum(-P1.*log2(P1);l=length(X1);P=zeros(1:l2);for i=1:l2l1=length(find(X2(i,:);P2(i)=p0(l-l1)*p1l1;endH_X2=sum(-P2.*log2(P2);%-function s=X_grow

12、(n)s=zeros(2n,n);for i=2:2nj=n;%for j=6:-1:1s(i,:)=s(i-1,:);s(i,j)=s(i-1,j)+1;for j=n:-1:1if (s(i,j)=2)s(i,j)=0;s(i,j-1)=s(i,j-1)+1;endendEnd功能函数t05：function H_X1,H_X2,H_X3=t05(P1)H_X1=sum(-P1.*log2(P1);x=zeros(1,length(P1)2);y=zeros(1,length(P1)3);a=1;b=1;for i=1:length(P1)for j=1:length(P1)x(a)=P1

13、(i)*P1(j);a=a+1;endendH_X2=sum(-x.*log2(x);for i=1:length(P1)for j=1:length(P1)for k=1:length(P1)y(b)=P1(i)*P1(j)*P1(k);b=b+1;endendendH_X2=sum(-x.*log2(x);H_X3=sum(-y.*log2(y);部分结果：H1 =475.4888H_V_U =0.9056y1 =0.8813y2 =1.7626y3 =2.6439X 的信源熵： H_X= 1.543X 的条件熵：H_X1_X2= 0.209X 的条件熵：H_X1_X2= 0.472X 的

14、条件熵：H_X1_X2= 0.191X 的联合熵：H_X1X2= 0.732X 的联合熵：H_X1X2= 0.992X 的联合熵：H_X1X2= 0.6912)实验中出现的问题及解决方法；实验中遇到的问题有很多，如各种概率空间的计算，弄混，概念不清楚，公式不熟悉，对信息论的定理概念及意义不理解，不能灵活运用。对于各种概率的计算，需要准确分析，然后逐一进行计算。信息论的定理概念及意义，翻书查阅，尽可能的熟悉，理解，并加以运用。六、实验总结通过实验，回顾了各种概率的求解方法，该实验主要是计算消息的信息量，信息熵。在实验过程中，不断地学习查阅课本，巩固了上课的知识，对所学的定理和公式有了更加深刻的认

15、识和理解。实验二 离散信道及其容量一、实验目的1、 理解离散信道容量的内涵；2、 掌握求二元对称信道（BSC）互信息量和容量的设计方法；3、 掌握二元扩展信道的设计方法并会求其平均互信息量。二、实验环境windows XP,MATLAB 7三、实验原理若某信道输入的是N维序列x，其概率分布为q(x),输出是N维序列y,则平均互信息量记为I(X;Y)，该信道的信道容量C定义为。四、实验内容 1、给定BSC信道，信源概率空间为 0.6 0.4XP= 信道矩阵 求该信道的I(X;Y)和容量，画出I(X;Y)和、C和p的关系曲线。 2 、编写一M脚本文件t03.m，实现如下功能： 在任意输入一信道矩阵

16、P后，能够判断是否离散对称信道，若是，求出信道容量C。 3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为XPx 0.3 0.5 0.2= 0.1 0.3 0 0.60.3 0.5 0.2 00.1 0.7 0.1 0.1P= 求： 平均互信息量； 4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。五、实验过程每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；1)设计思路1、信道容量( )max (X; Y)q xC = I，因此要求给定信道的信道容量，只要知道该信道的最大互信息量，即求信道容量就是求信道互信息量的过程。程序代码：clear a

17、ll,clc;w=0.6;w1=1-w;p=0.01;XP = 0.6 0.4p1=1-p;save data1 p p1;I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p)+(w*p+w1*p1)*log2(1/(w*p+w1*p1)- .(p*log2(1/p)+p1*log2(1/p1);C=1-(p*log2(1/p)+p1*log2(1/p1);fprintf('互信息量:%6.3fn信道容量:%6.3f',I_XY,C);p=eps:0.001:1-eps;p1=1-p;C=1-(p.*log2(1./p)+p1.*log2(1./p1);sub

18、plot(1,2,1),plot(p,C),xlabel('p'),ylabel('C');load data1;w=eps:0.001:1-eps;w1=1-w;I_XY=(w.*p1+w1.*p).*log2(1./(w.*p1+w1.*p)+(w.*p+w1.*p1).*log2(1./(w.*p+w1.*p1)- .(p.*log2(1./p)+p1.*log2(1./p1);subplot(1,2,2),plot(w,I_XY)xlabel('w'),ylabel('I_XY');实验结果：互信息量:0.891信道容量:

19、0.919I(X;Y)和 、C和p的关系曲线图：0 0.5 100.10.20.30.40.50.60.70.80.91pC0 0.5 100.10.20.30.40.50.60.70.80.91wIXY2、离散对称信道：当离散准对称信道划分的子集只有一个时，信道关于输入和输出对称。离散准对称信道：若一个离散无记忆信道的信道矩阵中，按照信道的输出集Y可以将信道划分成n个子集，每个子矩阵中的每一行都是其他行同一组元素的不同排列。实验代码：clc;clear;P=input('输入信道转移概率矩阵：');r,c=size(P);if sum(P,2)-1=zeros(1,r)

20、9;error('输入的信道矩阵不合法！');%矩阵行和一定要为1endl=1;Sum=0;for j=2:cfor i=1:r%i是行变量for k=1:rif P(k,j)=P(i,1)Sum=Sum+1;break;endendendendif Sum=r*(c-1)fprintf('是离散输出对称信道!n',j);else fprintf('不是对称信道!');end实验结果:输入信道转移概率矩阵：0.01 0.99;0.99 0.01是离散输出对称信道!输入信道转移概率矩阵：0.4 0.6;0.3 0.7不是对称信道!3、二次扩展信道的

21、互信息量I(X;Y)=H(Y)-H(Y|X).实验代码：clc,clear;p=0.01;P_X1=0.6,0.4;p1=1-p;X2=0,0;0,1;1,0;1,1;%二次扩展输入符号阵Y2=X2;%二次扩展输出符号P_X2=P_X1(1)2,P_X1(1)*P_X1(2),P_X1(2)*P_X1(1),P_X1(2)2;%求二次扩展后信道矩阵NN=zeros(4);for i=1:4for j=1:4l=length(find(xor(X2(i,:),Y2(j,:)=0);%比较得正确传递元素个数N(i,j)=p1l*p(2-l);endend%下面求IP_Y2=P_X2*N;P_XY2

22、=P_X2(1)*N(1,:);P_X2(2)*N(2,:);P_X2(3)*N(3,:);P_X2(4)*N(4,:);%联合分布H_Y2=sum(-P_Y2.*log2(P_Y2);H_Y_X2=sum(sum(-P_XY2.*log2(N);I_XY2=H_Y2-H_Y_X2;fprintf('2次扩展信道的平均互信息为:%5.3f',I_XY2);实验结果：2次扩展信道的平均互信息为:1.7832)实验中出现的问题及解决方法；1、信道容量与互信息量有关，而互信息量又与信源熵相关，所以要求得信道容量就必须知道信道传递概率，然后根据公式一步一步计算。2、对于判断离散对称信道

23、，不需要弄清楚的是它的概念，根据定义来判断。3、对于扩展信道，分有记忆的和无记忆的，在不确定的情况下计算扩展信源的熵，我们要根据定义来计算。六、实验总结通过本次实验，我对于信道的分类，各种信道的特点有了一定的认识和了解。实验中涉及的主要是二元对称信道，而它的最佳分布是输入和输出均对称。实验中最主要的部分还是关于信道容量的计算，此次实验，让我们验证了课本上的定理，也让我们更好地理解和掌握了课堂上所学的知识。_实验三 无失真信源编码一、实验目的1、 理解香农第一定理指出平均码长与信源之间的关系；2、 加深理解香农编码具有的重要的理论意义。3、 掌握霍夫曼编码的原理；4、 掌握霍夫曼编码的方法和步骤

24、；二、实验环境windows XP,MATLAB 7三、实验原理香农第一定理：设离散无记忆信源为 熵为H(S)，其N次扩展信源为 熵为H(SN)。码符号集X=（x1,x2,xr）。先对信源进行编码，总可以找到一种编码方法，构成惟一可以码，使S中每个信源符号所需的平均码长满足： 当N时 是平均码长 是对应的码字长度四、实验内容 1、根据实验原理，设计shannon编码方法，在给定SP=s1 s2 s3 s4 s5 s6 s70.01 0.17 0.19 0.10 0.15 0.18 0.2 条件下，实现香农编码并算出编码效率。2、在给定离散无记忆信源=SPs1 s2 s3 s41/8 5/16

25、7/16 1/8 条件下，实现二进制霍夫曼编码，求最后得到的码字并算出编码效率。五、实验过程每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；某一离散信源概率分布：p=1/2,1/4,1/8,1/16,1/16 求信源的熵，并对该信源进行二元哈夫曼编码，得到码字和平均码长以及编码效率。Matlab程序：function h,l=huffman(p)p=1/2 1/4 1/8 1/16 1/16;if length(find(p<0)=0, error('Not a prob.vector,there is negative component')endif a

26、bs (sum(p)-1)>10e-10 error('Input is not a prob.vector,the sun of the components is not equal to 1')endn=length(p); q=p; m=zeros(n-1,n); for i=1:n-1 q,l=sort(q); m(i,:)=l(1:n-i+1),zeros(1,i-1); q=q(1)+q(2),q(3:n),1; end for i=1:n-1 c(i,:)=blanks(n*n); end c(n-1,n)='0' c(n-1,2*n)=&

27、#39;1' for i=2:n-1 c(n-i,1:n-1)=c(n-i+1,n*(find(m(n-i+1,:)=1). -(n-2):n*(find(m(n-i+1,:)=1); c(n-i,n)='0' c(n-i,n+1:2*n-1)=c(n-i,1:n-1); c(n-i,2*n)='1' for j=1:i-1 c(n-i,(j+1)*n+1:(j+2)*n)=c(n-i+1,. n*(find(m(n-i+1,:)=j+1)-1)+1:n*find(m(n-i+1,:)=j+1); end; end for i=1:n h(i,1:n)=

28、c(1,n*(find(m(1,:)=i)-1)+1:find(m(1,:)=i)*n); l1(i)=length(find(abs(h(i,:)=32); end l=sum(p.*l1)运行结果为：l = 1.8750ans = 1 01 001 0000 0001六、实验总结 实验四 有噪信道编码一、实验目的1、 理解极大似然译码规则；2、 掌握简单重复编码方法；3、 掌握（）线性码及其编码方法；二、实验环境windows XP,MATLAB 7三、实验原理在确定译码规则F(yj)=xi，i=1,2,3,s之后，若信道输出端接收到的符号为yj，则一定译成xi。如果发送端发送的就是xi，

29、这就是正确译码；反之，若发送端发送的是xk，就认为是错误译码。经过译码的平均错误概率为 若选择译码函数F(yj)=x*，使之满足条件 对则称为极大似然译码规则。四、实验内容0.99 0.010.01 0.091、有一BSC信道矩阵：P= 采用简单重复编码，设计函数在编码次数分别为n=3、5、7、9，输入消息符号个数M=2条件下，求译码平均错误概率PE和信息传输速率R的值。2、对上题的信道矩阵，若采用（）线性码，M=4，5，求此时的信息传输速率R和误码率PE。五、实验过程）设有一离散信道，其信道传递矩阵为：，并设试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

30、1、按最小错误概率准则，P（ab）=1/4 1/6 1/12,1/24 1/8 1/12 ,1/12 1/24 1/8Matlab程序: p=(1/4+1/24)+(1/6+1/8)+(1/12+1/12)运行结果：p = 0.7500，即相应平均错误概率为：0.7500按最大似然译码准则译码规则：Matlab程序：p2=1/2*(1/3+1/6)+1/4*(1/6+1/3)+1/4*(1/3+1/6)程序运行结果：p2 =0.5000即相应平均错误概率为：0.5000附录：部分常用MATLAB命令管理命令和函数help在线帮助文件doc装入超文本说明whatM、MAT、MEX文件的目录列表t

31、ype列出M文件lookfor通过help条目搜索关键字which定位函数和文件Demo运行演示程序Path控制MATLAB的搜索路径管理变量和工作空间Who列出当前变量Whos列出当前变量（长表）Load从磁盘文件中恢复变量Save保存工作空间变量Clear从内存中清除变量和函数Pack整理工作空间内存Size矩阵的尺寸Length向量的长度disp显示矩阵或与文件和操作系统有关的命令cd改变当前工作目录Dir目录列表Delete删除文件Getenv获取环境变量值!执行DOS操作系统命令Unix执行UNIX操作系统命令并返回结果Diary保存MATLAB任务控制命令窗口Cedit设置命令行编

32、辑Clc清命令窗口Home光标置左上角Format设置输出格式Echo底稿文件内使用的回显命令more在命令窗口中控制分页输出启动和退出MATLABQuit退出MATLABStartup引用MATLAB时所执行的M文件Matlabrc主启动M文件一般信息InfoMATLAB系统信息及Mathworks公司信息Subscribe成为MATLAB的订购用户hostidMATLAB主服务程序的识别代号Whatsnew在说明书中未包含的新信息Ver版本信息操作符和特殊字符+加减*矩阵乘法.*数组乘法矩阵幂.数组幂左除或反斜杠/右除或斜杠./数组除KronKronecker张量积:冒号( )圆括号 方括

33、号.小数点.父目录继续,逗号;分号%注释!感叹号转置或引用=赋值= =相等< >关系操作符&逻辑与|逻辑或逻辑非xor逻辑异或逻辑函数Exist检查变量或函数是否存在Any向量的任一元为真，则其值为真All向量的所有元为真，则其值为真Find找出非零元素的索引号三角函数Sin正弦Sinh双曲正弦Asin反正弦Asinh反双曲正弦Cos余弦Cosh双曲余弦Acos反余弦Acosh反双曲余弦Tan正切Tanh双曲正切Atan反正切Atan2四象限反正切Atanh反双曲正切Sec正割Sech双曲正割Asech 反双曲正割Csc余割Csch双曲余割Acsc反余割Acsch反双曲余割

34、Cot余切Coth双曲余切Acot反余切Acoth反双曲余切指数函数Exp指数Log自然对数Log10常用对数Sqrt平方根复数函数Abs绝对值Argle相角Conj复共轭Image复数虚部Real复数实部数值函数Fix朝零方向取整Floor朝负无穷大方向取整Ceil朝正无穷大方向取整Round朝最近的整数取整Rem除后取余Sign符号函数基本矩阵Zeros零矩阵:规则间隔的向量Eye单位矩阵Ones全“1”矩阵Rand均匀分布的随机数矩阵Randn正态分布的随机数矩阵Logspace对数间隔的向量Meshgrid三维图形的X和Y数组特殊变量和常数Ans当前的答案Eps相对浮点精度Realmax最大浮点数Realmin最小浮点数Pi圆周率I,j虚数单位Inf无穷大Nan非数值Flops浮点运算次数Nargin函数输入变量数Nargout函数输出变量数Computer计算机类型Isieee当计算机采用IEEE算术标准时，其值为真Why简明的答案VersionMATLAB版本号时间和日期Clock挂钟Dat