信息论实验报告李红莲实验一

1、信息论基础实验报告专业：电子信息工程 姓名： 班级 /学号：电信 1002/ 指导老师：李红莲实验一：信息熵、信道容量的计算一、实验目的 掌握使用计算机计算信息熵、信道容量的方法。二、实验原理 1参照教材(焦瑞莉等编著信息论基础教程)第14页式( 2-16)理解信息熵的定义2参照教材(焦瑞莉等编著信息论基础教程)第68页式( 3-15)理解信道容量的定义三、实验方法与实验步骤(一) 参照教材第 215 页信源熵程序建立文件 entropy.m(二) 建立文件 exercise2_3_1.m 通过调用 entropy.m 计算教材第 69 页练习 2.3 (1)(参考答案： 0.81 比特)(三

2、) 参照教材第 215 页离散无记忆信道容量的迭代计算程序建立文件 channelcap.m(四) 建立文件 exercise3_2_b.m 通过调用 channelcap.m 计算教材第 92 页练 习3.2 (b)(参考答案：0.0817比特)四源程序代码1 ) function H=entropy(P,r)if(isempty(find(P<=0)error('Not a prob.Vector,negative component');endif(abs(sum(P)-1)>10e-10)error('Not aprob vetor,componen

3、t do not add up to 1');endH=(sum(-P.*log2(P)/(log2(r)+eps);clc;H=entropy(1/4,3/4,2 2) function CC,Paa=channelcap(P,k)% 提示错误信息if (isempty(find(P<0, 1)error('Not a prob.vector,negative component'); % 判断是否符合概率 分布条件 endif abs(sum(P')-1)>10e-10error('Not a prob.vector,components

4、 do not add up to 1') %判断是否符合概率和为 1 end% 1) 初始化 Par,s=size(P); Pa=(1/(r+eps)*ones(1,r);Pba=P;% 2) 进行迭代计算n=0;C=0;CC=1;while abs(CC-C)>=k % 迭代开始 n=n+1;% (1) 先求 PbPb=zeros(1,s);for j=1:sfor i=1:rPb(j)=Pb(j)+Pa(i)*Pba(i,j);endend% (2) 再求 Pab suma=zeros(1,s);Pab=zeros(s,r);for j=1:sfor i=1:rPab(j,

5、i)=Pa(i)*Pba(i,j)/(Pb(j)+eps);suma(j)=suma(j)+Pa(i)*Pba(i,j)*log2(Pab(j,i)+eps)/(Pa(i)+eps); endend% 3) 求信道容量 C C=sum(suma);% 4)求下一次Pa,即PaaL=zeros(1,r);a=zeros(1,r);for i=1:rfor j=1:sL(i)=L(i)+Pba(i,j)*log(Pab(j,i)+eps);enda(i)=exp( L(i);endPaa=a./(sum(a)+eps);% 5)求下一次C,即CCCC=log2(sum(a)+eps); Pa=Pa

6、a;end % 迭代结束% 打印输出结果s0=' 很好！输入正确，迭代结果如下：s1=' 最佳输入概率分布 Pa:'s2=' 信道容量 C:'s3=' 迭代次数 n:'s4=' 输入符号数 r:'s5=' 输出符号数 s:'s6=' 迭代计算精度 k:'i=1:r;B=i;disp(s0); disp(s1),disp(B),disp(Paa); disp(s4),disp(r); disp(s5),disp(s); disp(s2),disp(CC); disp(s6),disp(k); disp(s3),disp(n);clc,clear close allP=1/3,1/6,1/3,1/6;1/6,1/3,1/6,1/3 k=10e-9CC,Paa=ChannelCap(