信息论实验报告李红莲实验一

1、信息论基础实验报告专业：电子信息工程姓名： 班级/学号：电信1002/ 指导老师：李红莲实验一：信息熵、信道容量的计算一、实验目的掌握使用计算机计算信息熵、信道容量的方法。二、实验原理1参照教材（焦瑞莉等编著信息论基础教程）第14页式（2-16）理解信息熵的定义2参照教材（焦瑞莉等编著信息论基础教程）第68页式（3-15）理解信道容量的定义三、实验方法与实验步骤（一）参照教材第215页信源熵程序建立文件entropy.m（二）建立文件exercise2_3_1.m通过调用entropy.m计算教材第69页练习2.3（1）（参考答案：0.81比特）（三）参照教材第215页离散无记忆信道容量的迭代

2、计算程序建立文件channelcap.m（四）建立文件exercise3_2_b.m通过调用channelcap.m计算教材第92页练习3.2（b）（参考答案：0.0817比特）四源程序代码1）function h=entropy(p,r)if(isempty(find(p10e-10) error(not aprob vetor,component do not add up to 1);endh=(sum(-p.*log2(p)/(log2(r)+eps);clc;h=entropy(1/4,3/4,22）function cc,paa=channelcap(p,k)% 提示错误信息 if

3、 (isempty(find(p10e-10 error(not a prob.vector,components do not add up to 1) % 判断是否符合概率和为1end % 1)初始化par,s=size(p);pa=(1/(r+eps)*ones(1,r);pba=p;% 2)进行迭代计算n=0;c=0; cc=1;while abs(cc-c)=k % 迭代开始 n=n+1;% (1)先求pb pb=zeros(1,s); for j=1:s for i=1:r pb(j)=pb(j)+pa(i)*pba(i,j); endend% (2)再求pabsuma=zeros

4、(1,s);pab=zeros(s,r);for j=1:s for i=1:r pab(j,i)=pa(i)*pba(i,j)/(pb(j)+eps); suma(j)=suma(j)+pa(i)*pba(i,j)*log2(pab(j,i)+eps)/(pa(i)+eps); endend% 3)求信道容量cc=sum(suma);% 4)求下一次pa,即paal=zeros(1,r);a=zeros(1,r);for i=1:r for j=1:s l(i)=l(i)+pba(i,j)*log(pab(j,i)+eps); end a(i)=exp( l(i); end paa=a./(

5、sum(a)+eps); % 5)求下一次c,即cccc=log2(sum(a)+eps);pa=paa;end % 迭代结束% 打印输出结果s0=很好！输入正确，迭代结果如下：;s1=最佳输入概率分布pa:;s2=信道容量c:;s3=迭代次数n:;s4=输入符号数r:;s5=输出符号数s:;s6=迭代计算精度k:; i=1:r;b=i;disp(s0);disp(s1),disp(b),disp(paa);disp(s4),disp(r);disp(s5),disp(s);disp(s2),disp(cc);disp(s6),disp(k); disp(s3),disp(n);clc,clearclose allp=1/3,1/6,1/3,1/6;1/6,1/3,1/6,1/3k=10e-9cc,paa=channelcap(p,k)五、实验结果1）