2023年信息论实验报告

淮阴师范学院(信息论与编码实验报告) ﻩﻩ ﻩ姓名：董宝坤ﻩ ﻩ ﻩ学号:ﻩﻩ ﻩ ﻩ专业：电子信息工程ﻩ ﻩﻩﻩﻩ班级：1305 ﻩ ﻩ指导老师：宋毅实验一、绘制二进制熵函数曲线一、实验目的1.掌握二进制符号熵的计算;2．掌握MAＴLAB的应用；３.掌握Matlａb绘图函数;4.掌握、理解熵函数表达式及其性质二、实验条件计算机一台，MATLAB仿真软件。三、实验内容(1）MATＬAＢ的应用(请参阅相关书籍)(2)打开ＭATLAB,在命令窗口中输入eidt，弹出编辑窗口，如图1：图1MATLAB的编辑窗口(3）输入源程序:clear；x=0.001：0.0０1:0.９99y=－x．*log2(ｘ）-(1-x)．*log2(1－x）;ｐｌｏt(x,y)；grｉdon(4）保存文献为entｒｏｐy．ｍ；（5)单击Ｄebuｇ菜单下的Run，或直接按F5执行；（6）执行后的结果图2:四、实验结果及分析ｘ=０.０01:０.00１:0.999y＝-x．＊ｌog2(x)－(1－x）.＊loｇ2(1－x);ploｔ（x,y);ｔitle('ìغ¯ÊýH(p）')；Ｘlａbeｌ（'ｐ')；yｌabel('H(p）')；ｇriｄon分析：=1\＊GB2⑴.意义：信源熵为信源的平均不拟定度性，而概率的大小决定了信息量的大小。由图上可知概率为1时，信息量最小，不拟定性最低;概率等于时熵最大。＝２\＊GＢ2⑵．可以看出，即p=1或者ｐ=0，则该信源不提供任何信息；反之当二元信源符号0和1以等概率发生的时候，信源熵达成极大值,等于1bit信息量。＝３＼＊GＢ２⑶.步长为0.０01x=０．0０１:0.０１:０．999y=－x.*loｇ2（x)-(1－x).＊ｌog２(1-ｘ）;pｌot(ｘ,y);ｔｉtlｅ('ìغ¯ÊýH（p）'）;Ｘlaｂeｌ('p＇）;ｙlａｂeｌ（'H(ｐ)');gｒｉdoｎ分析:(1)熵函数是一个严格上凸函数（2）熵的极大值，二进符号的熵在p(x１)=p(x2）＝0．5取得极大值（3)调调整p（x1）的取值步长,重画该曲线。当步长改变为0.0１，步长变大的时候,可以看出是一段一段的连接的,当步长较大的时候，非常明显。假如开始点是0的时候，则从步长的长度开始计算。实验二、一般信道容量计算一、实验目的1．熟悉工作环境及Matlab软件2.理解平均互信息量表达式及其性质3．理解信道容量的含义二、实验条件计算机一台，MAＴＬAB仿真软件。三、实验原理1.平均互信息量(I(Ｘ;Ｙ)）是记录平均意义下的先验不拟定性与后验不拟定性之差,是互信息量的记录平均：2．离散信道的数学模型离散信道的数学模型一般如图1所示。图中输入和输出信号用随机矢量表达，输入信号为X=(X1,Ｘ2，…,XＮ)，输出信号为Y＝(Y１,Y2,…,YN);每个随机变量Ｘi和Yi又分别取值于符号集A={ａ１,a2,…,aｒ}和B={b1,b2,…,bs｝，其中r不一定等于s；条件概率P(y|ｘ）描述了输入信号和输出信号之间的记录依赖关系,反映了信道的记录特性。YYX信道图1离散信道模型二元对称信道这是很重要的一种特殊信道（简记为BSC），。它的输入符号X取值于｛0,1｝,输出符号Y取值于{0,１},r＝s=２，a１=b１＝0，a2＝b２=1,传递概率为,,其中，表达信道输入符号为0而接受到的符号为1的概率,表达信道输入符号为１而接受到的符号为0的概率，它们都是单个符号传输发生错误的概率,通常用p表达。而和是无错误传输的概率，通常用表达。X1－ｐY二元对称信道用矩阵来表达,即得二元对称信道的传递矩阵为依此类推，一般离散单符号信道的传递概率可用以下形式的矩阵来表达,即b１b2…bs并满足式（）。为了表述简便，记,信道的传递矩阵表达为并且满足平均互信息平均互信息表达接受到输出符号后平均每个符号获得的关于输入变量X的信息量,也表达输入与输出两个随机变量之间的记录约束限度。其中X是输入随机变量，Y是输出随机变量。平均互信息是互信息（即接受到输出符号y后输入符号x获得的信息量)的记录平均值，所以永远不会取负值。最差情况是平均互信息为零，也就是在信道输出端接受到输出符号Y后不获得任何关于输入符号Ｘ的信息量。对于每一个拟定信道，都有一个信源分布，使得信息传输率达成最大值，我们把这个最大值称为该信道的信道容量。相应的输入概率分布称为最佳输入分布。四、实验内容1.绘制平均互信息量图形对于二元对称信道的输入概率空间为平均互信息：根据：所以：请绘制当从0到1之间变化时的平均互信息熵曲线２.信道容量图形一个信道是一个二进制输入，二进制输出的信道，输入和输出字母表,且该信道特性由发送1码和0码的两个错误转移概率和来表征。绘出当时的平均互信息和间的函数关系。拟定每种情况下的信道容量。五、实验结果及分析cｌeaｒ；ｗ＝0．５；p=0．001:0．001:0.999；ｙ＝-（ｗ.*(1-ｐ)+(1-ｗ).*p).*lｏｇ(ｗ.*（１－ｐ)+(1-w).*ｐ)-(ｗ.*p＋(1-ｗ).*(1-p）).*loｇ(w.＊ｐ＋(１-ｗ).*(１-p）)+ｐ.*log(p)+(1-ｐ).*ｌog（１-p);ｐlot(p,y)；tｉｔle('二进制信道的信道容量');Xｌabeｌ('p')；ｙlabel('I(W;Y)＇)；grｉdoｎ当BSＣ信道，C=1－H（w）,当w=0时，错误概率为0,无差错,信道容量达成最大，每符号1ｂit,输入端的信息所有传输至输出端；当w=1/2时，错误概率与对的概率相同,从输出端得不到关于输入端的任何信息，互信息为０，在信道接受端平均每个符号才获得最小的信息量，即信道容量为0；ｃleａr;ｐ=0.1;w＝0.001:0．00１:0.999;ｙ=-(w．*(１-p）+(１-w).*p）.*log(w.＊(1-ｐ）＋（1-w).*ｐ)-（w．*ｐ+(1－ｗ)．＊(1-p)）.*ｌoｇ（w．*p+（１-w）．*(1－p）)+p.*loｇ（ｐ)+(1-p）.＊log(１-p);plot(w,y）;ｔitle('二进制信道的信道容量＇);Xlabel('w');yｌaｂel（'I（W;Y)＇);ｇridoｎclear；[w,p]=meshgｒid（0．0000１:0.00１：1)；y=-(ｗ.*(１-p)＋(1-w).＊p）.＊loｇ（w．*（１-p)+(1－w).*ｐ）-(w.*p＋(1-ｗ).*(１-p)).*log(w.*p+(1-ｗ).＊(1-p)）+p.＊log(p)＋(１-p）.＊log（１-p)；meshz(ｗ,p,y);ｔitｌｅ（'二进制信道的信道容量'）;Ｘlabel('ｗ');yｌabel（'p')；zlabel（＇I(W;Y)'）；gｒidｏn当固定信道时,只有当输入变量是等概率分布，即ｐ（x=0）=ｐ（x＝1）=在信道接受端平均每个符号才获得最大的信息量,即等于1．w=０.9998ｐ=0：0.1:１IXY=-(w.*（1－p)＋(1-ｗ)．*ｐ).*ｌｏg2(w.*（１-p)+（1-w）.*p)－(w.*p+(1-w）.*（１－p)).＊log2(w．*ｐ+(1-w).*(１-p）)+(p.＊log2(p)+(1-p).*log2(１－p）)steｍ(p，IXＹ）;gridontitｌｅ(＇ÐŵÀÈÝÁ¿')xlaｂｌｅ('p')ylａｂlｅ(＇？??？?？')在这个三维图上面可以看出是前面二个图形的综合。是ｗ,p与I(X;Ｙ)之间的关系，当ｐ一定期，是w与I(Ｘ;Ｙ)之间的关系，即I(w;y)是关于输入信源的概率分布的上凸函数。当w一定期，是p与与I(X;Y)之间的关系，是关于信道传递概率p的下凸函数。你能从实验图形中了解它的一些什么性质？实验总结:当w固定期,即信源固定后,I(ｐ；ｙ)是关于信道传递概率p的下凸函数。信道输出端获得关于信源的信息量是信道传递概率的下凸函数。也就是说，对于每一种信源都存在一种最差的信道,此信道的干扰最大，即输出端所获得的信息量最小。当p固定期,即固定某信道时，选择不同的信源与信道连接,在信道输出端收到每个符号后所获得的信息量是不同的。并且对于每一个固定信道，一定存在一种信源，使输出端获得的信息量最大。I(w;y)是关于输入信源的概率分布的上凸函数，即对于每一个拟定信道,都有一个信源分布,使得信息传输率达成最大值,我们把这个最大值称为该信道的信道容量。相应的输入概率分布称为最佳输入分布。实验＝3\＊CHＩNＥSENＵM3三、绘制离散信源信息率失真函数曲线实验一、实验目的：1．了解率失真函数性质、意义。2.掌握简朴的率失真函数计算方法；3.掌握使用Maｔlab实现一般率失真函数的计算方法；二、实验条件计算机一台，MAＴLAＢ仿真软件。三、实验原理二元对称信源的R(Ｄ)函数设二元信源U=｛0,1}，其分布概率而接受变量v={０,1},设汉明失真矩阵为：因而最小失真度。并能找到满足该最小失真的实验信道，且是一个无噪无损信道，其信道矩阵为：要达成最大允许失真，唯一拟定此时,可计算得信息传输率一般情况下，当时可以计算得：二元对称信源信息率失真函数为可以计算得：二元对称信源信息率失真函数为四、实验内容１．从理论上计算r=s=2。p(ｕ=1）=p,ｐ(u＝2）=１-p;d=[0，１；1,0]的率失真函数R（D)。2.对一般性的DMS信源，计算率失真函数R(D）的理论公式进行推导。3．找出比较合适的方程求解方法。４.使用编制Matlab编制程序求解一般的率失真函数Ｒ(D)。５.给定r=s＝2。ｐ(u=1）=0．４,p=(ｕ=2）=0．6;d=[0,1;1,0]，测试程序，即比较程序运营结果与理论计算结果，６.改变参数，画出函数图。五、思考题你能从实验图形中了解它的一些什么性质？六、注意事项１.提前预习实验，认真阅读实验原理。2．认真高效的完毕实验，实验过程中服从实验室管理人员以及实验指导老师的管理。３.实验报告规定有：问题的提出:涉及R(D）的物理意义、用途(可以举出具体的用途）、计算的困难性等。解决问题的原理方法:涉及所有的公式推导的细节。解决问题的具体方法:涉及程序框图及Matlab源程序。实验结果：运用你的程序给出不同参数得到的实验结果。结果分析：涉及R（D)的性质、程序收敛情况、程序改善的方向等。４.每个同学必须独立完毕实验（不能抄袭，否则两人均为零分)，实验成绩是该门课程成绩的重要依据。ｐ1＝0.４;d１＝0:０.001：0.4ｙ1=-ｐ1．*lｏg2(p1)-(１－p１)．*lｏg２(1-p1)+ｄ1．*log２（d1)+(１－d１).*ｌoｇ2（1-d1);ｐ2＝0.3；d2＝0:0.０01:0．3ｇridony2=－p２.*log２(ｐ2)-（1-p２).*lｏg2(１-p2)＋d2.＊log2(d2)+（1-d２)．*log2(１-ｄ2);plot(ｄ１，y1，'ｋ-');holｄ；plot(d２,ｙ２);gridontｉtle('ÀëÉ¢ÐÅÔ´ÐÅÏ¢ÂÊʧÕ溯Êý')xlａｂel('D');ｙlabｅl('Ｒ(Ｄ)＇);R(Ｄ)在定义域内是失真度Ｄ的U型下凸函数。R（Ｄ)在定义域内是关于D的连续函数。R(D）的单调递减性，允许的失真度越大,所规定的信息率越小。当D相同时,信源越趋于等概率分布,R（D)就越大。由最大离散熵定理,信源越趋于等概率分布，即不拟定性越大，要去除这不拟定性所需的信息传输率就越大，而R(D)正是去除信源不拟定性所必须的信息传输率。实验总结：物理意义：对于给定的信源，在满足保真度准则下,必须传送的最小信息量，它既反映了用户容忍限度，也反映了信息率允许压缩的最小值,R(D)越大,越难压缩,反之可压缩率就大;对于固定的信源分布，平均互信息量Ｉ(X；Y)是信道转移概率

p(bｊ/ai）

的下凸函数。也就是说:存在一个信道使某一特定信源通过此信道传输时，信道的平均互信息达成极小值.用途:量化,频带压缩,数据转换，数据压缩等等开始框图:开始输入二源对称信道概率输入二源对称信道概率信源信源熵汉明失真信源汉明失真信源H(D)输出率失真函数输出率失真函数R(D)结束结束计算过程:性质:R(D)是非负的实数，定义域为0到Dmax，其值为0到H(X）；当D>Dmax时，R(Ｄ)=０。R（D)是关于D的下凸函数，因而也是关于D的连续函数。Ｒ(D）是关于Ｄ的严格递减函数。对于同一D，信源分布越均匀,R(D)就越大，信源压缩的也许性越小，反之,若信源分布越不均匀,即信源剩余度越大R(D）就越小,压缩的也许性越大。 实验四、香农编码一、实验目的（１）了解香农编码的基本原理及其特点；（2）熟悉掌握香农编码的方法和环节；（3）掌握Maｔlab编写香农编码的程序。二、实验条件计算机一台，MAＴＬAＢ仿真软件。三、实验原理哈夫曼编码的环节如下:⑴将信源消息符号按其出现的概率大小依次排列p（x１)≥p(x2)≥…≥p(ｘn)⑵取两个概率最小的字母分别配以0和1两码元，并将这两个概率相加作为一个新字母的概率,与未分派的二进符号的字母重新排队。⑶对重排后的两个概率最小符号反复环节⑵的过程。⑷不断继续上述过程,直到最后两个符号配以0和1为止。⑸从最后一级开始,向前返回得到各个信源符号所相应的码元序列，即相应的码字。四、实验内容（１）根据香农编码的方法和环节,用香农编码编写程序(2）用编写的源程序验证书中例题的对的性。五、实验报告规定总结香农编码的基本原理及其特点?funｃtiｏny=ｂ２ｄ10(x)%十进制小数转化为2进制fｏrｉ=1:8temp=x.*2;if(ｔemp＜1)y（i）=0;x=ｔemp;else y（i）=1；x＝tｅmp-1;ｅndendclc;cｌｅaｒ;a=[0.2０，０．1９,0．18,０．１7,0.１５,0.10,0.０1];k=leｎgth(a)；y=0;%数组长度(即行数或列数中的较大值）foｒｉ＝１:k－1％替换最大约率forｎ=ｉ+1:kif（a(i)<a（ｎ))t=a（i）;a(ｉ）＝a(n);a(n)=t;endendenｄs=zeｒos(k,１);ｂ＝zeros(ｋ,１);p＝zeｒｏs(k，1）;%表达ｋ行一列全是0的数组form=1:k%步长为1s(m)=y;y=ｙ+a（ｍ);b(m）＝ceil（-log２(a(ｍ））);%ceil表达向离他最近的大整数圆整,求编码位数x＝ｚeｒｏｓ(b(m),1);%b(m)行一列全是0的数组x＝s(m);%求和结果,累加概率p=b２d10（x);%调用函数b２d10，函数表达十进制小数转化为二进制forr=1:b（m)%步长为1z(r)=ｐ(r）；ｅｎddisp(＇输出结果为:')％ｄｉsｐ相称于输出,c语言中的putchａrdiｓp（＇初始概率'),disp(a(ｍ))ｄisp('求和结果'）,disp(ｓ(m))dｉsｐ（'编码位数')，dｉsp(ｂ（m）)ｄｉｓp('最终编码＇)，diｓp(z＇)ｅnd输出结果为：初始概率0.2０23求和结果0编码位数3最终编码0００输出结果为:初始概率0.１90０求和结果0.2０２3编码位数3最终编码０01输出结果为：初始概率0．18００求和结果0.3900编码位数３最终编码011输出结果为：初始概率0.17０0求和结果0.57００编码位数3最终编码1０0输出结果为：初始概率0.15０0求和结果0．7400编码位数3最终编码10１输出结果为：初始概率0.１0００求和结果0.8900编码位数4最终编码11１0输出结果为:初始概率0．０1０0求和结果0．9９00编码位数７最终编码11１111０实验总结：香农编码的原理:香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达成极限值,这是一个很重要的极限定理。香农第一定理指出,选择每个码字的长度Ｋi满足下式

Ｉ(xi)≤K﹤I（xi）+1,

i

就可以得到这种码。这种编码方法就是香农编码。香农编码多余度稍大,效率低,实用性不强。但是它是依据编码定理而来,有重要的理论意义。香农编码是码符号概率大的用短码表达，概率小的是用长码表达，程序中对概率排序,最后求得的码字就依次与排序后的符号概率相应。先拟定了码字长度,而编码效率不高。香农码有系统的、惟一的编码方法过程:信源消息符号ai符号概率ｐ(ai)累加概率pi-loｇp（ai)码字长度Ki码字a１0.2002．3430００a2０.１9０．２2.４１３00１a3０.180.39２.483０11ａ40.170.５72.563100ａ50.150．７42.743101a６0．1０0.893．３4４111０a70.０10.９9６.6６7１１11１1０实验五、Hufｆmａn编码一、实验目的进一步熟悉Huｆｆman编码过程；掌握Matｌaｂ程序的设计和调试技术。二、实验条件计算机一台，ＭATLＡB仿真软件。三、实验原理1、二进制Huffmａn编码的基本原理及算法(1)把信源符号集中的所有符号按概率从大到小排队。（2)取概率最小的两个符号作为两片叶子合并（缩减)到一个节点。(3)视此节点为新符号，其概率等于被合并(缩减)的两个概率之和，参与概率排队。(4)反复（２)（3)两环节，直至所有符号都被合并(缩减)到根。(5)从根出发,对各分枝标记0和1。从根到叶的途径就给出了各个码字的编码和码长。2、程序设计的原理（1)程序的输入：以一维数组的形式输入要进行huｆfmａn编码的信源符号的概率，在运营该程序前,显示文字提醒信息,提醒所要输入的概率矢量；然后对输入的概率矢量进行合法性判断，原则为:假如概率矢量中存在小于0的项，则输入不合法,提醒重新输入;假如概率矢量的求和大于1,则输入也不合法，提醒重新输入。(2）huffman编码具体实现原理:1>在输入的概率矩阵ｐ对的的前提条件下，对p进行排序，并用矩阵L记录p排序之前各元素的顺序，然后将排序后的概率数组p的前两项，即概率最小的两个数加和，得到新的一组概率序列,反复以上过程，最后得到一个记录概率加和过程的矩阵p以及每次排序之前概率顺序的矩阵a。２>新生成一个n-1行n列，并且每个元素具有ｎ个字符的空白矩阵,然后进行hufｆmａn编码:将c矩阵的第n－１行的第一和第二个元素分别令为0和1(表达在编码时,根节点之下的概率较小的元素后补0,概率较大的元素后补１，后面的编码都遵守这个原则）然后对n－i-１的第一、二个元素进行编码,一方面在矩阵a中第ｎ-i行找到值为1所在的位置,然后在c矩阵中第ｎ－i行中找到相应位置的编码(该编码即为第n-i-１行第一、二个元素的根节点），则矩阵c的第n－i行的第一、二个元素的n-1的字符为以上求得的编码值,根据之前的规则,第一个元素最后补０，第二个元素最后补１,则完毕该行的第一二个元素的编码，最后将该行的其他元素按照“矩阵c中第n-i行第j+１列的值等于相应于ａ矩阵中第n-i+1行中值为j+1的前面一个元素的位置在c矩阵中的编码值”的原则进行赋值，反复以上过程即可完毕ｈuffman编码。3、哈夫曼编码的程序流程图：初始化原始消息数初始化原始消息数将n个消息进行排序装入哈夫曼数据装入哈夫曼数据使左分支编码为1，右分值编码为0码字初始化为码字初始化为0排序列表初始化获得哈夫曼码字获得哈夫曼码字分别遍历左右分支节结束将最后两个出现概率最小的消息合成一个消息将最后两个出现概率最小的消息合成一个消息将消息添加到队列的最后为n-1消息重新进行排列做准备遍历至原始消息，即叶子节点，输出读码字开始四、实验规定输入：信源符号个数ｒ、信源的概率分布P;输出：每个信源符号相应的Hｕfｆman编码的码字。五、实验报告规定总结Huｆｆmaｎ编码的基本原理及其特点?ｆunｃｔioｎ[h,l]=huffmaｎ（p)p=[0．20０.190．180．1７0.100.15０．０1]ｉf(lenｇth（find（p<0))~=0)eｒｒoｒ（'Notａpｒoｂ，neｇatｉvecomｐｏnｅnｔ')；ｅｎｄif（ａbs(ｓum(p）-1)>10e-10)error(＇Notaprob.ｖectｏr,comｐｏｎenｔdonｏtaｄｄto1'）endｎ=ｌeｎｇth(p）;forｉ=1:n-１ｆorj=i:nｉｆｐ(i)<＝ｐ(j)q=p(i);p（i)=p(j)；ｐ(ｊ)=q；ｅndeｎｄｅnddisｐ('¸ÅÂÊ·Ö²¼'）,pq＝p;ｍ=zerｏs(ｎ－1，n);fｏri=１:ｎ-１[q,l]=ｓoｒｔ（ｑ）；m(i,:）＝[l(１:n-i＋1），zeroｓ(１，i-1)];q＝［ｑ(1)＋q(２),q(3:n),1];endfori=１：n-1ｃ（i,:)＝ｂlankｓ(n＊n);ｅndc(n-1,n)=＇0＇；c(n－1,2*n）=＇1';ｆori=2:n-1c(ｎ－ｉ,1：n-1)=c(ｎ-i+1,n*（find(ｍ(ｎ-i＋1,:）==1)）．.．-（n－2):ｎ*(find(m(ｎ-i＋1,:)==1）));c(n-ｉ，n)＝'0＇;c（n-i，n+1:2＊n－1)=c(n－ｉ，１:n－１)；c(n－i,２*n）='1＇;foｒj=1:i-１c(n－i,(j+1)*n+１：(j＋2