信息论第二章答案(南邮研究生作业)_第1页
信息论第二章答案(南邮研究生作业)_第2页
信息论第二章答案(南邮研究生作业)_第3页
信息论第二章答案(南邮研究生作业)_第4页
信息论第二章答案(南邮研究生作业)_第5页
已阅读5页,还剩3页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、2-1 同时掷两个正常的骰子,也就是各面呈现的概率都是1/6,求:(1)“3和5同时出现”这事件的自信息量。(2)“两个1同时出现”这事件的自信息量。(3)两个点数的各种组合(无序对)的熵或平均信息量。(4)两个点数之和(即2,3,12构成的子集)的熵。(5)两个点数中至少有一个是1的自信息。解:(1)(2)(3)两个点数的排列如下:111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合:其中11,22,33,44,55,66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列,可以

2、得出两个点数求和的概率分布如下:(5)2-2 设有一离散无记忆信源,其概率空间为(1) 求每个符号的自信息量;(2) 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求该消息序列的自信息量及平均每个符号携带的信息量。解:同理可以求得因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有:平均每个符号携带的信息量为bit/符号2-3 有一个可旋转的圆盘,盘面上被均匀地分成38份,用1,2,38数字标示,其中有2份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上指针指向

3、某一数字和颜色。(1) 若仅对颜色感兴趣,计算平均不确定度;(2) 若仅对颜色和数字都感兴趣,计算平均不确定度;(3) 如果颜色已知时,计算条件熵。解:令X表示指针指向某一数字,则X=1,2,.,38 Y表示指针指向某一种颜色,则Y=l绿色,红色,黑色 Y是X的函数,由题意可知(1)bit/符号(2)bit/符号(3)bit/符号2-4 有两个二元随机变量X和Y,它们的联合概率如表所示。并定义另一随机变量ZXY(一般乘积)。试计算:Y X0101/83/813/81/8(1)H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)和H(XYZ)。(2)H(X/Y)、H(Y/X)、H(X/Z)、H(

4、Z/X)、H(Y/Z)、H(Z/Y)、H(X/YZ)、H(Y/XZ)和H(Z/XY)。(3)I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y/Z)、I(Y;Z/X)和I(X;Z/Y)。解:(1)Z = XY的概率分布如下:(2)(3)2-5 由符号集0,1组成的二阶马氏链,转移概率为:p(0/00)0.8,p(0/11)0.2,p(1/00)0.2,p(1/11)0.8,p(0/01)0.5,p(0/10)0.5,p(1/01)0.5,p(1/10)0.5。画出状态图,并计算各状态的稳态概率。2-6 有一个一阶平稳马尔可夫链X1,X2,Xr,各Xr取值于集Aa1,a2,a3。已知起始概率P

5、(Xr)为:p1 = 1/2,p2 = p3 = 1/4,转移概率为:(1)求X1X2X3的联合熵和平均符号熵。(2)求这个链的极限平均符号熵。(3)求H0,H1,H2和它们所对应的冗余度。解:(1)符号X1,X2的联合概率分布为12311/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布为那么=1.209bit/符号X2X3的联合概率分布为12317/247/487/4825/3605/1235/365/120那么=1.26bit/符号/符号所以平均符号熵符号(2)设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为由 得到 计算得到又满足不可约性和非周期性/符号(3)/符号 /符号 /符号 2-7 证明:(信息不等式),p(x)

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论