信息论第一章答案

《信息论基础》习题答案第一章信息与信息的度量1-1解:根据题意，“没有不及格”或“1-1解:根据题意，“没有不及格”或“pass”的概率为Ppass因此当教师通知某甲“没有不及格”后，甲获得信息=-logPpass pass4=-log—=0.322bits5在已知“pass”后，成绩为“优”（A）,“良”（B）,“中”（C）和“及格”（D）的概率相同：P=P(AIpass)=P(BIpass)=P(CIpass)=P(DIpass)=丄score 4为确定自己的成绩，甲还需信息1I=-logP=-log=2bitsscore score 41-2解：该锁共可设1003个数值，开锁号码选取每一个值的概率都相同，所以(11二-logP二-logl100「19.9bits1-3解：由于每个汉字的使用频度相同，它们有相同的出现概率，即1-316763因此每个汉字所含的信息量为=-logP=-logP=-log16763=12.7bits每个显示方阵能显示216灯6=2256种不同的状态，等概分布时信息墒最大,所以一个显示方阵所能显示的最大信息量是=-logP==-logP=-log12256=256bits显示方阵的利用率或显示效率为1 12.7耳二字二二0.04971徉 256阵1-4解：第二次发送无误收到，因此发、收信息量相等，均为12(X3)二-logP2(X3)=-log0.9=0.15bit第一次发出的信息量为10(X3)二一log弓(X3)二一log0.25二2bits第一次传送的信息量为两次发送信息量之差：11(X3)二10(X3)-12(X3)二1.85bits1-5解：由信息熵定义，该信源输出的信息熵为61H(X)=丫P(XJlog—1i P(X.)i=1 .=PAlog£+PBlog£+…+PFlog£A B F=0.5log2+0.25log4+0.125log8+2x0.05log20+0.025log40=1.94bits消息ABABBA所含的信息量为1]=31A+31B=3L-logPA-logPB]=3tog2+log4〕=9bits消息FDDFDF所含的信息量为12=31D+31f=3LlogPD-logPF]=3tog20+log40〕=28.932bits6位长消息序列的信息量期望值为/=6H(X)=11.64bits三者比较为11<1<121-6解：由信息熵定义，该信源输出的信息熵为1-6H(X)=丈P(X)log-1 &P(X)i=1 i=Plog丄+Plog丄+ +Plog丄APBP FPA B F=0.4log2.5+0.2log5+0.12log8.3+2x0.1log10+0.08log12.5=2.32bits消息ABABBA所含的信息量为I=3I+31=3[-logP-logPL3hog2.5+log51=10.93bitsAB AB消息FDDFDF所含的信息量为I=3I+3I=3LlogP一logP1=3hog10+log12.5〕=20.90bitsD F D F6位长消息序列的信息量期望值为=6H(X)=13.92bits三者比较为<1<121-7解：X和Y的信息熵分别为TOC\o"1-5"\h\z11 1 1H(X)=乙PXlog =-log2+-log2=1bitiP、” 2 2i=0 Xj1 1 1 3 4H(Y)=乙PYlog=_log4+-log-=0.81biti=0jPYi 4 4 3因传输无误，信宿收到的信息等于发送信息。因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即厶=-logPv=-log1=1bitX0 2A=-logP=-log1=2bitsY0 4整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是]总=4xlog2=4bits42总=log4+3xlog3=3.24bits平均每次(每个符号)发送(携带)的信息为I=士总=4=1bit=H(X)x4 4I=总=324=0.81bit=H(X)Y4 41-8解：(a)根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分

别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、

“人头”和“红桃人头”时，由信息量定义式(1-5),所得到的信息各是1红桃=-log(1/4)=2bitsI人头=-log(3/13)=2.115bits1红桃人头二—陀(3/53)二4.14bits(b)在52张扑克牌中，共有红人头6张(3张红桃，3张方块)，因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要I二—log(1/6)二2.58bits信息。1-9解：一个二元信息所含的最大信息熵是确定的，所以当以2或5为底时，最大信息熵相同，即1bit=log22二log52二0.43（该信息量单位）或1(该信息量单位)=2.33bits同理，1nat=logee=log5e=0.62（该信息量单位）或1(该信息量单位)=1.61nats。亦可：•••1bit=0.693nat.1nat=1/0.693x0.43=0.62（该信息量单位）1-10解：掷2颗骰子，共有62二36种结果。记投掷结果为(a,b)，其中a和b是投掷出的2颗骰子的点数。根据题意，和为2对应于一种结果：(1,1)，所以其信息量为I⑵二-log(1/36)二5.17bits和为7对应的结果有(1,6),(6,1),(2,5),(5,2),(3,4),(4,3)六种，所以其信息量为I(7)二—log(6/36)二—log(1/6)二2.58bits同理，和为11对应的结果有(5,6),(6.5)二种，所以其信息量为I(11)二—log(2/3