信息论编码与基础课后题(第二章)

信息论编码与基础课后题(第二章)第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？解：根据题意，“没有不及格”或“pass”的概率为因此当教师通知某甲“没有不及格”后，甲获得信息

在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D）的概率相同：为确定自己的成绩，甲还需信息3、中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即 因此每个汉字所含的信息量为 每个显示方阵能显示种不同的状态，共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：(5)7、某一无记忆信源的符号集为{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求信源熵；(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1(3)计算(2)中序列的熵。解：(1)(2)(3)8、某地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假如我们得知“身高解：设A为女大学生，B为1.6米以上的女孩，则依题意有:，，，，所以信息量为=1.415比特9、设离散无记忆信源=，其发出的消息为（202120130213001203210110321010021032011223210），求：（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：(1)因为离散信源是无记忆的，所以发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就为该消息中各符号自信息之和。I（）=−logP（）=−log=1.415比特I（）=−logP（）=−log=2比特I（）=−logP（）=−log=2比特I（）=−logP（）=−log=3比特则此消息的自信息是：I=18I（）+13I（）+12I（）+6I（）181.415+132+122+6393.47比特(2)此消息中平均每个符号携带的信息量是：I=93.47491.91比特/符号10、从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5％，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：（1）若男同志回答“是”：I＝log(1/7%)＝3.84bit回答“否”：I＝log(1/93%)＝0.1bit平均信息量为：I＝－7%log7%－93%log93%＝0.36bit（2）若问女同志，平均信息量为：I＝－0.5%log0.5%－99.5%log99.5%＝0.045bit11、设信源求这信源的熵，并解释为什么，不满足信源熵的极值性。解：信源的熵为：bit/符号是因为此信息的，不满足信息熵极值性的条件。12、设离散无记忆信源，其符号集为，已知其相应的概率分布为。设另一离散无记忆信源，其符号数为信源符号数的两倍：，并且各符号的概率分布满足：试求信源的信息熵与信源的信息熵的关系式。解：13、有一概率空间，其概率分布为{,,…,}，并有>。若取=，=，其中，其他概率不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。证明:开因为f(x)=-xlogx是∩型凸函数，根据∩型函数的性质有：同理有：两式相加，得：H()>H(X)物理意义：当信源部分符号趋于等概分布时，信源的熵是增加的。14、（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同的亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素独立变化，且所有亮度电平等概率出现。（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统的信息率的2.5倍。解：（1）因为每帧图象可以看成是离散的数字图象，每个像素的亮度是随机而且等概率出现的，则每个像素亮度信源的概率空间为：==1每个像素亮度含有的信息量为：H(X)=log2103.32比特/像素=1哈特/像素现在，所有的像素是独立变化的，则每帧图象可以看成是离散亮度信源的无记忆N次扩展信源。故，每帧图象含有的信息量是：H(XN)=NH(X)=5105log10=5105哈特/帧1.66106比特/帧而每秒传送30帧图象，则传递这个图象所需要的信息率为R1=30H(XN)=1.5106哈特/秒4.98107比特/秒（2）证明：每个像素具有10个不同的亮度和30个色彩度。由上面的计算得亮度等概率出现的情况下，每个像素含有的信息量是：H(X)=log2103.32比特/像素。每个像素的色彩度也是等概率出现的，则色彩度信源的概率空间为：==1每个像素色彩度含有的信息量：H(Y)=log2304.91比特/像素而亮度和色彩度是相互独立的，所以亮度和色彩度同时出现，每像素含有的信息量：H(XY)=H(X)+H(Y)=log10+log30=log3008.23比特/像素如果每帧所用的像素数和每秒传送的帧数都相同的情况下，传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每像素含有的信息量与黑白系统每像素含有的信息量之比：=2.5证毕。15、每帧电视图像可以认为是由5×105个像素组成，所有像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量?现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)?若要恰当地描述此图像，广播员在口述中至少需要多少汉字?解:∵亮度电平等概率出现∴每个像素所含的信息量为H(X)=log128=7bit/像素。而每个像素均是独立变化的∴每帧电视图像所包含的信息量为H(X)=5×105H(X)=3.5×106bit∵假设汉字字汇是等概率分布∴每个汉字出现的概率均为从而每个汉字携带的信息量为log10000=13.2877bit/字∵汉字间彼此无依赖，广播员口述的1000个汉字所广播的信息量为1000×13.2877=13287.7bit若要恰当地描述图像，广播员在口述中至少需要的汉字数为≈2.63*10^5个汉字。16、为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元脉冲宽度为5ms。（1）不同字母等概率出现时，计算传输的平均信息速率；（2）若每个字母出现的概率分别为，试计算传输的平均信息速率。解：（1）由题可知，当不同字母等概率出现时，平均自信息量为：H(x)=log4=2(比特/字母)又因为每个二元脉冲宽度为5ms，故一个字母的脉冲宽度为10ms则字母的传输速率为100字母/秒故传输的平均信息速率为：200比特/秒(2)当每个字母分别以题中的概率出现时，平均自信息量为：H(x)=－∑P(ai)logP(ai)=(1/2)*log2+(1/4)*log4+2*(1/8)*log8=1.75(比特/字母)同样字母的传输速率为100个/秒故传输的平均信息速率为：175比特/秒17、证明：。答案略。18、设有一个信源，它产生0，1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算，及；(3)试计算并写出信源中可能有的所有符号。解：(1)因为信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的。所以这个信源是平稳信源，是离散无记忆信源。(2)＝，计算H(X)≈0.971bit/符号因为信源是平稳无记忆信源，所以H(X2)=2H(X)≈1.942bit/两个符号H(X3|X1X2)=H(X3)=H(X)≈0.971比特/符号===H(X)≈0.97bit/符号(3)H(X4)=4H(X)≈3.884bit/四个符号可能的所有16个符号:000000010010001101000101011001111000100110101011110011011110111119、有一个二元无记忆信源，其发0的概率为，而约等于1，所以在发出的二元序列中经常出现的是那些一串为0的序列（称为高概率序列）。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源，共有n+1个符号，它与高概率的二元序列的对应关系如下：二元序列：1,01,001,0001,…,00…01(n位),00…000(n位)新信源符号：（1）求；（2）当时求信源的熵。解：依题意，因为是二元无记忆信源，在发出的二元序列中符号之间彼此是无依赖的，统计独立的，所以有：1,2由此可得新信源Sn为：证明满足完备性：因为所以，则：20、有一信源，它在开始时以，，的概率发出。如果为时，则为的概率为1/3；如果为，为的概率为1/3；如果为，为的概率为1/2，为的概率为0，而且后面发出的概率只与有关，又，。试利用马尔可夫信源的图示法画出状态转移图，并计算信源熵。解：由题可得，状态转移图为：a:0.6a:0.6b:0.3c:0.1b:1/2a:1/2c:1/3a:1/3c:1/3a:1/3b:1/3b:1/3abcabcabcaE0E1E2E3E4E5E6E7E8E9E10E11b可见，状态E1和E4、E7、E10的功能是完全相同的，状态E2和E5、E8、E11的功能是完全相同的，状态E3和E6、E12的功能是完全相同的。其中E0是过渡状态，而E1、E2、E3组成一个不可约闭集，具有遍历性。故有如下的状态转移图A;由于此马尔可夫信源的状态必然会进入这个不可约闭集，所以计算信源熵时，可以不考虑过渡状态和过渡过程。由此，可得状态E1、E2、E3的极限概率：Q(E1)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)Q(E2)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)Q(E3)=1/3Q(E1)+1/3Q(E2)Q(E1)+Q(E2)+Q(E3)=1可得：Q(E1)=Q(E2)=3/8，Q(E3)=1/4c:1/3c:1/3c:1/3b:1/2b:1/3c:0.1b:0.3a:0.6c:1/3b:1/2a:1/3E2E3E0E1a:1/3图A所以H∞=H2=Q(E1)H(1/3,1/3,1/3)+Q(E2)H(1/3,1/3,1/3)+Q(E3)H(1/2,1/2)=1.4388(比特/符号)21、一阶马尔可夫信源的状态图如题图2-21所示，信源的符号集为并定义。求信源平稳后的概率分布；求此信源的熵；近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵并与进行比较；对一阶马尔可夫信源，取何值时取最大值？又当时结果如何？解：（1），由图可得于是得到整理计算得即据一阶马尔可夫信源的熵的表达式可得信源近似为无记忆信源，符号的概率分布等于平稳分布，则此信源得到：由此计算结果可知求一阶马尔可夫信源的最大值。因为求其对p的一阶导数令，得，所以，所以时，达到最大值；的最大值等。当时当时由此可以看出上面的结论是正确的。2-22一阶马尔可夫信源的状态图如题图2-22所示，信源的符号集为{0,1,2}。求平稳后信源的概率分布；求信源的熵；求当=0和=1时信源的熵，并说明其理由。解：（1）由图可知一阶马尔可夫信源的状态空间E=A={0,1,2}。平稳后信源的概率分布就等于一阶马尔可夫信源状态的极限分布，即Q(Ei)＝P(ai)i＝1,2,3Ei∈E,ai∈A,而E＝A从状态图中分析可知，这三个状态都是正规常返态，所以此马尔可夫链具有各态历经性，平稳后状态的极限分布存在。可得状态一步转移矩阵，得Q(0)＝Q(1)＝Q(2)＝1/3则可得P(0)＝P(1)＝P(2)＝1/3(2)一阶马尔可夫信源的熵H∞＝H2＝∑I=13Q(Ei)H(X∣Ei)＝P(0)H(X∣E)+P(1)H(X∣1)+P(2)H(X∣2)＝1/3H(P1,0,P)+1/3H(P,P1,0)+1/3H(0,P,P1)＝-P1㏒P1-P㏒P＝H(P)(3)当P＝0,H∞＝0当P＝1,H∞＝1因为信息熵是表示信源的平均不确定性，题中当P=1或P=0时表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。当P=1时，从0状态一定转移到2状态，2状态一定转移到1状态，1状态一定转移到0状态。所以不论从何状态起信源输出的序列一定是021021序列，完全确定的。当P=0时，0状态永远处于0状态，1状态永远处于1状态，2状态用于处于2状态。信源输出的符号序列也是确定的。所以当P=1或P=0时，信源输出什么符号不存在不确定性，完全是确定的，因此确定信源的信息熵等于零。23、设有一个马尔可夫信源，它的状态集为，符号集为，其在某状态下发出符号的概率为，，如题图2-23所示。题图2-23求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。计算信源处在某一状态下输出符号的条件熵，。求出马尔可夫信源熵。解:(1)此信源的状态集不等于符号集，从状态转移图可知状态转移矩阵:P=从图可知此状态马尔可夫链是时齐的，状态数有限的和是不可约闭集，所以其具有各态历经性，平稳后状态的极限概率分布存在。得到如下方程组：Q(s1)=Q(s3)Q(s2)=3/4Q(s1)+1/2Q(s2)Q(s3)=1/4Q(s1)+1/2Q(s2)Q(s1)+Q(s2)+Q(s3)=1解得：Q(s1)=2/7，Q(s2)=2/7，Q(s3)=3/7符号的极限概率P(ak)=所以P(a1)=Q(s1)P(a1|s1)+Q(s2)P(a1|s2)+Q(s3)P(a1|s3)=3/7，P(a2)=2/7，P(a3)=2/7(2)信源处于某一状态下的输出符号的条件熵 H(X|sj)=-j=1,2,3H(X|s1)=-P(a1|s1)logP(a1|s1)-P(a2|s1)logP(a2|s1)-P(a3|s1)logP(a3|s1)=-1/2log21/2-1/4log21/4-1/4log21/4=1.5比特/符号 H(X|s2)=H(0,1/2,1/2)=1比特/符号 H(X|s2)=H(1,0,0)=0比特/符号（3）马尔可夫信源熵H∞= =Q(s1)H(X|s1)+Q(s2)H(X|s2)+Q(s3)H(X|s3)=2/7×1.5+3/7×1+0=6/7比特/符号≈0.857比特/符号2-24黑白气象传真图的消息只有黑色和白色两种，即信源＝{黑，白}，设黑色出现的概率为P（黑）＝0.3，白色出现的概率为P（白）＝0.7。（1）假设图上黑白消息出现前后没有关联，求熵；（2）假设消息前后有关联，其依赖关系为P（白|白）＝0.9，P（黑|白）＝0.1，P（白|黑）＝0.2，P（黑|黑）＝0.8，求此一阶马尔可夫信源的熵；（3）分别求出上述两种信源的剩余度，比较和的大小，并说明其物理意义。解：（1）如果图上黑白消息出现没有关联，则熵为：H（X）=H（0.7，0.3）=0.881bit/符号