信息论基础练习与思考

信息论基础练习与思考2023/4/191第1页，共35页，2023年，2月20日，星期五2023/4/192第二章总结(1)

单符号离散信源①信息量自信息、条件自信息概念、性质、计算互信息、条件互信息概念、性质、计算互信息的三种表达方式（输入端、输出端、系统总体）②熵信息熵的概念、性质、计算无条件熵、条件熵（信道疑义度、噪声熵）平均互信息概念、性质、计算平均互信息的三种表达方式平均互信息的凸函数性I(X;Y)是p(xi)的上凸函数I(X;Y)是p(yj/xi)的上凸函数③数据处理定理概念④理解各种熵之间的关系第2页，共35页，2023年，2月20日，星期五2023/4/193(2)多符号离散信源①离散平稳无记忆信源概念、计算②离散平稳有记忆信源概念、简单计算条件熵、极限熵概念、简单计算③马尔可夫信源概念、极限熵计算④信源冗余度概念、通信效率与可靠性的关系(3)连续信源①概念、与离散信源的比较和区别、简单计算②理解最大连续熵定理③熵功率的概念(4)离散无失真信源编码定理①定长编码定理②变长编码定理第3页，共35页，2023年，2月20日，星期五2023/4/194作业题12.1.设有12枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？第4页，共35页，2023年，2月20日，星期五2023/4/195作业题1解答：在12枚同值硬币中，哪一枚是假币，假币的重量是比真币的重量重还是轻，都是“无知”、“不确定的”。而用天平比较左右两边轻重的测量方法，每测一次，能获得一定的信息量，能消除部分不确定性，则就能确定出其中一枚假币及其重量。因此，设“在12枚同值硬币中，某一枚为假币”这事件为,其出现的概率为又设“假币的重量比真币的重量是重或轻”这事件为，其出现的概率为事件的不确定性为事件的不确定性为第5页，共35页，2023年，2月20日，星期五2023/4/196作业题1要发现某假币并知其比真币重还是轻所需的信息量就是要消除这两个事件的不确定性。因为这两个事件是统计独立事件，所以需要获得的信息量为而在天平上称一次能判断出三种情况：重、轻和相等，这事件为。这三种情况是等概率的。其概率为。所以，天平测一次能获得的信息量（即消除的不确定性）为则至少必须称的次数为因此至少必须称三次。第6页，共35页，2023年，2月20日，星期五2023/4/197作业题22.2.同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上点数是3和4时”，试问这三种情况分别获得多少信息量？第7页，共35页，2023年，2月20日，星期五2023/4/198作业题2解答：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。两骰子面朝上点数的状态共有36种，其中任一状态出现都是等概率的，出现概率为1/36。(1)设“两骰子面朝上点数之和为2”是事件A,点数之和为2的只有一种(1+1)，故有(2)设“两骰子面朝上点数之和为8”是事件B,点数之和为8的有5种(2+6，6+2，4+4，3+5，5+3)

第8页，共35页，2023年，2月20日，星期五2023/4/199作业题2(3)设“骰子面朝上点数是3和4时”是事件C,点数为3和4的状态只有两种，即3、4和4、3第9页，共35页，2023年，2月20日，星期五2023/4/1910作业题32.5.一幅充分洗乱了的牌（含52张牌），试问

(1)任一特定排列所给出的信息量是多少？

(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？第10页，共35页，2023年，2月20日，星期五2023/4/1911作业题3解答：(1)任意排列共有种，则任一排列的自信息量为：(2)应将点数相同花色不同的牌看作一类，则任意抽取的13张牌应在13类种分别进行。其概率为信息量为：第11页，共35页，2023年，2月20日，星期五2023/4/1912作业题4第12页，共35页，2023年，2月20日，星期五2023/4/1913作业题4第13页，共35页，2023年，2月20日，星期五2023/4/1914作业题52.13.(1)为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个象素和10个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有象素是独立变化的，且所有亮度电平等概率出现？

(2)设某彩色电视系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输该彩色系统的信息率要比黑白系统的信息率约大2.5倍？第14页，共35页，2023年，2月20日，星期五2023/4/1915作业题5解答.(1)每个象素亮度信源的概率空间为每个象素亮度含有的信息量每帧图像信源就是离散亮度信源的无记忆N次扩展信源，可得每帧图像含有的信息量为每秒30帧，则传递此图像所需的信息率为第15页，共35页，2023年，2月20日，星期五2023/4/1916作业题5解答.(2)色彩度信源的概率空间为每个色彩度含有的信息量亮度和色彩度是独立同时出现的，每个象素含有的信息量为在每帧所用象素数和每秒传送帧数相同时，信息率之比为第16页，共35页，2023年，2月20日，星期五2023/4/1917作业题62.18.设有一个信源，它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。

(1)试问这个信源是否是平稳的？

(2)试计算

(3)试计算H(x4)并写出x4信源中可能有的所有符号。第17页，共35页，2023年，2月20日，星期五2023/4/1918作业题6解答：(1)信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的，因此该信源是平稳的，而且是离散无记忆信源。

(2)第18页，共35页，2023年，2月20日，星期五2023/4/1919作业题6

(3)第19页，共35页，2023年，2月20日，星期五2023/4/1920作业题72.22.一阶马尔可夫信源的状态图如图2.8所示。信源X的符号集为{0,1,2}。

(1)求信源平稳后的概率分布P(0),P(1),P(2)；

(2)求信源的熵H∞。

(3)近似认为此信源为无记忆时，符号的概率分布为平稳分布，求近似信源的熵H(X),

并与H∞进行比较。

(4)对一阶马尔可夫信源p取何值时H∞最大，

当p=0和p=1时结果又如何。第20页，共35页，2023年，2月20日，星期五2023/4/1921作业题7第21页，共35页，2023年，2月20日，星期五2023/4/1922作业题7第22页，共35页，2023年，2月20日，星期五2023/4/1923作业题7第23页，共35页，2023年，2月20日，星期五2023/4/1924作业题7第24页，共35页，2023年，2月20日，星期五2023/4/1925作业题82.23.一阶马尔可夫信源的状态图如图2.9所示。信源X的符号集为{0,1,2}。

(1)求平稳后信源的概率分布；

(2)求信源的熵H∞。

(3)求当p=0和p=1时信源的熵，并说明理由。第25页，共35页，2023年，2月20日，星期五2023/4/1926作业题8第26页，共35页，2023年，2月20日，星期五2023/4/1927作业题8第27页，共35页，2023年，2月20日，星期五2023/4/1928作业题92.25.一黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}。设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7。

(1)假设图上黑白消息出现前后没有关联，求熵H(X)；

(2)假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X)；

(3)分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。第28页，共35页，2023年，2月20日，星期五2023/4/1929作业题9第29页，共35页，2023年，2月20日，星期五2023/4/1930作业题9

(2)第30页，共35页，2023年，2月20日，星期五2023/4/1931作业题9

(3)第31页，共35页，2023年，2月20日，星期五2023/4/1932练习题11.设有一非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求扔一次平均得到的信息量。第32页，共35页，2023年，2月20日，星期五2023/4/1933练习题22.证明离散平稳信源有第33页，共35页，2023年，2月20日，星期五2023/4/19343.每帧电视图像可以认为是由3×105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概率出现，问每帧图像含有多少信息量？