信息论基础理论与应用傅祖芸课后部分参考答案

第1章绪论信息、情报、知识、消息及信号间的区别与联系信息是信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念。这一概念和在实践中提出来的其他科学概念一样，是在人类社会互通情报的实践过程中产生的。在日常生活中，信息常常被认为就是“消息”、“情报”、“知识”、“情况”等。的确，信息与它们之间是有着密切联系的。但是，信息的含义更深刻、更广泛，它是不能等同于消息、情报、知识和情况的。信息不等同于情报。情报往往是军事学、文献学方面的习惯用词。在“情报学”这一新学科中，它们对于"情报"是这样定义的，“情报是人们对于某个特定对象所见、所闻、所理解而产生的知识”。可见，情报的含义要比“信息”窄得多。它只是一类特定的信息，不是信息的全体。信息也不等同于知识。知识是人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到有价值的、人们所需的信息。知识是一种具有普遍和概括性质的高层次的信息。信息也不等同于消息。人们也常常错误地把信息等同于消息，认为得到了消息，就是得到了信息。的确，人们从接收到的电报、电话、广播和电视的消息中能获得各种信息，信息与消息有着密切的联系。但是，信息与消息并不是一件事，不能等同。因此，用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。构成消息的各种形式必须具备两个条件：一是能被人们感知和理解的，二是可以进行传递和获取的。可见，消息中包含信息，是信息的载体。得到消息，从而获得信息。同一则信息可用不同的消息形式来载荷。如前例中，球赛进展情况可用电视图像、广播语言、报纸文字等不同消息来表述。而一则消息也可载荷不同的信息，它可能包含非常丰富的信息，也可能只包含很少的信息。因此，信息与消息是既有区别又有联系的。既然信息不同于消息，当然也不同于信号。在各种实际通信系统中，往往为了克服时间或空间的限制而进行通信，必须对消息进行加工处理。把消息变换成适合信道传输的物理量，这种物理量称为信号(如电信号，光信号，声信号，生物信号等)。信号携带着消息，它是消息的物理体现，是消息的运载工具。所以，信息、消息和信号是既有区别又有联系的三个不同的概念。简述香农信息定义的优点和缺点香农定义的信息概念在现有的各种理解中，它比较深刻，有许多优点。首先，它是一个科学的定义，有明确的数学模型和定量计算。其次，它与日常用语中的信息的含意是一致的。再者，它排除了对信息一词某些主观上的含义。根据上述定义，同样一个消息对任何一个收信者来说，所得到的信息量(互信息)都是一样的。因此信息的概念是纯粹的形式化的概念。香农定义的信息有其局限性，存在一些缺陷。首先，我们已经看到，这个定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。然而对实际某些事物运动状态或存在状态要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲，是否存在这样一种模型还值得探讨。而且这个定义只考虑概率引发的不确定性，不考虑由于其他因素如模糊性等而造成的不确定性。其次，这个定义和度量没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。例如，当得到同一消息后，对不同的收信者来说常会引起不同的感情、不同的关心程度、不同的价值，这些都应认为是获得了不同的信息。因此，信息有很强的主观性和实用性。信息具有哪些特性？①信息、物质、能量统一于事物一身，信息和物质一起规定着事物的功能。②信息的存在具有普遍性、无限性、动态性、时效性和相对独立性。③信息具有可传递性、可转换性、可扩散性、可复制性、可存储性和可分割性，因而具有可共享性。④信息具有可度量性。信息量守恒是客观事物固有的特性。信息不因认识而消失，也不因传递、复制和扩散而增值。通信系统模型主要分为哪些部分？(1)信息源(简称信源):顾名思义，信源是产生消息和消息序列的源。它可以是人、生物、机器或其他事物。它是事物各种运动状态或存在状态的集合。另外，信源可能出现的状态(即信源输出的消息)是随机的、不确定的，但又有一定的规律性。(2)编码器：编码是把消息变换成信号的措施，而译码就是编码的反变换。编码器输出的是适合信道传输的信号，信号携带着消息，它是消息的载荷者。一般编码器可分为两种，即信源编码器和信道编码器。信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率。所以又称为信源压缩编码。而信道编码是为了提高信息传输的可靠性而对消息进行的变换和处理，又称为信道纠错编码。当然对于各种实际的通信系统，编码器还应包括换能、调制、发射等各种变换处理。在保密通信系统中，还应该包括加密编码，目的是为了提高信息传输的安全性和证实性。(3)信道：信道是指通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道。在狭义的通信系统中实际信道有明线、电缆、波导、光纤、无线电波传播空间等，这些都是属于传输电磁波能量的信道。当然，对广义的通信系统来说，信道还可以是其他的传输媒介。(4)译码器：译码就是把信道输出的编码信号(已叠加了干扰)进行反变换，一般认为这种变换是可逆的。译码器一般也可分成信源译码器和信道译码器。若在保密通信系统中，应还包括解密译码。(5)信宿：信宿是消息传送的对象，即接收消息的人或机器。信源和信宿可处于不同地点和不同时刻。信息论研究的目的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使信息传输系统达到最优化。所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。所谓保密性就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。所谓认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。可靠性、有效性、保密性和认证性四者构成现代通信系统对信息传输的全面要求。信息传输系统模型不是不变的，它可根据信息传输的要求而定。在研究信息传输可靠性时，将信源、信源编码和加密编码都等效成一个信源，而将信宿、信源译码和解密译码都等效成一信宿。在研究信息传输有效性时，可只考虑信源与信宿之间的信源编(译)码，将其他部分都看成一无干扰信道。第2章离散信源及其信息测度设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用比较天平左右两边轻重的方法来测量(因无砝码)。为了在天平上称出哪一枚是假币，试问至少必须称多少次?同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量?如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答案中含有多少信息量?如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量(假设已知星期一至星期日的排序)?居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量?设离散无记忆信源,其发出的消息为(202120130213001203210110321010021032011223210),求(1)此消息的自信息是多少?(2)在此消息中平均每个符号携带的信息量是多少?如有6行8列的棋型方格，若有两个质点A和B,分别以等概率落人任一方格内，且它们的坐标分别为(X,YA),(X₈,Y₈),但A、B不能落入同一方格内。(1)若仅有质点A,求A落人任一个格的平均自信息量是多少?(2)若已知A已落入，求B落人的平均自信息量；(3)若A、B是可分辨的，求A、B同时落入的平均自信息量。从大量统计资料知道，男性红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士：“你是否是红绿色盲?"他的回答可能是“是”,可能是“否”,问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量?如果你问一位女士，则答案中含有的平均自信息量是多少?设信源求这信源的熵，并解释为什么H(X)>log6不满足信源熵的极值性。参考答案设有一概率空间，其概率分布为(P₁,P₂,·…,P|,并有p₁>P2。若取p{=p₁-8,P2=p₂+8,其中0<2s≤p₁-P₂,而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义作以解释。参考答案(1)为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同的亮度电平，求传递此图像所需的信息率(比特/秒)。并设每秒传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。(2)设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。每帧电视图像可以认为是由3×10⁵个像素组成，设像素均是独立变化的，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量?若现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像(假设汉字字汇是等概率分布，并彼此无依赖),试问广播员描述此图像所广播的信息量是多少?若要恰当地描述此图像，广播员在口述中至少需用多少汉字?为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A,01代表B,10代表C,11代表D。每个二元码脉冲宽度为5ms。(1)不同字母等概率出现时，计算传输的平均信息速率；(2)若每个字母出现的概率分别为P=1/5,P=1/4,Pc=1/4,Po=3/10,试计算传输的平均信息速率。（1）略证明离散平稳信源有H(X₃[x,X₂)≤H(X₂|x₁),并说明等式成立的条件。证明离散平稳信源有H(X₁X₂…Xy)≤H(X₁)+H(X₂)+…+H(Xy),并说明等式成立的条件。设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前输出过什么符号，均按P(0)=0.4,P(1)=0.6的概率输出符号。(1)试问这个信源是否是平稳的?(2)试计算H(X²),H(x₃|x₁X₂)及limHx(X);(3)试计算H(X⁴)并写出X⁴信源中可能有的所有符号。参考答案略设m阶马尔可夫信源S,其符号集A={a1,a₂,…,ag|,又设{Pr,P₂,…,P,}为其平稳后的一维概率分布。现定义一无记忆信源3,它的符号集也为A,又其符号概率分布等于m阶马尔可夫信源S平稳后的一维概率分布，称信源了为m阶马尔可夫信源的伴随信源。试证明H(S)≥H(S)。略设有一信源，它在开始时以P(a)=0.6,P(b)=0.3,P(c)=0.1的概率输出Xi。如果X为a时，则X₂为a、b、c的概率为1/3;如果X₁为b,X₂为a、b、c的概率为1/3;如果X,为c,X₂为a、b的概率为1/2,为c的概率为0。而且后面输出X,的概率只与X;有关，又P(X,|X;)=P(X₂|X₁)i≥3。试利用马尔可夫信源的图示法画出状态转移图，并计算信源熵H.。略一阶马尔可夫信源的状态图如图2.7所示，信源X的符号集为|0,1,2}并定义p=1-p。(1)求信源平稳后的概率分布P(O)、P(1)和P(2);(2)求此信源的熵；(3)近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵H(X)并与H。进行比较；略(4)此一阶马尔可夫信源p取何值时H.取最大值，当p=0和p=1时结果又如何?略一阶马尔可夫信源的状态图如图2.8所示，信源X的符号集为|0,1,2}。(1)求平稳后信源的概率分布；(2)求信源的熵H。;(3)求当p=0和p=1时信源的熵，并说明其理由。设有一个马尔可夫信源，它的状态集为{s₁,S₂,s₃},符号集为|a₁,az,as},以及在某状态下输出符号的概率为P(a₄|s;)(i,k=1,2,3),如图2.9所示。略黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白},设黑色出现的概率为P(黑)=0.3,白色出现的概率P(白)=0.7。(1)假设图上黑白消息出现前后没有关联，求熵H(X);(2)假设消息出现前后有关联，其依赖关系为P(白|白)=0.9,P(黑|白)=0.1,P(白|黑)=0.2,P(黑|黑)=0.8,求此一阶马尔可夫信源的熵H₂;(3)分别求上述两种信源的剩余度，并比较H(X)和H₂的大小，并说明其物理意义。第3章离散信道及其信道容量简答题(参考答案）3.13.2略3.33.43.53.63.73.8略3.9略3.10略3.113.123.133.14略3.15略3.16略3.17略3.18略3.193.20略3.21略3.223.23略3.243.25第4章波形信源和波形信道简答题4.14.24.34.4略4.5略4.6略4.74.84.94.104.114.124.13略4.14略4.154.164.17略4.18略4.19略4.20略4.21略4.224.23第5章无失真信源编码定理简答题5.15.2略5.3略5.4略5.5略5.6略5.7略5.8略5.9略5.105.11第6章有噪信道编码定理简答题6.16.26.36.46.56.6略6.7略6.86.96.106.116.12第7章保真度准则下的信源编码简答题7.17.2略7.37.4略7.5略7.6略7.7略7.8略7.9略7.10略7.11略7.12略7.13略7.14略7.15略7.16略7.17因信源符号速率大于信道传输速率(2.66>2),所以不能直接连接所以,可以通过当编码在次信道中无失真的传输。可对信源的N词扩展信源进行无失真信源编码,只要N足够大取适当的编码就能与信道匹配。第8章无失真的信源编码简答题8.18.28.38.48.5略8.6略8.78.88.98.108.118.12略8.13

8.14略8.158.169章信道的纠错编码简答题9.1答案：略9.2构造一个等价于习题9.1中的(n,k)线性系统分组码。(1)构造该线性系统分组码的生成矩阵；(2)构造该码的一致校验矩阵；(3)列出所有码字，比较此码与9.1题中码的纠、检错能力。答案：略9.3略9.4略9.5若二元信息序列送人二元对称信道传输前经过下列编码：00→00000,01→01101,10→10111,11→11010(1)证明此码是系统分组码，并求出其生成矩阵和校验矩阵；(2)列出其译码表；(3)设二元对称信道中错误传递概率为p,计算按译码表译码引起的错误译码概率。答案：略9.6设无记忆二元对称信道的正确传递概率为p,错误传递概率为p<1/2,对于(7,4)汉明码(如表9.7所示):(1)若码字都是等概率分布，试问什么是其最佳的译码规则；(2)说明此码能正一位码元的随机错误，并列出译码表；(3)在最佳译码规则下，计算此码的平均错误概率Pg;(4)若p=0.01,从Pg和码率R上将(7,4)汉明码与n=7的重复码进行比较。在无记忆二元对称信道中p＜1/2，最小汉明距离译码准则等价于极大似然译码准则。因为码字是等概率分布，所以极大似然译码准则能使译码的平均错误概率Pe最小，最小汉明距离译码准则就是最佳译码规则。$(7，4)汉明码可以纠正1位错误，当传输错误位数大于等于2位时将发生译码错误，总的错误概率为$若p=0.01，则Pe≈2.03×10-3传码率而7次重复码在传输错误超过4位时发生错误的概率为传码率可见，7次重复码虽然能纠正≤3个码元发生的随机错误，其平均错误概率减少；但同时码率也下降很多。9.7略9.8对于码长为15的二元线性分组码，若要求能纠正≤2位随机错误，需要多少不同的伴随式?又至少需要多少位校验元?略；120位9.9设某(7.3)循环码，其生成多项式g(x)=x⁴+x²+x+1(1)列出其所有码字，并求此码最小码距；(2)写出其系统循环码的标准生成矩阵；(3)写出此码的校验多项式及标准校验矩阵；(4)给出此码的对偶码。答案：循环冗余码为:0100;送在物理线路上的比特序列是111110000100。9.10已知x⁵+1=(x+1)(x²+x+1)(x⁴+x+1)(x⁴+x³+1)(x²+x³+x²+x+1),求当构造(15,11)二元循环码时，有多少种不同的选择，分别写出其生成多项式和校验多项式，及生成矩阵和校验矩阵。答案：略9.11若(15,11)汉明循环码的生成多项式为g(x)=x⁴+x+1(1)求此码的最小距离；(2)若接收多项式为x⁸+x⁶+x⁵+x²+1,此接收序列是码多项式吗?求它的伴随式，并写出纠正后所译成的码多项式；(3)若信息多项式为m(x)=x⁷+x⁴+x+1,求其所编的码多项式及对应的码字序列；(4)画出此码的编码器原理图。答案：略9.12略9.13略9.14略9.15设一个(2,1,3)卷积码的编码器如图9.20所示：(1)试写出此(2,1,3)卷积码的生成矩阵、生成子矩阵和基本生成矩阵；(2)画出此卷积码的状态流图和网格图；(3)若输入信息序列为(011001011110…),求输出码字序列。答案：略第10章网络信息论简答题10.1答案：略10.2设S1是离散无记忆二元信源，Z也是离散无记忆二元信源，S₁和Z相互统计独立。再令S₂=S;田Z(模二和),又设S,的传输速率为R,,S₂的传输速率为R2。问由S₁和S₂构成的可达速率域是什么?若S₁和Z都是等概率分布时，R₁和R₂的可达速率域是什么？答案：略10.3略10.4略10.5略10.6略10.7略10.8设有一个二址接入高斯噪声信道，如图10.31所示。发送端1和2的信号平均功率受限，第一路的信噪功率比为20,第二路的信噪功率比为10。试求出它们的可达信道容量区，并用图画出这容量区域。答案：略10.9略10.10略10.11略10.12略10.13略10.14略10.15略保密系统的基本信息理论简答题11.1略11.2略11.3一个密码系统，明文字符集由26个英文字母组成，并选用维吉尼亚密码体制加密，选用由d=7个字符序列组成密钥，并设英文字母的极限熵为1.4比特/字母。(1)若选取的密钥的7个字符中没有相同的字母，并也不知具体是选什么字母，试求维吉尼亚密码的密钥量是多少，并求密钥空间的信息熵；(2)若7个字母组成的密钥中可以有相同的字母，求其密钥量及密钥空间信息熵；(3)分别计算(1)、(2)情况下的唯一解距离，并解释它们之间的区别。答案：略11.4略信息论与其他学科的关系和应用简述光学信息论的定义光学是人们获取信息的最基本和有效的手段之一，如放大镜、显微镜、望远镜、照相机、摄像机、X光射线照相系统等，尤其是激光和光全息的出现为记录和探测物体的信息提供了强有力的手段。另外，光信道也是人们传递和存储信息的有效手段之一，尤其光纤通信、光缆传输信道、激光唱盘、激光视盘等是传递和存储大量信息的有效手段。光学信息论主要研究并阐明光学成像的图像或物体的信息如何度量；信息量经各种光学系统如何传递；如何衡量最后到达像平面的信息量；以及不同光学系统或光学方法传递光学信息量的最大限度和效能等问题。其内容涉及许多光学理论和知识。同时，随着计算机技术和激光通信、激光技术的发展，许多物理学家尤其是量子力学方面的专家们着重致力于用量子力学理论来研究光量子的通信、存储和检测等问题。近年来，一种新型结构的计算机。量子计算机的提出并进入工程时代，以及量子数据压缩、量子纠错码、量子密码和量子隐形传态等量子技术研究的深入，使得又一门新型的独立学科量子信息科学逐渐形成。什么是估计理论？在统计学中估计理论是很重要的一部分内容。估计理论所研究的对象是随机现象，它是根据受到噪声污染的观测数据来估计关于随机变量或随机过程的一种数学运算。平稳随机序列或平稳随机过程的功率谱密度估计(简称谱估计)是估计理论中重要的基本问题之一。而且谱估计的分析方法在许多应用领域中是数字信号处理技术的重要分析方法。最大熵谱估计法的特点是什么？最大熵谱估计法的一个重要特点是，它比普通线性谱估计具有更高的分辨率，而且常常高很多；另一特点是，它特别适合于对比较短的数据记录进行谱估计，而且其所需计算量与普通线性谱估计具有相同的数量级。因此，最大熵谱估计是很有实用价值的理论。信息论与生命科学的发展历程环顾我们周围的生命世界，多种多样的生命群体、形态各异的生物个体都在不断地运动，不断地产生各种信息，并且在信息的控制和调节下实现其正常的生理活动。这种生命活动呈现出的信息是要更复杂、更丰富、更重要。包括我们人类在内的生命体本身就是一个复杂的信息传递、存储、处理、加工和控制的系统。显然，信息论应与生物学、医学有着密切关系。早在香农信息论提出后就有人把信息论引入生命的研究领域，但当时各方面研究都不成熟，所以并不被人们所接受。近几十年来，由于生物学的发展非常迅速，人们对生命现象的研究，已经从整体深入到细胞、亚细胞、分子水平和量子水平上来揭示生命现象的本质。尤其是遗传信息方面的研究取得了重大进展和成效，才开始确立了信息理论在生物学和医学研究方面的重要作用和地位。随着分子生物学、遗传学、细胞生物学、医学、计算机科学、数理统计学及信息理论等学科的彼此交叉、结合，在此基础上已逐渐形成了一门独立的新学科——生物信息学。生物信息学研究的领域非常丰富，目前已有几个重要的分支，如基因组生物信息学、数据库生物信息学、序列生物信息学、结构生物信息学等，而且还将随着研究的深入不断地得到完善和发展。因此，在当今21世纪，生物信息学必将是信息科学发展的一个非常重要的领域。信息论中关于信息的度量、编码的理论、编码的结构与方法等基本概念和理论都与生物信息学有着密切的关系。有关这方面的研究虽取得了很大的成果，但距揭示生命体这个最复杂的信息系统的奥秘还很遥远。的确也同时向我们展示了丰富而广阔的研究前景。量子信息科学简介简单介绍什么是量子信息科学？量子信息科学是一门正在迅速崛起的交叉领域的新学科。它是量子力学、量子光学、计算机科学、信息论以及通信技术与工程等学科相互结合的一门交叉学科。量子信息科学就是以量子力学基本原理为基础，通过发挥量子系统的各种特性的强大的作用探索一种进行计算、编码和信息存储与传输的全新方法和理论。也就是说，量子信息科学的研究就是以量子物理态为信息载体的信息理论和技术的研究。量子信息学涵盖了两个大的方向：量子通信和量子计算。量子计算偏重利用量子计算机和开发量子算法解决计算难题，而量子通信主要是研究如何利用量子和量子态解决通信中的保密问题。量子信息科学涉及的内容较多，而且其描述方法、计算方法和定理证明等都涉及量子力学的理论基础。简述波函数的基本性质(1)波函数完全描述粒子的状态。描述粒子的波函数已知后，则已知粒子在空间的概率分布；描述粒子状态的一切力学量(如坐标、动量、角动量、能量等)的平均值、可能值及相应的概率都能知道；又若知道了系统所受力场和相互作用及初始时刻的状态后，由薛定谔(Schrodinger)方程就可确定系统以后时刻的状态。(2)波函数的自然条件：波函数在全空间的每一点通常应满足单值、有限和连续三个条件。另外，波函数平(r,t)是复函数，在全空间应满足归一化条件。(3)根据薛定谔方程可知，若波函数和坐是方程的解，则其线性叠加c₁Y₁+c₂₂也是方程的解。这就是量子态的叠加原理的要求。论述量子测量包含的要素(1)测量结果的概率特性。根据量子系统量子态的叠加性，量子系统可能处于不同的量子态中，测量前是对一种可能输出结果的概率判定，是一种概率性的结果。完备性条