第2章-香农定理

第2章香农定理§2.1信息量和熵§2.2信道容量及香农定理§2.1信息量和熵哈特莱信息度量关系：若以2为底时单位是“比特”（bit—binaryunit）若以e为底时单位是“奈特”（nat—natureunit）若以10为底时单位是“哈特”（Hart—Hartley）

例：已知某离散信源由A、B、C、D四个符号组成，其发送概率分别为

若每个符号的出现都是统计独立的。求传送“BABCCDBDCBBAAB”所包含的信息量符号ABCD概率1/41/81/21/8离散信源的熵离散信源的熵即指离散信源的平均信息量。例：已知某离散信源由A、B、C、D四个符号组成，其发送概率分别为

若每个符号的出现都是统计独立的。求该离散信源的熵。符号ABCD概率1/41/81/21/8§2.2信道容量及香农定理信道容量：指信道在无差错传输信息时的最大信息传输速率。它反映了信道的传输能力。噪声按来源分类人为噪声：它是由人类的活动产生的，例如电钻和电气开关瞬态造成的电火花、汽车点火系统产生的电火花、荧光灯产生的干扰、其它电台和家电用具产生的电磁波辐射等。自然噪声：它是自然界中存在的各种电磁波辐射，例如闪电、大气噪声，以及来自太阳和银河系等的宇宙噪声。此外还有一种很重要的自然噪声，即热噪声。热噪声来自一切电阻性元器件中电子的热运动。例如，导线、电阻和半导体器件等均会产生热噪声。所以热噪声无处不在，不可避免地存在于一切电子设备中。噪声按性质分类脉冲噪声：它是突发性地产生的幅度很大、持续时间很短、间隔时间很长的干扰。由于其持续时间很短，故其频谱较宽，可以从低频一直分布到甚高频，但是频率越高其频谱的强度越小。电火花就是一种典型的脉冲噪声。窄带噪声：它可以看作是一种非所需的连续的已调正弦波，或简单地就是一个幅度恒定的单一频率的正弦波。通常它来自相邻电台或其它电子设备。窄带噪声的频率位置通常是确知的或可以测知的。起伏噪声：它是在时域和频域内都普遍存在的随机噪声。热噪声、电子管内产生的散弹噪声和宇宙噪声等都属于起伏噪声。香农定理香农公式的表达式：C：信道容量B：传输带宽S/N：信噪比香农简介

克劳德·香农——1916年4月30日出生于美国密歇根州的加洛德（Petoskey），1936年毕业于密歇根大学并获得数学和电子工程学士学位，1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。香农博士于2001年2月26日去世，享年84岁。香农公式的重要结论当信道的传输带宽一定时，接收端的信噪比越大，其系统的信道容量越大。当噪声功率趋近0时，信道容量趋近无穷。当接收端的信噪比一定时，信道的传输带宽越大，其系统的信道容量也越大。当信道带宽趋于无穷时，信道容量并不趋于无穷，而是趋于一个固定值。香农公式的重要结论当信道容量一定时，信道带宽与信噪比可以互换。比如，可以通过增加系统的传输带宽来降低接收机对信噪比的要求，即以牺牲系统的有效性来换取系统的可靠性，这也正是扩频通信的理论基础。例：已知彩色电视图像由500000个像素组成，设每个像素有64种彩色度，每种彩色度有16个亮度等级。如果所有彩色度和亮度等级的组合机会均等，并统计独立。计算：

1）每秒传送100个画面所需的信道容量。2）若接收机的信噪比为30dB，则所需的传输带宽为多少。课堂测验1.如果一个由字母ABCD组成的字，将每个字母用两位二进制脉冲编码，其中00代表A，01代表B，10代表C，11代表D，每位宽度为5ms。（1）当不同的字母等概出现时，计算传输的平均信息速率。（2）若每个字母出现的概率分别为PA=1/5,PB=1/4,PC=1/4,PD=3/10,计算传输的信息速率。2.在强噪声干扰环境下，某电台在5分钟内共接收到正确的比特数为355Mbit，假设系统的信息速率为1200Kbps。（1）系统的误比特率。（2）若具体指出系统所传输的数字信号为四进制，试求信息传输速率和码元传输速率。3.某信息源包含XYZW四个符号，这四个符号出现的概率相等，传输时采用二进制进行，已知信息