现代通信与香农三大定理

1、现代通信与香农三大定理姓名：杨伟章 学号：201110404234摘要：当我们提起信息论，就不得不把香农和信息论联系在一起，因为正是香农为通信理论的发展所做出的划时代贡献，宣告了一门崭新的学科信息论的诞生。从此，在香农信息论的指导下，为了提高通信系统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。其实，信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相互结合而逐步发展起来的一门新兴交叉学科。关键词： 信息论基础 现代通信系统 香农三大定理上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。但是通信技术

2、已经有了相当的发展。从十九世纪中叶，电报就已经很普遍了。电报所用的摩斯码（morse code），就是通信技术的一项杰作。摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。但是每个字母的码不是一样长的。常用的字母e只有一个点。而不常用的z有两划两点。这样，在传送英语时，平均每个字母的码数就减少了。事实上，摩斯码与现代理论指导下的编码相比，传送速度只差15%。这在一百五十多年前，是相当了不起了。在二次世界大战时，雷达和无线电在军事上广泛应用。无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。各种不同的调制方式也纷纷问世。于是就出现了这样一个问题：给定信道条件，有没

3、有最好的调制方式，来达到最高的传送速率？“传输速率是波特率与每波特所含比特数的乘积。波特率受频宽的限制，而每波特所含比特数受噪声的限制。”前一个限制，由那奎斯特（harry nyquist）在1928年漂亮地解决了。而后一个问题则更复杂。1928年，哈特利（r. v. l. hartley）首先提出了信息量的概念，并指出编码（如摩斯码）在提高传送速度中的重要作用。但是他未能完整定量地解决这个问题。二战期间，维纳（norbert wiener）发展了在接收器上对付噪声的最优方法。但是传输速率的上限还是没有进展。在这种情况下，香农（claude e shannon）在1948年发表了通信的一个数学

4、理论(c. e. shannon, a mathematical theory of communication”, the bell system technical journal, vol. 27, pp. 379-423, 1948 http:/cm.bell- science）从此诞生。要建立信息理论，首先要能够度量信息。信息是由信号传播的。但是信息与信号有本质的区别。所以如何度量一个信号源的信息量，就不是简单的问题。从直觉上说，如果一个信号源发出不变的符号值（比如总是1），它是没有信息量的，因为它没有告诉别人任何东西。而且如果信号源发出的符号值是变化的但是可以预计的（比如圆周率的数

5、字序列），那也是没有信息量的，因为我不需要接受任何东西，就可以把这些符号值重复出来。而且，即使信号源发出的符号不是完全可确定的，它的信息量也和“确定”的程度有关。例如，如果一个地方90%的时候是晴天，气象报告就没有多大用处。而如果50%的时候是晴天其余时候下雨，人们就需要气象报告了。从这点出发，香农就把信息量与信号源的不确定性，也就是各个可能的符号值的几率分布联系起来。他从直观上给出了信息量需要满足的几个简单的数学性质（如连续性，单调性等），而给出了一个唯一可能的表达形式。那么这样定义的信息量与我们通常所说的数据量，也就是需要多少比特来传送数据，有什么关系呢？（比特就是二进制数据的位数）。为此

6、，我们来看看一个含有固定符号数的序列（也就是信号或码字）。由于每个符号值的出现是随机的，这样的序列就有很多可能性。显然，每个可能的符号在序列中出现次数，对于所有可能序列的平均值正比于符号出现的几率。我们把每个符号出现次数“正好”等于其次数平均值的序列叫做“典型序列”，而其他的就叫作“非典型序列”。而数学上可以证明，当n趋于无穷大时，“非典型序列”出现的几率趋于零。也就是说，我们只要注意“典型序列”就行了。而典型序列的个数，就是它们出现概率的倒数（因为总概率为1）。而码字所携带的数据量，就是它的个数以2为底的对数。所以，这样的分析就得出了序列所含的数据量。除以序列的长度，就得到每个符号所含的数据

7、量。而这个结果恰好就等于上面所说的信息量！至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。解决了信号源的数据量问题后，我们就可以来看信道了。信道（channel）的作用是把信号从一地传到另一地。在香农以前，那奎斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。但问题是，即使这些符号，也不是总能正确地到达目的地的。在有噪声的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地判断是哪个符号被发送了。对付噪声的办法是减少每个符号所带的比特数：“而每个波特所含的比特数

8、，则是受噪声环境的限制。这是因为当每个波特所含的比特数增加时，它的可能值的数目也增加。这样代表不同数据的信号就会比较接近。例如，假定信号允许的电压值在正负1伏之间。如果每个波特含一个比特，那么可能的值是0或1。这样我们可以用-1伏代表0，用1伏代表1。而假如每波特含两个比特，那么可能的值就是0，1，2，3。我们需要用-1伏，-0.33伏，0.33伏，1伏来代表着四个可能值。这样，如果噪声造成的误差是0.5伏的话，那么在前一种情况不会造成解读的错误（例如把-1v错成了-0.5伏，它仍然代表0）。而在后一种情况则会造成错误（例如把-1v错成了-0.5伏，它就不代表0，而代表1了）。所以，每个波特所

9、含的比特数也是不能随便增加的。以上两个因素合起来，就构成了对于数据传输速率的限制。”其实，除此之外，还有一个对付噪声的办法，就是在所有可能的符号序列中只选用一些来代表信息。例如，如果符号值是0和1，那么三个符号组成的序列就有8个：000，001，010，011，100，101，110，111。我们现在只用其中两个来代表信息：000和111。这样，如果噪声造成了一个符号的错误，比如000变成了010，那我们还是知道发送的是000而不是111。这个方法的代价与前面的方法一样，就是降低了传送速率（原来可以送三个比特，现在只能送一个比特了）。这种选取特定序列，而不是使用所有序列的方法称为编码。以上的例

10、子，是一个极为简单的码，远非最优。可见，用降低速率来减少错误的方法有很多选项。那么怎样才能达到速度和准确度之间最好的权衡呢？这看来是一个非常棘手的问题。然而，香农却得出了一个非常简明的结论：对于一个信道，有这样一个速率（称为信道的容量）：一定有一个方法能在这个速率以下传送数据而误差的几率达到任意小；而超过这个速率的话，误差的几率就一定会大于某个下限。也就是说，香农同时给出了无错误的条件下传送速度的上限（即不可能超过）和下限（即有办法达到），而这两者是同一个值！不仅结论出乎意料地简单，香农的证明也是如此。他的基本思路是：噪声使得接收端收到信号后，对于所发送的信号仍然有个不确定性。也就是说，一个收

11、到的序列可能对应多个发送的序列。这个对应的个数可以用上面讲到的“典型序列”的个数来估计。因为如此，我们只能用这多个发送序列之中的一个来作为码字，代表要传送的信息，而其余都弃之不用。这样才能避免混淆。所以，我们的传送速率就要降低了。这个直观解释听起来简化得离谱。我们知道，随机过程是很复杂的，怎么可能用平均值就搞定呢？然而，香农在数学上严格地证明了这些结论。关键在于：他考虑序列长度趋向于无穷的情况。这样，在样本数量趋于无穷的情况下，实际情况偏于平均值的几率趋向于零。所以说，香农的简化显示他真正抓住了问题的关键。对于通常遇到的信道，香农定理说：信道容量（即最高传送速率）与频宽成正比，与信噪比的对数（

12、底数为2）成正比。信噪比是在接收端信号功率与噪声功率的比。增加发射功率能增加信噪比从而增加容量，但因为是对数关系，不是那么有效。而增加频宽则是线性地增加容量。通常，频率较低的频道频宽也小。如前一讲中提到的调幅（am）广播，在几百千赫频段，频宽是20千赫。而调频（fm）广播是在一百兆赫频段，频宽是200千赫。这就是调幅广播音质较好的主要原因。所以现代的数字通信服务不断往高频段扩展（目前已到2兆赫）。当我们听到某个服务能提供更高速率的时候，并不等于它使用了性能更好的技术。很可能它只是用了更宽的频道而已。现有的通信系统的分层结构决定了各子层技术只能保证局部最优的系统性能， 跨层优化设计打破了传统通信

13、系统的层次结构， 对各子层的关键技术进行联合优化， 特别是通信系统的收发联合优化以求达到全局最优的系统性能。本文分析了通信系统的收发联合优化， 并且在此基础之上对运用于其中的香农定理进行了分析研究， 然后阐述了香农定理三大定理之间的内在联系， 分析了香农定理与通信系统理论构建之间的关系， 释放数字时代背景下海量信息控制边界的观点。香农定理和控制论模型， 越过了信息有效传输和信息接收端点的物理通信范畴， 散发出了悠长的跨学科话语魅力。香农在二十世纪四十年代初奠定了通信的数字理论基础。同时香农三大定律是信息论的基础，虽然没有提出具体的编码实现方法，但是为通信信息的研究指明了方向。他的“信道容量定理

14、”指出，可以找到这样一种技术，当数据传输速率不大于某个最大传输的速率时，通过它可以以任意小的错误概率传输信号。同时香农也给出了有噪声信道的最大传输速率与宽带的关系。1948年，香农发表了他的著名论文通信的数学理论，彻底奠定了信息论的理论基础。正如我们所知道的那样，信息传输的有效性和可靠性一直都是人们讨论的热点。在1948年以前，科学界一般都认为有效性和可靠性是矛盾的两个方面：提高信息传输率往往会使抗干扰能力减弱；反之，提高抗干扰能力又常常会使信息传输率降低，也就是说要使最小平均错误译码概率达到任意小，信息传输率r也会趋于0（要使pemin0，则r0）。这是一个很悲观的结论。如果从博弈的观点来看

15、，信息传输的有效性和可靠性就是博弈的双方，双方的决策都会使信息传输这个“市场”发生不同的情况。但是，经过深入的研究，香农发现，作为矛盾的双方，是可以达到的辨证的统一的，当然这也是有条件的，在一定条件下，可以使信息的传输既有效又可靠。香农的三大定理都是针对编码理论而阐述的，在通信系统中，编码理论显得尤其重要，编码很大程度上决定了能否有效、可靠的传递信息。一般来说，通信系统要把信源所发出的信息高速度、高质量的通过信道传输给信宿，需要解决三个方面的问题：第一、信源发出的符号或消息有可能不适合信道的传输。因为信道能传递的符号与信源发出的符号消息有可能不一致，那么信道将无法完成传输的任务。第二、信道能否

16、尽快地传输信源发出的符号消息。也就是说要用尽量少的信道符号去代表信源发出的符号消息，这就是传输的有效性。第三、在信道中一般都有噪声的随机干扰，这就又要求增加信息传输的可靠性，减低通信可能发生的传输错误。解决第一、第二个问题，可以通过信源编码来完成，最后一个问题，则可以通过信道编码来完成。 香农三大定理是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理。香农第二定理是有噪信道编码定理。香农第三定理是保失真度准则下的有失真信源编码定理。具体如下:香农第一定理香农第一定理(可变长无失真信源编码定理)设离

17、散无记忆信源x包含n个符号x1,x2,xi,.,xn，信源发出k重符号序列，则此信源可发出nk个不同的符号序列消息，其中第j个符号序列消息的出现概率为pkj，其信源编码后所得的二进制代码组长度为bj，代码组的平均长度b为b=pk1b1+pk2b2+pnkbnk当k趋于无限大时，b和h(x)之间的关系为b/k=h(x)(k趋近无穷）香农第一定理又称为无失真信源编码定理或变长码信源编码定理。香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。香农第二定理香农第二定理（有噪信道编码定理）有噪信道编码

18、定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。设某信道有r个输入符号，s个输出符号，信道容量为c，当信道的信息传输率rc，码长n足够长时，总可以在输入的集合中(含有rn个长度为n的码符号序列)，找到m （(m=2(n(c-a)，a为任意小的正数)个码字，分别代表m个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率pmin达到任意小。公式： 注：b为信道带宽；s/n为信噪比，通常用分贝（db）表示。香农第三定理（保失真度准则下的有失真信源编码定理）保真度准则下的信源

19、编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即d=0，和任意小的a0，以及任意足够长的码长n，则一定存在一种信源编码w，其码字个数为m=expnr(d)+a，而编码后码的平均失真度d(w)=d+a。随着数字通信、 计算机网络的飞速发展和互联网技术的普遍应用,多媒体通信已经成为一种不可避免的趋势。但是视频信息具有确定性、 直观性、 高效性等优越性,于是视频传输在通信系统中的优势越来越明显, 占据了重要的地位,然而传送包含视频信息的信号需要较高的通信网络。因此,在非常有限的通信网络条件下,最大

20、限度地做到通信系统接收的联合优化。而信道编码定理， 从理论上解决理想编码器、译码器存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。并且信道编码理论证明信道由离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零， 正在不断完善，但尚未达到编码定理所启示的限度，尤其是关于有噪声多用户信道， 更显得不足， 于是通信系统工程师在香农的信源编码和信道编码分离理论所提出的达到最优编码性能的基础之上开始研究信源 / 信道联合编码，它可以综合考虑信源和信道两方面的条件，从而实现信息传输性能的整体优化。 信源

21、/ 信道联合编码通过优化分配信源的不同部分之间与信源和信道之间的比特率，使得通信系统网络受限时， 信息发出端到信息接收端的传输失真达到最小。 例如在通信系统接收联合优化运用了一种了一种基于低密度奇偶校验码的 svc 不等差错保护的信源 / 信道联合编码方案， 就是以一个图像组为基本单位， 首先通过计算各层率失真函数得到各帧的d-r 包络曲线， 然后借助于联合码率分配算法采用二分搜索不断调整拉格朗日乘子优化分配有限比特给每个质层，使得在满足码率约束的条件下，信号发出端到与信息接收端失真率最小，从而优化通信系统的整体性能。在通信系统接收联合优化中还可以利用分级技术， 它是一种有效的抗衰落技术， 他

22、可以大大提高多径衰落信道下信号传输的可靠性， 它是充分利用传输中多径信号的能量， 以改善信号传输与接收的可靠性。 为了在接收端得到几乎相互独立的不同路径，可以通过空域、 频域、 时域的不同角度、 不同方法与措施来实现。 时间分集就是对于一个随机衰落的信号而言， 当取样时间间隔足够大时， 两个取样点间衰落是不相关的， 当发射端将待发信号每隔一定的时间间隔重复发送时， 接收端就可以得到多条独立的分集支路， 从而进行时间分集接收， 这样就可以减少接收天线的数目。在分集接收中， 对于接收端从不同的分集之路所获得的信号，可以用不同形式的合并技术来获得分集增益。在通信系统联合优化时还应该采用延长非连续接收

23、时间间隔的方法，也就是当覆盖区中没有活动用户时，通信网络系统可以转入到空闲状态， 只保持一部分必要的通信。采用延长非连续接收时间间隔的方法同样也可以减少传输的参考信号（rs） ，同时可以通过功率调整节省不需要传输参考信号的能量，但是在这种情形下，用户只能需要通过测量同步控制信道来补偿由于参考信号减少导致的同步问题，这种优化方案通常只适用于没有活动用户的情况。还有通信系统优化时在活动状态下的基站天线端口数目是固定的，用户的设备可通过读取控制信息来监测天线的数目信息。物理广播信道的循环冗余码校验比特是根据基站发射天线的配置来进行加密编码的，天线数目更改通知的一种合适方法是采用系统信息 （si） 更

24、改通知机制， 基地天线的数目可以在下一个通信系统信息更改周期开始时进行更改， 并且出于节能角度的考虑， 天线的数目需要经常改变。如果通信系统接收站在没有通知用户的情况下更改了天线的数目， 用户将无法准确接收必要的控制信息和数据信息，会影响用户的正常通信。信道编码理论证明信道由离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零， 正在不断完善，但尚未达到编码定理所启示的限度，尤其是关于有噪声多用户信道， 更显得不足， 于是通信系统工程师在香农的信源编码和信道编码分离理论所提出的达到最优编码性能的基础之上开始研究信源 / 信道联

25、合编码, 它可以综合考虑信源和信道两方面的条件，从而实现信息传输性能的整体优化。 信源 / 信道联合编码通过优化分配信源的不同部分之间与信源和信道之间的比特率，使得通信系统网络受限时， 信息发出端到信息接收端的传输失真达到最小。 例如在通信系统接收联合优化运用了一种了一种基于低密度奇偶校验码的 svc 不等差错保护的信源 / 信道联合编码方案， 就是以一个图像组为基本单位， 首先通过计算各层率失真函数得到各帧的 d-r 包络曲线， 然后借助于联合码率分配算法采用二分搜索不断调整拉格朗日乘子优化分配有限比特给每个质量层，使得在满足码率约束的条件下，信号发出端到与信息接收端失真率最小，从而优化通信

26、系统的整体性能。在通信系统接收联合优化中还可以利用分级技术， 它是一种有效的抗衰落技术， 他可以大大提高多径衰落信道下信号传输的可靠性， 它是充分利用传输中多径信号的能量， 以改善信号传输与接收的可靠性。 为了在接收端得到几乎相互独立的不同路径，可以通过空域、 频域、 时域的不同角度、 不同方法与措施来实现。 时间分集就是对于一个随机衰落的信号而言， 当取样时间间隔足够大时， 两个取样点间衰落是不相关的， 当发射端将待发信号每隔一定的时间间隔重复发送时， 接收端就可以得到多条独立的分集支路， 从而进行时间分集接收， 这样就可以减少接收天线的数目。在分集接收中， 对于接收端从不同的分集之路所获得

27、的信号，可以用不同形式的合并技术来获得分集增益， 如选择分集就是顺序检测所有分集的信号， 并且选择信噪比（可以根据香农定律计算得新技术）最高的那一路作为合并器的输出。选择式合并分集的接收端是 n个分集之路的接收机，利用选择 rf逻辑选择中最大信噪比 snrf大于某个门限值的支路作为输出， 显然，选择式合并的平均输出信噪比为：snr=snri 。n i = 1 移1 i， n 为分集数目， k= n移1 i又称为合并增益。在通信系统联合优化时还应该采用延长非连续接收时间间隔的方法，也就是当覆盖区中没有活动用户时，通信网络系统可以转入到空闲状态， 只保持一部分必要的通信。采用延长非连续接收时间间隔

28、的方法同样也可以减少传输的参考信号（rs） ，同时可以通过功率调整节省不需要传输参考信号的能量，但是在这种情形下，用户只能需要通过测量同步控制信道来补偿由于参考信号减少导致的同步问题，这种优化方案通常只适用于没有活动用户的情况。还有通信系统优化时在活动状态下的基站天线端口数目是固定的，用户的设备可通过读取控制信息来监测天线的数目信息。物理广播信道的循环冗余码校验比特是根据基站发射天线的配置来进行加密编码的，天线数目更改通知的一种合适方法是采用系统信息 （si） 更改通知机制， 基地天线的数目可以在下一个通信系统信息更改周期开始时进行更改， 并且出于节能角度的考虑， 天线的数目需要经常改变。如果通信系统接收站在没有通知用户的情况下更改了天线的数目， 用户将无法准确接收必要的控制信息和数据信息，会影响用户的正常通信。香农完美地给出了信道容量，所以有人说他“开创并结束”了信息论。但是香农还是留下了一些困难的问题。比如，当信道随时间变化时，应用香农理论就远不是直截了当的。最重要的，是为了达到香农极限，我们处理的符号序列必须无限长。而实际上，信道编码的长度受着传送延迟和系统复杂性的限制。在这样的限制下，如何达到最高的传送速度？六十年后的今天，人们还在为此奋斗。结论：首先,在理论研究