噪声下的通信香农翻译

word文档可自由复制编辑word文档可自由复制编辑word文档可自由复制编辑Ⅰ前言一般的通信系统示意图如图1，它主要有5个要素组成。信源：信息源从发送到接收器的信号空间中选择某个消息。这个消息可以是各种形式，比如传输电报或电传的字母或者数字，传输电话或广播的连续函数。发射机：发射机就是把消息变换成更适合通过信道传输到接受机的形式。在电话系统，它把声强转化为成比例的电流，在电报系统中，它把信息编码成点、破折号、空格。举个更复杂的例子，在PCM中，语音信号先经过抽样、压缩、量化和编码，最好通过合理的插值法进行重建信号。信道：信道是通过适当地传输介质把信号从发射机传送到接收机。它可能是一对电线、同轴电缆、无线信道。在传输过程或者接收端因噪声或者失真而发生扰动。噪声与失真是不同的。失真是受到固定的操作的影响，而噪声却是随机的和不可预测的。失真原则上可以通过你逆操作得到纠正，然而噪声引起的干扰却是不可完全消除的，因为信号在传输过程中会经历不同的噪声干扰。接收机：接收机的作用是试图通过逆变换重建信号，它通常是发射机操作的逆变换，有时为了减弱噪声的干扰可能与最佳设计不同。信宿：信宿是对信息感兴趣的人或物。信源信源发射机接收机信宿噪声信息信号接收信号图1通信系统奈奎斯特和哈特利的研究表明，以对数度量信息将是很方便的。如果一个装置有n个位置，按照上述定义，它存储的信息量是logn。对数的底b可以任意b选择，不同的底决定不同的信息量单位。不同单位之间可通过换算式计算logaxlogab*logbx。如果我们能够可靠地区分T时间内在信道中的M个不同的信号函数，我们就说此信道可以在T时间内传输log的信息。传输速度是logM/T。更精确定2义信道容量为：logM Clim2 TT （1）Ⅱ抽样定理我们假定：信道的带宽是W，可以通过T时间信号。如果没有严格的限制，这个信道可以通过任何带宽为W，时间为T的信号。尽管上述假设是不可能的，但是在频域内信号带宽限制在W，在时域内信号可以稍微的大于T。定理一：一个频带受限于[0,W]的基带模拟信号f(t)，可以唯一地被采样周1期T不大于的采样序列所决定。2W定理一是大家所熟知的通信艺术。直观证明是如果f的频率不大于W，它1不能在少于的时间内达到一个新值。数学证明显示这不仅是大约也是精确2W地。证明如下。设F()是f(t)的频谱，然后1+ f(t) F()eitd2- 1+2W F()eitd2-2Wn假定F的频谱是从0到W。我们令t 是任意的正数或者负数，我们得到2Wn1+indf()F()e2W 2W 2- （5）式子的左边是F的抽样点，式（）右边的积分实质上是F在[]傅里叶级数的展n开的第n个系数。这意味着抽样点f()的值决定级数展开的傅里叶系数，因为2W在频率大于W为0，如果它的傅立叶系数已知，频率小于W的F也可以被确定。已知信号的频谱F()就可以完全确定原始信号f(t)。因此，原始抽样可以完全确定f(t)。这个函数可以通过下述脉冲重建：sin2Wt 2Wt （6）这个函数在t=0处是，在所有其他的采样点t处是0。进一步，它的频谱在W内是常数，在W之外为0。在数学上，这个过程可以被描述如下：令x是第n个采样点，n sin(2Wtn)f(t)x(2Wtn) nn （7）如果频谱从大于0开始，我们可以通过线性平移，类似于单边带调制。1在采样间隔为，时间为T的情况下，我们一共可以得到2TW个点。在2TW点2W之外的为0。更准确地说，我们可以定义一个函数被限制为在时间间隔T，当且仅当此区间外的所有样品都为零。我们说任何一个频率受限于W，时间受限于T函数可以有2TW个点确定。Ⅲ信号的几何表示一个矢量组x,x,x，无论其信源是何种形式，总是可以认为是一个三维空123间中点的坐标。同样，一个信号的2TW个均匀采样可以认为是空间的一个点。每个特定符号对应于该空间中的特定点。因此，空间的点总可以对应的信号。通常，2TW纬是很高的。比如，在传输一个小时的5M带宽的电视信号中，每个信号是为251066023.61010空间的一个点。很显然，这么大的矢量空间无法实现。然而我们可以研究n维空间的性质。从某种程度上，我们可以先研究二维和三维的性质进而直接扩展到更高维数。信号的几何表示优点是我们可以矢量分析方法处理通信问题。实际上，我们是把一个简单的环境下的复杂对象转化为复杂环境下的简单的对象。我们假设有2TW个互相正交的坐标轴，那么在这个空间的距离就有简单的解释。从原点到一个点的距离与二维和三维的情况相似，即为 d2TWx2 n n1 （8）这里的x是第n个采样点。现在，又因为n f(t)xsin(2(2WtWtn)n) nn （9）我们可以得到 + 12TW f(t)2dt x2 2W n - n1 （10）0sin（2Wtm)sin(2Wtn)1-(2Wtm)(nWtn) 2Wmn（11）mn上述公式运用这个事实：因此，距离的平方是对应信号能量的2W倍,即d22WE4（12）2WTP这里P是时间T内平均能量。类似地，两个点之间的距离为2WT倍的两个对应的信号之间的均方根偏差。我们就考虑平均能量小于P的信号，它们所对应的点在半径内部,半径r2WTP。（13）如果在传输过程中有噪声，这意味信号的坐标点相对原来位置有与噪声均方根成比例的偏移。因此噪声会使信号空间的每个点随机发生小区域的偏移。固定的失真对应信号空间的变形，从而使每个点发生移动，但是移动是固定的。 与普通的三维空间一样，我们可以在2TW维信号空间设定多个不同坐标系。不同的坐标系描述相同的信号会有不同方式。上述给定的函数的各种方法只是特殊的情况而已。在通信中一个特别重要的方法是用频率来表示。函数f(t)可被展开为频率间隔1/T为正弦和余弦的和，系数可以有不同的坐标表示。很显然，这些坐标系是相互垂直的，本质上可以通过原来的坐标变换得到。信号通过一个理想滤波器意味着投影相应的点到特定的空间。事实上，在频域坐标系统，在通带内被保留在阻带内被滤除，从而投影是在线条，平面或超平面。任何形式的滤波都意味着在矢量空间的线性变换将会产生于旧的矢量空间相关的新的线性空间。Ⅳ消息的几何表示我们先前把可能的信号空间与2TW维矢量空间进行相关。同样，我们也可以把信息集合与矢量空间进行相关。假定我们考虑一个语音系统，所有可能的声音信息在频域和时域分别受限于W,T。1rr图2和信号一样，这些消息可以与2WT维空间的点一一对应。这里有几点需要1说明。首先，如果只是考虑信息目的地，不同的信号空间中的点可以代表同样的信息。例如，语音信息，耳朵对相位失真不灵敏。如果信息只是相位不同，它们听起来一样。目的地等价的点可以组合在一起作为一个点。确定等价类比确定任何点所需的符号将会大大减少。如图二，在二维空间，点的集合是平面区域。如果在圆环上的点为等价类，它就会二维空间降低为一维空间，及一个点可以只需要圆的半径确定。如果耳朵对语言信息的相位完全的不灵敏，那么我们将可以把空间维数降低到一半。频率给定的正弦分量和余弦分量的幅度a,b，不需要单n n独确定，只需确定即可。也就是说，我们只需确定各次谐波的振幅a2b2。 n n耳朵对频率的区分会随着频率的增大而降低，所以我们可以进一步降低维数。声码器就是利用了语音信号高等价的性质，它首先去掉高频和相位信息，然后把等价的点组合在一起，特别是在高频处更是如此。其他的通信可能没有任何上述的等价类，信宿对2WT维空间的所有的消息1都是灵敏的，电视信息的传输就是这种形式。第二点要注意的是信源可能会对实际信息有一定的限制。2WT维空间可以1确定任何函数f(t)（频域W，时域T）。而我们想要传输的信息可能就是函数的 1 1子集。例如，声音必须有人的发声系统产生。如果我们舍弃其他的声音信息，有效的维数会大大降低。我们可以通过概率计算实现类似的效果。某些信息有可能发生却与其他的信息相关性很大，在某种程度上，我们能够忽略它。在电视图像中，连续的帧可能几乎相同。如果通过数学计算或分析，当T很大时，这种方法1可以降低消息空间的维数。现在我们不深入研究这两个的影响，我们假设考虑它们的影响，消息空间的维数为D，D小于或等于2WT。尽管在许多情况下，这些影响是都是存在的，11它的利用率涉及太多复杂的设备实现方法。如果想考虑任何系统，我们需要研究2WT维信号空间。11Ⅴ发射机和接收机的几何表示我们可以从几何的角度去考察发射机的功能。输入到发射机的信息是消息空间的一个点。它的输出时是一个信号空间的信号。无论何种形式的编码或者调制，发射机都必须建立两个空间的点的对应关系。每一个消息空间的点必须对应一个信号空间的点，不能够两个信息对应一个信号。如果两个信息对应一个信号，在接收端就无法区别是发送的哪个信息了。这种对应关系成为映射。发射机就是把消息空间映射到信号空间。同样，接收机会映射信号空间到消息空间，它可以把一个点或以上的点映射到同样的点。这意味着几个不同的信号可以解码或者解调为同样的信息。例如，AM调制，载波的相位在调制时消失，仅载波不同的信号会被调制为同样的信息。在FM调制中，调频信号波形即便大于限幅器的限制值也不会影响恢复的信息。在PCM中，接收脉冲的适当失真不会影响接收器的接收。现在我们已经建立了通信系统和几何的关系，这种对应关系如下表。Ⅵ映射注意事项我们可以得到从几何角度考虑调制方法的一般性的本质的结论。从数学角度来看，最简单的映射是两个空间有相同的维数。单边带调幅本质上就是这种简单的形式，它在信号空间坐标与消息空间成比例。在双边带幅度调制中，信号空间坐标是消息空间的二倍，但是它的两个坐标值是一样的。如果消息空间和信号空间分别是一维和二维，它就是把直线映射到平面，即在直线的坐标（x）对应平面的坐标为（x,x）。因此，没有必要使用过多的维度。所有的消息都在落在2TW11维空间的之集。下一个坐标轴1123在频率调制中，映射会涉及更多的维。信号空间比信息空间有更多的维数。图三显示这种映射类型，它把直线上的点映射为三维空间的点这。条线是从距坐标原点单位长度的第一个坐标轴开始，沿着以该长度为半径圆到第二个坐标轴，然后再到第三个坐标轴。可以看出，该线会随着坐标轴的数目延长。噪声干扰图4线的延伸与通过增加带宽提高信噪比有关因为。噪声只是对信号点产生小范围的不确定的偏移，所以我们可以提高信号映射的规模去减弱噪声对需要恢复信息的影响。我们可以通过在更高维线的来回移动获得较大的长度，图四显示我们把直线映射到平面的情景。很显然，假定噪声小于某个特定的值，噪声的影响相对于线长是很小的。如果噪声位于门限值，对于接收器就无法判断那一部分是包含信息。这是一个普遍的现象，它表明在有噪声情况下，任何系统试图增加带宽会受到门限效应的影响。如果噪声较小，失真较小，如果噪声超过某个门限，消息会急剧的失真。这种现象在PCM系统中很常见。另一方面，假设我们希望压缩频带或时间或两者以降低维度，即我们希望在带宽为W信道中传输信T消息。如果考虑信源和信宿的性质，消息空间的有效 1 1维度D可以小于2TW。因此，我们可以2TW维的信号空间实现好的映射。为了 11 11保存必要的信息，我们需要在消息空间分割出有效地信息并只传输它们。声码器在减小带宽传输语音就是这种形式。现在的问题是我们能否实现进一步的简化。从几何分析，我们能否将一个高维的空间映射到较低维的空间？答案是在一定的条件下，这是可能的。例如，平面的点由两个坐标值，可以写成如下形式：我们可以从x，y交替的选择一位组成一个数字（符号），即x.aaa...y.b1b2b3...已知x,y可以确定z，即z.a1b1a2b2a3b3...。z亦可以确定123x,y。这是平面的点到直线的点的一一映射。这种映射是有数学家康托，它可以很简单实现降维。n维空间可以一一映射为一维空间。原则上，在没有噪声的情况下，频率—时间可据我们希望进行简化，并且可以准确的恢复原来信息。在不太精确地意义上，假设我们不过于关注起始点而只是对附近的点感兴趣，这种类型的映射正如图4把平面映射到直线。这和我们在先前增加维度采用相反的形式。在这样的映射，在减小的过程中，如果扰乱消息，那将会出现门限效应。随着我们小范围不断的改变消息，对应的信号也会不断地作小范围改变，直到越过某个特定的值。在该值时，信号会发生大的改变。在拓扑学中，我们不可能连续的把高维空间映射到低维空间。在有些情况上，这是正确的，而在另外的情况下，这是错误的。我们不可能把消息空间以一一对应和连续的方式映射到信号空间（数学上著名的拓扑映射），除非它们有相同的维数。因此，如果我们限制发射机和接收机为连续的一对一的映射，它有个TW下界。这个下界有WT和D决定。然而，我们没有必要限制反11射断和接收端为拓扑映射。事实上，PCM和其他类似的调制系统是不连续的，并且很接近映射。我们想找到没有对发射机和接收机没有任何限制的界限。这些界限将会在下几章节介绍，它主要取决于信道中的噪声的大小和性质、传输能量以及带宽和时间的乘积。很显然，任何系统，由于所涉及映射的特殊性质，无论是压缩或扩展TW以及利用额外的空间肯定会是高次非线性和复杂。Ⅶ在高斯白噪声下的信道容量在改变TW时，我们不难建立一定的定量关系。假定噪声是限频为W的高斯白噪声，它与传输的信号叠加得到输出信号。高斯白噪声具有如下性质：采样点独立。幅值分布为高斯分布，标准差为N，这里的N为平均噪声功率。在因高斯白噪声产生的失真接收端，有多少的不同的信号可以被区分出来？严格的证明如下：如果信号的功率P，干扰后的信号功率PN。可以区分幅度的数量为：KPNN，K是一个很小的常数，它取决于我们怎么定PNN理”。如果我们需要很好的分辨率，K会小，如果忽略偶然的错误，K可以变大。因为在T时间内有2WT独立的幅值，能够合理区分的信号的数量为：M[KPNNPNN在这个时间内，发送比特的数据，信息的传输速率为：logM logPN 2W K2 T 2 N除了一般近似的特点，上述观点的问题在于隐形假设两个能够被区分信号的采样点之间的差值大于噪声值。这个观点的假设对于PCM或者类似于PCM的信号，二进制编码是最好的方法。确切的说，如果两个信号仅仅有少量的差异并且假定可以保持一段时间，它们就可以可靠地区分。接收信号的各个采样点可以给出少量的发送信号的统计信息；结合上述信息，这些统计指标，在合理定义信号的合理性，这个概率可以是式()8db。现在我们利用几何表示确定噪声信道的实际容量。定理二：令P平均传输功率，假定限带于W高斯白噪声的功率为N。通过有效和复杂的编码，该信道的信道容量为：PNCWlog2N信息的差错率可以任意小。如果信源的信息速率大于信道容量，则不可能存在任何一种编码使传输信息的差错率任意小。这表明速率WlogPN严格限定了信道传输信息的能力。这是一个相当N让人吃惊的结果，因为如果希望降低差错率就需要降低传输速率，随着差错率降为0，信息传输速率必然到达0。准确地说，在信息传输速率为C时，我们对发射机和接收机采用更多的编码长度和更长延时。发射机将使用长的二进制数字序列和用特定的长延时的信号函数去表示整个序列。采用延时的原因是发射机在确定信号前需要等到足够的序列。同样，在接收端等到完整信号函数才可以解码。现在我们证明定理二。在几何表示时，每个信号点都会因噪声干扰而落在其周围的小范围内。高斯白噪声的采样点是高斯分布的随机变量并且统计独立，因此扰动的概率为：2WT 1 x2expn 22WTN 2TWNn1 1 12TW expx2 (22WTN)TW 2TW nn12TW因为它只是取决于： xn2n1扰动考虑仅仅取决于到原点的距离而与方向无关。换句话说，不确定的区域本质上是球形。这个限制区域的形状在2WT维数比较小时不太明显，随着维数的增加，这个限制区域形状就会越来越明显。这是因为被干扰信号距离的平方在T时间内等于2WT倍的平均噪声功率。随着T的增加，噪声必定到达N。因此，对于大的时间T，这个扰动值肯定会到达以原点为中心，半径r2WTN的球体表面附近位置。更精确的说，T是足够大，能够保证扰动位于半径r2WT(N)的球体（为任意小）。当2WT非常大时，噪声区域大致可以认为规则的台球。同理，平均功率为PN的接收信号大部分位于半径为r2WT(PN)的球体表面。发送信号有多少可以区分出来？肯定不会超过除去半径r2WT(PN)球体积，因为与噪声球体重叠的会导致接收点判断信息模糊。半径为 r的n维球体的体积为：n/2 Vn rn(1)2因此，可以被区分信号数量M的上界是：PN[]2TW最后，信道容量的边界为： logM PN C2 Wlog T 2N为了证明定理二的第一部分，我们需要证明：如果信源的信息速率为WlogPN，则存在一种编码方式可以保证通过该信道传输信息的差错率可2N以任意小。发射机输出一个m比特的序列，一共有2m个序列，每一个对应于时间为T的特定的信号函数。当m比特产生完后，发射机开始发送相应的信号。接收机接收到扰动的信号。接收机把这个信号和M=2m个信号相比较选出和被干扰信号最相近的信号作为实际的发送信号。接收端然后构建相应的二进制序列作为其输出。整个过程将有2T的延迟。为了保证差错率小于,M个信号函数必须合理的区分。实际上，我们选择它们的方式如下：被干扰的信号接近实际信号概率大于1。令人吃惊的是我们可以从半径r2WTP球体内随机选择M个信号实现大多数可能的信号。原则上，这与对功率为P的限带高斯白噪声进行M个采样为信号函数一样。选择一个特定的球体M个点对应特定编码。一般的证明结构是考虑所有的选择点并证明其平均错误率小于。这是说明存在某种特定的选择可以使平均错率小于，当然其他的选择平均差错率会大于。0A0AB1234PN（图5中，1为2WTP，2为2WT(PN)，3为2TW ，4为2WTN）PN该几何形状如图五。高维球平面典型的传输信号是A，接收信号是B，中心为0。传输的信号很接近半径为r2WTP球表面，因为几乎所有超球的体积都集中在表面薄壳。接收的信号也是很接近半径为r2WT(PN)球表面。高维球的透镜状体L是可能引起可能信号的区域，因为传输信号和接收信号的距离非常接近。L比半径h小。我们能够通过计算三角形OAB确定，如下两种形式11112()22222hWTPNWTPWTNPNhTWPN任何选定的信号点的概率位于L是小于，因为我们在设计编码系统时是在半径为r的球体随机选择。我们一共有M个信号,为了正确接收,除A点外,其余的M-1个点都不应该落在透镜体内,而M-1点都在透镜外的概率,即正确接收的概率为:P[1(PN)TW](M1)因此,如果要求差错率小于某一个任意小的正数e，则准确地接收概率应大于1-e，即P[1(PN)TW](M