信息论基础演示文稿

信息论基础演示文稿当前第1页\共有84页\编于星期二\2点优选信息论基础当前第2页\共有84页\编于星期二\2点§3-2信道的分类与描述

（一）信道分类

信道可以从不同角度加以分类，但归纳起来可以分为： 从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；等方面加以分类：

当前第3页\共有84页\编于星期二\2点（一）信道分类（续）

当前第4页\共有84页\编于星期二\2点（一）信道分类（续）

当前第5页\共有84页\编于星期二\2点（一）信道分类（续）

当前第6页\共有84页\编于星期二\2点信道划分是人为的，比如：

（一）信道分类（续）

其中：c1为连续信道，调制信道；

c2为离散信道，编码信道；

c3为半离散、半连续信道；

c4为半连续、半离散信道。

当前第7页\共有84页\编于星期二\2点（二）信道描述

信道可以引用三组变量来描述：信道输入概率空间：;信道输出概率空间：信道概率转移矩阵：当前第8页\共有84页\编于星期二\2点（二）信道描述（续）当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC：

，且：

，当前第9页\共有84页\编于星期二\2点§3-3无干扰离散信道（略）§3-4有干扰时单个消息（符号）信道及其容量这里，仍类似于信源，从最基本、最简单的单个消息（符号）开始，再逐步将其推广至消息序列信道以及多用户信道。

（一）离散单消息信道与信道容量

下面，我们首先将互信息表达成概率的函数：

当前第10页\共有84页\编于星期二\2点（一）离散单消息信道与信道容量（续）两种表达式中，这里选用。一般当信道给定以后，（已知）当前第11页\共有84页\编于星期二\2点（一）离散单消息信道与信道容量（续）当前第12页\共有84页\编于星期二\2点（二）强对称信道:

其中：

当前第13页\共有84页\编于星期二\2点它具备三个特征：1>

矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一列的重排列。2>

错误分布是均匀的，为3>

信道输入与输出消息（符号）数相等，即m=n。显然，对称性基本条件是1>，而2>、3>是加强条件。

（二）强对称信道（续）:

下面，我们放松对信道的约束，仅满足条件1>，就构成一般性对称信道。例：

当前第14页\共有84页\编于星期二\2点（二）强对称信道（续）:

当前第15页\共有84页\编于星期二\2点（二）强对称信道（续）:

定理3-4-1：对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。

即证：

由信道对称性：第i行（每一行）都是第一行重排列，即与行序号i无关，而（给定）。由信道容量定义：

当前第16页\共有84页\编于星期二\2点（二）强对称信道（续）:

（三）准对称信道再进一步放松条件若P(/)不满足对称条件，但是，，其中r=1,2……s。且所有Pr满足对称性条件，则称P为准对称信道。例：

当前第17页\共有84页\编于星期二\2点显然子阵P1,P2满足可排列性（行，列）对准对称信道有下列定理.（三）准对称信道（续）

定理3-4-2：对于单消息、离散、准对称信道，当且仅当信道输入为等概率分布时，信道达容量值:且

证：较繁，自己看书

具有可逆矩阵信道及其容量,其特点是：P一定为方阵，存在逆阵

当前第18页\共有84页\编于星期二\2点离散单消息（或无记忆）信道，容量C的计算机迭代算法：基本思路：1>

求C即求互信息极值，可以采用拉氏乘子求条件极值方法求解；2>

实现迭代关键在于寻求两个互为因果关系并决定互信息的自变量，即从（三）准对称信道（续）

互为因果，

当前第19页\共有84页\编于星期二\2点求解步骤：

当前第20页\共有84页\编于星期二\2点将①②改写为迭代形式：

当前第21页\共有84页\编于星期二\2点迭代步骤示意图如下:当(或足够大时)，计算

可进一步证明:1>

即收敛于信道容量值,当前第22页\共有84页\编于星期二\2点2>收敛速度取决于:当前第23页\共有84页\编于星期二\2点§3-5离散消息序列信道及其容量

当前第24页\共有84页\编于星期二\2点由消息序列互信息性质，对离散无记忆信道，有

1．离散无记忆信道则

当且仅当信源(信道入)无记忆时，“等号”成立。

当前第25页\共有84页\编于星期二\2点2．离散，平稳，有记忆信道:

当前第26页\共有84页\编于星期二\2点2．离散，平稳，有记忆信道（续）:

当前第27页\共有84页\编于星期二\2点2．离散，平稳，有记忆信道（续）:

当前第28页\共有84页\编于星期二\2点§3-6连续信道及其容量

（一）连续单消息信道及其容量

仅讨论两类情况

高斯信道

线性迭加干扰信道

1>高斯信道当前第29页\共有84页\编于星期二\2点其中：

I(X;Y)=HC(Y)-HC(Y/X)

1>高斯信道（续）当前第30页\共有84页\编于星期二\2点2>一般迭加性干扰信道

天电、工业干扰、其它脉冲干扰属迭加性干扰，它们是非高斯型分布。有以下定理：定理3-6-1：对迭加性连续信道，收到平均功率（方差）为σ2的非高斯干扰影响时，当信道输出平均功率P一定时，其容量上下界为：

证：上界显见，下面给出下界证明。主要思路利用正态性与Jensen不等式。当信道输入X,输出Y以及噪声N为正态时：x~N(0,S),y~N(0,P),n~N(0,σ2)并设，当信道输入X为正态时，互信息可表示为：IN(X;Y)。则（一）连续单消息信道及其容量（续）当前第31页\共有84页\编于星期二\2点2>一般迭加性干扰信道（续）当前第32页\共有84页\编于星期二\2点由信道容量定义，有结论：高斯信道容量是一切平均功率受限的迭加性非高斯信道容量的下限值。其它分布的容量都比高斯容量大，因此高斯容量是一切分布容量值最保守的估计值。2>一般迭加性干扰信道（续）当前第33页\共有84页\编于星期二\2点（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。

对限频(F)、限时(T)的连续过程信源可展成下列取样函数序列：

现将这2FT个样值序列通过一个功率受限(P)的白色高斯信道并求其容量值C。定理3-6-2：满足限频(F)、限时(T)的广义平稳随机过程信源X(t,w)，当它通过一个功率受限(P)的白色高斯信道，其容量为：这就是著名的Shannon公式。

当前第34页\共有84页\编于星期二\2点则单位时间T=1时的容量为：

（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）

证：前面已求得单个连续消息（第k个）通过高斯信道以后的容量值为：

同时，在消息序列的互信息中已证明当信源、信道满足无记忆时，下列结论成立：

当前第35页\共有84页\编于星期二\2点由信道容量定义，有

（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）

当信源、信道均满足广义平稳、限频、限时并具有白色谱特征，则时域相关函数样点值是不相关的。

当前第36页\共有84页\编于星期二\2点（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）

对于高斯分布，不相关与统计独立是等效的，即满足：信源无记忆：信道无记忆：当前第37页\共有84页\编于星期二\2点下面，讨论Shannon公式的物理意义与用途：

（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）

它给出了决定信道容量C的是三个信号物理参量：F、T、之间的辩证关系。

当前第38页\共有84页\编于星期二\2点三者的乘积是一个“可塑”性体积（三维）。三者间可以互换。下面举例说明：1>用频带换取信噪比：扩频通信原理。雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。数字通信中，伪码(PN)直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。下面仅以伪随机码（PN）直扩系统为例：采用m序列：m=2n-1.

为了简化，取n=3,m=23-1=7.（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）

当前第39页\共有84页\编于星期二\2点（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）

2>用信噪比换取频带卫星、数字微波中常采用的有：多电平调制、多相调制、高维星座调制等等。(M-QAM)它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。当前第40页\共有84页\编于星期二\2点3>用时间换取信噪比弱信号累积接收基于这一原理。（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）

t=T0

为分界线。信号功率S有规律随时间线性增长，噪声功率σ2无规律，随时间呈均方根增长。当前第41页\共有84页\编于星期二\2点Shannon公式另一种形式：

（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）

其中，N0为噪声密度，即单位带宽的噪声强度，σ2=N0F;E

表示单位符号信号的能量，E=ST=S/F；E/N0

称为归一化信噪比.也称为能量信噪比.当E/N0<<1时，当前第42页\共有84页\编于星期二\2点（三）有公共约束的连续消息序列信道

上面研究了平稳无记忆消息序列信道，这里进一步研究非平稳无记忆消息序列信道。但仍受到一定的公共约束条件。对这类信道，主要问题是如何分配功率Sk,才能使其达到真正的容量值C。这仍是一个求条件极值的问题。这时:当前第43页\共有84页\编于星期二\2点（三）有公共约束的连续消息序列信道（续）

引用拉氏乘子法，有

结论：只有当输出序列中各分量相等时（为常量），信道才达到C值。这就是著名的水库（注水）定理。即择优选取原理，而不是扶贫。噪声小分配信号功率大，噪声大分配信号功率小。当前第44页\共有84页\编于星期二\2点（三）有公共约束的连续消息序列信道（续）

对于满足迭加性、连续高斯非白噪声限频信道以及频率特性不理想、或者频率选择性的高斯信道，也可以类似的来用上述方法求解其容量值。这些在接入网的不对称数字用户线ADSL以及宽带无线数据的频率选择性信道中将会遇到这类情况。令N(f)为高斯噪声功率谱。总噪声功率为：且受限于：其中G(f)为信号功率谱，F为带宽，由于频率特性非白，则可将F分割为很多子频段△f,在△f中可近似认为其频谱是白色的。则可引用前面的Shannon公式：当前第45页\共有84页\编于星期二\2点引用拉氏乘子法，有（三）有公共约束的连续消息序列信道（续）

则

且

（受限）

当前第46页\共有84页\编于星期二\2点其中

为了保证上式中的G(f)>0，还必须将一切G(f)<0的频段弃之不用。它一般只能采用数值解法，求得可用频段F1为：（三）有公共约束的连续消息序列信道（续）

m(F1)是F1的勒贝格(L)测度，这是由于F1可能不是一个连续区间。最后，求得当前第47页\共有84页\编于星期二\2点§3-7容量代价函数C(F)

实际问题中信道使用是有代价的。比如占用资源、占用资金等。下面从最简单的单个离散消息信道来讨论它。设信道输入集合：信道输出集合：信道转移概率：使用信道的代价函数：总代价为F,且则有：

为了运算方便，可去掉不等号，则有下列容量代价函数：

当前第48页\共有84页\编于星期二\2点类似地，对单个连续消息信道亦有：

信道冗余度Rc:§3-7容量代价函数C(F)（续）类似于信源效率有：称ηc为信道效率。

称Rc为信道相对冗余度。显然，对于无干扰信道：I(X;Y)=H(X),maxI(X;Y)=maxH(X)=logn同理：

则

当前第49页\共有84页\编于星期二\2点§3-8多用户信道

前面讨论的都是单用户信道，它是建立在点对点通信的基础上，然而对于现代的移动通信、卫星通信、通信网、信息网实际上都是多点对多点的多用户信道。对于单用户信道实际上可分为两类：单用户信道后者可表为：

称将多个用户信源合并为一个单用户信道的技术称为信号复用技术。又称为信号设计技术。

当前第50页\共有84页\编于星期二\2点目前的信号复用基本上都属于线性正交复用，它可划分为三类：

§3-8多用户信道（续）当前第51页\共有84页\编于星期二\2点若考虑实际因素，则有：

显然，信号的正交性主要体现在信号参量（时间Ti频带Fi）的正交性上，可见信号设计就是要寻找一组正交或准正交信号参量λi,i=1,2…n。在发端，设计：§3-8多用户信道（续）称x0为保护区间,为子保护区间。当前第52页\共有84页\编于星期二\2点在收端，可设计：

§3-8多用户信道（续）当λi=Fi，称它为频分，它就是载波通信的基本原理。当λi=Ti，称它为时分，它就是时分PCM多路通信的基本原理。当λi=Ci，称它为码分，它就是码分多路通信的基本原理。而F0i为保护频带，

T0i为保护时隙，

C0i为禁用码组。若将这一在基带或中频上实现的正交复用技术推广至射频，就形成了多用户信道的多址正交技术。当前第53页\共有84页\编于星期二\2点下面研究多用户信道物理背景：

§3-8多用户信道（续）1>多址信道：

特点：多输入、单输出信道，称它为多址信道;当前第54页\共有84页\编于星期二\2点特点：单个输入，多个输出信道，称为广播信道。

2>广播信道：多用户信道物理背景：（续）当前第55页\共有84页\编于星期二\2点可见第1〉2〉为3〉的特例：（1）

当i=j=1,退化为单用户信道；（2）

当i=1…n,j=1,

为多址信道；（3）

当i=1，j=1…n，为广播信道（4）i=1…n,j=1…n,为一般随机接入信道。多用户信道物理背景：（续）3>随机接入信道当前第56页\共有84页\编于星期二\2点二址信道分析如下：（离散）

多址信道：

设

则R1、R2与R1+R2应满足当前第57页\共有84页\编于星期二\2点多址信道编码定理将证明：

多址信道（续）：

当前第58页\共有84页\编于星期二\2点多址信道（续）：

若三类分布不相等

当前第59页\共有84页\编于星期二\2点多用户：容量为一截角边界线：

信道容量概念的推广：单用户：容量为一个实数值：容量区域：单用户：为一区间：多用户：为一区域：截角多边形面积下面将二址推广到N址接入信道：若给定信道转移概率为：则可分别规定各信源信息率的限制为：当前第60页\共有84页\编于星期二\2点类似可证明：当各信源相互独立时：这一结果表明，多址信道的容量区域是一个N维空间的体积，是满足所有限制条件下的截角多面体凸包。

当前第61页\共有84页\编于星期二\2点例1：N=3，三维情况：

当前第62页\共有84页\编于星期二\2点例2：下面具体分析时分（频分）和码分在二址情况下的容量：设在二址信道中传送K个符号串，对一维的时（频）分可设：当前第63页\共有84页\编于星期二\2点显然它是小于二址信道的容量界限。即三角形面积小于截角四边形面积。至于码分，它实质上是属于二维划分。其结果应优于一维的时（频）分。

当例2（续）：当前第64页\共有84页\编于星期二\2点例3：若信道中无干扰，且条件概率如下：

Y=0Y=1Y=200100010011000111010当前第65页\共有84页\编于星期二\2点例3（续）：当已知时，可求得

则由上述条件概率表，有：由条件概率表,当前第66页\共有84页\编于星期二\2点将上式分别对p与p’取偏导并至之为0，可解得：则

例3（续）：其中

可见，码分可以突破时分、频分的容量界限。

当前第67页\共有84页\编于星期二\2点例4：对连续二址信道当前第68页\共有84页\编于星期二\2点例4（续）：坐标系中的容量区域为下：

利用C1、C2、C12求得同理当前第69页\共有84页\编于星期二\2点这里，再来分析连续信源时（频）分方式：在总时隙T内：

例4（续）：则：

当前第70页\共有84页\编于星期二\2点其中，

例4（续）：当前第71页\共有84页\编于星期二\2点广播信道：单输入多输出信道。

仍以最简单二输出为例：其中为两独立信源，

且：

当前第72页\共有84页\编于星期二\2点这里以连续变量为例：有

广播信道：单输入多输出信道（续）

当前第73页\共有84页\编于星期二\2点其中：

广播信道：单输入多输出信道（续）

这样可求得关于R1、R2与R1+R2界限区域为

则

即包含所有这些区域的外凸包。一般求解这个外凸包很困难，至今没有找到确切求解方法。能够求解的仅是一些特例。比如降阶的退化广播信道，这时信道转移概率满足：当前第74页\共有84页\编于星期二\2点广播信道：单输入多输出信道（续）

由概率论：

与上述退化条件对比，得

它要求y2与x无关，即X、Y1、Y2组成马氏链。

即若有存在，则称该信道为降价或退化型广播信道。有很多实际信道可满足上述退化条件：比如下列马氏链信道：当前第75页\共有84页\编于星期二\2点例：对于正态信道：

广播信道：单输入多输出信道（续）

当前第76页\共有84页\编于星期二\2点广播信道：单输入多输出信道（续）

且设，可得一个y1y2二元函数

结合编码器为一个普通加法：

X=U1+U2

Y1=X+