通信原理 课件全套 第1-13章 绪论、确定和随机信号分析 -复用与多址技术

通信原理第一章：绪论你对未来通信系统有什么愿景？VR体验 全息通信万物互联星际通信参考教材

电子版讲义

《信息论与通信原理导论》，唐岚

编著

QQ:课程交流

教学立方：发布课件，课后作业，上交作业1.1

现代通信技术及发展

现代通信技术是指用现代科学手段，如电子，光技术实现信息传递的一门技术科学。

通信技术的发展1838：摩尔斯发明有线电报1876：贝尔发明有线电话1898：马可尼发明无线电报1906：真空电子管出现并应用于通信1918：无线电广播1938：电视广播1940：雷达与微波通信系统1948：香农提出信息概念，奠定信息论基础电磁波，光是信息传输的载体通信的目的1.1

现代通信技术及发展

20世纪70年代以来，大规模集成电路的发展，计算机技术与通信技术的结合，推动了卫星通信，移动通信和光纤通信的发展。

20世纪80年代到90年代，通信网络向程控化，数字化，智能化发展，宽带接入网成为研究热点。

21世纪，物联网，移动互联，无处不在的连接，高速率，低时延。1.2

通信系统的构成

通信系统的组成框图

通信系统传递的信息包括语音，文字，图像，视频等。将媒体信息转化成电信号（电压，电流，电磁场等）传输媒介：电缆，光纤，自由空间与信源的作用相反保证高效，高质量的通信（尽可能准确真实地还原信息）H

(

)=

H

(

)

ej

(

)

Ke

j

td1.2

通信系统的构成

模拟通信系统：系统内传输的是模拟信号。

发送的信号波形在收端无失真恢复

抗噪声性能差模拟线性调制：振幅调制，双边带调制，单边带调制，残留边带调制非线性调制：窄带调频，宽带调频《高频电路》1.2

通信系统的构成

数字通信系统：系统中传输的是数字信号。

数字符号状态的正确识别。本门课的主要研究内容通信原理只关注基带信号处理信源编码：数据压缩，用尽可能少的二进制数字表示信源输出。信道编码：在二进制信息序列中以受控的方式引入一些冗余，以克服信号在信道传输中所遭受的噪声和干扰的影响。提供传输的可靠性。数字调制器：将二进制信息序列映射成信号波形。1.2

通信系统的构成100111tS(t)tS(t)100111tS(t)a.

信号波形b.

叠加噪声后的波形c.

再生后的波形模拟接收机无法滤除噪声

数字通信系统vs模拟通信系统（优点）

抗噪声性能好数字通信系统可以从噪声中恢复出原始信号1.2

通信系统的构成

数字通信系统可通过信道编码方式有效地改善通信质量

数字信号便于运用计算机技术，数字信号处理技术进行处理，存储和交换。

有利于不同种类信号的综合。

数字通信系统vs模拟通信系统（缺点）

技术较复杂

占用较宽的带宽（以语音传输为例）1.3

通信系统分类

通信方式

单工通信：只进行信息的单向传输，如广播系统或寻呼系统。

半双工通信：具备双向信道，但不能同时进行通信，如无线对讲机。

全双工通信：具备双向信道，可以同时进行通信。大多数通信系统，如蜂窝通信系统，有线电话均为全双工通信。全双工可分为TDD和FDD。1.3

通信系统分类

按网络结构可分为：

点对点：最简单的网络结构；

点对多点：广播，电视等系统；

多点通信：多组用户同时通信。根据用户的需求进行交换连接：电路交换和分组交换《数据通信》1.4

通信使用的频段

有线通信：每种传输媒介都有自己特定的频率特性，取决于媒介的材质、物理尺寸、生产工艺等。

双绞线：工作频率为0~1MHz;

同轴电缆：工作频率为1MHz~1GHz.1.4

通信使用的频段

无线通信：信号以电磁波的形式在空间传播，不同频段信号的传播特性不同。

30-300Hz

ELF

10000-1000km 特低频 海底通信音频

音频电话，低速数据通信甚低频

导航，时标低频

导航，电力通信0.3-3kHz

VF3-30kHz

VLF30-300kHzLF

10-1km0.3-3MHz

MF3-30MHz

HF30-300MHzVHF

10-1m0.3-3GHz

UHF中频

广播，业余无线电通信高频 广播，无线通信甚高频 电视，调频广播，移动通信超高频

电视，移动通信，雷达，遥测3-30GHz

SHF

极高频

微波中继通信，空间通信，雷达30-300GHz

10-1mm

FHF 特高频 卫星通信，射电天文雷达10-10GHz红外，可见光，紫外光 光纤通信，光波直视通信1.5

通信信道及特征

通信信道在发送机和接收机间提供连接，包括双绞线，光纤，自由空间等。

加性噪声

由通信系统内部组成元件引起（热噪声）

由系统外引起的噪声和干扰

信号衰减，幅度和相位失真，多径效应

有限的信道带宽：限制了信号在信道上的传输速率1.5

通信信道及特征

有线信道：

双绞线：0~1MHz，被用作电话线

同轴电缆：1MHz~1GHz，用于电视广播系统中

幅度和相位失真，加性噪声，邻近信道的串音干扰

光纤信道

信道带宽比同轴电缆高好几个数量级，1GHz~100GHz

低损耗，高带宽，可提供远距离的宽带通信业务

发送机或调制器是LED或激光，通过改变光源强度发送信息。在接收机中，光强由光电二极管检测，照射到光电二极管上的光功率和电信号的变化成正比。

光纤信道的噪声源主要来自光电二极管和电子放大器。1.5

通信信道及特征

无线电磁信道

电磁能通过天线辐射出去，为获得有效的能量辐射，天线尺寸必须大于（0.1*电磁波的波长）

地波传输：地波传播的特点是信号比较稳定，基本上不受天气的影响，但随着电波频率的升高，传输损耗迅速增大。地面的导电性能越好，电波的频率越低，地波传播的损耗越小。因此，这种方式更加适合几十kHz以下的低频传输。1.5

通信信道及特征

天波传输：

天波传播是电离层和地面对发送信号的反射形成的，电离层是由位于地球表面之上高度为50～400km的几层带电粒子所组成。在白昼，太阳给较低大气层加热，引起高度在120km以下的电离层的形成。电离层最高可反射40MHz的频率。军事中常用的短波通信的工作频段为1.6MHz

-

30MHz。短波通信可以通过在电离层和地面间的多次反射传播很远距离。天波传播的主要问题：多径效应：发送信号经由多条传播路径以不同时延到达接收机时，会引起1、符号间干扰；2、信号衰落。噪声来源：大气噪声和热噪声。1.5

通信信道及特征

直达径传播（LOS）：30MHz以上频段的甚高频（VHF)和更高频段的信号。30MHz以上频段的信号穿过电离层损耗较小，可用于卫星通信（1GHz~100GHz）。移动通信目前主要使用特高频（UHF，300MHz~3GHz）。天线架在高塔上，保证覆盖范围。多径效应仍明显。热噪声和宇宙噪声为主要噪声。频率越高，多径效应越弱，受大气环境影响越大，比如，10GHz的信号受雨衰影响大。1.4

通信系统的性能度量

有效性（传输速率）

符号周期（s），符号传输速率（波特率，1Baud=1符号/s），波特率和符号周期成反比；

比特传输速率（bits/s）：若一个符号携带k比特信息，波特率为x，则比特率=kx;

频带利用率（bits/s/Hz）：若传输占用带宽B，则频带利用率=kx/B;

可靠性（误码率）

误码率，误比特率（和编码调制方式，信噪比相关）通信原理确定与随机信号分析信号可分为确定信号和随机信号确定信号：能用函数准确表示出来的信号《信号与系统》随机信号：无法用函数准确表示出来，只能通过概率分布等统计特性描述的信号。通信信号和噪声为随机信号。《概率论与随机过程》，《信息论》确定信号分析基础信号的傅里叶变换（信号的时域-频域变换）周期信号：可展开为傅里叶级数非周期信号：傅里叶变换公式j

tF

(

)

e d

1

2

f(t)

e

j

tdt

f(t)

F

(

)

频谱函数傅里叶变换得到的是双边谱，但实际的物理频率自能是正数。带宽对应正频率部分。确定信号分析基础例子：数字通信中常用的矩形函数时域表示形式为

A,f(t)

0,

t

2 2其他

F

(

)=A

Sa

2

时域有限，频域无限若取到第1一个零点的宽度为信号带宽，则信号带宽为

Hz确定信号分析基础信号的时域及频域卷积特性f1(t)

f2

(t)

F1(

)F2

(

)当信号通过线性系统时（比如信道），系统的输出为输入信号和系统冲击响应的卷积。f1(t)

f2

(t)

F1(

)

F2

(

)当f2(t)为正弦信号时，频域卷积定理相当于调制定理。确定信号分析基础带通与低通信号的表示信源所产生的信息信号多为低频（基带）信号信道中传输的为调制后的带通信号带通信号特点：实高频信号低通信号特点：复（或实）低频信号带通信号可以用一个等效低通信号来表示信号处理在基带完成，简化了带通信号处理确定信号分析基础带通信号的频谱特性实信号的傅里叶变换具有对称性：X(

f)

X

*(

f

)带通信号的频域特性：幅度偶对称，相位奇对称。带通信号的全部信息包含在正频域中。带通信号的频谱位于远离零的某频率

f0

附近。在正频率部分占用的频段为带通信号的带宽确定信号分析基础带通信号的等效低通x

(t)

F

1

X

(f)

F

1

X

(f)

u(f)

x(t)

1

(t)

j

1

22

t

X

(f)

X

(f)

u(f) Xl

(f)

2

X

(f

f0

)x(t)xl

(t)0 0xl

(t)

F

1

Xl

(f)

2x

(t)

e

j

2

f0t

x(t)

jxˆ(t)

e

j

2

f0t

x(t)

cos

2

f t

xˆ(t)

sin

2

f t

j

xˆ(t)

cos

2

f0

t

x(t)

sin

2

f0

t

1x(t)

jxˆ(t)2 2x(t)的希尔伯特变换确定信号分析基础带通和等效低通信号的关系x(t)

Re

xl

(t)

e

j

2

f0t

xi

(t)

cos

2

f0

t

xq

(t)

sin

2

f0

t

rx

(t)

cos

2

f0t

x

(t)

确定信号分析基础Y

(f)

X

(f)

H(f)2l llY(f)

1X(f)H

(f)2ll ly(t)

1x(t)

h

(t)𝑦𝑦(𝑡𝑡)=𝑥𝑥(𝑡𝑡)∗

ℎ(𝑡𝑡)带通系统（信道）的等效低通带通系统：传递函数位于频率f0

附近的系统h(t)

Re

hl

(t)

e

j

2

f0t

低通响应函数若带通信号x(t)

通过冲激响应为h(t)的带通系统，输入输出关系可表示为××+x1(t)xi

(t)xq

(t)cos2

f0t

0

sin2

f

tx(t)调制和解调中的频谱搬移模块可以合并到信道中，等效低通信道的输入输出关系为yl

(t)

xl

(t)

hl

(t)xl

(t)

的具体形式由调制方式决定，详见数字调制技术一章𝑦𝑦(𝑡𝑡)=𝑥𝑥(𝑡𝑡)∗

ℎ(𝑡𝑡)随机信号分析基础一些常见的随机变量–

贝努力随机变量取值为0和1，概率分别为p和1-p的随机变量。概率分布：统计特性：p[

X

1]

p p[

X

0]

1

pE[

X

]

pVAR[X]

p(1

p)随机信号分析基础– 二项式随机变量：对n个具有共同参数p的贝努力随机变量的总和建模概率分布：统计特性：例：n个比特在通信信道上传输，每个比特的错误概率为p,错误比特数服从二项分布P[

X

k

]

n

pk

(1

p)n

k

k

k

0,1,

,

nE[

X

]

np,VAR[

X

]

np(1

p)随机信号分析基础均匀分布概率密度函数统计特性：10,

p(x)

b

a

, a

x

b其他2E[

X

]

b

a12(b

a)2VAR[

X

]

随机信号分析基础12x

t2Q(x)

e 2

dt

F

(x)

1

Q

x

m

12

22

2和高斯随机变量密切相关的Q函数：

(

x

m)2p(x)

e高斯（正态）随机变量 X

~

N (m,

2)概率密度函数：随机信号分析基础若度函数为

2

随机变量独立同分布，零均值，方差相同的高斯随机变量则x为具有n个自由度的

2随机变量，其概率密例，衰落信道的信道增益服从自由度为2的

2

分布12n/2

nx

2n

x

2

2

,n

1

e x

0

p(x)

2

(

)

0,

其他随机信号分析基础为瑞利随机变量。瑞利随机变量的PDF为瑞利（Rayleigh）随机变量如果X1和X2是两个均值为0，方差为

2

的独立同分布的高斯变量，则2

ep(x)2

2

,x2

x

0,

x

0其他例，在无线系统中，当发射机和接收机之间无直达径时，信道衰落的幅值服从瑞利分布随机信号分析基础例，在无线系统中，当发射机和接收机之间有直达径时，信道衰落的幅值服从莱斯分布莱斯（Rice）随机变量若x1和x2是两个独立的高斯变量，x1的均值为m1，x2的均值为m2，两个变量的方差均为

2服从莱斯分布。概率密度函数为2sx2

2

x2

s2

xI

e, x

0

0

p(x)

2

0，

其他随机信号分析基础联合高斯随机变量：一个n维向量

x，若向量中的元素服从联合高斯分布，其联合概率密度函数为211/2

e

1

x

m

T

C

1

x

m

p(x)

(2

)n/2

C其中，m

E

x

,

C

E

(x

m)

x

m

T

– 若x

中的元素相互独立，则

p(x)

为n个变量概率密度函数的乘积。随机信号分析基础联合高斯变量任何子集中的随机变量也是联合高斯的。对于联合高斯随机变量，不相关等价于独立。随机信号分析基础如果

Xi

,

i

1,

2,

表示独立同分布的随机变量序列，定义序列的平均运算两个极限定理，大数定理和中心极限定理准确地阐述了当n趋于很大时，Yn

的统计特性。nniX1ni

1Y

随机信号分析基础中心极限定理：如果大数定律：如果

Xi

,

i

1,

2,

是一个具有

E

Xi

的独立同分布的随机变量序列，则

Xi

,

i

1,

2,

是一个独立同分布的随机变量序列，E

Xi

m,

Var(

Xi

)

2ni

1Xi

E[

X1]n1

in

/

ni

1X

mn1

N (0,1)随机信号分析基础复随机变量Z

X

jY

可视为由一对实随机矢量X和Y组成的向量[X

Y];复随机变量Z

X

jY的概率密度函数定义为X和Y的联合概率密度函数。–

如果X和Y联合高斯分布，且X和Y独立同分布，则Z的概率密度函数为z

22

212

212

2x2

y2

e

e 2

2p(z)

随机信号分析基础–

复高斯随机变量Z的均值和方差定义为E[Z

]

E[

X

]

j

E[Y

]VAR[Z

]=E[

Z

2

]

E[Z

]

2

VAR[X

]

VAR[Y

]机过程随随机过程的定义–

设某随机系统输的函数，所有可•出的样本点为定义于参数集T上能的样本函数在t

T

点是一个随机变量X(t)，则集合

X

(t)

t

T

为一个随机过程。随机过程是时间的函数；随机过程在每个时间点上的值为随机变量；随机过程举例：语音信号，电视信号，雷达信号，噪声。随机过程可表示为多维随机变量

[x1,

x2

,

x3,

]可通过变量的各阶概率密度函数描述随机过程的统计特性随机过程令

[

X1,

X

2

,

Xk

]

表示随机过程在k个时间点上的采样值，则该随机过程在k个时刻的联合行为由随机向量[

X1,

X

2

,

Xk

]的联合概率分布函数决定。FX

(x1,

x2

,

,

xk

;t1,t2

,

,tk

)

P(

X1

x1,

X

2

x2

,

Xk

xk

)随机过程随机过程x(t)的均值和自相关函数定义为均值相关函数mX

(t)=E[

X

(t)]R (t,t)

E[X(t)

X*(t)]X 1 2 1 2两个随机过程x(t)和y(t)的互相关函数定义为R (t

,

t )

E[X(t

)Y

*(t )]XY 1 2 1 2平稳随机过程若序列的统计性质与时间的推移无关，即符号序列的概率分布与时间起点无关，则该随机过程为严平稳随机过程。对任意t1,

t2

,

,

tk和任意

，严平稳随机过程的k阶概率分布函数满足FX

x1,

,

xk

;t1,

,

tk

FX

x1,

,

xk

;t1

,

,

tk

任意阶的联合概率密度函数具有时移不变性平稳随机过程对严平稳随机过程而言，任意两个不同时刻取样值的一维概率密度函数完全相同，即对任意不同时刻

i,j,严平稳随机过程的二维联合概率分布也与时间起点无关，即f

xi

f

xj

f

xixj

f

xi

k

x

j

k

𝐸𝐸 𝑥𝑥𝑖𝑖 =

𝐸𝐸 𝑥𝑥𝑗𝑗𝐸𝐸 𝑥𝑥𝑖𝑖𝑥𝑥𝑗𝑗只和（j-i）相关广义平稳随机过程（宽平稳随机过程）广义平稳随机过程的充要条件：均值为常数：

E(x(t))

自相关函数满足：Rx

(t1,

t2

)

Rx

(t1

t2

)严平稳随机过程一定是宽平稳随机过程宽平稳随机过程不一定是严平稳随机过程如果x(t)和y(t)为广义平稳随机过程，且Rxy

(t1,

t2

)

R

xy

(

)，则两过程联合平稳。平稳随机过程功率谱密度：反映信号功率在单位频率上的分布情况功率谱密度是实、非负和w的偶函数。信号功率的计算公式：21NN(

)N

S(

)

lim E

UNNNx (n)e

j

nU (

)

n

NXXX

P

E

X

(t)

2

R (0)

S (f

)df

平稳随机过程的性质性质一：对于广义平稳随机过程，SX(f)

F

[RX(

)]性质二：如果x(t)和y(t)是联合广义平稳随机过程，则z(t)=ax(t)+by(t)是广义平稳随机过程，其自相关函数和功率谱密度为2 2**ZX Y XYYXb R ( (R (

)

a R (

)

)

abR

)

ba

R (

)2 2 *SZ(f)

a SX(f)

b SY

(

f

)

2Re[ab

SXY

(

f

)]平稳随机过程

性质三：当一个广义平稳随机过程x(t)通过一个冲激响应为h(t)的线性时不变系统时，输出过程y(t)和x(t)是联合广义平稳随机过程，且下列关系成立：mY

mX

h(t)dt

mX

H

(0)*Y XR (

)

R (

)*

h(

)*

h

(

)2SY

(

f

)

SX

(

f

)

H

(

f

)RXY

(

)

RX

(

)*

h

(

)*SXY

(

f

)

SX

(

f

)H (f

)*高斯随机过程如果对所有采样时刻如果x(t)和y(t)是联合高斯过程，则复过程Z(t)=x(t)+jy(t)是高斯的。(t1,

t2

,

,

tn

)

，随机矢量(X(t1),

X(t2

),

,

X(tn

))服从联合高斯分布，则该随机过程为高斯随机过程。对两个不相关的高斯随机过程，有RXY

(t

,

t)

E

X

(t

)

E

Y

(t)

,

t,

白过程2R

N0

白过程：功率谱对所有频率为常数，即SX(f)

N0

2自相关函数为离散时间随机过程–

功率谱密度定义为–

自相关函数为–

离散时间随机过程的功率为XXR (m)e采样时间T为整数集时，随机过程为离散随机过程。离散随机过程通常可用

x(n),x(n

1),

x(n

M

)这样的时间序列来表示。

j2

fmm

S (f)

XX

1

2

1

2 j2

fmR (m)

S

(

f

)e

df

XX

1

2

P

E

X(n)2

R (0)

1

2

S (f

)df

马尔可夫（markov）过程设X(t)为随机过程，若对任意t1

t2

tk

1

时刻的随机变量X

t1

,

X

t2

,

,

X

tk

1

，有P

X

tk

1

xk

1

P

X

tk

1

xk

1

X

tk

xk

则称X(t)为markov随机过程。离散markov随机过程X

t1

x1,

X

t2

x2

,

,

X

tk

xk

P

X

tk

1

xk

1

P

X

tk

1

xk

1

X

tk

xk

X

t1

x1,

X

t2

x2

,

,

X

tk

xk

马尔可夫（markov）过程C-K方程xk

;tk

)xk

;tk

)f

X

(xk

1,

xk

1;tk

1,

tk

1xk

;tk

)

f

X

(xk

1;tk

1

f

X

(xk

1;tk

1xk

;tk

)

f

X

(xk

;tk

f

X

(xk

1;tk

1xk

1;tk

1)dxkxk

1;tk

1)

f

X

(xk

1;tk

1

无后效性在当前状态(xk

,

tk

)已知的条件下，将来所处的状态和过去的状态无关，即马尔可夫链离散状态集：状态值离散可数的马尔可夫随机过程。

Xn

：马尔可夫链S

1,

2,

,

N

N状态概率：

pi

(n)

P(

Xn

=

i)状态概率矢量：

P(n)

p1(n),

p2

(n),

,

pN

(n)

pi

(n)

1i

1状态转移概率：

ij

(m,

n)

P

Xn

j

Xm

i

马尔可夫链常数，则P

P

S

pi

1i

1根据全概率公式p(n)

p(m)

(m,

n)齐次马尔可夫链：

ij

(m,

n)只和时间间隔m-n相关，而和时间起点m无关。p(n)

p(m)

n

m当markov链达到稳态时，状态概率矢量为马尔可夫链状态集S={0,1,2}。一步状态转移矩阵该markov链是齐次的，因此，例：某房间内有两个灯泡，每天坏掉一个灯泡的概率为p，一个也不坏的概率为q=1-p。设

xn

为第n天房间剩下的好灯泡的个数。试证明当n

时，

xn的状态概率为（1,0,0）。0

1

0

0

p q

0

p

q

0

0qn 0

npqn

11

n

1

qn

1

qn

npqn

1

qn

0

1

0

0

n

1 0

1

0

0

n

马尔可夫链状态概率矢量的初始值P(0)

[0

0

1]P(n)

P(0)

n

1 0 0

通信原理信源及信息测度信源的数学模型及分类

单符号信源

符号序列信源

连续波形信源信源的数学模型及分类（单符号信源）

根据信源产生的消息的不同的随机性质，可以将信源分为：

离散信源（取值离散）：信源输出的是单个符号的消息，符号的取值是有限的（离散）。我们可用一维离散随机变量x来描述信源的输出。

文本，计算机代码，电报符号，数字码1 2qa

x

P(x)

P(a1) P(a2

)a

a

P(aq

)

P(ai

)

1q

i

1信源的数学模型及分类（单符号信源）

连续信源：输出消息的取值是连续的，随机的。可用一维连续性随机变量x来描述这些消息。

语音信号，视频信号，热噪声等

x

R

P(x)

P(x)

R

P(x)

dx

1信源的数学模型及分类（符号序列信源）

当信源输出的消息是按一定概率选取的符号序列时，可以把这种信源输出的消息看做时间或空间上离散的一系列随机变量，即随机矢量。这样，信源的输出可以表示为X

[x1,

x2

,

,

x

N

]信源输出的符号序列可以建模为离散时间随机过程信源的数学模型及分类

平稳信源（按照符号的性质分类）

在随机矢量中，若每个随机变量都是离散性随机变量，且X

的各维概率分布与时间起点无关。则该信源为离散平稳信源。

在随机矢量中，若每个随机变量都是连续性随机变量，且

X

的各维概率密度函数与时间起点无关。则该信源为连续平稳信源。信源的数学模型及分类

平稳信源（按照符号间的相关性分类）

无记忆信源：信源在不同时刻发出的符号之间是相互独立的。向量中的各变量独立。X

[x1,

x2

,

,

x

N

]即N维随机矢量的联合概率分布满足P(

X

)

P(

X1

X

2

XN

)

P1(

X1)P2

(

X

2

)

PN

(

XN

)

PN

(

X )i信源的数学模型及分类

有记忆信源：信源在不同时刻发出的符号之间相互依赖。

有记忆信源可建模为马尔可夫随机过程。

当记忆长度为m+1时，被称为m阶马尔可夫信源。

当信源输出为离散值时，m阶马尔可夫信源可用m阶马尔可夫链来表示。信源的数学模型及分类（波形信源）

随机波形信源：信源输出消息在时间和幅值上均为连续的；在某一固定时间，输出消息的取值又是连续和随机的。

随机波形信源可建模为连续随机过程

语音信号，热噪声，电视图像离散信源的信息熵

离散信源的数学模型

信源输出多少信息？每个消息携带多少信息量？a1

x

P(x)

P(a1)a2

aqP(a2

)

P(aq

)

q

P(ai

)

1i

1xxˆ收到某消息获得的信息量=收到消息前关于某事件的不确定性- 收到消息后关于某事件的不确定性离散信源的信息熵

自信息：如果事件ai发生，则它包含的信息量为1i

事件ai发生之前，表示ai发生的不确定性；

事件ai发生之后，表示ai提供的信息量。

对数以2为底时，信息量的单位为比特；以e为底时，单位为奈特；以10为底时，单位为哈特。I(ai)

logP(a

)离散信源的信息熵

信息熵：信源的平均自信息1qP(ai

)

log

P(ai

)P(a

)i

1

H

(x)

E

log

i

信源输出后，每个消息或符号提供的平均信息量；

信源输出前，信源的平均不确定性；例子：某地天气预报构成的信源空间为：

X

P(x)

1/2

晴阴 大雨 小雨

1/4 1/8 1/8

天气预报提供的平均信息量

H

X

1.75比特信息熵的基本性质

熵函数：qH

(x)

P(ai

)

log

P(ai

)

H

(p1,

p2

,

,

pq

)

H(p)i

1

确定性：当任一概率 pi

1 时， H(p)

0

非负性：H(p)

0

可加性：统计独立信源的联合信源的熵等于分别熵之和。H

(XY)

H(X)

H(Y)信息熵的基本性质

强可加性：两个相互关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下Y的条件熵。H

(XY)

H(X)

H(Y

X)nnmijiji

p

P(Y

yX

x)logP(Y

yX

x)

条件熵的计算公式：H(Y

X)

pi

H

(Y

X

xi

)i

1

i

1

j

1信息熵的基本性质

极值性（最大离散熵定理）：在离散信源情况下，信源各符号等概分布时，熵值达到最大。H(p)

H

(p1,

p2

,

,

pq

)

H

(1/

q,1/

q,

,1/

q)

log

q离散平稳信源

离散平稳信源：平稳信源，时间离散，符号取值离散X

[x1,

x2

,

,

x

N

]

离散平稳无记忆信源：信源输出的消息序列是平稳序列并且符号之间是统计独立的。

随机矢量的联合概率分布等于随机矢量中各个随机变量的概率乘积。

离散平稳有记忆信源离散平稳无记忆信源

离散平稳无记忆信源：将一个离散无记忆信源的输出消息序列用一组长度为N的序列X

[x1,

x2

,

,

x

N

]来表示。这时，它就等效为一个新信源。新信源的输出是长为N的符号序列，其中每个变量都是来自基本样本空间的随机变量，并且变量之间相互独立。这个由随机矢量x所构成的新信源为离散无记忆信源的N次扩展信源。离散无记忆扩展信源

离散无记忆信源的概率空间1 2 q

x

P(a

) P(a

)P(a

)

P(x)

a1

a2

aq

X的N次扩展信源xN

是具有qN个符号序列的离散信源，其概率空间为

xN

P(α1)P(αN

)

q

P(αi

)

α1

α2

αqNP(α2

)

ai

2

ai3aiN

αi

ai1

P

αi

P

ai1

P

ai

2

P

aiN

[x1,x2

,

,x

N

]离散无记忆扩展信源

N次扩展信源的信息熵

qNNiii

1H

(x )

P αlog

P

αP

αi

P

ai1

P

ai

2

P

aiN

NH

(x)离散平稳信源

在一段时间内，信源输出的信号用随机矢量表

一维平稳信源：任意两个不同时刻信源发出的符号的概率分布完全相同12qaP(a2

)

x

P(x)

P(a1)a

a

P(aq

)

x2示为x

x1

x3

xi

P(xi

aq

)

P(x

j

aq

)

P(aq

)P(xi

a1)

P(xj

a1)

P(a1)

离散平稳信源

二维平稳信源：信源发出符号的一维和二维概率分布与时间起点无关。P(xixi

k

)

P(x

j

x

j

k

), i

j

离散平稳信源：各维联合概率分布均与时间起点无关，即j

NP(xi

)

P(x

j

)P(xixi

k

)

P(x

j

x

j

k

),P(xixi

1

xi

N

)

P(x

j

x

j

1

x

)对于平稳信源，其联合概率分布和条件概率分布均与时间起点无关，只与关联长度相关二维离散平稳信源二维平稳信源1 2Nx

x

x12q

xi

P(a

)

P(x)

P(a

)

a1

a2

aq

P(a

)

任何长度为2的符号序列的概率分布相同P(x1x2

)

P(x2x3

)

P(x

N

1x

N

)

可根据输出信号的二维概率分布计算长度为2的序列的信息熵平稳信源的二次扩展信源及信息熵12qa1

x

P(a

)P(a

)

a2

aq

P(a

)

i j ij ia1a1a1a2

x1x2

P(x)

P(aa)

P(a

)P(a a

)

P(xx

)

1 2

aqaq

由于是平稳信源，所以联合概率不随时间变化

当l=2

时，由两个符号组成的序列可视为二维平稳信源的输出：

信源有q2

种可能的输出，每个输出代表新信源的一个符号，二维平稳信源及信息熵

二维平稳信源联合熵

二维平稳信源条件熵

1 2q qi ji jP a

a logP a

a

H

(x

x )

i

1 j

1qi jj iH

(x2i

1i

1 j

1x1

ai

)x1)

P

ai

H

(x2

P

a

a

log

P

q qa a

qjP aai

log

P

aj

ai

j

1二维平稳信源及信息熵

联合熵和条件熵的关系H

(x1x2

)

H

(x1)

H

(x2

x1)

条件熵和无条件熵的关系H

(x2

x1)

H

(x2

)H

(x1x2

)

H

(x1)

H

(x2

)

2H

x

x1和x2相互独立时，等式成立离散平稳信源的极限熵

设离散平稳信源的数学模型为

假设已知符号序列的各维概率分布。1 2qa1

x

P(a

)P(a

)

P(x)

a2

aqP(a

)

发出的符号序列为

x

x1

x2 x3

xi

离散平稳信源的极限熵

离散平稳信源的N次扩展信源的信息熵（联合熵）

在已知前N-1个符号时，后面一个符号所携带的平均信息量为q qi1

1 iN

1H

(x1x2

xN

)

P

ai1ai

2

aiN

logP

ai1ai

2

aiN

平均符号熵：N长的信源符号序列中平均每个信源符号所携带的信息量为N 1 2NNH (x)

1

H

(x

x

x

)

1 2Ni1iN

1N

1i1

1 iN

1H

X X

X

X

P

ai1

ai2

aiN

log

P

q qai a

aN离散平稳信源的极限熵

离散平稳信源具有如下性质：

平均符号熵HN

(x)

随N的增加是非递增的；

条件熵H

XN

X1X

2

XN

1

随N的增加是非递增的；

对于离散平稳信源，极限熵H

存在，且H

limHN(x)

limH(XNN

N

X1X

2

XN

1)离散平稳信源的极限熵

某离散平稳信源的概率空间为

若信源符号间相互独立，则信源熵

x

1

P(x)

0 1 2

11 4

36 9 4

3H

(x)

P(ai

)

log

P(ai

)

1.542(比特/符号)i

1离散平稳信源的极限熵𝑎𝑎𝑗𝑗𝑎𝑎𝒊𝒊01209/111/8012/113/42/9201/87/9

若符号间相互依赖，且条件概率为𝑃𝑃(𝑎𝑎𝑗𝑗|𝑎𝑎𝑖𝑖�

3 31 2i j i jH

(x

x )

P a

a logP a

a

2.41

i

1 j

1平均每符号携带的信息量1.2比特离散平稳信源的极限熵

极限熵1 2NN

1i1

1 iN

1H

X X

X

Xq q

P

ai1

ai2

aiN

logP

aiN

ai1

aiN

1

NP(aiai

)N

13 3

P(aiN

1

aiN

)

log

P(aiN

aiN

1

)iN

1

1

iN

1

H

X

2X1

0.87(比特/

符号)马尔可夫信源

信源输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面的符号无关。

M阶有记忆离散信源：在时刻l之前的M个符号已知的条件下，时刻l所发出的符号只和这M个符号相关，而与更之前的符号无关。P

X

l

xlX

1

x1,X

2

x2

,

P

X

l

xl

X

l

1

xl

1,

X

l

2

xl

2

,

,

X

l

m

xl

m

M阶有记忆离散信源可用马尔可夫链来描述。马尔可夫信源

M阶马尔可夫信源：

令态。

信源输出符号的概率与信源状态有关。

我们可以把前面M个符号组成的符号序列看作信源在当前时刻的状态。

假设信源符号集有q个符号，则信源有qM个不同的状态，对应于qM个长度为M的不同序列。1 2 JX

a1,

a2

,

,

aq

表示信源可能的输出符号

令 S

E,E,

,

E

（J

qM）表示信源所处的状马尔可夫信源

状态转移概率：s

(l

)

EmX

l

1

xl

1,

X

l

2

xl

2

,

X

(l

-

m

1),

X

l

m

xl

m

X

l

xls(l

1)

En状态一步转移概率 可由条件概率P

X

l

xl确定X

l

1

xl

1,

X

l

2

xl

2

,

,

X

l

m

xl

m

Pr𝑆𝑆(𝑙𝑙+1)=

𝐸𝐸𝑛𝑛|𝑆𝑆𝑙𝑙 =

𝐸𝐸𝑚𝑚马尔可夫信源为时齐马尔可夫信源。

若状态转移概率

P(sl

E

jsl

1

Ei

)

与时刻l无关，则马尔可夫信源

定义：信源输出的符号序列和信源所处的状态满足下列两个条件（1）某一时刻信源符号的输出只与此时刻信源的状态有关，而与之前的状态及输出都没有关（2）信源某时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一确定。sl

Ei

系。P

xl

al

sl

Ei

,

xl

1

al

1,

sl

1

Ej

,

P

xl

al马尔可夫信源

例1.有一个二元二阶马尔可夫信源，其信源符号集为[0，1]，条件概率为P

0

00

P

111

0.8P

1

00

P

0

11

0.2P

0

01

P

0

10

P

1

01

P

110

0.5该信源有4种可能的状态：E1

:

00,

E2:

01,

E3

:10,

E4:11P

E1P

E2P

E3E1

P

E4E1

P

E3E2

P

E2E4

0.8E4

0.2E3

P

E4E2

P

E1E3

0.5马尔可夫信源Ej

E

时齐遍历的马尔可夫链

转移步数足够长以后，信源所处的状态与初始状态无关，每种状态出现的概率达到一种稳定分布；

Q

Ej

P

Ei

Ej

Q

Ei

Q

Ej

1Ei

E马尔可夫信源根据全概率公式：

411iQ E P EQ(E)

422iQ E P EQ(E)

i

1

i

1433iQ E P Ei

1Q(E)

444iQ E P EEi

Ei

Ei

Ei

i

1Q(E)

4

Q(Ei

)

1i

1Q(E1)

Q(E4

)

5

/

14Q(E2

)

Q(E3

)

1

/

7马尔可夫信源的极限熵

M阶马尔可夫信源的极限熵

iN

i1H

XiN

1N 1 2 N

1i1

1 iN

1X

X

Xq q

P

ai1

ai2

aiNlog

P a a

a

q qi iJiiQ(E

)H

X

EN

1N

MiN

1 iN

M

1q qiN

1

iN

M

1

i

1

P(aiN

aiN

M

)

log

P(aiNai

,

ai

)N

1 N

M

P a ,

aai ,

aiN

1 N

M

N

P(aiN

aiN

1

,

aiN

M

)

log

P(aiNqi

P a Ei

log

P

aiN

Ei

iN

1马尔可夫信源

时齐遍历马尔可夫链的熵

JiiQ(E

)H X EH

i

1qEi

log

P

ak

Ei

P

akk

1马尔可夫信源

接-例1

JiiQ(E

)H X EH

i

1P

0

00

P

111

0.8P

1

00

P

0

11

0.2P

0

01

P

0

10

P

1

01

P

110

0.5qEi

log

P

ak

Ei

P

akk

1波形信源的统计特性

随机波形信源：信源输出为时间的连续函数，在任意时刻的取值为取值连续的随机变量。

信源的输出可用随机过程

x(t)

来描述；

随机过程

x(t)

可看成由一族时间函数 xi

(t)

组成，xi

(t)

为样本函数。随机过程中有无限多个样本函数。

在任意时刻t，信源输出

x(t)为取值连续的随机变量；波形信源的统计特性

随机波形信源可用有限维概率密度函数族和相应的统计量来描述。P

x1,

t1

P

x1,

x2

,

t1,

t2

P

x1,

x2

,

,

xn

,

t1,

t2

,

tn

波形信源的统计特性

随机波形信源分为平稳随机波形信源和非平稳随机波形信源

平稳随机波形信源：各维概率密度函数不随时间平移而变化p(x1(t1),

x2

(t2

),

,

xn

(tn

))

p(x1(t1

),

x2

(t2

),

,

xn

(tn

))

非平稳随机波形信源：各维概率密度函数随时间平移而变化

在通信系统中，通常用平稳随机过程来描述随机波形信源的输出波形信源的离散化

时间离散化：

时域采样定理：如果某一时间连续函数的频带受的采样值确定。

当随机过程的总时间为T时，波形信源的输出包括2FT个采样值的随机序列。

通过采样，将波形信源变换成时间离散的随机序列。2F限（频率上限为F），函数完全可以由间隔

12F

波形信源的输出可以用一系列 t

n

时刻上的样本值

n

来表征。x

2F

波形信源的离散化

幅度离散化：对不同时刻的采样值进行量化。

采样+量化使随机过程变换成时间和取值都是离散的随机序列。

问题：将时间取值连续的输出转换成时间取值离散的输出是否造成信息损失？A.

是

B.

否损失由什么导致？A.

采样

B.

量化C

采样+量化如果有信息损失，损失了多少信息量？连续信源

连续信源：输出消息为连续随机变量的信源。

连续信源是波形信源的特例波形信源

x(t1),

x(t2

),

,

x(tn

)

x(ti

)

连续信源连续信源的信息测度

p(x)

dx

1

p(x)

RX

R

连续信源的差熵

基本连续信源的数学模型为取值连续的实数集

连续信源的差熵：h(

X

)

p(x)

log

p(x)

dxR差熵 绝对熵不代表信源平均不确定性的大小，不代表连续信源输出的信息量与离散信源的熵在形式上统一，实际中往往讨论熵的差值。连续信源的信息测度

可加性：

可为负数。

两个连续变量X、Y的联合熵和条件熵h(

XY

)

p(xy)

log

p(xy)

dxdyRh(Y X

)

p(x)

p(y

x)

log

p(y

x)

dxdyR

连续信源差熵的性质：h(XY)

h(X)

h(Y

X)

h(X)

h(Y)两种特殊连续信源的差熵

均匀分布连续信源的差熵

一维随机变量X在[a,b]内均匀分布，其差熵1 1balog

dxh(

X

)

b

a

b

a

log(b

a)

比特/自由度两种特殊连续信源的差熵

高斯信源的差熵

信源输出的一维随机变量x的概率分布为高斯分布，则2

1

log

2

e

2h(

X

)

p(x)

log

p(x)dx 1 2

22

2

x

m

2

p(x)