信息论与通信原理导论 全课件 第一章 绪论 - 第十三章 复用与多址技术

第一章：绪论通信原理你对未来通信系统有什么愿景？VR体验 全息通信万物互联 星际通信参考教材电子版讲义《信息论与通信原理导论》，唐岚编著QQ:课程交流教学立方：发布课件，课后作业，上交作业1.1现代通信技术及发展现代通信技术是指用现代科学手段，如电子，光技术实现信息传递的一门技术科学。电磁波，光是信息传输的载体通信技术的发展

通信的目的1838：摩尔斯发明有线电报1876：贝尔发明有线电话1898：马可尼发明无线电报1906：真空电子管出现并应用于通信1918：无线电广播1938：电视广播1940：雷达与微波通信系统1948：香农提出信息概念，奠定信息论基础现代通信技术及发展207020世纪80年代到90年代，通信网络向程控化，数字化，智能化发展，宽带接入网成为研究热点。21世纪，物联网，移动互联，无处不在的连接，高速率，低时延。通信系统的构成通信系统的组成框图通信系统传递的信息包括语音，文字，图像，视频等。H()=

H()ej()

Kejtd将媒体信息转化成电信号（电压，电流，电磁场等）

传输媒介：电缆，光纤，自由空间

与信源的作用相反保证高效，高质量的通信（尽可能准确真实地还原信息）1.2通信系统的构成模拟通信系统：系统内传输的是模拟信号。发送的信号波形在收端无失真恢复抗噪声性能差模拟线性调制：振幅调制，双边带调制，单边带调制，残留边带调制非线性调制：窄带调频，宽带调频《高频电路》1.2通信系统的构成数字通信系统：系统中传输的是数字信号。数字符号状态的正确识别。

本门课的主要研究内容通信原理只关注基带信号处理数字调制器：将二进制信息序列映射成信号波形。1.2通信系统的构成数字通信系统vs模拟通信系统（优点）抗噪声性能好数字通信系统可以从噪声中恢复出原始信号S(t)

1 0 0 1 1 1ta.信号波形S(t)模拟接收机无法滤除噪声

tb.叠加噪声后的波形S(t)

1 0 0

1 1 1tc.再生后的波形通信系统的构成数字通信系统可通过信道编码方式有效地改善通信质量数字信号便于运用计算机技术，数字信号处理技术进行处理，存储和交换。有利于不同种类信号的综合。数字通信系统vs模拟通信系统（缺点）技术较复杂占用较宽的带宽（以语音传输为例）通信系统分类通信方式单工通信：只进行信息的单向传输，如广播系统或寻呼系统。半双工通信：具备双向信道，但不能同时进行通信，如无线对讲机。全双工通信：具备双向信道，可以同时进行通信。大多数通信系统，如蜂窝通信系统，有线电话均为全双工通信。全双工可分为TDD和FDD。通信系统分类按网络结构可分为：点对点：最简单的网络结构；点对多点：广播，电视等系统；多点通信：多组用户同时通信。根据用户的需求进行交换连接：电路交换和分组交换《数据通信》通信使用的频段双绞线：工作频率为0~1MHz;同轴电缆：工作频率为1MHz~1GHz.通信使用的频段无线通信：信号以电磁波的形式在空间传播，不同频段信号的传播特性不同。30-300HzELF特低频 海底通信0.3-3kHzVF 音频 音频电话，低速数据通信3-30kHzVLF 导航，时标30-300kHzLF低频 导航，电力通信0.3-3MHzMF 中频 广播，业余无线电通信3-30MHzHF 高频 广播，无线通信30-300MHzVHF甚高频 电视，调频广播，移动通信0.3-3GHzUHF 超高频 电视，移动通信，雷达，遥测3-30GHzSHF 极高频 微波中继通信，空间通信，雷达30-300GHzFHF 特高频 卫星通信，射电天文雷达红外，可见光，紫外光 光纤通信，光波直视通信通信信道及特征通信信道在发送机和接收机间提供连接，包括双绞线，光纤，自由空间等。加性噪声由通信系统内部组成元件引起（热噪声）由系统外引起的噪声和干扰信号衰减，幅度和相位失真，多径效应有限的信道带宽：限制了信号在信道上的传输速率1.5通信信道及特征有线信道：双绞线：0~1MHz，被用作电话线同轴电缆：1MHz~1GHz，用于电视广播系统中幅度和相位失真，加性噪声，邻近信道的串音干扰光纤信道信道带宽比同轴电缆高好几个数量级，1GHz~100GHz低损耗，高带宽，可提供远距离的宽带通信业务发送机或调制器是LED或激光，通过改变光源强度发送信息。在接收机中，光强由光电二极管检测，照射到光电二极管上的光功率和电信号的变化成正比。光纤信道的噪声源主要来自光电二极管和电子放大器。1.5通信信道及特征无线电磁信道电磁能通过天线辐射出去，为获得有效的能量辐射，天线尺寸必须大于电磁波的波长）地波传输：地波传播的特点是信号比较稳定，基本上不受天气的影响，但随着电波频率的升高，传输损耗迅速增大。地面的导电性能越好，电波的频率越低，地波传播的损耗越小。因此，这种方式更加适合几十kHz以下的低频传输。1.5通信信道及特征天波传输：天波传播是电离层和地面对发送信号的反射形成的，电离层是由位于地球表面之上高度为50～400km120km-30MHz。短波通信可以通过天波传播的主要问题：多径效应：发送信号经由多条传播路径以不同时延到达接收机时，会引起1、符号间干扰；2、信号衰落。噪声来源：大气噪声和热噪声。1.5通信信道及特征直达径传播（LOS）：30MHz以上频段的甚高频（VHF)和更高频段的信号。30MHz以上频段的信号穿过电离层损耗较小，可用于卫星通信（1GHz~100GHz）。移动通信目前主要使用特高频（UHF，300MHz~3GHz）。天线架在高塔上，保证覆盖范围。多径效应仍明显。热噪声和宇宙噪声为主要噪声。频率越高，多径效应越弱，受大气环境影响越大，的信号受雨衰影响大。通信系统的性能度量有效性（传输速率）符号周期（s），符号传输速率（波特率，1Baud=1符号/s），波特率和符号周期成反比；比特传输速率（bits/s）：若一个符号携带k比特信息，波特率为x，则比特率=kx;频带利用率（bits/s/Hz）：若传输占用带宽B，则频带利用率=kx/B;可靠性（误码率）误码率，误比特率（和编码调制方式，信噪比相关）通信原理确定与随机信号分析信号可分为确定信号和随机信号确定信号：能用函数准确表示出来的信号《信号与系统》随机信号：无法用函数准确表示出来，只能通过概率分布等统计特性描述的信号。通信信号和噪声为随机信号。《概率论与随机过程》，《信息论》确定信号分析基础周期信号：可展开为傅里叶级数非周期信号：傅里叶变换公式f(t)

1

F()edF()

f(t)edt频谱函数傅里叶变换得到的是双边谱，但实际的物理频率自能是正数。带宽对应正频率部分。确定信号分析基础

f(t)

t2 2

FSa , 其他

2 时域有限，频域无限若取到第1一个零点的宽度为信号带宽，则信号带宽为

Hz确定信号分析基础f1(t)

f2(t)

()当信号通过线性系统时（比如信道），系统的输出为输入信号和系统冲击响应的卷积。f1(t)

f2(t)

()当f2(t)为正弦信号时，频域卷积定理相当于调制定理。确定信号分析基础带通与低通信号的表示信源所产生的信息信号多为低频（基带）信号信道中传输的为调制后的带通信号带通信号特点：实高频信号低通信号特点：复（或实）低频信号带通信号可以用一个等效低通信号来表示信号处理在基带完成，简化了带通信号处理确定信号分析基础带通信号的频谱特性实信号的傅里叶变换具有对称性：X(

f)

X*(f)带通信号的频域特性：幅度偶对称，相位奇对称。带通信号的全部信息包含在正频域中。带通信号的频谱位于远离零的某频率

f0附近。在正频率部分占用的频段为带通信号的带宽确定信号分析基础带通信号的等效低通x(t)

X(f)

X(f)

Xl(f)

2X(f

f0)

xl(t)xl(t)

F1Xl(f)2x(t)ej2

f0t

x(t)

F1X(f)F1X(f)u(f)x(t)

jˆt)ejf0t

x(t)1(t)j 1 2 tx(t)cosf

tˆt)sinf

t 0 0 1 jjˆt)os

f0tx(t)sin

f0t

x(t)2

ˆt)2x(t)的希尔伯特变换确定信号分析基础x(t)

Relt)ej

f0t(t)cos

f0t(t)sin

f0t(t)cos2

f0t

x(t)确定信号分析基础带通系统（信道）–带通系统：传递函数位于频率f0

附近的系统h(t)

Relt)ej

f0t低通响应函数–若带通信号x(t)通过冲激响应为h(t)的带通系统，输入输出关系可表示为Y(f)

X(f)

𝑦𝑦(𝑡𝑡)=𝑥𝑥(𝑡𝑡)∗ℎ(𝑡𝑡)Y(f)1X

H

y(t)1x

(t)h

(t)l 2 l l l 2 l l𝑦𝑦(𝑡𝑡)=𝑥𝑥(𝑡𝑡)∗ℎ(𝑡𝑡)

x1(t)

xi(t)xq(t)

cos2f0t××sin2f0t

x(t)+xl(t)

的具体形式由调制方式决定，详见数字调制技术一章(t)(t)(t)随机信号分析基础一些常见的随机变量–贝努力随机变量取值为0和1，概率分别为p和1-p的随机变量。概率分布：

X

p

X

0]1p统计特性：

E[X]p

X]

p(1p)随机信号分析基础二项式随机变量：对np概率分布：

X

k]npk(1kk

p)nk

k0,1,,n统计特性：

E[X]np,

X]

np(1p)例：n个比特在通信信道上传输，每个比特的错误概率为p,错误比特数服从二项分布随机信号分析基础均匀分布概率密度函数

1,p(x)ba,

axb统计特性：

E[X]

, 其他ba2VAR[X]

(ba)212随机信号分析基础高斯（正态）随机变量概率密度函数：

X~N

(m,2)p(x)

1 (xm)222e 222和高斯随机变量密切相关的Q函数：x1 t2xQ(x) e2

dtF(x)

1Q

xm 2若

随机信号分析基础随机变量独立同分布，零均值，方差相同的高斯随机变量则x为具有n2随机变量，其概率密度函数为

1 n

xx2p(x) 2n/2(nn

e22,

x0 2, 其他2的2分布随机信号分析基础瑞利（Rayleigh）随机变量如果X1和X2是两个均值为0，方差为2的独立同分布的高斯变量，则为瑞利随机变量。瑞利随机变量的PDF为

p(x)

x2

x2e22,

x00, 其他例，在无线系统中，当发射机和接收机之间无直达径时，信道衰落的幅值服从瑞利分布随机信号分析基础莱斯（Rice）随机变量若x1和x2是两个独立的高斯变量，x1的均值为m1，x2的均值为m22服从莱斯分布。概率密度函数为x sx

x2s2 Ie

22,

x0p(x)2

02 其他例，在无线系统中，当发射机和接收机之间有直达径时，信道衰落的幅值服从莱斯分布随机信号分析基础n维向量

x，若向量中的元素服从联合高斯分布，其联合概率密度函数为p(x)

1)n/2

C2

1xmTC1xme2m

Ex,C

E(xm)xmT– 若x中的元素相互独立，则

p(x)为n个变量概率密度函数的乘积。随机信号分析基础联合高斯变量任何子集中的随机变量也是联合高斯的。对于联合高斯随机变量，不相关等价于独立。随机信号分析基础如果Xii,表示独立同分布的随机变量nY 1Xni1n n ii1n的统计特性。随机信号分析基础大数定律：如果

Xii,是一个具有

EXi的独立同分布的随机变量序列，则n1nni1

Xi

E[X1]中心极限定理：如果

Xii,是一个独立i iXm,VarXi inX1 mnXn i/ni1 /n

N 随机信号分析基础复随机变量Z

X

jY可视为由一对实随机矢量X和Y组成的向量[XY];Z

X

jY的概率密度函数定义为X和Y的联合概率密度函数。–如果X和Y联合高斯分布，且X和Y独立同分布，则Z的概率密度函数为p(z)

1

x2y2e 22

1

z2e22随机信号分析基础复高斯随机变量Z的均值和方差定义为E[Z]

E[X]

j]]=E[Z

2]

E[Z]2

]

]随随机过程的定义–设某随机系统输的函数，所有可机过程随随机过程的定义–设某随机系统输的函数，所有可•出的样本点为定义于参数集T上能的样本函数在tT点是一个随机变量X(t)，则集合X(ttT为一个随机过程。随机过程是时间的函数；随机过程在每个时间点上的值为随机变量；随机过程举例：语音信号，电视信号，雷达信号，噪声。随机过程可表示为多维随机变量

[x1,x2,x3,]过程的可通过变量的各阶概率密度函数描述随机统计特性过程的随机过程X1X2,Xk]

表示随机过程在k个时间点上的采样值，则该随机过程在k个时刻的联合行为由随机向量X1X2,Xk的联合概率分布函数决定。(x1,x2,,xk;t1,t2,,tk)P(X1

x1,X2

x2,Xk

xk)随机过程随机过程x(t)mX(t)=EX(t)] 均值XR (t,tX

)E[X(t

)X*(t

相关函数1 2 1 2两个随机过程x(t)和y(t)的互相关函数定义为1 2 1 2R (t,t )E[X(t*(t XY 1 2 1 2平稳随机过程该随机过程为严平稳随机过程。对任意t1,t2,,tk和任意 ，严平稳随机过程的k概率函数满足x1,,;t1,,tk

x1,,xk;t1

,,tk

任意阶的联合概率密度函数具有时移不变性平稳随机过程𝑥𝑥𝑗𝑗i,j,𝑥𝑥𝑗𝑗f

fxj

𝐸𝐸 𝑥𝑥𝑖𝑖 =𝐸𝐸fixj

fikxjk

𝐸𝐸

只和（广义平稳随机过程（宽平稳随机过程）均值为常数：

E(x(t))(t1t2

(t1t2)严平稳随机过程一定是宽平稳随机过程宽平稳随机过程不一定是严平稳随机过程如果x(t)和y(t)为广义平稳随机过程，且(t1,t2)

Rxy)，则两过程联合平稳。平稳随机过程功率谱密度：1 2 NS()

lim

NEUN

U ()

nejnN

N NnN反映信号功率在单位频率上的分布情况功率谱密度是实、非负和w的偶函数。信号功率的计算公式：P E

X(t)2R

(0)

S (f

)dfX X

X平稳随机过程的性质SX(f

)F

[RX

性质二：如果x(t)和y(t)是联合广义平稳随机过程，则z(t)=ax(t)+by(t)是广义平稳随机过程，其自相关函数和功率谱密度为R )a2R )b2R )ab*R )ba*R )Y 2Z X Y XY Y 2SZ(f)

a SX(f)

b2S (f)2Re[ab*S (f)]平稳随机过程性质三：当一个x(t)通过一个冲激响应为h(t)的线性时不变系统y(t)和x(t)YmXhttmXH(0)R )R )*)*h*()Y XSY(f)

SX(f)

H(f)2RXY)

R )*h*()XSXY(f)X

SX(f

)H*(f)高斯随机过程如果对所有采样时刻

(t1,t2,,tn)

，随机矢量(X(t1),X(t2),,X(tn))服从联合高斯分布，则该随机过程为高斯随机过程。RXY(t

,t)

EX(t

)E(t),

t,如果x(t)和y(t)是联合高斯过程，则复过程Z(t)=x(t)+jy(t)是高斯的。白过程SX(f)N02自相关函数为R

N02

离散时间随机过程采样时间T程。离散随机过程通常可用这样的时间序列来表示。

x(n),x(n

1),x(n

M)功率谱密度定义为

S (f)R

(m)ej2fmX Xm自相关函数为

(m)

12(f

)ej2

fmdfX 12 X–离散时间随机过程的功率为PE

X(n)2R

(0)

12S (f

)df X

12 X马尔可夫（markov）过程设X(t)为随机过程，若对任意t1

t2

tk1时刻的随机变量X

1,X

t2,,X

tk1，有PX

tk1

X1

X

t2

,,X

tk

xkPX

tk1

Xtk

xk则称X(t)为markov随机过程。离散随机过程PX

tk1

xk

X1

X

t2

x2,,X

tk

xkPX

tk1

xk

Xtk

xk马尔可夫（markov）过程无后效性在当前状态(xk,tk)已知的条件下，将来所处的状态和过去的状态无关，即fX(xk1,xk1;tk1,tk

xk;tk)C-K方程

fX

(xk1;tk1

xk;tk)

fX(xk1;tk

xk;tk)

fX(xk1;tk

xk;tk)

fX(xk;tk

xk1;tk fX

(xk1;tk

xk1;tk1)马尔可夫链Xn：马尔可夫链离散状态集：

S2,,N状态概率：

(n)

P(Xn

=i)状态概率矢量：

P(n)N

p2(n),,

pN(n)i1

(n)1状态转移概率：

ijn)

PXn

j Xm

i马尔可夫链根据全概率公式p(n)p(m)(m,n)齐次马尔可夫链：ij,n)只和时间间隔-n相关，而和时间起点m无关。p(n)p(m)nm当常数，则

PP

1Si1S马尔可夫链灯泡的概率为p，一个也不坏的概率为q=1-p。为第n证明当n

（1,0,0）。状态集S={0,1,2}。一步状态转移矩阵

1 0 0p q 0 该markov链是齐次的，因此，

0 p q 1 0 0

0 0n

1qn

qn 0

n0 0 1qn

npqn1

npqn1

qn

n

1 0 0马尔可夫链状态概率矢量的初始值

P(0)

[0 0 P(n)P(0)n0 0信源及信息测度信信道编码信源解码信源的数学模型及分类单符号信源符号序列信源连续波形信源信源的数学模型及分类（单符号信源）根据信源产生的消息的不同的随机性质，可以将信源分为：qq离散信源（取值离散）：信源输出的是单个符号的消息，符号的取值是有限的（离散）。我们可用一维离散随机变量x来描述信源的输出。qqx

a P(ai)1P(x) P(a1)

P(a2)

P(aq)

i1文本，计算机代码，电报符号，数字码信源的数学模型及分类（单符号信源）连续信源：输出消息的取值是连续的，随机的。可用一维连续性随机变量x来描述这些消息。x

R

P(x)dx1 P(x) 语音信号，视频信号，热噪声等信源的数学模型及分类（符号序列信源）X[x1,x2,,xN]信源输出的符号序列可以建模为离散时间随机过程信源的数学模型及分类平稳信源（按照符号的性质分类）在随机矢量中，若每个随机变量都是离散性随机变量，且X的各维概率分布与时间起点无关。则该信源为离散平稳信源。在随机矢量中，若每个随机变量都是连续性随机变量，且X的各维概率密度函数与时间起点无关。则该信源为连续平稳信源。信源的数学模型及分类平稳信源（按照符号间的相关性分类）无记忆信源：信源在不同时刻发出的符号之间是相互独立的。向量中的各变量独立。X[x1,x2,,xN]即N维随机矢量的联合概率分布满足P(X)

P(X1X2XN)

1(X1)2(X2)N(XN)PN(X )i信源的数学模型及分类有记忆信源：信源在不同时刻发出的符号之间相互依赖。有记忆信源可建模为马尔可夫随机过程。当记忆长度为m+1时，被称为m阶马尔可夫信源。当信源输出为离散值时，m阶马尔可夫信源可用m阶马尔可夫链来表示。信源的数学模型及分类（波形信源）随机波形信源可建模为连续随机过程语音信号，热噪声，电视图像离散信源的信息熵离散信源的数学模型x

a2

aq q

P(ai)1P(x) P(a1) P(a2) P(aq)

i1x 收到某消息获得的信息量=收到消息前关于某事件的不确定性- 收到消息后关于某事件的不确定性离散信源的信息熵自信息：如果事件ai发生，则它包含的信息量为I(ai)

log

1P(ai)事件ai发生之前，表示ai发生的不确定性；事件ai发生之后，表示ai提供的信息量。对数以2e离散信源的信息熵信息熵：信源的平均自信息 1 qH(x)Elog

P(a)

P(ai)logP(ai) i

i1信源输出后，每个消息或符号提供的平均信息量；信源输出前，信源的平均不确定性；例子：某地天气预报构成的信源空间为： X 晴 阴 大雨 小雨P(x) 天气预报提供的平均信息量

HX比特信息熵的基本性质熵函数：qqH(x)P(ai)logP(ai)i1

H(p1,p2,,pq)H(p)确定性：当任一概率

1

时， H(p)0非负性：H(p)0可加性：统计独立信源的联合信源的熵等于分别熵之和。H(XY)

H(X)

H(Y)信息熵的基本性质强可加性：X和YY的条件熵。H(XY)H(X)H(YX)条件熵的计算公式：nH(YX)ni1

H

Xxi) npm

P(Yy

Xx)logP(Yy

Xx)i1

i j

j i j i信息熵的基本性质极值性（最大离散熵定理）：在离散信源情况下，信源各符号等概分布时，熵值达到最大。H(p)

H(p1,p2,,pq)

H(1/q,1/q,,1/q)

logq离散平稳信源离散平稳信源：平稳信源，时间离散，符号取值离散X[x1,x2,,xN]离散平稳无记忆信源：信源输出的消息序列是平稳序列并且符号之间是统计独立的。随机矢量的联合概率分布等于随机矢量中各个随机变量的概率乘积。离散平稳有记忆信源离散平稳无记忆信源离散平稳无记忆信源：将一个离散无记忆信源的输出消息序列用一组长度为N的序列X[x1,x2,,xN]来表示。这时，它就等效为一个新信源。新信源的输出是长为N的符号序列，其中每个变量都是来自基本样本空间的随机变量，并且变量之间相互独立。这个由随机矢量x所构成的新信源为离散无记忆信源的N次扩展信源。离散无记忆扩展信源离散无记忆信源的概率空间x

a2

aq

[x,x ,,x ]P(x)

P(a)

P(a)

P(a)

1 2 N 1 2 qX的N次扩展信源xN是具有qN个符号序列的离散信源，其概率空间为xN

α1

α2

αNqq

αi1

2

ai3

qPαi) P1) Pα2) PαN)qPαiP1Pi2PiN离散无记忆扩展信源N次扩展信源的信息熵qN

Pαi

P1Pi2PiNH(xN)

Pα

log

Pα i ii1NH(x)离散平稳信源在一段时间内，信源输出的信号用随机矢量表示为x1 2 3 i一维平稳信源：任意两个不同时刻信源发出的符号的概率分布完全相同P(xi

P(xj

P(a1)

x

a a

a q 1 2 qP(x

a)P(x a)P(a)

P(x) P(a1)

P(a2)

P(aq)i q j q q离散平稳信源二维平稳信源：信源发出符号的一维和二维概率分布与时间起点无关。P(xixik)

P(x

jxjk), ij离散平稳信源：各维联合概率分布均与时间起点无关，即P(xi)P(xj)

对于平稳信源，其联合概率分布和条件概率分布均与时P(xixik)P(xjxjk

间起点无关，只与关联长度P(xx x )

P(x x

x ) 相关i i1

iN j j

jN二维离散平稳信源二维平稳信源xx x二维平稳信源

xi

a2

aq1 2 N

P(x)

P(a)

P(a)

P(a) 1 2 q任何长度为2的符号序列的概率分布相同P(x1x2)

P(x2x3)

P(xNN)可根据输出信号的二维概率分布计算长度为2的序列的信息熵平稳信源的二次扩展信源及信息熵当l=2平稳信源的输出：信源有q2的一个符号，x

a2

aq P(x) P(a) P(a) P(a) 1 2 qP(xx)

P(aa

)P(a

)P(a a)

aqaq 1 2

i j i j i 由于是平稳信源，所以联合概率不随时间变化二维平稳信源及信息熵二维平稳信源联合熵q qHx1x2)PiajoPiajji1 jj二维平稳信源条件熵q

qPj1

iogPaj

aiH(x2

x1)

PiH(x2i1

x1

ai)qq

Paa logPa aqi1 jq

i j j i二维平稳信源及信息熵联合熵和条件熵的关系H(x1x2)

H(x1)

H(x2

x1)条件熵和无条件熵的关系H(x2

x1)

H(x2)

x1和x2相互独立时，等式成立H(x1x2)

H(x1)

H(x2)

2Hx离散平稳信源的极限熵设离散平稳信源的数学模型为x

a2

aq P(x)

P(a)

P(a)

P(a) 1 2 q发出的符号序列为

1 2

xi假设已知符号序列的各维概率分布。离散平稳信源的极限熵N（）q qH(x1x2xN)

P1i2iN

oP1i2iNiN平均符号熵：N长的信源符号序列中平均每个信源符号所携带的信息量为HN(x)

1NH(x1x2

xN)qq在已知前N-1个符号时，后面一个符号所携带的平均信息量为qqHX XX X

Paa a

logPa aa N 1 2

N

i11

iN1

iN

iN

iN1离散平稳信源的极限熵离散平稳信源具有如下性质：平均符号熵HN(x)随N的增加是非递增的；条件熵H

XN

X1X2XN

随N的增加是非递增的；对于离散平稳信源，极限熵H存在，且H

limN

HN(x)

limN

H(XN

X1X2XN1)离散平稳信源的极限熵某离散平稳信源的概率空间为x

0 1 2 P

11 4 1 36 9 4 若信源符号间相互独立，则信源熵33H(x)P(ailogP(ai)比特/)i1离散平稳信源的极限熵若符号间相互依赖，且条件概率为𝑃𝑃(𝑎𝑎𝑗𝑗|𝑎𝑎𝑖𝑖�𝑎𝑎𝑗𝑗𝑎𝑎𝒊𝒊01209/111/8012/113/42/9201/87/9H(x1x2)

PiajoPiaj

2.413 3i1 j3 3平均每符号携带的信息量1.2比特离散平稳信源的极限熵PiNPiN1iN1qq

P(ai

ia )iN NHX XX X

Paa a

logN 1 2

N

iN

iN3 3P(iN1iN3 3iN11iN1

)logP(aiNi

a )iN1iHX2X1比特/)马尔可夫信源M阶有记忆离散信源：在时刻l之前的M个符号已知的条件下，时刻l所发出的符号只和这M个符号相关，而与更之前的符号无关。PXlXX2x2PXl

Xl1

1,Xl2

2,,Xlm

lmM阶有记忆离散信源可用马尔可夫链来描述。马尔可夫信源M阶马尔可夫信源：令 X1,2,,q表示信源可能的输出符号信源输出符号的概率与信源状态有关。我们可以把前面M个符号组成的符号序列看作信源在当前时刻的状态。假设信源符号集有q个符号，则信源有qM个不同的状态，对应于qM个长度为M的不同序列。令 SE,E,,E

（J

qM）表示信源所处的状1 2 J态。马尔可夫信源状态转移概率：Xl

Xl

1

xl1,X

l2

xl2,X(l-mX

lm

xlms(l)Ems(l

En状态一步转移概率概率

Pr𝑆𝑆(𝑙𝑙+1)=𝐸𝐸𝑛𝑛|𝑆𝑆𝑙𝑙 =

可由条件PX确定

l

Xl1

1,X

l2

2,,X

lm

lm马尔可夫信源若状态转移概率P(slEj

sl

Ei)

与时刻l无关，则为时齐马尔可夫信源。马尔可夫信源定义：信源输出的符号序列和信源所处的状态满足下列两个条件（1）某一时刻信源符号的输出只与此时刻信源的状态有关，而与之前的状态及输出都没有关系。Pl

sl

,

1,

Ej,

P

sl

Ei（2）信源某时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一确定。马尔可夫信源例1.有一个二元二阶马尔可夫信源，其信源符号集为[0，1]，条件概率为P000P00

P1110.8P00.2P0

P010

P

P1100.5该信源有41

:E2

:

:10,E4

:11P1P2

P4P3

E40.8E40.2P3

E2

P2

P4

E2

P1

0.5马尔可夫信源时齐遍历的马尔可夫链转移步数足够长以后，信源所处的状态与初始状态无关，每种状态出现的概率达到一种稳定分布；EjE

QEjPi

Ej

QEiE

QEj1马尔可夫信源根据全概率公式：Q(E1)Q(E2)

QiP14i144QiP24i14

EiEi

Q(E1)

Q(E4)

5/14Q(E3)

QiP3

Q(E)

Q(E)

1/7Q(E4)

i14QiP44i1

2 3Ei4QEi)14i1马尔可夫信源的极限熵qqM阶马尔可夫信源的极限熵qqHX XX X

Paa a

logPa aa N 1 2

N

i11

iN1

iN

iN

iN1q qiN1

iNM

P(aiNi

aiNMi

)logP(aiNi

a ,a )i iNNMi iq qiN1J

iNM

PiN1,iNM

P(iNq

a ,ai iNNMi i

)P(aiNi

a ,ai iNNMi iQEi)HXi1

Ei

PiNiN1

iogPiN

Ei马尔可夫信源时齐遍历马尔可夫链的熵JHQEi)HXJi1

Ei

Pkqk1q

iogPk

Ei马尔可夫信源接-例1 J qHQEi)HXi1

Ei

Pkk1

iogPk

EiP000P00

P1110.8P00.2P0

P010

P

P1100.5波形信源的统计特性随机波形信源：信源输出为时间的连续函数，在任意时刻的取值为取值连续的随机变量。信源的输出可用随机过程x(t)来描述；随机过程x(t)可看成由一族时间函数 (t)组成，xi(t)为样本函数。随机过程中有无限多个样本函数。在任意时刻t，信源输出量；

x(t)为取值连续的随机变波形信源的统计特性 PP,t2P,,xn,t2,tn波形信源的统计特性随机波形信源分为平稳随机波形信源和非平稳随机波形信源平稳随机波形信源：各维概率密度函数不随时间平移而变化p(x1(t1),x2(t2),,xn(tn))p(x1(t1),x2(t2),,xn(tn非平稳随机波形信源：各维概率密度函数随时间平移而变化在通信系统中，通常用平稳随机过程来描述随机波形信源的输出波形信源的离散化时间离散化：时域采样定理：如果某一时间连续函数的频带受限（频率上限为F），函数完全可以由间隔的采样值确定。

12F波形信源的输出可以用一系列

tn时刻上的样本值 n

2F来表征。x2F 当随机过程的总时间为T时，波形信源的输出包括2FT个采样值的随机序列。通过采样，将波形信源变换成时间离散的随机序列。波形信源的离散化幅度离散化：对不同时刻的采样值进行量化。采样+量化使随机过程变换成时间和取值都是离散的随机序列。问题：B否损失由什么导致？AB量化C采样+量化连续信源连续信源：输出消息为连续随机变量的信源。连续信源是波形信源的特例波形信源连续信源

xt1,xt2,,xtnxti连续信源的信息测度连续信源的差熵基本连续信源的数学模型为取值连续的实数集XR

p(x)dx1 Rp(x) R

差熵 绝对熵连续信源的差熵：

不代表信源平均不确定性的大小，不h(X)

R

p(x)

p(x)dx

代表连续信源输出的信息量与离散信源的熵在形式上统一，实际中往往讨论熵的差值。连续信源的信息测度两个连续变量X、Y的联合熵和条件熵h(XY)

R

p(xy)log

p(xy)dxdyX)

R

p(x)p(yx)log

p(yx)dxdy连续信源差熵的性质：可加性：

h(XY)

h(X)h(YX)

h(X)h(Y)可为负数。两种特殊连续信源的差熵均匀分布连续信源的差熵一维随机变量X在[a,b]内均匀分布，其差熵bh(X) 1 logb

1 ab

balog(ba)

比特/自由度两种特殊连续信源的差熵高斯信源的差熵信源输出的一维随机变量x的概率分布为高斯分布，则p(x)

1 22

exp

xm22 h(X)

p(x)log

p(x)dx1log2e22波形信源的差熵波形信源的输出可用随机过程表示；平稳随机过程

可用在不同时间点的取样值序列

x1,x2,,xN

和 y2,,yN

表示，因此，平稳随机过程的熵也就是平稳随机序列的熵。h(X)

h(x1x2xN)R

p(x)

p(x)dxX)

h(y2yN

x1x2xN)R

p(xy)

p(yx)dxdy符号间相互独立且同分布时，

h(X)Nh(xi)hY X

Nh

两种特殊波形信源的差熵均匀分布波形信源的熵N维连续平稳信源，若其输出矢量

X[x1,x2,,xN]，其分量分别在[a1b1],[a2b2],,[aNbN的区域内均匀分布，即N维联合概率密度函数 1 Np(x)biai)i10两种特殊波形信源的差熵h(X)N1

p(x)log

p(x)dxaN Nogbiai)i1Nh(xi)Ni1两种特殊波形信源的差熵若N维连续平稳信源输出的N维连续随机矢量X[x1,x2,,xN]

服从N维高斯分布。设随机矢量的每一个分量xi为：

的均值为mi，向量的协方差矩阵CE(xm)xmTp(x)

1 1exp

N NC

m

m )2

C2

2C

i,j

i i j j

i1

j两种特殊波形信源的差熵N维高斯信源的差熵为：h(X)

R

p(x)

p(x)dx1ogeNC2具有最大差熵的连续信源连续信源的差熵h(X)

R

p(x)

p(x)dx

s.t.

p(x)dx1Rp(x)?

差熵最大？具有最大熵的连续信源峰值功率受限条件下信源的最大差熵定理1：若信源输出的幅度被限定在[a,b]内，b即 ab

1

，则当输出信号服从均匀分布时，信源具有最大熵。b

p(x)

1 , b a

axbmaxp(x)

h(X)b

a

p(x)

p(x)dx

else

apx)dx1

h(X)

log(ba)当N维随机矢量取值受限时，只有各随机分量统计独立且均匀分布时具有最大熵。具有最大熵的连续信源平均功率受限条件下的最大熵定理2：若一个连续信源输出信号的方差（或平均功率）被限定为P，则其输出信号幅度的概率分布为高斯分布时，信源有最大熵，熵值。为1log2eP。为2maxp(x)

h(X)

p(x)

p(x)dxs.t.

p(x)dx1x2p(x)dxP具有最大熵的连续信源对于N维平稳信源，若其输出的随机序列的协方差矩阵一定，则随机矢量服从联合高斯分布。时信源的熵最大，熵值为。

1ogeNC2对于N维平稳信源，若其输出的随机序列的协方差矩阵一定，且为对角阵，则随机矢量彼此统计独立，且各自服从高斯分布时信源的熵最大，熵值为

1ogeNC。2无失真信源编码理论言L论 信源编码信道编码卜寸信源编码信道编码言道解码信源解码H言道解码信源编码的必要性必要性数据量庞大例如，以VGA格式存储一帧图像需要约2M比特；记录30秒立体声需要的存储空间约为42.33Mbit；1.5小时的电视节目需要的存储容量为896Gbit。如果不对信源产生的信息进行压缩编码，如此庞大的数据量很难进行存储或在网络中传输。信息压缩的可行性数据中通常包含很大的冗余数据量=信息量+冗余量例如：今晚的电影实在是太好看了！数据冗余类型空间冗余存在于图像数据中灰度和颜色相同的邻近像素组成的区域在空间上具有强相关性；空间压缩/帧内压缩信息压缩的可行性时间冗余存在于活动图像和语音数据中；活动图像中两幅相邻图像有较大的相关性；人说话时发出的音频是一个连续和渐变的过程，因而存在时间冗余；时间压缩/帧间压缩P F2P FP F2T信息压缩的可行性信息熵冗余信息熵指信源提供的平均信息量（信源中每个符号提供的平均信息量），信息熵给出了给信源中的每个符号编码所需要的最小平均比特数。设信源中包括N个符号，信息熵的计算公式为：NHilog2ii1实际中采用码字的平均长度和信息熵之差为信息熵冗余。信息熵冗余来自于文本中符号间的相关性。减少信息熵冗余的方法：哈夫曼编码、算术编码信息压缩的可行性视觉冗余人的视觉系统对于图像场的注意是非均匀和非线性的，并不能对图像画面的任何变化都能感觉到。例如：人的视觉对于图像边缘的急剧变化不敏感，对亮度信息敏感，对色度信息不太敏感等。利用人眼的特性，可以通过消除视觉冗余来减少存储量或降低传输速率。信息压缩的可行性总结空间冗余通常存在于图像中；时间冗余通常存在于语音中；空间冗余和时间冗余往往同时存在于视频中；信息熵冗余通常存在于对文本的编码中。信源编码或信源编码无失真信源编码和有损信源编码无失真编码：在能够减少要传输的信息总量的同时，又不会在解码时损失信息；无失真信源编码是可逆的；文本必须为无失真信源编码。离散信源才能进行无失真编码有损信源编码解码时不能精确还原信源信息；一般应用于数字图像，音频和视频的压缩；人感觉不出解压后的图像和原始图像的区别。信源编码器无失真编码实质上是为信源符号或符号序列分配一个唯一的码字离散信源𝑑1,𝑑𝑑2,⋯,𝑑𝑑𝑁𝑁离散信源

,,}信源编码di{s1,s2,,sq}信源编码

X:1,2,,r码字由码符号集中的码字 元素构成(iq)

Wi(xixi

),X

(k1,,li)i

(si,si,,si

1 2 k)Wi(xixixi)1 2 N

1 2 信源编码器二元码：码字为二元序列X:0,1等长码：所有码字的长度相等变长码：码字的长度不相等非奇异码：若一组码中所有码字都不相同，即sisj

wj则称该码为非奇异码。信源编码器奇异码：若一组码中有相同的码字，则称该码为奇异码。唯一可译码：码的任意一串有限长的码字序列只能被唯一译成对应的信源符号序列。信源符号码信源符号码1码2A000B0101C10001D11111等长码若等长码是非奇异码，则它的任意有限长N次扩展码一定也是非奇异码。信源符号码信源符号码1码2A0000B0110C1000D1101等长码若对信源S进行等长编码，必须满足llogqlogr

qrl

等长码的码长码符号集中的码元数若对信源的NSN进行等长编码，必须满足qNrll logqN logr等长码设信源的数学模型为：S

s s s s 4

1 2 3 4

P(si)1P(s) P(s1)

P(s2)

P(s3)

P(s4)

i1其发送符号间具有如下依赖性：P21P12P43P3

s41Psj

0等长码编码方案一：不考虑符号间的依赖关系，直接对信源符号进行等长编码，则每个符号对应的码字长度为2；编码方案二：考虑符号间的依赖关系，对信源的二次扩展信源进行编码。二次扩展信源模型S2 ss ss ss ss

12 21 3 4 4 3Psisj) P(12)

P(s2s1)

P(s3s4)

P(s4s3)等长码由于考虑符号间的依赖关系，二次扩展信源中的符号个数从个缩减为4个。对二次扩展信源中的符号进行等长编码，每个符号的码长为2，每个信源符号对应的码字长度为对信源的N次扩展信源进行编码。由这4个符号组成的长度为N的字符串包括4N个字符串，可以证明当N足够大时，这4N个字符串中只有

2NHS个高概率字符串。因此对这些高概率字串编码只需要NH(S)比特，而每个字符需要H(S)比特。等长信源编码定理一个熵为H(S)的离散无记忆信源，若对信源长为N的符号序列进行等长编码，设码字是从r个字母的码符l足l H(S)N logr则当N足够大时，可实现几乎无失真编码。反之，则不能实现无失真编码，当N足够大时，译码错误概率趋近等长信源编码定理上述定理对于平稳有记忆信源仍然适用，但定理中的信息熵H(S)应为信源的限熵 H(S)对定理中的公式进行移项，可得l logrNHl logrNR’:编码后的信息传输率编码后每个信源符号对应的码字所能载荷的最大信息量等长信源编码定理编码效率：

H(S)1R例子（符号序列长度N和编码效率，误码率的关系）NDI(si)H2(S)

212

允许错误概率若要求译码错误概率小于等于N满足上述要求。

，符号序列长度等长信源编码定理设离散无记忆信源S

s1 s2 P

3 1 3 14 4H(S)

0.811

比特/信源符号

DI(si)

0.4715

0.96

，错误概率105

，则DI(si) 2 7N 4.110H2(S) 12变长码信源符号码1码信源符号码1码2码3码4A00011B01100110C1000001100D110100011000唯一可译性：码本身必须是非奇异的，而且其任意有限长N次扩展码也必须是非奇异的。即时码：是唯一可译码的一类。在所有符号的码字中，没有任何码字是其他码字的前缀。变长信源编码定理设信源为 S

s2

sq P(s)

P(s)

P(s)

P(s) 1 2 q编码后的码字为1,2,,wq

其码长分别为1,l2,,lq

，则该码的平均码长为qLP(sii1

码符号/信源符号变长信源编码定理变长信源编码定理紧致码的最小平均码长：若一个离散无记忆信源具有熵H(S)，并有r个码元的码符号1,2,,r，则总可找到一种无失真编码方法，构成唯一可译码，使其平均码长满足H(S)logr

L1

H(S)logr

最小平均码长的取值区间无失真变长信源编码定理（香农第一定理）1 2S的SN1 2

1,2

,,

qr其熵为r

H(SNxx

,,x

。对信源S进行编码，H(S)H(S) 1logr N logr N当 N时，

L H(S)

LN为扩展信源中每个NNN

r

符号序列的平均码长无失真变长信源编码定理香农第一定理的结论可以推广到平稳遍历的有记忆信源，此时，NN

H(S)r无失真变长信源编码对定理中的公式进行移项，可得rLNNH(S) rLNN编码后每个信源符号对应的码字能载荷的最大信息量，编码信息率R若R>H(S)，则存在唯一可译变长编码；若R<H(S)无失真变长信源编码编码效率 H(S)码的剩余度1

L1

logrHr(S)L无失真变长信源编码例：离散无记忆信源S

s1 s2 P

3 1 3 14 4

H(S)

0.811s :

s :1

H(S)

0.811编码方案1：1 2 L编码方案2：对离散信源的二次扩展信源编码s1s1

:

:10,

s2s1

:110,

s2s2

:1114L Pl 274

H(S)

0.961162 ii16i1

/2无失真变长信源编码编码方案3：对离散信源的三次扩展信源编码H(S)

0.985L3/3编码方案4：对离散信源的四次扩展信源编码H(S)

0.991/4香农编码选择每个码字长度满足 1 l logi P(s) i哈夫曼编码哈夫曼编码无失真变长编码；给出现概率大的字符分配一个短码字，出现概率小的字符分配一个长码字；分析传输的字符串，决定字符的类型以及出现的频率。根据不同字符的不同频率进行编码。哈夫曼编码树编码过程中产生的不平衡树二叉树（分支分别代表0和1）由根节点，树枝，枝节点，叶节点构成。哈夫曼编码哈夫曼编码步骤1、将q个信源符号按概率分布的大小，以递减次序排列；2、用0和1分布代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个符号，从而得到只包含q-1个符号的新信源；3、把缩减信源仍按概率大小以递减次序排列，再将其最后两个概率最小的符号合并成一个符号，并分别用0和1表示，从而得到包含q-2个符号的新信源；4、依此继续下去，直至信源只剩两个符号为止，将这两个符号分别用0，1表示。5、从最后一级开始向前返回，得到各个信源符号对应的码字。哈夫曼编码例：一段信息通过公共电话网络在两台计算机之间传输，这段信息只包含字符A到H。各个字符出现的概率是：A和B=0.25，C和D=0.14，E,F,G和H=0.055；1）根据变长信源编码定理，计算字符的最小平均码长；2）使用哈夫曼编码推导字符的码字集；3）计算每字符平均比特数以及编码效率，与等长编码的编码效率进行比较。哈夫曼编码熵H 20.25log2

0.25

20.14log2

0.14

40.055log2

0.0552.715比特/字符哈夫曼编码产生的码字集以及对应的哈夫曼树。使用哈夫曼编码每符号的平均比特数见图。等长二进制编码需要3比特。哈夫曼编码编码效率1）2.715/2.72=99.8%2) 哈夫曼编码哈夫曼码字为即时码。哈夫曼编码方法得到的码并不唯一，但平均码长都相同。对信源的NN算术编码算术编码不同于哈夫曼编码为每个字符提供不同码字，算术编码为每个符号序列产生一个码字。基于信源序列的累积分布函数的递推算法。基本思路：将累积分布函数的区间分成许多互不重叠的小区间，每个符号序列对应一个不同的区间，区间长度等于符号序列的累积分布函数。在区间内取一点，将其二进位小数点后l位作为该符号序列的码字。llog 1 P(s) 算术编码举例说明：假设要传输一条信息，信息中字符的概率如下：e

0.2,w

0.1在组成信息的每一个字符串的末尾，发送一个已知符号句号。一旦在接收端检测到句号，接收端认为字符串结束。算术编码算术编码方法把0到1的数字域分配给消息中的每个字符（包括结束符），每段区间的长度等于相应字符的概率，如图。假如要传送的字符串是单词went.，关键是要找出信源符号序列went.所对应的区间。编码过程如图。llog 1 12算术编码解码方法

0.00018解码端需要知道构成构成信息的字符集以及每个字符被分配的区间。解码端遵循与编码器相同的算法把接收到的码字译成相应的字符串。LZ编码Lempel-Ziv（LZ）编码针对字符串进行的压缩编码基于字典的压缩算法编码器和解码器中都保持一张表(或字典)，表中包含了在待传送文本中所有可能出现的字符串，比如单词。当表中的字符串(或单词)在文本中出现时，编码器发送的是字符串在表中存储位置的索引。解码器根据接收到的索引地址查表，从而恢复出原文本。通常，字典包括25000个字，因此索引编码需要比特。LZ编码例：某文本文件在发送前采用LZ算法压缩。如果平均每个字长为6个字符，所用的字典含4096个字，求相对于使用7比特ASCII码字的平均压缩率。解：由于4096212，因此字典中的每个字的索引地址可用12比特表示。由于LZ采用字在字典中的索引地址作为编码码字，因此每个字的码字长度为12比特。如果用ASCII码字，每个字需要42比特。压缩率为42：12=3.5.保真度准则下的信源编码平均失真度编码效率有损信源编码离散信源的有失真编码：当平均码字长度小于信息熵，将会出现译码错误。连续信源的有失真编码：量化导致波形失真。某些通信业务允许一定失真存在。在允许一定程度失真的条件下，能够把信源压缩到什么程度，即对每个采样值而言，最少需要多少比特才能描述满足一定失真要求的信源？有损信源编码设连续信源的输出x为服从高斯分布的连续变量X对x进行1比特量化；X失真度：均方误差通过求解22

EX

2 2,

X0 22

2minE XXX

X ,X0有损信源编码对随机变量X进行R比特量化，则量化值（解码器的输出）有2R种可能的取值。对量化区间及量化值进行优化，使平均量化误差（失真度）最小。在码率相同的情况下，对序列进行量化比对单个样本独立量化所得的失真更低。失真度设进入信源编码器的变量为U,信源解码器的输出变量V1,v2,,vs单符号的失真度（失真函数）d(u,vj)0UV

测度信源发出一个符号u，而在接收端解码成vj所引起的误差。失真度汉明失真：设信源变量U1,u2,,us信宿接收变量V1,v2,,vs。定义单符号失真度du,v )0

uivji j 1

uivj2平方误差失真：定义单符号失真度2d(ui,vj)

i

vj平均失真度平均失真度：传输一个符号引起的平均失真DEd(u,vj)离散信源：若已知信源概率分布P(ui)和条件概率Pvji，则rDr

P(u)Pv ud(u,v )si1 js

i j i i j由信源编解码方案决定例子，如果uA,C,D,

Pr(B)

Pr(C)

Pr(D)

1/4编码方案Pr(A,A)=1/4,d(A,A)=0,Pr(B,B)=1/4,d(B,B)=0…编码方案2：A->0,B->0,C->1,D->1解码方案：0->A,1->CPr(A,A)=1/4,d(A,A)=0,Pr(B,A)=1/4,d(B,A)=1,Pr(C,C)=1/4,d(C,C)=0,Pr(D,C)=1/4,d(D,C)=1,平均失真度连续信源：若信源输出的概率密度函数为f(u),则D

Ed(u,v )uU PuU sjss

j j j2U2jjs

d(u,vj)f(u)dujjj1

U

(uvj) f

(u)du条件期望的推导过程Ed(u,vj)

uUjd(u,vj)f(uuUj)duuu,U)

jL0,uUjLF(uuU

)uU)j Ujj j U)j

ujLPr(UjL

jH

u)

j,uUjf(uuU

)F'(uuU)

f(u)

,uU

PUj)ssjj j Pr(uU) jssjD

Ed(u,v)

uU

PuU

d(u,v

)f(u)dussj1

j1jUj

(uvj

jj j jj)2f(u)du

j1

U j平均失真度设信源输出的符号序列U

U1,U2,,UN，而解码后的符号序列V

1,2,,N符号序列中的每个变量均为离散随机变量Ui1,u2,,ur i1,v2,,vs发送序列有rNs种可能序列对的失真函数

d(αi,βj)

d(αil,βjl)Ni1N

序列失真度等于对应单个符号失真度之和rN sN

单符号平均失真度DDEd(u,v)P(αi)P(βjD

αi)d(αi,βj)i1 j

DNN平均失真度若信源为无记忆信源，且对每个符号的编码过程相互独立，即N NP(αi)P(αil),P(βjl1

αi)P(βjll

αil)DlNDEd(u,v)DlNl1

单符号的平均失真度若信源为平稳信源，则每个符号的平均失真度相等：离散无记忆平稳信源序列的平均失真度等于单个符号平均失真度的N倍。平均失真度符号序列UU1,U2,,UN中的每个变量均为连续随机变量；接收符号序列可能的个数和量化方式相关，若对序列中的每个变量进行R比特量化，则接收端的符号序列

VV,V

,,V

有2RN

种可能性；1 2N若对序列进行R比特量化，则接收端的符号序列有1 2NN2R种可能性。Nd(α,βj)

d(αl,βjl)i1D

Ed(α,β

)vβ Pvβ sj1s

j j jjs2RN或2Rj

=sjs

U

d(α,β

j)f

(α)dα信息率失真函数在考虑失真的条件下，接收端获得的平均信息量为 I(U;V)H(U)V)(UV)

H(U)

D0要使平均失真度为0，接收端必须获得的信息量为H(U)，即平均码字长度必须大于等于H(U)有失真编码1I1(UV)

H(U)-a

Db当接收端获得的信息量为I1(U;V)，失真度为b，此时平均码字长度必须大于等于I1(U;V)有失真编码2：I2(UV)

H(U)-aa

Db当接收端获得的信息量为I2(U;V)，失真度为b，此时平均码字长度必须大于等于

I2(U;V)信息率失真函数信息率失真函数（率失真函数）：在满足保真度准则DD平均信息量，即R(D) I(U;

比特/符号P(VU)DDR(D)是最优编码方法对应的I(U;V)，因此与具体的编码方法无关，只和信源分布相关。信息率失真函数R(D)为在一定失真度条件下，传输信源消息需要的最少码符号提供理论依据。R(D)R(D)率失真函数的性质R(D)的定义域为(0,Dmax) D=0：无失真编码，R(0)=H(S); R(D)是D

DDmax

时，R(D)=0。Dmax

minP(u)d(u,v)V UD Inf pudvduvmax v证明过程：

minP(u)d(u,v)V UrsrsDrsrs

P(u

)Pv u

d(u,v

)=

P(u

)Pv

d(u,v)i1 j

i1 ji j i i j i j i jr s s ri j i i j i j i j=inPi)Pvjdi,vj)inPvjPi)di,vj)Pvj

i1r

j

Pvj

j

i1minP(ui)d(ui,v)v i1率失真函数的性质R(D)是允许失真度的UR(D)是D的连续单调递减函数。二元对称信源的R(D)函数设二元对称信源

U，概率分布P(U)

[,1]V。失真矩阵Dd(0,0) d0 1d0) d 1 0 最大允许失真为Dmax

minvV U0,0平均失真度

wwDEd(u,v)

v

Pr(u

v

0)PE二元对称信源的R(D)函数在满足平均失真度DD的条件下，二元对称信源的信息率失真函数R(D)

H()H(D) 0D0D 0DH()H(D)

log(1)log(1)][DlogD(1D)log(1D)]信源分布越均匀，压缩的可能性越小当D=0时，R(D)等于信息熵。离散对称信源的R(D)函数设信源变量U

1,u,,ur

并且信源符号等概分布，信宿接收变量度定义为：

V1,v2,,vr

，汉明失真d(u,v

)0

uivji j平均失真度为

1

uivjDEd(u,v)

Priu,v

vj离散对称信源的R(D)函数最大允许失真为D minPuu,v

min

1du,vmax

V V r1rr

U U111r由此可得

Dmax

11,r

RDmax0Dmin

R0H离散对称信源的R(D)函数DD的条件下，r元对称信源的信息率失真函数为logrDlog(r1)H(D) 0D11R(D)0

rD11r离散对称信源的R(D)函数对于给定的D，r越大，R(D)越大，信源压缩性越小。当D=0时，R(D)等于信息熵。高斯信源的信息率失真函数设某高斯信源U，概率密度函数为p(u)

12

e(um)2/22发送符号和接收符号之间的失真函数为d(u,v)平均失真度为

u

v2DEd(u,v)

p(u,u

v2

dudv高斯信源的信息率失真函数在满足平均失真度DD的条件下，高斯信源的信息率失真函数为

R(D)

12

2log DD

20 D

2D2时，R(D)=0。接收端可以直接用均值m表示输出信号，而不需要信源传输任何信息。 D0

时，R(D)无穷大。 D2

时，R(D)=1，在平均失真度小于等于2

的条件下，连续信号每个样值最少需要1个二元符号来传输。高斯信源的信息率失真函数根据上述结果，可设计如下量化方案：v

2/2/

u0u0 2 0 2DEd(u,v)0.36332

u0

/

p(u)du

u

/

p(u)du保真度准则下的信源编码定理（香农第三定理）设R(D)为一离散D

0,0

以及任意足够长的符号序列，一定存在一种信源编码方法C，其编码后的码字R'R'logMnM 2n[R(D)]

R(D)而编码后码的平均失真度

每个符号对应的码字长度d(C)D保真度准则下的信源编码逆定理不存在平均失真度为D，而

R'

R(D)

的任何信源码。即对任意码长为n的信源码C，若码字个数 M

2n[R(D)]

， 一定有d(C)D该定理可以推广到连续信源，有记忆信源等更一般的情况。有损信源编玛技术通信原理脉冲编码调制技术（PCM）PCM：将模拟语音信号变换成数字信号的编码方式。将信号频带限制在一定范围内 时间离散化 幅值离散化

将量化后的信号编码成二进制码组限带滤波器 抽样器 量化 编码限带滤波器抽样器量化编码PCM编码器PCM解码器低通滤波抽样保持低通滤波抽样保持低通抽样定理fm1

的低通信号f(t)，可由其在时间轴上间隔为2fm的取样值唯一确定。奈奎斯特采样定理：能无失真恢复信号的最低采样频率为2fm使时间连续信号无失真地转换成时间离散信号低通信号的理想采样设低通信号为f(t),频域函数为F(w)T(t

tn

,频域函数为 (w)w

wnw

w T s s sn sfSfS(t)f(t)T(t)f(t)(tnTS)nSnSFn T1nSnSFn T1nSn FTs1)SF(无混叠条件：ws

或

fs

2f0(b)(a)0f(t)

(c)f(t)

f(t)

(tnT)

-2-0F()1

2F

n

1

Fn S T Sn

S Ts

n1

ST SnT(d)f(t)

n

fns)Samtns)(e) 0低通信号的理想采样假如信源输出的基带信号为m(t)

cos

t2cost为了无失真恢复信号，采样频率应为多少？M(w)

w

w

w按照低通信号的采样定理，

fs6带通信号的取样定理L如果模拟信号f(t)为带通信号，其频率限制在fL和fHB

fHfL

.令fH

mBkB ，其中，k表示不超过小于1的分数。

fH的最大整数，m0B带通信号的最低不失真取样频率为f 2fH

2B(1m)

2Bf

4Bs k k s对带通信号采样时，可以用远低于2fH采样；

的频率进行fH为B的整数倍或fH

fs

2B带通信号的取样定理当k=1,

m时，

fs4B比如，当

fH1.999B，fs

4B假设信源输出的基带信号为m(t)

cos

t2cost若将该信号视为带通信号，则

fL5,fH

，B根据带通信号采样定理，采样频率

fs1Hz实际抽样实际抽样电路中抽样脉冲不是理想脉冲，而是具有一定持续时间的脉冲信号。实际抽样分为自然抽样和平顶抽样 自然抽样：由信号波形和矩形脉冲序列直接相乘完成，脉冲信号顶部随信号的大小而自然变化。 平顶抽样：采样后信号的幅度在脉宽期间保持不变。取样脉冲可以选择任意形状脉冲实际抽样(a)(b))低通信号的自然采样设低通信号为f(t),频域函数为F(w)，低通截止频率为w0;采样脉冲信号的脉冲宽度为，脉冲重复周期为，周期矩形脉冲(t)

An

pt

，频域函数为P(w)

sa

wnw

2wsT 2 s s n 采样后的信号

fs(t)

f(t)(t)采样后信号的频谱F

1 FA

S nS

n TS T

S a 2S n a 2低通信号的自然采样无混叠条件：频域脉冲序列周期ws

2w0或1Ts

fs2f0自然取样信号及其频谱(a)

F(w)

-

Sa

wnwT 2 ss n (b)F

1FA

SnS

n TS T

S a 2Sn a 2(c)

低通滤波后的信号：

F'TS

F低通信号的平顶抽样平顶抽样：脉冲信号的形状相同，幅值取决于信号的瞬时抽样值。存在孔径效应。在低通滤波器后增加均衡电路消除孔径效应低通信号的平顶采样设低通信号为f(t),频域函数为F(w)从时域上看，平顶采样信号相当于将理想采样信号和一个矩形脉冲卷积的结果频域函数为

f's(t)

fs(t)

p(t)F1

P

S

F

S T S

a 2 SSn

S n低通信号的平顶采样为从平顶采样信号中恢复原始信号，将平顶采样信号通过一个低通滤波器F'()

S

Fs0 T a 2 S G()孔径失真将F'()通过频率响应为

1的低通滤波器即可1s0恢复原信号

G()F(w)-q(t)

Q(w)SSft FSS

F1

Q

S

FS T S T

a 2 Sn

S n F'()SF1 s0 T a2

Heq

AS

S a2- S

平顶取样信号及其频谱量化）。量化间隔越小，量化误差越小。实现量化的电路为量化器。量化器Q(x)x yk,量化器Q(x)

kM量化标量量化器的一般设计方案

xMxM1 y2 yM平均量化误差功率（平均失真度）M xeExQ(x)2 k(xy

)2p(x)dxk xk k1最优量化器的设计就是要求出最优的量化门限值{x}i i1{x}i i1i i1

及量化值{y}M

，使e最小。当输入变量服从均匀分布时，均匀量化为最优量化器。量化当输入信号服从均匀分布时，exk

0xk

yk2

yk10y

kyk 2k最优量化器：量化间隔相等，量化值位于区间中点。量化

xMxM1 量化间隔

y2x

y3x

xM

yMkk M量化M=2𝑘𝑘设双性信的幅度 x V 量化平数为M，则均匀量化的量化区间的长度M设x服从均匀分布，量化点位于量化区间中心点，M x

M

2 V2 V2lE llx

1(x

y)2

p(x)dx

2dx

2 2k el e

l2

12 3M

3*2k1log 2

/3E)2 2量化若输入为正弦信号，正波的度V ，功2率SV22

，则信噪比SNR

Se

3M22若对输入信号进行k特量，M 式可简化为

2k，上=6.02k

1.76

6k2非均匀量化非均匀量化可使量化信噪比在整个范围内基本保持一致。利用压扩技术实现非均匀量化。压缩 均匀量化 编码译码扩张非均匀量化采用非均匀量化，使用较少的编码位数可达到满意的通信质量。压扩技术与信号的统计特性相关。语音信号采用对数律压扩。 常被采用的包括u律和A u律： xy

1

x 1非均匀量化A律：

Ax

0x 1y 1LnA A1 LnAx1

1 x 1 1

LnA A非均匀量化的噪声功率Nq

16M

Vyx)200

p(x)dx2 213折线数字压扩技术13折线数字压扩技术：利用数字集成电路形成许多折线来近似非线性压缩曲线。实际采用的包括13折线A律（A=87.6）和15折线u律（u=255）13/4

1100xxxx

y(5)

(6)

(7)

(8)1/21/4-1/4-1/2-3/4-1

1011xxxx1010xxxx1001xxxx1000xxxx-1 -1/2 -1/4

(4)(3)(2)(1)

x1/4 1/2 1x0000xxxx0001xxxx0010xxxx0011xxxx0100xxxx0101xxxx0110xx