信息论理论基础

信息论理论基础1第一页，共一百一十八页，编辑于2023年，星期六第2章基本信息论2.1信息度量2.2离散信源的熵2.3二元联合信源的共熵与条件熵2.4连续信源的熵2.5熵速率和信道容量2.6离散有噪声信道的熵速率和信道容量2.7连续有噪声信道的熵速率和信道容量2.8使信源与信道匹配的编码2023/6/162第二页，共一百一十八页，编辑于2023年，星期六2.1信息度量2023/6/163第三页，共一百一十八页，编辑于2023年，星期六2.1.1信息度量的必要性通信的目的是为了传递信息。单位时间内信道所传递的信息量称为传信率，它是衡量通信系统性能的重要指标之一。为了得出通信系统的传信率，必须对消息或信源所含有的信息有一个数量上的度量方法这就是我们研究信息度量的目的。

2023/6/164第四页，共一百一十八页，编辑于2023年，星期六2.1.2信源的不确定性1.研究不确定性的目的【例】A.明天太阳将从东方升起。

B.明天小张会给小王打电话。

C.明天上午小张会给小王打电话。结论：(1)信源发出的消息状态应该存在某种程度的不确定性；(2)信息的多少与信源的不确定性有关。2023/6/165第五页，共一百一十八页，编辑于2023年，星期六2.不确定性的度量——不确定程度

不确定程度可以直观理解为猜测某些随机事件的难易程度。【例】布袋中有100个小球，大小、重量、手感完全相同，但颜色不同。从布袋中任取一球，猜测其颜色。

A.99个红球，1个白球；

B.50个红球，50个白球；

C.25个红球，25个白球，25个黑球，25个黄球。2023/6/166第六页，共一百一十八页，编辑于2023年，星期六(1)不确定程度与信源概率空间有关；(2)若状态数相同，等概分布时不确定程度最大；(3)等概分布时，状态数越多则不确定程度越大。2023/6/167第七页，共一百一十八页，编辑于2023年，星期六3.不确定程度基本关系式——Hartley公式若信源X等概分布，则其不确定程度H(x)与概率P满足：P越大，则H(x)越小；当P=1时，则H(x)=0；当P=0时，则H(x)=∞；信源不确定程度应具有可加性。若X与X’相互独立，则H(x,x’)=H(x)+H(x’)

对数可以取2、e、10为底，相应不确定程度的单位分别为比特(bit)、奈特(nat)

、哈特莱(Hartley)

。2023/6/168第八页，共一百一十八页，编辑于2023年，星期六不等概情况：消息xi的不确定程度2023/6/169第九页，共一百一十八页，编辑于2023年，星期六2.1.3信息量1.概率基本关系式(1)(2)(3)2023/6/1610第十页，共一百一十八页，编辑于2023年，星期六(4)(5)当X和Y相互独立时，(6)2023/6/1611第十一页，共一百一十八页，编辑于2023年，星期六2.信息量的定义：

收信者收到一个消息后，所获得的信息量等于不确定度的减少量。I=不确定度的减少量2023/6/1612第十二页，共一百一十八页，编辑于2023年，星期六3.自信息量在没有噪声的情况下，信源发出xi

接收者就会收到xi。这时接收者收到的信息量就等于xi本身含有的信息量，称为信源状态xi的自信息量，记为I(xi)。收到xi前对xi的不确定程度：H(xi)收到xi后对xi的不确定程度：0自信息量2023/6/1613第十三页，共一百一十八页，编辑于2023年，星期六【例】一次掷两个色子，作为一个离散信源，求下列消息的自信息量。

a.仅有一个为3；b.至少有一个为4；c.两个之和为偶数。

解：p(a)=10/36=5/18

p(b)=11/36

p(c)=18/36=1/2I(a)=log(18/5)=1.848(bit)

I(b)=log(36/11)=1.7105(bit)

I(c)=log2=1(bit)2023/6/1614第十四页，共一百一十八页，编辑于2023年，星期六4.互信息量：

在有噪声信道下，假设信源发出的状态为xi，接收者收到的状态为yj。接收者收到yj后，从yj中获取到关于xi的信息量，就是信源发出xi后接收者收到的信息量，称为互信息量，记为I(xi,yj)。2023/6/1615第十五页，共一百一十八页，编辑于2023年，星期六收到yj前对xi的不确定程度：收到yj后对xi的不确定程度：收到yj后对xi的不确定程度：2023/6/1616第十六页，共一百一十八页，编辑于2023年，星期六【例1】某电报系统发送传号M和空号S的概率相等，即P(M)=P(S)=1/2。由于信道中噪声的影响，使1/6的传号收成空号，而半数的空号收成传号。问收信者收到一个符号后所获得的平均信息量是多少？

解：1.计算先验概率、联合概率和后验概率发送符号：接收符号：

x1：发M，x2：发S，y1：收M，y2：收S

p(x1)=1/2，p(x2)=1/2

SSSSMMMMMMMMMSSSS

S

SMMMMMp(x1y1)=5/12，p(x1y2)=1/12，p(x2y1)=1/4p(x2

y2)=1/4p(x1|y1)=5/8，p(x1|y2)=1/4，p(x2|y1)=3/8，p(x2|

y2)=3/42023/6/1617第十七页，共一百一十八页，编辑于2023年，星期六2.计算收到一个消息所获得的信息量2023/6/1618第十八页，共一百一十八页，编辑于2023年，星期六3.计算收到一个消息所获得的平均信息量2023/6/1619第十九页，共一百一十八页，编辑于2023年，星期六2.2离散信源的熵2023/6/1620第二十页，共一百一十八页，编辑于2023年，星期六1.离散信源离散信源是指只能输出有限数量消息(状态)的信源。2.离散信源的熵信源输出一个消息(状态)所提供的平均信息量或信源的不肯定程度称为信源熵。单位：bit/符号(消息)、nat/符号(消息)、Hartley/符号(消息)2023/6/1621第二十一页，共一百一十八页，编辑于2023年，星期六【例1】计算只能输出“1”和“0”两个消息(状态)的简单二元信源的熵。解：假设p(1)=p,p(0)=1-p(0≤p≤1)(1)当p=1/2时，H(x)=1bit/符号(2)当p=0或p=1时，H(x)=0H(x)01/21p12023/6/1622第二十二页，共一百一十八页，编辑于2023年，星期六3.熵函数的性质(1)非负性H(x)≥0

由于0≤p(xi)≤1

所以logp(xi)≤0

因此有H(x)≥0

(2)对称性

(3)确定性2023/6/1623第二十三页，共一百一十八页，编辑于2023年，星期六(4)极值性

且N越大，Hmax(x)越大——离散信源的最大熵定理证明：作辅助函数2023/6/1624第二十四页，共一百一十八页，编辑于2023年，星期六令：可得代入到约束方程可得因此2023/6/1625第二十五页，共一百一十八页，编辑于2023年，星期六2.3二元联合信源的共熵与条件熵2023/6/1626第二十六页，共一百一十八页，编辑于2023年，星期六2.3.1二元联合信源的共熵1.定义二元联合信源的共熵是指二元联合信源(X,Y)输出一个组合消息状态所发出的平均信息量，也称为联合熵，记作H(x,y)。2.表达式

(xi,yj)的信息量2023/6/1627第二十七页，共一百一十八页，编辑于2023年，星期六2.3.2条件熵1.定义

X的状态已知时，Y输出一个状态所发出的平均信息量称为在X给定条件下，Y的条件熵，记作H(y|x)。在Y

给定条件下，X的条件熵，记作H(x|y)。2.表达式

已知xi的条件下，yj的信息量2023/6/1628第二十八页，共一百一十八页，编辑于2023年，星期六3.H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)证明：将代入上式得由于因此2023/6/1629第二十九页，共一百一十八页，编辑于2023年，星期六2.3.3H(x,y)≤H(x)+H(y)的证明当X，Y相互独立时取“=”，当X，Y相关时取“<”证明：

由Lagrange中值定理可知若f(x)在[Z,Z+h]上连续，在(Z,Z+h)上可微，则在(Z,Z+h)上至少有一点C，使得f(Z+h)-f(Z)=hf’(C)C=Z+θh,0<θ<1f’(C)=f(Z+h)-f(Z)h2023/6/1630第三十页，共一百一十八页，编辑于2023年，星期六令则假设将(2)(3)(4)代入(1)中得2023/6/1631第三十一页，共一百一十八页，编辑于2023年，星期六2023/6/1632第三十二页，共一百一十八页，编辑于2023年，星期六2023/6/1633第三十三页，共一百一十八页，编辑于2023年，星期六1)X，Y相互独立对于所有i，j，有p(xi,yj)=p(xi)p(yj)因此aij=0

X，Y相互独立时,H(x,y)=H(x)+H(y)2)X，Y相关一定存在i，j，使p(xi,yj)≠p(xi)p(yj)，即aij≠0i)aij>0分子>0，分母>0ii)aij<0分子>0，分母>0

p(xi)p(yj)+θ

aij>p(xi)p(yj)+

aij=p(xi,yj)≥0因此X，Y相关时,H(x,y)<H(x)+H(y)2023/6/1634第三十四页，共一百一十八页，编辑于2023年，星期六推论1

由于H(x,y)≤H(x)+H(y)H(x,y)=H(x)+H(y|x)

所以H(x)+H(y|x)≤H(x)+H(y)因此同理推论2

H(y|x)≤H(y)H(x|y)≤H(x)H(x,y,…,z)≤H(x)+H(y)+…+H(z)2023/6/1635第三十五页，共一百一十八页，编辑于2023年，星期六【例1】有两个同时输出消息的信源X和Y，X能输出A，B，C三个消息，Y能输出D，E，F，G四个消息。P(x)和P(y|x)的具体数值如表所示。求H(x)，H(y)，H(x,y)和H(y|x)。解：令

x1:A

x2:B

x3:C

y1:D

y2:E

y3:Fy4:GXABCP(x)1/21/31/6P(y|x)DEFG1/41/41/41/43/101/51/53/101/61/21/61/62023/6/1636第三十六页，共一百一十八页，编辑于2023年，星期六

(1)

由可得

=3.417bit/对符号Xx1x2x3p(xi)p(yj|xi)y1y2y3y4p(xi,yj)x1x2x3y1y2y3y41/21/31/61/41/41/41/43/101/53/101/51/61/61/61/21/81/81/81/81/101/151/101/151/361/121/361/362023/6/1637第三十七页，共一百一十八页，编辑于2023年，星期六(2)=1.461bit/符号(3)

由可得

=1.997bit/符号p(xi,yj)x1x2x3y1y2y3y41/81/81/81/81/101/151/101/151/361/121/361/36p(y1)=91/360,p(y2)=99/360,p(y3)=79/360,p(y4)=91/3602023/6/1638第三十八页，共一百一十八页，编辑于2023年，星期六(4)=1.956bit/符号

或

由H(x,y)=H(x)+H(y|x)得

H(y|x)

=H(x,y)-H(x)=3.417-1.461=1.956bit/符号p(xi,yj)x1x2x3y1y2y3y41/81/81/81/81/101/151/101/151/361/121/361/36p(yj|xi)x1x2x3y1y2y3y41/41/41/41/43/101/53/101/51/61/61/61/22023/6/1639第三十九页，共一百一十八页，编辑于2023年，星期六离散平稳有记忆信源的熵—极限熵1.离散平稳有记忆信源所谓离散平稳有记忆信源就是一种相关信源，信源发出的前后符号间具有相关性，并且信源的统计特性与时间无关。有记忆是指信源在某一个时刻的输出状态的统计特性与该信源以前的输出状态有关。假设信源发出的第一个符号记作X1，第二个符号记作X2，…，第N个符号记作XN，…若XN的概率分布与它前面的m个符号XN-1，XN-2，…，XN-m，有关，而与更前面的符号XN--m1，XN-m-2，…无关，则称该离散信源的记忆长度为m

。平稳是指信源的统计特性与时间无关。2023/6/1640第四十页，共一百一十八页，编辑于2023年，星期六2.极限熵的概念假设离散平稳有记忆信源X发出了N个符号：X1，X2，…，XN。则可以将这N个符号看作是一个N维联合信源。N个符号提供的总的信息量为：

H(X1，X2，…，XN)平均每个符号提供的平均信息量为

H(X1，X2，…，XN)/N对于实际信源来说，是一种无限长的序列，符号间相关性可以延伸到无穷。因此，离散平稳有记忆信源输出一个符号提供的平均信息量为：这个熵称为离散平稳有记忆信源的极限熵。2023/6/1641第四十一页，共一百一十八页，编辑于2023年，星期六3.m阶马尔柯夫信源的极限熵如果一个离散平稳有记忆信源在任意时刻输出符号的概率仅依赖于它前面的m个时刻的输出符号，而与更前面的符号无关，则该信源称为记忆长度为m的离散平稳有记忆信源，也称为m阶马尔柯夫信源。马尔柯夫信源是一种特殊的、比较接近实际的离散平稳有记忆信源。2023/6/1642第四十二页，共一百一十八页，编辑于2023年，星期六2023/6/1643第四十三页，共一百一十八页，编辑于2023年，星期六对于m阶马尔柯夫信源Hm+1——m阶条件熵2023/6/1644第四十四页，共一百一十八页，编辑于2023年，星期六几点说明：对于实际的离散非平稳有记忆信源，其极限熵是不存在的；可以假设其为记忆长度为无穷大的离散平稳有记忆信源，极限熵H∞存在，但求解困难；进一步假设其为m阶Markov信源，用其极限熵Hm+1近似；再进一步假设其为一阶Markov信源，用其极限熵H1+1近似；最简化的信源是离散无记忆信源，其熵为H(x)；最后可以假定为等概的离散无记忆信源，其熵为logN。

H∞≤Hm+1≤H1+1≤H(x)≤logN2023/6/1645第四十五页，共一百一十八页，编辑于2023年，星期六【例2】已知离散信源的概率分布为

(1)当符号间无相关性时，求该信源的熵。

解：bit/符号

X012P(X)11/364/91/42023/6/1646第四十六页，共一百一十八页，编辑于2023年，星期六

(2)若信源为有记忆信源，且记忆长度为1，求该信源的熵。

解：由得P(Xi+1|Xi)Xi

012Xi+1012

P(Xi，Xi+1)Xi

012Xi+1012

9/112/1101/83/41/802/97/91/41/1801/181/31/1801/187/362023/6/1647第四十七页，共一百一十八页，编辑于2023年，星期六=0.890bit/符号2023/6/1648第四十八页，共一百一十八页，编辑于2023年，星期六2.3.4消息的剩余度由于信源内部的消息状态的相关性和分布性，使其熵减少的现象称为剩余。剩余产生的原因信源的不等概分布信源前后符号间具有相关性剩余的程度相对熵剩余度内熵=H(x)/Hmax(x)=Hmax(x)-H(x)2023/6/1649第四十九页，共一百一十八页，编辑于2023年，星期六2.4连续信源的熵2023/6/1650第五十页，共一百一十八页，编辑于2023年，星期六2.4.1连续信源熵的定义

所谓连续信源就是指它们输出的量是连续的。这种信源的输出量，在任一时刻，在某个范围内可以取无穷多个数值。

1.连续信源熵的表达式可以利用离散信源熵的概念来定义连续信源熵。2023/6/1651第五十一页，共一百一十八页，编辑于2023年，星期六离散信源X’的概率分布为：当dx→0时，H绝→H(x’)2023/6/1652第五十二页，共一百一十八页，编辑于2023年，星期六定义连续信源的熵为：

2023/6/1653第五十三页，共一百一十八页，编辑于2023年，星期六几点说明：连续信源有无穷多个状态，因此其绝对熵必然为无穷大。连续信源熵为一个相对熵。连续信源熵不具有非负性，可以为负值。研究信息传输问题时，分析信道的输入和输出的交互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，不影响分析。2023/6/1654第五十四页，共一百一十八页，编辑于2023年，星期六2.几种典型连续信源的熵⑴均匀分布的连续信源熵设一维连续随机变量X的取值区间是[a,b]，其概率密度函数为2023/6/1655第五十五页，共一百一十八页，编辑于2023年，星期六(2)高斯分布的连续信源熵其中，m是随机变量X的均值σ2是随机变量X的方差2023/6/1656第五十六页，共一百一十八页，编辑于2023年，星期六2023/6/1657第五十七页，共一百一十八页，编辑于2023年，星期六2.4.2连续信源的最大熵变分法求函数p=p(x)使g最大构造令2023/6/1658第五十八页，共一百一十八页，编辑于2023年，星期六⑴输出幅度受限（瞬时功率受限）时的最大熵2023/6/1659第五十九页，共一百一十八页，编辑于2023年，星期六结论：对于瞬时功率受限的连续信源，在假定信源状态为独立时，当信源为均匀分布时，具有最大熵。其最大熵为：2023/6/1660第六十页，共一百一十八页，编辑于2023年，星期六(2)输出平均功率受限时的最大熵2023/6/1661第六十一页，共一百一十八页，编辑于2023年，星期六2023/6/1662第六十二页，共一百一十八页，编辑于2023年，星期六结论：（连续信源的最大熵定理）对于输出平均功率受限的连续信源，在假设状态相互独立时，当其概率分布为均值为0的高斯分布时，具有最大熵。其最大熵值随功率N的增加而增加。2023/6/1663第六十三页，共一百一十八页，编辑于2023年，星期六2.4.3熵功率对于平均功率受限的连续信源，当信源为高斯分布时有最大熵。当非高斯连续信源与高斯信源具有相同平均功率时，那么非高斯信源的熵一定小于高斯信源的熵。当非高斯连续信源与高斯信源具有相同熵时，那么非高斯信源的平均功率一定大于高斯信源的功率。1.定义若平均功率为N的非高斯信源与平均功率为的高斯信源的熵相同，则称为该非高斯信源的熵功率。2023/6/1664第六十四页，共一百一十八页，编辑于2023年，星期六高斯信源的熵为H，功率为非高斯信源的熵为H，功率为N因此结论：熵功率永远小于信源的真正功率。2023/6/1665第六十五页，共一百一十八页，编辑于2023年，星期六2.表达式

(1)若非高斯信源的熵为H（单位为nat），熵功率功率为则因此(2)若H的单位为bit，则(3)若H的单位为Hartley，则2023/6/1666第六十六页，共一百一十八页，编辑于2023年，星期六2.4.4连续信源的共熵与条件熵离散信源的共熵和条件熵同离散信源相似，连续信源也可定义其共熵和条件熵

2023/6/1667第六十七页，共一百一十八页，编辑于2023年，星期六关于离散信源独立熵、共熵和条件熵的几个关系式，对于连续信源仍然成立。H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)H(x,y)≤H(x)+H(y)H(y|x)≤H(y)H(x|y)≤H(x)2023/6/1668第六十八页，共一百一十八页，编辑于2023年，星期六2.5熵速率和信道容量2023/6/1669第六十九页，共一百一十八页，编辑于2023年，星期六2.5.1信源熵速率1.定义：信源在单位时间内输出的平均信息量称为信源的熵速率，也称为信息速率。2.离散信源的熵速率若离散信源的熵为H(x)，符号速率为n，则其熵速率为H’(x)=nH(x)3.连续信源的熵速率假设连续信源的熵为H(x)，带宽为W。由采样定理可知，当采样频率fs≥2W时，可由各采样值无失真地恢复出原始信号，因此H’(x)=2WH(x)2023/6/1670第七十页，共一百一十八页，编辑于2023年，星期六2.5.2信道容量1.定义：所谓信道容量是指信道对信源一切可能的概率分布而言，能够传送的最大熵速率，即最大接收熵速率。无噪声信道：C=H’max(x)有噪声信道：C<H’max(x)2.离散无噪声信道的信道容量

假设离散信道每秒传送n个等宽度，有K种状态的符号，则C=H’max(x)=nlogK3.连续无噪声信道的信道容量

假设带宽为W，信号平均功率为N，则2023/6/1671第七十一页，共一百一十八页，编辑于2023年，星期六2.6离散有噪声信道的熵速率和信道容量2023/6/1672第七十二页，共一百一十八页，编辑于2023年，星期六2.6.1接收熵速率

1.平均互信息量（接收熵）在有噪声信道下，若信源发出的消息为xi，接收者收到的消息为yj，则接收者收到yj后，从yj中获取到关于xi的信息量为接收者收到一个消息所获得的的平均信息量为称为Y关于X的平均互信息量，即接收熵。2023/6/1673第七十三页，共一百一十八页，编辑于2023年，星期六H(x|y)：由于噪声和干扰的作用，在传输过程中损失的信息量，表示收到Y后，对X仍然存在的疑惑性或不确定性，也称为疑义度、可疑度或含糊度。2023/6/1674第七十四页，共一百一十八页，编辑于2023年，星期六由于H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)(2)因此H(x)-H(x|y)=H(y)-H(y|x)(3)H(x)=H(x,y)-H(y|x)(4)H(x|y)=H(x,y)-H(y)(5)(3)代入(1)得:I(x,y)=H(y)-H(y|x)

(4)代入(1)得:I(x,y)=H(x,y)-H(y|x)-H(x|y)(5)代入(1)得:I(x,y)=H(x)+H(y)-H(x,y)H(y|x)：表示信道输入信号（即信源熵）由于干扰作用在输出端表现的散布程度，通常称为散布度。2023/6/1675第七十五页，共一百一十八页，编辑于2023年，星期六平均互信息量、信源熵、信宿熵、联合熵、疑义度和散布度之间的关系2023/6/1676第七十六页，共一百一十八页，编辑于2023年，星期六平均互信息量的性质非负性I(x,y)≥0，当X，Y相互独立时取“=”对称性I(x,y)=I(y,x)极值性I(x,y)≤H(x)2.接收熵速率R=n×I(x,y)R=H’(x)-H’(x|y)R=H’(y)-H’(y|x)H’(x|y)=n×H(x|y)——疑义度熵速率H’(y|x)=n×H(y|x)——散布度熵速率2023/6/1677第七十七页，共一百一十八页，编辑于2023年，星期六

【例1】一个信源以相等的概率及1000码元/秒的速率把“0”和“1”码送入有噪声信道。由于信道中噪声的影响，发送为“0”接收为“1”的概率是1/16，而发送为“1”接收为“0”的概率是1/32，求收信者接收的熵速率。解：x1：发送“0”x2：发送“1”

y1：接收“0”y2：接收“1”p(x1)=p(x2)=1/2p(yj|xi)y1y2x115/161/16

x21/3231/322023/6/1678第七十八页，共一百一十八页，编辑于2023年，星期六由得由得p(y1)=31/64,p(y2)=33/64

bit/符号p(xi,yj)y1y2x115/321/32

x21/6431/642023/6/1679第七十九页，共一百一十八页，编辑于2023年，星期六

bit/符号

bit/符号

R=nI(x,y)=1000×0.730=730bit/s2023/6/1680第八十页，共一百一十八页，编辑于2023年，星期六2.6.3信道容量信道容量是在给定信道条件下（即一定的信道转移概率），对于所有可能的信源先验概率的最大接收熵速率。

信道容量C与信源无关，只是信道转移概率的函数，不同的信道就有不同的信道容量。它反映了信道本身的传信能力。2023/6/1681第八十一页，共一百一十八页，编辑于2023年，星期六【例】已知某离散信道的符号速率为1000符号/秒，信道转移概率矩阵为

求该信道的信道容量以及接收熵速率达到信道容量时信源的概率分布。2023/6/1682第八十二页，共一百一十八页，编辑于2023年，星期六解：

=1.459bit/符号2023/6/1683第八十三页，共一百一十八页，编辑于2023年，星期六当Y为等概分布时，H(y)的值最大

bit/符号因此

bit/符号由于因此当X的概率分布满足以下关系式时，接收熵速率达到最大值，即信道容量。2023/6/1684第八十四页，共一百一十八页，编辑于2023年，星期六当X为等概分布时，接收熵速率最大，其最大值即信道容量为

bit/s2023/6/1685第八十五页，共一百一十八页，编辑于2023年，星期六结论：对称信道（信道转移矩阵中的每一行都是由同一组元素的不同组合构成的）的信道容量为2023/6/1686第八十六页，共一百一十八页，编辑于2023年，星期六2.7连续有噪声信道的熵速率和信道容量2023/6/1687第八十七页，共一百一十八页，编辑于2023年，星期六2.7.1接收熵速率1.平均互信息量（接收熵）离散信道连续信道I(x,y)=H(x)-H(x|y)I(x,y)=H(y)-H(y|x)I(x,y)=H(x,y)-H(y|x)-H(x|y)I(x,y)=H(x)+H(y)-H(x,y)2023/6/1688第八十八页，共一百一十八页，编辑于2023年，星期六加性高斯白噪声信道X与n独立，对于给定的xi

，p(y/x)=p(n/x)=p(n)2023/6/1689第八十九页，共一百一十八页，编辑于2023年，星期六因此H(y/x)=H(n/x)=H(n)I(x,y)=H(y)-H(n)2.接收熵速率R=H’(x)-H’(x|y)R=H’(y)-H’(n)2023/6/1690第九十页，共一百一十八页，编辑于2023年，星期六2.7.2信道容量假设信道特性如下：信道干扰形式为加性随机噪声，其功率谱均匀，幅度概率分布为高斯分布，即所谓加性高斯白噪声（AWGN），平均功率为N。信道为矩形带宽，其宽度为W。信源平均功率受限，信号功率为P。推导：C=maxR=max[H’(y)-H’(n)]=H’max(y)-H’(n)噪声为加性高斯白噪声，因此H’(n)=Wlog(2πeN)2023/6/1691第九十一页，共一百一十八页，编辑于2023年，星期六Y平均功率为(P+N)，因此当Y服从均值为0的高斯分布时

H’max(y)=Wlog[2πe(P+N)]由于Y和n均服从均值为0的高斯分布，因此X=Y-n也服从均值为0的高斯分布。山农公式2023/6/1692第九十二页，共一百一十八页，编辑于2023年，星期六结论：对于AWGN信道，其信道容量C与信号带宽W和信号噪声功率比P/N有关，W或P/N愈大，则C愈大。平均功率受限的信道，当其输入信号为高斯分布时，该信道的传信率R可以达到传信率理论极限值——信道容量。平均功率受限的信道，高斯白噪声的危害最大。这是因为高斯白噪声的熵最大。保持总的信息量不变，T、W、P/N之间的互换关系。当信噪比P/N一定时：W↑→T↓，T↑→W↓当传输时间T一定时：W↑→P/N↓，W↓→P/N↑当带宽W一定时：T↑→P/N↓，T↓→P/N↑2023/6/1693第九十三页，共一百一十八页，编辑于2023年，星期六对于AWGN信道，当带宽增大时信道容量会增加，但是信道容量会随着带宽的增加而无限度增加吗？由噪声功率N=N0W令2023/6/1694第九十四页，共一百一十八页，编辑于2023年，星期六2023/6/1695第九十五页，共一百一十八页，编辑于2023年，星期六2.8使信源与信道匹配的编码2023/6/1696第九十六页，共一百一十八页，编辑于2023年，星期六2.8.1编码定理1.无噪声离散信道的编码定理（有效性编码定理，信源编码定理）假设信源熵为H（bit/符号），无噪声离散信道的容量为C（bit/s），则总可以找到一种编码方法对信源的输出进行编码，使得在信道上传输的平均速率为每秒（C/H-ε）个符号。其中ε为任意小的正数。但要使平均速率大于C/H是不可能的。2023/6/1697第九十七页，共一百一十八页，编辑于2023年，星期六2.有噪声离散信道的编码定理（可靠性编码定理，信道编码定理）假设有噪声离散信道的信道容量为C

，离散信源的熵速率为R。如果R

≤C

，则存在一种编码方法，使信源的输出能以任意小的错误概率在信道上传输。如果R

>C

，就不可能有象R

≤C那样的编码方法。2023/6/1698第九十八页，共一百一十八页，编辑于2023年，星期六2.8.2信源最佳化

——传输效率无噪声信道提高，就要使H最大化符号独立化，解除符号间的相关性各符号概率均匀化——信源最佳化2023/6/1699第九十九页，共一百一十八页，编辑于2023年，星期六1.弱记忆信源（弱相关信源）如果信源的符号序列中，只有相邻的少数几个符号之间有统计相关性，而相距较远的符号之间的统计相关性可以忽略不计，这种信源称为弱记忆信源或弱相关信源。对于这种信源，我们可以把相关性较强的几个相邻符号看作一个大符号。于是这些大符号之间的相关性就小的多了。这种方法通常称为延长法或合并法。2.8.3符号独立化2023/6/16100第一百页，共一百一十八页，编辑于2023年，星期六2.强记忆信源（强相关信源）如果信源序列具有很强的相关性，以致于根据其中一部分符号就可以推测出其余的符号，这种信源称为强记忆信源或强相关信源。对于这种信源，那些可以被推知（或预测）的符号就无需传送。一般来说，难以完全精确的预测，而只能根据信源的统计特性作近似地预测。这时，我们不必传输序列本身，而只需传送序列的实际值与预测值之差。这种方法通常称为预测法。预测法应用的典型例子就是增量调制和差分编码调制。2023/6/16101第一百零一页，共一百一十八页，编辑于2023年，星期六X=原始信源符号集；A=信道码元符号集；W=输出码字（码组）集。2.8.4概率均匀化——最佳编码1.编码的基本知识(1)编码器编码器的作用：用A中的元素构成各个码字建立X与W的对应关系2023/6/16102第一百零二页，共一百一十八页，编辑于2023年，星期六(2)几个基本概念D元代码若码元符号集A中有D种元素（码元），则该代码称为D元代码。同价代码若各码元长度相同（占用时间相同），则该代码称为同价代码。等长代码若任一码字都有同样多个码元构成，则该代码称为等长代码。例如，{00，01，10，11}——等长代码

{0，10，110，111}——非等长代码2023/6/16103第一百零三页，共一百一十八页，编辑于2023年，星期六单义代码若任意一个有限长的码字序列，只能唯一地分割成一个个码字，则称该代码为单义代码。例如，{0，10，110，111}——单义代码

0010101100…{0，10，110，010}——非单义代码

0010101100…0010101100…非续长代码若任一个码字都不是另一个码字的续长，则称该代码为非续长代码。例如，{0，10，110，111}——非续长代码

{0，10，110，010}——续长代码||||||||||||||2023/6/16104第一百零四页，共一百一十八页，编辑于2023年，星期六非续长代码与单义代码的关系例如，{0，10，110，111}是非续长代码，也是单义代码。

{0，01}是单义代码，但不是非续长代码。

000100010非续长代码一定是单义的，但单义代码不一定是非续长的。||||||2023/6/16105第一百零五页，共一百一十八页，编辑于2023年，星期六单义代码存在定理设码元符号集为A:{a1,a2,…,aD}，码字集合为W:{W1,W2,…Wm}，其码长分别为n1,n2,…,nm；则单义代码存在的充要条件为码长组合满足Kraft不等式，即Kraft不等式同时也是非续长代码存在的充要条件；满足Kraft不等式的码长组合一定能构成单义码，单义码的码长组合一定满足Kraft不等式；有些码字的码长组合满足Kraft不等式，但不是单义码。（编码方法不对）

2023/6/16106第一百零六页，共一百一十八页，编辑于2023年，星期六【例】A={a1,a2},W={W1,W2,W3,W4},若各个码字的码长分别为n1=1,n2=n3=2,n4=3。问是否存在单义代码？若n1=1,n2=2,n3=n4=3呢？解：(1)

D=2，当n1=1,n2=n3=2,n4=3时因此不存在单义代码

(2)

当n1=1,n2=2,n3=n4=3时因此存在单义代码2023/6/16107第一百零七页，共一百一十八页，编辑于2023年，星期六(3)二元非续长代码的构成方法例如，A={0,1},W={W1,W2,W3,W4},各个码字的码长分别为n1=1,n2=2,n3=n4=3。“树图”

W1=0W2=10W3=110W4=111树图也可以用来解码，如

100110010非续长码：从顶点到任一码字都不能经过其他的码字||||根01W101W201W3W42023/6/16108第一百零八页，共一百一十八页，编辑于2023年，星期六2.最佳编码法（信源编码，有效性编码）例：X：ABCD

P(X):1/21/41/81/8

编码1：A:00，B:01，C:10，D:11码长L=2码元/符号原始信源符号熵H(S)=1.75bit/符号信道码元熵H(A)=H(S)/L=0.875bit/码元编码效率η=R/C=H(A)/H(A)max=0.875/1=87.5%2023/6/16109第一百零九页，共一百一十八页，编辑于2023年，星期六编码2：A:0，B:10，C:110，D:111平均码长=1×0.5+2×0.25+3×0.25=1.75码元/符号原始信源符号熵H(S)=1.75bit/符号信道码元熵H(A)=H(S)/

=1bit/码元编码效率η=H(A)/H(A)max=1/1=100%信源编码的基本思想：根据给定的消息概率，编码成二元非续长代码：消息概率大，编成的代码短；消息概率小，编成的代码长，从而减小平均码长，增大信道码元熵，提高传输效率。2023/6/16110第一百一十页，共一百一十八页，编辑于2023年，星期六(1)Shannon-Fano编码法步骤：①把原始信源的符号按概率从大到小重新排列；②把信源符号按尽可能概率相等分为2组，分别分配给“0”和“1”码元；③将每个分组再次分组，直至分完；④从左至右将分得的码元排列即得码字Wi。【例】假设有一个离散的独立信源，可以输出8个独立的消息。其信源空间如下：X:ABCDEFGHP(X):0.1