2011西电通院考研复试上课信息论第1章

信息理论与编码2021/6/101李雪莲2008年第一章：引论（简介）一、通信系统模型二、Shannon信息论的中心问题

三、Shannon信息的概念四、概率复习内容2021/6/102一、通信系统模型信源、信道、信宿信源是消息的来源，

信道是消息传送媒介，信宿是消息的目的地。信源编码器信道译码器信宿干扰源2021/6/1032021/6/104通信系统模型进一步细分信源信源编码器纠错编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率对信源输出进行变换对，信求源编码输出变得有换效，性提高抗干扰性将信道编码输出变成适合信道传输的方式信号从发端传到收端的介质信道的中心问题是研究信道的统计特性和传信能力，即信道容量系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性译码器：

编码器的逆变换中心问题是研究各种可信息的接收者消息文字，数字，图像信号表示消息的物理量，电信号的幅度，频率，相位等等可用不同类型的信号（如声、光、电）传递同一消息，如一个抽象的概念，可以“定母病量愈”的这描种关述于。母亲信身息、体状况的信息，用汉文“母物质和能量是构成一切病系愈”统的消的息三来表大述要，然素后用电报系统把汉字转化为莫尔斯码，再转化，调制成电信号进行传输。此时电信号是信息的载体，相对具里体载荷的有汉概文念消息，“如母病语言，愈”。可用不同消息（如语言、文字、图像）传递同一

信息。如球赛进展情况2021/6/105的信息信可用电息视图、像、消息和信号广播语言、报纸文字等不同消息来表达。信息在通信系统中，其传输的形式是消息。消息的特点是：收信者在收到信息以前是不知道消息的具体内容的。通信的过程是一种消除不确定性的过程，不确定性的消除，就获得了信息。原先的不确定性消除得越多，获得的信息就越多。2021/6/106二、Shannon信息论的中心问题2021/6/107“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息（具体地说，就是信源编码和信道编码。以下来看所要解决的具体问题。）问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：信源消息是一片无尽的天空。因此优先捡有用的发送。什么是有用的？就是信息量大的。什么是信息量大的？）问题二：信道因干扰而出现差错，必须进行检错和纠错。（否则所收到的消息无法识别。）信息论的研究内容2021/6/108狭义信息论（经典信息论）即Shannon信息论研究信息测度，信道容量以及信源和信道编码理论一般信息论研究信息传输和处理问题，除经典信息论外还包括

噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的

内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学2021/6/109狭义信息论体系结构Shannon信息论压缩理论无失真编码等长编码定理

Shannon1948McMillan1953变长编码定理

Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)有失真编码率失真理论ShannonGallagerBerger压缩编码

JPEGMPEG传输理论信道编码定理纠错码编码调制理论网络信息理论网络最佳码三、Shannon信息的概念2021/6/1010（直观地认识shannon信息和信息量，而暂时不使用定义）第一个重要概念：信道上传送的是随机变量的值。这就是说：我们在收到消息之前，并不知道将要收到的是什么消息。否则消息是没有必要发送的。我们在收到消息之前，知道将要收到的可能是哪些消息，以及收到每个消息的可能性大小。换句话说，消息随机变量有一个已知的概率分布。消息随机变量的一个可能取值就称为一个事件。三、Shannon信息的概念2021/6/1011第二个重要概念：事件的信息量。事件发生的概率越小，此事件含有的信息量就越大。（直观含义：越是不

太可能发生的事件竟然发生了，越是令人震惊）例事件A=“中国足球队3：0力克韩国足球队”，则事件

A含有的信息量大。（小概率事件发生了，事件信息量大）例事件B=“中国足球队0：1负于韩国足球队”，则事件

B含有的信息量小。（大概率事件发生了，事件信息量小）三、Shannon信息的概念2021/6/1012第三个重要概念：消息随机变量的信息量。消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。（直观含义：这种信息量的大小代表了不可预见性的大小）例消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。（随机性小，可预见性大，因此该消息随机变量含有的信息量小。）例消息随机变量Y=“意大利足球队与德国足球队比赛的结果”，则消息随机变量Y含有的信息量大。（随机性大，可预见性小，因此该消息随机变量含有的信息量大。）三、Shannon信息的概念2021/6/1013第四个重要概念：两个事件的互信息量。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相否定，它们的互信

息量就越小。如果两个事件既不互相肯定，也不互相否定，它们的互信息量就为0。（直观含义：这种信息量的大小代表了相互肯定性的大小）例A=西安明日有雨,B=咸阳明日有雨，BC=咸阳明日无雨，C=北京明日有雨，D=纽约明日有雨。则A与B互信息量大，A与C互信息量小得多，A与D互信息量几乎为0，A与BC互信息量小。三、Shannon信息的概念2021/6/1014第五个重要概念：两个消息随机变量的互信息量。两个消息随机变量的互相关性越大，它们的互信息量就越大。（直观含义：这种信息量的大小代表了相互依赖性的大小）例X=西安明日平均气温,Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则X与Y互信息量大，X与Z互信息量小得多，X与W互信息量几乎为0。四、概率复习内容记号P(A)表示事件A发生的概率。P(A|B)表示在事件B发生的条件下，事件A发生的条件概率。EX表示随机变量X的数学期望。离散型随机变量离散型随机变量X的所有事件为{x1,x2,…,xK}，对应的概率为

P(X=xk)=qk，k=1,2,…,K。通常将此随机变量记为{X,xk,qk,k=1~K}。又X的分布列（分布矩阵）记为：2021/6/1015KkK

Kqk

=12

1q

=

1X

~

x1,其中x2

xq

q四、概率复习内容另一个离散型随机变量Y的所有事件为{y1,y2,…,yJ}，对应的概率为P(Y=yj)=wj，j=1,2,…,J。通常将此随机变量记为{Y,yj,wj,j=1~J}。又Y的分布列（分布矩阵）记为：2021/6/1016JjJ

Jw

wj

=12

1w

=

1Y

~

y1,其中y

2

yw

四、概率复习内容两个离散型随机变量X与Y联立，得到了二维离散型随机变量(X,Y)。(X,Y)的所有事件为{(xk,yj),k=1,

2,…,K;j=1,2,…,J}。对应的概率为P((X,Y)=(xk,yj))=rkj，k=1,

2,…,K;j=1,

2,…,J。通常将此二维随机变量记为{(X,Y),(xk,yj),rkj,k=1~K;j=1~J}。(X,Y)的联合分布列（联合分布矩阵）为：2021/6/1017K

JrKJ

xKrx

r

rk

=1

j=1rK

21J

1(

X

,Y

)

~

x2r2

J

,其中rkj

=1

X

\

Y

y1

y2

yJ

11

12r21

r22

rK1

四、概率复习内容联合分布、边际分布、条件分布的关系：Jqk

=rki

,k

=1~

Ki=1Kwj

=rij

,

j

=1~

Ji=1==Kjjrijrkj

rkjwi=1P(Y

=

y

)P((X,Y)

=(xk

,

yj

))P(X

=xk

|Y

=

yj

)

==2021/6/1018=Jkkrkj

rkjq

rkii=1P(X

=x

)P((X,Y)

=(xk

,

yj

))P(Y

=

yj

|

X

=xk

)

=四、概率复习内容rkj=qkP(Y=yj|

X=xk)=wjP(X=xk|

Y=yj)。如果X与Y相互独立，则对任何k=1~K，j=1~J

，都成立rkj=qkwj。换句话说，对任何k=1~K，j=1~J

，都成立P(Y=yj|

X=xk)=wj。P(X=xk|

Y=yj)=qk。数学期望（均值）：KEX

=

xk

qkk

=1J2021/6/1019EY

=

y

j

w

jj

=1四、概率复习内容2021/6/1020连续型随机变量连续型随机变量X的所有事件x有不可列无穷多个，对应的密度函数为fX(x)，-∞<x<+∞。通常将此随机变量记为{X,fX(x)}。连续型随机变量Y的所有事件y有不可列无穷多个，对应的密度函数为fY(y)，-∞<y<+∞。通常将此随机变量记为{Y,fY(y)}。我们知道+¥

fX

(x)dx

=1-¥+¥

fY

(y)dy

=1-¥四、概率复习内容两个连续型随机变量X与Y连立，得到了二维连续型随机变量(X,Y)