信息论马尔科夫信源课件

以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。某时刻输出符号仅与此刻信源所处的状态有关；某时刻所处状态由当前输出符号和前一时刻信源状态唯一确定。121、定义在实际问题中，试图限制记忆长度，就是说任何时刻信源发出符号的概率只与前面已经发出的m个符号有关，而与更前面发出的符号无关，即马尔可夫信源。2.2.3马尔可夫信源以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源1称信源的随机状态序列服从马尔可夫链称信源的随机状态序列服从马尔可夫链22、状态转移图在状态转移图上，每个圆圈代表一种状态，状态之间的有向线段表某一状态向另一状态的转移。有向线一侧的符号和数字分别代表发出的符号和条件概率。条件概率：p(0/00)=p(1/11)=0.8

p(1/00)=p(0/11)=0.2

p(0/01)=p(0/10)=p(1/01)=p(1/10)=0.5

状态转移概率：

p(e1/e1)=p(e4/e4)=0.8p(e2/e1)=p(e3/e4)=0.2p(e3/e2)=p(e2/e3)=p(e4/e2)=p(e1/e3)=0.52、状态转移图条件概率：状态转移概率：3（1）定义在任何时刻l，符号发出的概率只与前面m个符号有关，把m个符号看做信源在l时刻的状态。因为原始信源符号集共有n个符号，则有记忆信源可以有nm个不同的状态，分别对应于nm个长度为m的序列。这时，信源输出依赖长度为m+1的随机序列就转化为对应的状态序列，而这种状态序列符合马尔可夫链的性质，称为m阶马尔可夫信源。3、m阶马尔可夫信源n—信源符号集

nm—信源不同的状态数

m+1—信源输出依赖长度；（1）定义3、m阶马尔可夫信源n—信源符号集nm—4（2）数学模型令则由信源输出符号的条件概率可以确定状态转移概率p(sj/si)，i，j∈{1,2,…,nm}马尔可夫信源的状态空间（2）数学模型令则由信源输出符号的条件概率可以确定状态转移概5例：设一个二元一阶马尔可夫信源，信源符号集为X={0,1}，信源输出符号的条件概率为p(0/0)=0.25，p(0/1)=0.50，p(1/0)=0.75，p(0/1)=0.50，求状态转移概率。解：由于信源符号数n=2，因此二进制一阶信源仅有2个状态：s1=0，s2=1。由条件概率求得信源状态转移概率为p(s1/s1)=0.25，p(s1/s2)=0.50，p(s2/s1)=0.75，p(s2/s2)=0.50例：设一个二元一阶马尔可夫信源，信源符号集为解：由于信源符号6(3)熵

由定义并考虑平稳性(3)熵7其中p(si)(i=1,2,…,nm)是m阶马尔可夫信源稳定后的状态极限概率，p(sj/si)是一步转移概率。其中p(si)(i=1,2,…,nm)是m阶马尔可夫8（4）各态历经定理

定理：对于有限齐次马尔可夫链，若存在一个正整数对一切i,j=1,2,…,nm,都有则对每一个j都存在不依赖于i的极限称这种马尔可夫链是各态历经的。其极限概率是方程组的唯一解。（4）各态历经定理对一切i,j=1,2,…,nm,都9二阶马尔可夫信源{00011011}，求状态转移概率和极限熵。例

p(e1/e1)=p(x1/e1)=p(0/00)=0.8

p(e2/e1)=p(x2/e1)=p(1/00)=0.2p(e3/e2)=p(x1/e2)=p(0/01)=0.5p(e4/e2)=p(x2/e2)=p(1/01)=0.5p(e1/e3)=p(x1/e3)=p(0/10)=0.5p(e2/e3)=p(x2/e3)=p(1/10)=0.5p(e3/e4)=p(x1/e4)=p(0/11)=0.2p(e4/e4)=p(x2/e4)=p(1/11)=0.8二阶马尔可夫信源{00011011}，求状态转移概率和10求出稳定状态下的

p(ej),称为状态极限概率.将一步转移概率代入上式得:p(e1)=0.8p(e1)+0.5p(e3)p(e3)=0.5p(e2)+0.2p(e4)p(e2)=0.2p(e1)+0.5p(e3)p(e4)=0.5p(e2)+0.8p(e4)解方程组得：p(e1)=p(e4)=5/14p(e2)=p(e3)=2/14计算极限熵：求出稳定状态下的p(ej),称为状态极限概率.将一步转移11

平稳信源（如果不平稳则先把其变成分段平稳的）。121总结平稳信源（如果不平稳则先把其变成分段平稳的）。112

马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号；

一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系；m阶马尔可夫信源与一般记忆长度为m的有记忆信源的区别：122马尔可夫信源发出一个个符号，有限长度有记忆13

马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系；3马尔可夫信源记忆长度虽然有限，但依赖关14对于英语信源：2.2.4信源冗余度对于英语信源：2.2.4信源冗余度15信息熵的相对率：信源的冗余度：信息变差：信息熵的相对率：信源的冗余度：信息变差：16在设计实际通信系统时，信源冗余度的存在对传输是不利的，应尽量压缩信源冗余度，压缩冗余度的方法就是尽量减小符号间的相关性，并且尽可能地使信源输出消息等概率分布，以使每个信源发出的符号平均携带的信息量最大，即信源编码问题；反之，若考虑通信中的抗干扰问题，则信源冗余度是有利的，传输之前常人为地加入某种特殊的冗余度，以增强通信系统的抗干扰能力，即信道编码问题。在设计实际通信系统时，信源冗余度的存在对传输是不利的，应尽量17作业：2.162.202.16每帧电视图像可以认为是由3

105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？作业：2.162.202.16每帧电视图像可以认18作业：2.162.202.20黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为P(黑)=0.3，白色出现的概率为P(白)=0.7。(1)假设图上黑白消息出现前后没有关联，求熵H(X)