信息论基础——信源随机过程的基本概念

1、第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 第第1章章 随机变量的信息度量随机变量的信息度量自信息、熵、平均互信息；自信息、熵、平均互信息；数据处理定理数据处理定理 信息处理只能破坏信息！信息处理只能破坏信息！ (; )(; )I X ZI X Y第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念 2.2随机过程的信息度量随机过程的信息度量 2.3 渐近等分性质渐近等分性质 2.4 渐近等分性质在数据压缩中的应用

2、渐近等分性质在数据压缩中的应用 信源编码定理信源编码定理 2.5 Shannon-McMillan-Breiman定理定理 习题二习题二 第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念随机过程信源的分类 无记忆信源 k-阶马氏信源 离散平稳信源大数定律第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念收信者在未收到信息以前，对信源发出什么样的消息是不确定的，是随机随机的，所以可以用随机变量随机变量来描述信源 输出的消息. 信信源源信

3、信源源编编码码器器信信道道编编码码器器调调制制器器信信道道解解调调器器信信宿宿信信源源译译码码器器信信道道译译码码器器干干扰扰源源编编码码信信道道信信源源信信源源编编码码器器信信道道编编码码器器调调制制器器信信道道解解调调器器信信宿宿信信源源译译码码器器信信道道译译码码器器干干扰扰源源编编码码信信道道第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念 对随机变量随机变量的信息度量，可用熵熵、互信息互信息等工具实现； 信信源源信信源源编编码码器器信信道道编编码码器器调调制制器器信信道道解解调调器器信信宿宿信信源源译译

4、码码器器信信道道译译码码器器干干扰扰源源编编码码信信道道信信源源信信源源编编码码器器信信道道编编码码器器调调制制器器信信道道解解调调器器信信宿宿信信源源译译码码器器信信道道译译码码器器干干扰扰源源编编码码信信道道第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念 随机过程x(t)可以看成由一族时间函数xi(t)所组成， xi(t)是随机过程的一个实现，它不仅在时间上，而且在幅度取值上都是连续变化的； 第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机

5、过程的基本概念 当前，在随机过程论中很大程度上是研究各种马尔科夫过程类；其中，马尔科夫过程的概念是马尔科夫链的推广. 它们研究了随机决定体系，即现时状态能完全决定将来概率状态的体系. 马尔科夫过程论的另一重要特点，是可以用不多的构造性的特征量，来描述过程的全部维分布.第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念一个离散随机过程离散随机过程是离散信源的输出为取值于有限字母集 的一列随机变量，记为其联合概率分布： 12,nXXXX 121212(,)(,)(,)rnnnPXXXx xxp x xx 12( ,)n

6、nx xx第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念随机过程信源的分类 无记忆信源 k-阶马氏信源 离散平稳信源大数定律第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念1212,()(), (),( )qqxxxXP xP xP xP x信号取值离散信号取值离散：信源输出的消息是有限或可数的，而且每次只输出其中一个消息. 如：抛硬币抛硬币！其数学模型是离

7、散型的概率空间：()1iip a第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念,( , )( )( )Xa bP xP x信号取值连续信号取值连续：信源输出的是单个符号，但符号集的取值是连续的，或实数集. 如：语音信号某时间的连续数据语音信号某时间的连续数据！其数学模型是离散型的概率空间： ( )1bap x dx 第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念波形信源波形信源：输出的消息是时间连续，且符号集的取值也连续. 如：

8、多媒体通信系统的信号多媒体通信系统的信号！一般用平稳平稳遍历遍历的随机过程来描述波形信源的输出.第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念11( , , )nnnp xx tt一般用平稳平稳遍历遍历的随机过程来描述波形信源的输出.平稳平稳：在任意两个不同时刻随机变量的各维概率分布相同. 如：自然英文字母自然英文字母！11(,)nnnpxx tt第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念1( )lim( )2TTTxp x

9、 dxx t dtT最常见的平稳随机过程x(t)是遍历过程-统计特性不随时间平移而变化，而且集平均以概率1等于时间平均：第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念随机过程信源的分类 无记忆信源 k-阶马氏信源 离散平稳信源大数定律第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念无记忆信源：不同时刻的信号统计独立； 否则是有记忆信源. 如：各种自然语言！当各个 统计独立，且服从相同的分布： 12,nXXX ()( )riP Xx

10、p x第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念随机过程信源的分类 无记忆信源 k-阶马氏信源 离散平稳信源大数定律第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念 k-阶马氏信源:信源输出的信号序列中，信号间的依赖关系有限，满足马尔科夫链性质.从而，任何时刻信源处于的状态完全由前面的若干时刻状态与发出的信号决定. 1122111122|,|,rmmmmmmrmmmmmmm km kPXxXxXxXxPXxXxXxXx第第2章

11、章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念例1.一阶平稳马氏信源转移概率： 1111(0|0)0.25,(0|1)0.6(1|0)0.75,(1|1)0.4riiriiriiriiP XXP XXP XXP XX 0.250.750.60.4转移概率矩阵状态转移图不同时刻的概率分布相同不同时刻的概率分布相同第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念随机过程信源的分类 无记忆信源 k-阶马氏信源 离散平稳信源大数定律第第2章章 随

12、机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念称离散随机过程是平稳的，若满足：t1，t2，tk时刻时的联合分布与任意h时刻后的分布相同，即 12121212(,)( ,)(,)( ,)kkrtttkrthththkPXXXx xxPXXXx xx第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念例1.一阶平稳马氏信源转移概率： 1111(0|0)0.25,(0|1)0.6(1|0)0.75,(1|1)0.4riiriiriiriiP XXP XX

13、P XXP XX 0.250.750.60.4转移概率矩阵状态转移图不同时刻的概率分布相同不同时刻的概率分布相同第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念n长序列的联合分布： 12121211111(,)( ,)( ,)( )(|)nnrrnnnnriiiiiP XxPXXXx xxp x xxxP XxXx平稳分布平稳分布第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念例2.二阶平稳马氏信源转移概率： 2211(|,)rii

14、iiiiP XxXxXx (0|00)0.8,(0|11)(1|00)(1|11)0.2(0|01)(0|10)(1|01)(1|10)0.5rrrrrrrrPPPPPPPP 0.80.200000.50.50.50.500000.20.8第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念原状态为00，则此刻只可能发出0或1.所以只可能转到00、01状态.由于00状态时发信号0的概率为0.8，所以转移概率0.8.第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概

15、念信源和随机过程的基本概念平稳遍历信源：即信源序列是平稳遍历过程. 随机过程可以从随机过程可以从任一状态有限任一状态有限步到达任何步到达任何其他状态其他状态第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念反例例3.非遍历信源状态转移图 (1|00)(0|11)0PP类似于概率论中著名的两端带有吸收壁的随机游动问题.质点最终一定被两端点之一吸收！第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念随机过程信源的分类 无记忆信源 k-阶马氏

16、信源 离散平稳信源大数定律第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念弱大数定理：设 为相互独立的随机变量序列，且服从相同的分布，数学期望 ，则 12,nXXXX iEXa 0 101lim|1nriniPXan第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念信源和随机过程的基本概念强大数定理：设 为相互独立的随机变量序列，且服从相同的分布，数学期望 ，则 12,nXXXX iEXa 101lim1nriniPXan概率论中，科尔莫戈洛夫强大数定理科尔

17、莫戈洛夫强大数定理！第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.2 随机过程的信息度量随机过程的信息度量半可加数列及其性质半可加数列及其性质平稳信源序列的熵率平稳信源序列的熵率冗余度冗余度平稳信源序列的熵率的求解问题平稳信源序列的熵率的求解问题第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.2 随机过程的信息度量随机过程的信息度量半可加数列及其性质半可加数列及其性质平稳信源序列的熵率平稳信源序列的熵率冗余度冗余度平稳信源序列的熵率的求解问题平稳信源序列的熵率的求解问题第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐

18、近等分性 2.2 随机过程的信息度量随机过程的信息度量设 是取值于有限字母集 的一个离散随机过程，记联合熵为则有： 12,nXXXX12( )(,)defnh nH XXX121212(,)(,)(,)m nmmmm nH XXXH XXXH XXX把下述满足性质的数列称为半可加数列：()( )( )h mnh mh n第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.2 随机过程的信息度量随机过程的信息度量引理2.2.1：设 是半可加数列，则( )f n11lim( )inf( )nnf nf nnn由于离散平稳信源的联合熵有半可加性，所以类似的可以得到：第第2章

19、章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.2 随机过程的信息度量随机过程的信息度量半可加数列及其性质半可加数列及其性质平稳信源序列的熵率平稳信源序列的熵率冗余度冗余度平稳信源序列的熵率的求解问题平稳信源序列的熵率的求解问题第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.2 随机过程的信息度量随机过程的信息度量定理定理2.2.2 设 是平稳信源，则12(,)nXXXX121()lim(,)defnnHXH XXXn121()inf(,)nnHXH XXXn存在，且平稳信源序列平稳信源序列的熵率的熵率第第2章章 随机过程的信息度量和渐近等分

20、性随机过程的信息度量和渐近等分性 2.2 随机过程的信息度量随机过程的信息度量定理定理2.2.3 设 是平稳信源，则12(,)nXXXX121()lim(|,)defnnnHXH XXXX()()HXHX存在，且熵率的计算式熵率的计算式第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.2 随机过程的信息度量随机过程的信息度量（定理（定理2.2.3）证明证明：（1） 112121210(|,)(|,)(|,)nnnnnnH XXXXH XXXH XXXX可得， 关于n递减，且有下解，从而极限存在；121(|,)nnH XXXX（2）由联合熵的链式法则，12121111(,)(|,)nnkkkH XXXH XXXXnn()()HXHX第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.2 随机过程的信息度量随机过程的信息度量系系2.2.5 （1）设 是无记忆信源，则熵率12(,)nXXXX1()()HXH X(2) 设 为k-阶平稳马氏信源，则熵率12(,)nXXXX112()(|,)kkHXH XXXX1阶时，21()(|)HXH XX熵率衡量信源熵率衡量信源的相关程度的相关程度第第2章章 随机过程的信息度量和渐近等分性随机过程的信息度量和渐近等分性 2.2 随机过程的信息