liyang信源及信源熵

信源及信源熵李扬目录信息论中的信源信源的描述和分类信源熵离散与连续信源熵熵的性质信息论中的信源信源是产生消息（符号）、消息序列和连续消息的来源。信源具有不确定性和随机性，任何已知的消息无信息可言。不确定的符号有统计规律性，可以用随机变量、随机矢量、随机过程来描述、研究。信源的描述和分类信源的分类有多种方式消息在时间上和幅度上分布情况离散信源（时间、幅度都离散）连续信源（时间或是幅度上连续）例子离散文字数字数据连续语音图像等信源的描述和分类按照信源发出的信号间关系无记忆信源：发出单个符号的无记忆信源

发出符号序列的无记忆信源有记忆信源：发出符号序列的有记忆信源发出符号序列的有记忆信源

信源的描述和分类例子无记忆，有放回的摸球、掷骰子，二进制两次取球的结果是无关的独立的，无统计关联性，出现的概率是先验概率；有记忆，无放回的取球两次取球的结果有关联；独立同分布信源在离散无记忆信源中，信源输出的每个符号是统计独立的，且具有相同的概率空间，即有p1(X1)=p(X1)=p(Xi),则该信源是离散平稳无记忆信源，亦称为独立同分布(independentlyidenticaldistribution，i.i.d.)信源。马尔科夫信源当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关。

通过概率空间描述信源

单符号信源：是最简单也是最基本的信源，是组成实际信源的基本单元。信源每次输出一个符号，通常用离散随机变量和其概率分布来表示。

多符号信源：信源每次发出一个符号序列，用随机矢量来表示。连续信源概率密度函数

显然应满足

马尔科夫信源

若信源在某一时刻发出的符号概率除与该符号有关外，还与此前的符号有关，则此类信源为有记忆信源。如果与前面无限个符号有关，为无限记忆信源；如果仅与前面有限个符号有关，为有限记忆信源。

有记忆信源序列的联合概率与条件概率有关没写完马氏链？？？？？信源的概率空间可以表示为

但在何时发出哪种符号，是不确定的。

定义概率为p(x)的符号自信息量为

自信息量的单位与所用对数的底有关：对数底为2时，单位是比特（bit）对数底是自然数e时，单位是奈特(nat)对数底是10时，单位是笛特(det)自信息量三个单位间的转换关系为1nat=1.433bit1det=3.322bit例：英文字母中“e”出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I(e)=－log20.105=3.25bit“c”的自信息量I(c)=－log20.023=5.44bit“o”的自信息量I(o)=－log20.001＝9.97bit定义：联合概率空间中任一联合事件的联合（自）信息量为：定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：联合自信息、条件自信息与自信息间的关系

自信息量表征各个符号的不确定度，信源总是包含着多个符号，各符号的自信息量不同，自信息量不能作为总体的信息度量。为了表征出信源的总体特征，我们引入了平均自信息量，即平均每个符号的所能提供的信息量，也是信源中各个符号自信息量的数学期望，称为信源熵。表达式为单位为bit/符号例子条件熵定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵

联合熵定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵

联合熵、条件熵与熵的关系连续信源单个符号信源熵讨论连续时我们往往用离散来逼近连续，有公式波形信源的熵信源熵的性质7、扩展性8、可加性

9、递增性这条性质表明，若原信源X中有一元素划分成m个元素（符号），而这m个元素的概率之和等于原元素