陈伟建-信息论基础-第2章熵与互信息课件

第2章熵与互信息信息如何度量？7/25/20232.1熵信源发出的消息为单一符号，而这些符号随机地取值于一个有限集合1、单符号离散信源定义表示离散型随机变量X7/25/2023随机变量X的取值xi为信源发出的消息i=1,2,…,N7/25/2023例1例27/25/20232、自信息量消息xi的概率P(xi)对数的负值，也叫无条件自信息量，用I(xi)表示定义表示单位由对数的底a决定——当a=2时为bit(binaryunit)，a=e时为nat(natureunit)，a=10时为Hart(Hartley)7/25/2023以bit为单位的自信息量I(xi)与xi的概率P(xi)相关I(xi)是P(xi)的减函数，且当P(xi)=0时I(xi)→∞，P(xi)=1时I(xi)=0I(xi)是P(xi)的连续函数7/25/2023例3信源发出各消息的自信息量7/25/20233、熵信源各消息自信息量的数学期望，也叫无条件熵，用H(X)表示定义表示单位一般为bit或bit/symbol7/25/2023H(X)反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量一般情况下，H(X)不等于每接受一条消息所获得的平均信息量7/25/20234、熵的主要性质和最大熵定理①非负性②严格上凸性7/25/2023严格上凸性的描述——设函数f(x)对任一小于1的正数α及定义域中任意两个值x1、x2，如果称函数f(x)为严格上凸函数7/25/20237/25/20237/25/20237/25/2023③最大熵定理等概率信源具有最大熵，最大熵H(X)max=logn7/25/20237/25/2023例4信源的信息熵7/25/2023例5信源的信息熵7/25/2023例6信源的信息熵及p-H(p)曲线当p=0时，H(p)=0p=0.25时，H(p)=0.811(bit)7/25/2023p=0.75时，H(p)=0.811(bit)p=1时，H(p)=0p=0.5时，H(p)=1(bit)00.51H(p)1p0.250.750.8117/25/20232.2联合熵与条件熵信源发出的消息为有限或可数的符号序列，而符号序列中任何时刻的符号都随机地取值于同一个有限集合1、多符号离散信源定义表示离散型随机过程X1X2…Xn7/25/20237/25/2023例17/25/20232、自信息量消息xi1xi2…xin的概率P(xi1xi2…xin)对数的负值，也叫联合自信息量，用I(xi1xi2…xin)表示定义表示7/25/2023定义条件概率P(xin/xi1…xin-1)对数的负值，用I(xin/xi1…xin-1)表示条件自信息量表示7/25/2023自信息量的链式法则定理7/25/2023例2信源发出消息x1x1和x3x2各自的自信息量7/25/20233、联合熵信源各消息自信息量的数学期望，也叫联合熵，用H(X1X2…Xn)表示定义表示7/25/20237/25/20237/25/2023信息熵的链式法则定理7/25/20237/25/20237/25/20237/25/2023信息熵的界7/25/2023例3信源的信息熵7/25/20237/25/20237/25/20237/25/20237/25/20234、熵率信源每发出一个消息符号所提供的平均信息量，也叫平均符号熵，用HN(X1X2…XN)表示定义表示单位一般为bit/symbol7/25/2023提问与解答环节QuestionsAndAnswers谢谢聆听·学习就是为了达到一定目的而努力去干,是为一个目标去战胜各种困难的过程,这个过程会充满压力、痛苦和挫折LearningIsTo