信息论信息的统计度量

信息论信息的统计度量第一页，共三十七页，2022年，8月28日主要内容

从概率的角度研究问题自信息量互信息量平均自信息量平均互信息量信息的大小多个信息之间关联的密切程度第二页，共三十七页，2022年，8月28日离散信号和连续信号连续信号：时间和幅度都是连续的离散信号：时间和幅度都是离散的，是我们的研究重点第三页，共三十七页，2022年，8月28日离散信号和连续信号之间的转换连续信号离散时间信号离散信号抽样离散化插值第四页，共三十七页，2022年，8月28日2.1自信息量和条件自信息量定义

任意随机事件的自信息量定义为该事件发生概率的对数的负值。假设事件xi发生的概率为p(xi)，则其自信息定义式为自信息量一般以2为底，单位为比特。概率自信息量第五页，共三十七页，2022年，8月28日自信息量的含义自信息量衡量的是随机事件的不确定性。事件的不确定性越大，其自信息量也越大；反之亦然，两者成正比。第六页，共三十七页，2022年，8月28日自信息量的例子假设“人每天都要吃饭”这个事件发生的概率是99.99%，则该事件的自信息量为：这表明该事件的不确定性很小。假设“美国总统的专机发生空难”这个事件发生的概率是0.01%，则该事件的自信息量为：这表明该事件的不确定性很大。第七页，共三十七页，2022年，8月28日自信息量的例子例

设在甲袋中放入n个不同阻值的电阻，，每个电阻被取出的概率是相等的，，则事件“取出的电阻的阻值为i”的信息量为：第八页，共三十七页，2022年，8月28日自信息量的例子例（续）设在甲袋中放入个不同阻值的电阻，其中1Ω的1个，2Ω的2个，…，nΩ的n个，则那么，事件“取出的电阻的阻值为i”的信息量为：第九页，共三十七页，2022年，8月28日条件自信息量定义

事件x在事件y给定的条件下的条件自信息量定义为：含义：知道y之后仍然保留的关于x的不确定性。第十页，共三十七页，2022年，8月28日自信息量事件本身的不确定性。条件自信息量知道了另一件事情之后，仍然保留的不确定性。衡量的都是不确定性第十一页，共三十七页，2022年，8月28日条件自信息量的例子事件：x=“美国总统的专机发生空难”y=“今天是9.11”概率：p(x)=0.01%p(x|y)=1%事件x的自信息量为：事件x在事件y发生的情况下的条件自信息量为：第十二页，共三十七页，2022年，8月28日条件自信息量的例子例

设xi表示棋子落入第i行；yj表示棋子落入第j列，i,j=1,2,…,8，则（1）（2）第十三页，共三十七页，2022年，8月28日2.2互信息量定义

随机事件y的出现给出关于事件x的信息量，定义为互信息量。定义式：第十四页，共三十七页，2022年，8月28日互信息量的含义还可表示为：含义：本身的不确定性，减去知道了事件y之后仍然保留的不确定性，即由y所提供的关于x的信息量互信息量=自信息量-尚存在的不确定性第十五页，共三十七页，2022年，8月28日互信息量的例子事件：x=“美国总统的专机发生空难”y=“今天是9.11”概率：p(x)=0.01%p(x|y)=1%前面已求出自信息量和条件自信息量为：而x和y的互信息量为：第十六页，共三十七页，2022年，8月28日互信息量的性质概率乘法公式全概率公式第十七页，共三十七页，2022年，8月28日互信息量的性质1.互信息量的互易性含义：由y所提供的关于x的信息量等于由x

所提供的关于y的信息量第十八页，共三十七页，2022年，8月28日互信息量的性质2.互信息量可为0何时为0：这表明当x和y统计独立时，也就是x和y没有什么关系的时候，互信息量为0。含义：一个事件不能提供另一个事件的任何信息。即一个事件发生之后，对于确定另一个事件是否发生没有任何帮助。第十九页，共三十七页，2022年，8月28日互信息量的性质3.互信息量可正可负正：y的出现有助于肯定x的出现

x：张三病了。

y：张三没来上课。负：y的出现有助于否定x的出现

x：李四考了全班第一名。

y：李四没有复习功课。无论正负，互信息量的绝对值越大，x和y的关系越密切。第二十页，共三十七页，2022年，8月28日互信息量的性质4.互信息量不可能大于其中任一事件的自信息量互信息量=自信息量-尚存在的不确定性第二十一页，共三十七页，2022年，8月28日互信息量的例子例2.2.1已知条件p(B)=p(C)=p(D)=1/3,p(D|E)=0,p(B|E)=p(C|E)=1/2p(C|EF)=p(D|EF)=0,p(B|EF)=1互信息量第二十二页，共三十七页，2022年，8月28日2.3平均自信息量自信息量的均值定义

集X上，随机变量I(xi)的数学期望定义为平均自信息量。又称作集X的信息熵，简称熵。第二十三页，共三十七页，2022年，8月28日平均自信息量含义0*log0=0自信息量：集合X中某一个元素xi的信息量平均自信息量：集合X中所有元素信息量的平均值集合X的平均不确定性第二十四页，共三十七页，2022年，8月28日平均自信息量的例子例平均每个画面可提供的信息量：平均每篇千字文可提供的信息量：第二十五页，共三十七页，2022年，8月28日平均自信息量的例子例第二十六页，共三十七页，2022年，8月28日凸函数一维和二维凸集合的例子凸集合非凸集合第二十七页，共三十七页，2022年，8月28日熵函数的数学特性1.对称性：集合中各分量的次序任意变更时，熵值（平均自信息量）不变从熵（平均自信息量）的公式上来看，该结论是明显的深层含义：熵是有局限性的。它是平均不确定性的度量，抹煞了个体的特性。第二十八页，共三十七页，2022年，8月28日熵函数的数学特性2.非负性：H(X)≥0源于自信息量的非负性。什么时候为0：有且仅有一个pi=1，其余的pi=0，即确定信源。第二十九页，共三十七页，2022年，8月28日熵函数的数学特性3.扩展性含义：集合X中，一个事件发生的概率比其它事件发生的概率小得多时，这个事件对于集合的熵值的贡献可以忽略。集合X有q个事件，集合Y比X仅仅是多了一个概率接近0的事件，则两个集合的熵值一样。第三十页，共三十七页，2022年，8月28日熵函数的数学特性4.极值性：各事件等概率发生时，熵最大。5.确定性：集合中只要有一个事件为必然事件，则其余事件为不可能事件，熵为0。H(1,0)=H(1,0,0)=…=H(1,0,…,0)=0第三十一页，共三十七页，2022年，8月28日条件熵定义

条件自信息量I(yj|xi)的概率均值定义为条件熵。含义：仍然保留的平均不确定性。第三十二页，共三十七页，2022年，8月28日为什么要用联合概率进行平均第三十三页，共三十七页，2022年，8月28日2.4平均互信息量定义2.4.2平均互信息量互信息量的均值第三十四页，共三十七页，2022年，8月28日平均互信息量的性质1.非负性I(X;Y)≥02.互易性（对称性）I(X;Y)=I(Y;X)对称性表明：从集合Y中获得的关于X的信息量（I