信息论实验课课件

1、信息论实验课（一）框架自信息熵（平均自信息）联合熵条件熵互信息平均互信息下面都是针对离散信源来进行实验几个概念样本空间-所有可能选择的消息的集合概率测度-对于离散消息的集合，概率测度就是对每一个可能选择的消息指定一个概率。概率空间-一个样本空间和它的概率测度，用X, P表示。自信息信源可以用概率空间来描述；信源的概率空间必须是个完备集输出的消息只能是样本空间的一个，而且每次必定选一个离散无记忆信源若信源输出的消息是取值离散的随机序列，并且序列中各随机变量之间彼此统计独立自信息定义-某事件ai（消息）发生所含有的信息量熵（平均自信息）离散随机变量X的信息熵就是其概率空间中每个事件所含有的自信息量

2、的数学期望，即：含义表示信源输出前，信源的平均不确定性熵就是混乱度的量度表示信源输出后，每个消息或者符号所提供的平均信息量反映了随机变量X的随机性例1设信源a1=C, a2=G,a3=A, a4=T 。1）求各个符号的自信息是多少？2）设该信源是离散无记忆的，若其发出的消息为tgaggtagtaggttgtatagtt ，求此消息的自信息是多少？解：1）基于公式得各个符号的自信息 问题2）若该信源发出的消息为tgaggtagtaggttgtatagtt,求此消息的自信息是多少？在此消息中平均每个符号携带的信息量是多少？解：因为信源是无记忆的，所以其发出的消息序列中个符号是无依赖的、统计独立的。

3、因此，此消息的自信息就等于消息中各个字符的自信息只和。此消息中共有0个C，8个G，5个A，9个T，则得到的自信息是平均每个符号携带的信息量为例13）信源的熵是多少？解：根据熵的公式可得信源的平均互信息为前面消息中平均每个字符携带的信息量（I2），并不完全等于这个离散无记忆信源平均每个符号携带的信息量（H(X)）。I2是在特定消息中求得的，在此消息中各符号C，G，A，T出现的概率不完全等于信源X中各符号出现的概率，所以存在差异。信源的信息熵是一个统计量，是表征信源的总体信息测度。例2、从大量的资料统计获得，男性中红绿色盲的发病率为7%，女性发病率为0.5%；问题1）如果你问一位男士：“你是否是色

4、盲？”他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？平均信息量是多少？问题2）如果你问一位女士：“你是否是色盲？”她的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？问这两个回答中各含有多少信息量？平均信息量是多少？例2、从大量的资料统计获得，男性中红绿色盲的发病率为7%，女性发病率为0.5%；问题1）如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？平均信息量是多少？解：设a1是男性红绿色盲，a2为男性不是红绿色盲。由题意可得男性红绿色盲发病率的概率空间为男士回答“是”中含有的信息量男士回答“否

5、”中含有的信息量平均每个回答中含义信息量为信源X的信息熵，即女士回答“是”中含有的信息量女士回答“否”中含有的信息量平均每个回答中含义信息量为信源X的信息熵，即综上，女性对色盲发病率很小，因此对女性是否是色盲的平均不确定性比男性是否是色盲的平均不确定性要小联合熵随机序列XY联合离散符号集上每个符号对aibj的联合自信息量的数学期望, 记作H（XY）考虑联合随机变量例3：两个随机试验 X 和 Y 袋子里装3个黑球，2个白球，X从中随机取出一个球，看颜色，不放回；Y再从中随机取出一球，看颜色。 现研究联合试验（XY）的不确定性。 分析：两个试验不独立，试验Y的结果依赖于试验X的结果。 X： Y：

6、由联合熵的定义知条件熵随机序列XY的联合符号集上的条件自信息量的数学期望。它表示已知前面一个符号（X发出）时，信源将要输出下一个符号（Y发出）的平均不确定性贝叶斯公式例3：两个随机试验 X 和 Y 袋子里装3个黑球，2个白球，X从中随机取出一个球，看颜色，不放回；Y再从中随机取出一球，看颜色。 现研究给定X时，Y的条件熵。 X：由条件熵的定义知 XY： 例3：两个随机试验 X 和 Y 袋子里装3个黑球，2个白球，X从中随机取出一个球，看颜色，不放回；Y再从中随机取出一球，看颜色。 现研究给定X时，Y的条件熵。 X： XY： 总结熵条件熵联合熵互信息一个事件yj所给出关于另一个事件xi的信息，即

7、：已知事件bj后所消除的关于事件ai的不确定性平均互信息互信息在其概率空间中的数学期望熵只是平均不确定性的描述，而不确定性的消除（两熵只差）才等于接收端所获得的信息量因此，获得的信息量不应该和不确定性混为一谈例4有一信源设计两个独立试验去观察它，其结果分别为已知条件概率求 ，并判断哪个试验好些 0101010121/21/201010110201解：根据贝叶斯公式，我们可以获得xy1的联合概率分布p(xy1)，以及y1的概率分布对于试验1，贝叶斯公式0101010121/21/20101/40101/421/41/41/21/2解：根据贝叶斯公式，我们可以获得xy2的联合概率分布p(xy2)，

8、以及y2的概率分布对于试验2，贝叶斯公式010101102010101/4011/40201/21/21/2根据平均互信息的公式可得I(X,Y1)=1.5+1-1 =0.5I(X,Y2)=1.5+1-0.5=1所以从Y2中获得关于X的信息量多于Y1中获得的关于X的信息量，所以第二个实验好些。例五、表达谱数据分析检测了hsa-let-7f和hsa-miR-151-5p在156个样本中的表达值，利用互信息衡量这两个miRNA表达的相关程度。计算互信息解：主要通过以下五步来完成将每个miRNA的表达值分区间计算每个miRNA先验概率计算联合概率计算每个miRNA的信息熵，及联合熵计算互信息习题一、人类中密码子的偏向性求人类中密码子的自信息是多少？哪些密码子携带的信息量高？密码子的熵是多少？分别计算