信息论复习1教材

本课程主要内容信息论编码理论信源自信息、信息熵信道互信息、信道容量信源编码（无失真，失真）信道编码什么是信息？信息是事物运动状态或存在方式的不确定性的描述不仅仅是形式上的消息或情报，而且包括消息或情报所含的对事物状态或不确定性的描述自信息：事件发生的不确定性信息熵：平均不确定性信息熵的基本性质：对称性、确定性、非负性、扩展性、可加性、强可加性、递增性、极值性、上凸性离散无记忆信源的N次扩展信源的熵离散平稳信源：平均符号熵条件熵第二章离散信源及其信息测度极限熵时齐遍历马尔科夫信源的信息熵信源剩余度：1减去熵的相对率获得的信息量等于自信息量的减少

自信息的定义与计算公式，自信息量与获得的信息量之间的关系如果事件发生的概率为,事件发生所含有的信息量，就称为自信息量，表示为自信息量的特点1.如果，则2.当，则3.当，则4.两个独立事件联合信息量等于他们分别的信息量之和自信息量的四个特点：信息熵的计算公式信息熵定义为信源的平均信息量计算公式为信息熵的九个基本性质基本性质：对称性、确定性、非负性、扩展性、可加性、强可加性、递增性、极值性、上凸性1)

信息熵的对称性当变量的顺序任意互换时，熵函数的值不变，即2)

信息熵的确定性3)

信息熵的非负性4)

信息熵的扩展性5）可加性如果有两个随机变量X和Y，他们彼此是统计独立的，概率分布分别为与则有H(XY)=H(X)+H(Y)即其中6）信息熵的强可加性两个相互关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵7）信息熵的递增性其中熵函数是概率矢量的严格型凸函数。即对任意概率矢量和及任意则有8）信息熵的极值性（最大离散熵定理）9）信息熵的上凸性例题2.1如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”，答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？设事件A为第一个事件事件B为第二个事件事件A的概率事件B的概率则从事件A中获得的信息量则从事件B中获得的信息量某地的天气预报为：晴（占4/8）、阴（占2/8）、大雨（占1/8）、小雨（占1/8）。求此地天气预报每种天气状况各自的自信息量与此地天气预报提供的平均自信息量。例题2.2晴（占4/8）：（比特）阴（占2/8）：（比特）大雨（占1/8）：（比特）小雨（占1/8）：（比特）甲地天气预报提供的平均自信息量（信息熵）

（比特/符号）

离散无记忆信源的N次扩展信源的信息熵离散无记忆信源的N次扩展信源的数学模型为其中离散无记忆信源的N次扩展信源的信息熵的计算公式有一离散无记忆信源例题求此信源的信息熵与二次扩展信源的信息熵，并指出二者的关系。离散无记忆信源的信息熵为二次扩展信源的信息熵(比特/符号）(比特/符号）二者的关系是二次扩展信源的信息熵是离散无记忆信源的信息熵的二倍。离散平稳信源的完整定义

在任意两个不同时刻发出符号序列的各维联合概率分布都相同的离散信源其中与为两个不同时刻条件概率、N维联合概率以及条件概率与联合概率的关系条件概率：N维联合概率：条件概率与联合概率的关系：二维离散平稳信源的联合熵，条件熵以及平均符号熵条件熵联合熵平均符号熵例题某一离散信源

且其二维平稳信源发出的符号只与前一个符号有关，联合概率为求信源符号之间无依赖关系时信源X的信息熵，有依赖关系时二维信源的条件熵与联合熵。

0

1

2

0

1/4

1/18

0

1

1/18

1/3

1/182

0

1/18

7/36条件概率为01209/111/8012/113/42/9201/87/9信源符号之间无依赖性时，信源X的信息熵为（比特/符号）考虑符号之间有依赖性时，条件熵为（比特/符号）联合熵为（比特/二个符号）马尔科夫信源(1)某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号无关（2）信源某时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一决定满足下面两个条件的信源，被称为马尔科夫信源当状态转移概率和已知状态下发出符号的概率与时间无关时，这样的马尔科夫信源称为时齐的马尔科夫信源任何时刻信源发出符号的概率只与前面m个符号有关的马尔科夫信源称为m阶马尔科夫信源时齐、遍历的马尔科夫信源的信息熵其中为状态出现的概率马尔科夫信源的信息熵二元二阶马尔科夫信源的符号集为[0,1]，条件概率为求各状态之间的转移概率与马尔科夫信源的信息熵。例题信源有qm=22=4种可能状态，E1=00,E2=01,E3=10,E4=11状态转移图为000111100:0.80:0.51:0.20:0.51:0.51:0.50:0.21:0.8其他状态转移概率为0解方程组，可得信源的熵（