信息与编码讲

第三讲信息处理定理熵的性质离散序列信源的熵2024/1/24离散信源熵2/322.2离散信源熵与互信息8信息处理定理第一级处理器第二级处理器XYZ假设在Y的条件下，X与Z独立，则：于是：数据处理过程中只会损失一些信息，不会创造出新信息!2024/1/24离散信源熵3/322.2离散信源熵与互信息例：已知信源：对其两次试验观察的结果：1021/21/2201110101001010P(y2|x)10P(y1|x)2024/1/24离散信源熵4/322.2离散信源熵与互信息可以计算两次实验结果的概率分布：1/21/2P(y2)1/21/2P(y1)10y210y1计算两个互信息：因此第二个实验比第一个好2024/1/24离散信源熵5/322.2离散信源熵与互信息1/41/41/41/4P(y1,y2)1,11,00,10,0y1,y22024/1/24离散信源熵6/322.2离散信源熵与互信息对称性非负性确定性香农辅助定理最大熵定理条件熵小于无条件熵9熵的性质2024/1/24离散信源熵7/322.2离散信源熵与互信息对称性：2024/1/24离散信源熵8/322.2离散信源熵与互信息非负性：确定性：2024/1/24离散信源熵9/322.2离散信源熵与互信息最大熵定理：条件熵小于无条件熵：香农辅助定理：2024/1/24离散信源熵10/322.2离散信源熵与互信息非负性互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理10互信息的性质2024/1/24离散信源熵11/322.2离散信源熵与互信息非负性：2024/1/24离散信源熵12/322.2离散信源熵与互信息互易性：极值性：2024/1/24离散信源熵13/322.2离散信源熵与互信息平均互信息与熵的关系：2024/1/24离散信源熵14/322.2离散信源熵与互信息互信息量与熵的关系：2024/1/24离散信源熵15/32信源分类连续信源随机变量信源离散信源单符号多符号随机矢量随机过程离散无记忆信源离散有记忆信源平稳序列信源马尔可夫信源2024/1/24离散信源熵16/321离散无记忆信源的序列熵设序列为：信源的序列熵为：2.3离散序列信源熵2024/1/24离散信源熵17/32信源无记忆时：2.3离散序列信源熵于是：序列熵等于各个时刻符号熵之和！H(X)2024/1/24离散信源熵18/32信源若平稳：2.3离散序列信源熵于是：离散无记忆平稳信源序列熵等于信源单符号熵的L倍！平均每个符号的熵：平均符号熵2024/1/24离散信源熵19/32二维信源12离散有记忆信源的序列熵2.3离散序列信源熵2024/1/24离散信源熵20/32二维信源的信源熵2024/1/24离散信源熵21/32一般地信源熵的说明结论：离散无记忆信源的二次扩展信源可以看作二维离散平稳信源的特例2024/1/24离散信源熵例2.2.3原始信源：条件概率：例题a1a2a3a1a2a39/111/802/113/42/901/87/922/322024/1/24离散信源熵2.3离散序列信源熵二重符号序列的熵：平均符号熵：单符号信源熵：23/322024/1/24离散信源熵N维信源224/322024/1/24离散信源熵☞N维信源的信源熵25/322024/1/24离散信源熵平均符号熵：极限熵：平均符号熵与极限熵26/322024/1/24离散序列信源熵；连续信源熵；冗余度2.3离散序列信源的熵结论1是L的单调非增函数结论2结论3是L的单调非增函数结论4极限熵对于离散平稳信源27/322024/1/24离散序列信源熵；连续信源熵；冗余度2.3离散序列信源的熵由此得到推论：对于平稳的马尔可夫信源：只需求出条件熵，便可得到极限熵！28/322024/1/24离散序列信源熵；连续信源熵；冗余度2.3离散序列信源的熵对于齐次遍历马尔可夫链马尔可夫信源的极限熵29/322024/1/24离散序列信源熵；连续信源熵；冗余度2.3离散序列信源的熵马尔可夫信源的熵：30/322024/1/24离散序列信源熵；连续信源熵；冗余度2.3离散序列信源的熵例：求马氏链平均符号熵（三个状态）解：列方程组求解稳态分布：W1=5/59；