第二章信源的分类和数学模型

2014(C)张芳同济大学信通系第2章信源与信息度量2MarkovinformationsourceContinuousSourceDiscreteSourceInformationSourceMomerylessdiscretesourceFinite-memorydiscretesourceCurriculumMap:PartofcontentsandtheirrelationshipsSourceEntropyInformationMeasurementConceptofInformationLosslessSourceCodingInformationRedundancyScramblingCodingErrorControlCodingSinkChannelUnfixedLengthCodingSignalMessageFixedLengthCodingDecodingAverageMutualInformationShannonandFanoCodingChannelCapacityError-detectingCodingHuffmanCodingError-correctingCodingBurst-errorControlCodingHammingCodeCyclicCodeConvolutionalCodeInformationTransmittingRateNoise3本章学习内容信源的分类，信源的数学模型信源不确定度的概念和信息度量，自信息量离散信源的熵及其性质，加权熵离散无记忆信源的N次扩展信源离散有记忆信源，共熵、条件熵、极限熵马尔可夫信源的概念及其信源熵的计算连续信源的相对熵，三种连续信源的最大熵，熵功率信源冗余度42.1信源的分类及数学模型5实际有用的信源应具有不确定性什么是信源的不确定性？信源有多少个可能的消息不确定？信源的每个消息的概率不确定？信源什么时候发送消息不能确定？信宿对信源某时刻发送哪个消息不能确定？一、信源的不确定度Uncertainty6信源的不确定程度与其概率空间的消息数及其概率分布有关信源的消息为等概率分布时，不确定度最大信源的消息为等概率分布且其数目越多，其不确定度也越大只发送一个确定的消息的信源，其不确定度为零定性分析：信源不确定度：0=例4<例1<例2<例3<定量分析？7随机变量X离散信源连续信源随机序列X非平稳信源：马尔可夫信源平稳信源离散平稳信源连续平稳信源随机过程x(t)：随机波形信源离散无记忆信源的N次扩展信源离散有限记忆信源二、信源的分类8随机变量X

(一次只发一个消息符号)离散信源Discreteinformationsource:信源的消息数有限连续信源Continuousinformationsource:信源的消息数无限随机序列

X(一次发一串消息符号序列)非平稳信源Non-stationarysource:信源各消息符号的概率随时间变化马尔可夫信源Markovinformationsource:在有限长度范围内符号前后有相关性，且满足马尔可夫链状态条件

9平稳信源Stationarysource:信源各消息符号的概率不随时间变化连续平稳信源ContinuousStationarysource:幅度是连续的离散平稳信源Discretestationarysource:幅度是离散的离散无记忆信源的N次扩展信源N-timeexpandedsourceofdiscretememorylesssource:N个消息符号统计独立离散有限记忆信源Discretefinite-memorysource:在有限长度范围内各消息符号前后有相关性10离散信源可由离散随机变量X表达，其概率空间为：三、信源的数学模型