信息理论基础离散信道及其容量

信息理论基础离散信道及其容量2005-3-31第1/103页第一页，共一百零三页，2022年，8月28日4.1信道的数学模型及其分类信道模型第二页，共一百零三页，2022年，8月28日4.1信道的数学模型及其分类信道分类（按照输入输出事件的事件特性和输入输出集的特点）第三页，共一百零三页，2022年，8月28日4.1信道的数学模型及其分类信道分类（按照信道的输入和输出个数）第四页，共一百零三页，2022年，8月28日4.1信道的数学模型及其分类信道分类（按照信道的统计特性）第五页，共一百零三页，2022年，8月28日4.1信道的数学模型及其分类信道分类（按照信道的记忆特性）第六页，共一百零三页，2022年，8月28日4.2离散无记忆信道4.2.1离散信道的数学模型4.2.2单符号离散信道4.2.3信道的疑义度4.2.4平均互信息4.2.5各种量之间的关系第七页，共一百零三页，2022年，8月28日4.2.1离散信道的数学模型.0随机变量利用概率刻画信道第八页，共一百零三页，2022年，8月28日4.2.1一、基本概念离散信道的数学模型（广义）第九页，共一百零三页，2022年，8月28日4.2.1一、基本概念离散无记忆信道（定义）第十页，共一百零三页，2022年，8月28日4.2.1一、基本概念离散无记忆信道定义的解释任何时刻信道的输出至于当时信道的输入有关第十一页，共一百零三页，2022年，8月28日4.2.1一、基本概念离散无记忆信道定义的解释书上的公式有点问题，可暂不看第十二页，共一百零三页，2022年，8月28日4.2.1一、基本概念平稳（或恒参）的离散无记忆信道（定义）与时间无关第十三页，共一百零三页，2022年，8月28日4.2.1二、无扰（无噪）信道无扰（无噪）信道的定义两者有一一对应的关系第十四页，共一百零三页，2022年，8月28日4.2.1三、有无扰无记忆信道有无扰无记忆信道的定义就是DMC。由于信道中随机噪声或者干扰的存在，使得输入和输出之间具有统计关系第十五页，共一百零三页，2022年，8月28日4.2.1四、有无扰无记忆信道有无扰有记忆信道实际信道的情况第十六页，共一百零三页，2022年，8月28日4.2.2单符号离散信道只考虑N=1特殊情况：单个符号第十七页，共一百零三页，2022年，8月28日4.2.2一、单符号离散信道的定义单符号离散信道的定义标志性公式第十八页，共一百零三页，2022年，8月28日4.2.2一、单符号离散信道的定义信道的传递概率（转移概率）信道的传递概率（转移概率）第十九页，共一百零三页，2022年，8月28日4.2.2一、单符号离散信道的定义信道矩阵输入集输出集第二十页，共一百零三页，2022年，8月28日4.2.2一、单符号离散信道的定义信道矩阵第二十一页，共一百零三页，2022年，8月28日4.2.2二、二元对称信道二元对称信道（BSC）第二十二页，共一百零三页，2022年，8月28日4.2.2二、二元对称信道二元对称信道（BSC）的信道矩阵对称矩阵第二十三页，共一百零三页，2022年，8月28日4.2.2三、二元删除信道二元删除信道第二十四页，共一百零三页，2022年，8月28日4.2.2三、二元删除信道二元删除信道的信道矩阵第二十五页，共一百零三页，2022年，8月28日4.2.2三、二元删除信道二元删除信道的分析第二十六页，共一百零三页，2022年，8月28日4.2.2四、二元对称消失信道二元对称消失信道第二十七页，共一百零三页，2022年，8月28日4.2.2四、二元对称消失信道二元对称消失信道的信道矩阵第二十八页，共一百零三页，2022年，8月28日4.2.2四、二元对称消失信道二元对称消失信道分析第二十九页，共一百零三页，2022年，8月28日4.2.2五、几个相关概念前向概率（即信道传递概率，转移概率）输入输出第三十页，共一百零三页，2022年，8月28日4.2.2五、几个相关概念后向概率（即后验概率）输入输出第三十一页，共一百零三页，2022年，8月28日4.2.2五、几个相关概念输出符号概率分布情况？第三十二页，共一百零三页，2022年，8月28日4.2.2五、几个相关概念输出符号概率（续）全概率公式第三十三页，共一百零三页，2022年，8月28日4.2.2五、几个相关概念输出符号概率（续）第三十四页，共一百零三页，2022年，8月28日4.2.2五、几个相关概念输出符号概率（续）第三十五页，共一百零三页，2022年，8月28日4.2.3信道疑义度在随机事件Y发生的条件下，X的不确定程度第三十六页，共一百零三页，2022年，8月28日4.2.3一、信道疑义度的概念信道疑义度（定义）输出端收到全部符号之后（Y），对输入端X的平均不确定程度由信道干扰造成第三十七页，共一百零三页，2022年，8月28日4.2.3一、信道疑义度的概念特例：无干扰信道的信道疑义度第三十八页，共一百零三页，2022年，8月28日4.2.3一、信道疑义度的概念特例：无干扰信道的信道疑义度（续）信道疑义度为零，不存在不确定的因素第三十九页，共一百零三页，2022年，8月28日4.2.3一、信道疑义度的概念信道疑义度的性质输出端收到Y后，总是要消除一些关于X的不确定性第四十页，共一百零三页，2022年，8月28日4.2.3二、二元删除信道的信道疑义度二元删除信道的信道疑义度第四十一页，共一百零三页，2022年，8月28日4.2.3二、二元删除信道的信道疑义度二元删除信道的信道疑义度（续）信道矩阵第四十二页，共一百零三页，2022年，8月28日4.2.3二、二元删除信道的信道疑义度二元删除信道的信道疑义度（续）第四十三页，共一百零三页，2022年，8月28日4.2.3二、二元删除信道的信道疑义度二元删除信道的信道疑义度（续）第四十四页，共一百零三页，2022年，8月28日4.2.3二、二元删除信道的信道疑义度二元删除信道的信道疑义度（续）第四十五页，共一百零三页，2022年，8月28日4.2.3二、二元删除信道的信道疑义度二元删除信道的信道疑义度（续）第四十六页，共一百零三页，2022年，8月28日4.2.3二、二元删除信道的信道疑义度二元删除信道的信道疑义度（续）第四十七页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息信道的平均互信息定义（定义）输出端接收到符号集后，平均每个符号获得的关于输入端的信息量第四十八页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息定理对于固定信道，平均互信息量I(X;Y)是信源概率分布P(X)的上凸函数证明略第四十九页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息定理的解释常数：固定信道与信源有关第五十页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例第五十一页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第五十二页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第五十三页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第五十四页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第五十五页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第五十六页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第五十七页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第五十八页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第五十九页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）定义的量第六十页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）信道固定，此为常数第六十一页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第六十二页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）信道固定（信道转移概率为常数）时，平均互信息量时信源符号分布的上凸函数。此时，随信源符号分布的不同，接收端接收到的每个符号所获得的平均信息量也不同，当信源符号等概率分布时，接收端每个符号所得到的关于信源状态的信息量最大第六十三页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息定理对于固定的信源分布，平均互信息量I(X;Y)是信道传递概率分布P(Y|X)的下凸函数证明略第六十四页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息定理的解释与信道传递概率有关为常数第六十五页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例第六十六页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息信源固定，此为常数定理的解释第六十七页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）第六十八页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例（续）信源固定时，不同的信道（信道传递概率不同），接收端所接收到的每个符号平均获得的信息量不同当传递概率等概率分布时，所获得的信息量最少，意味着此时信源的信息全部在信道中损失掉，信道造势最大第六十九页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例已知：投掷骰子。当骰子面朝上的数字为1，2，3和4时，抛1次硬币当骰子面朝上的数字为5和6时，抛2次硬币问：可以从抛硬币结果获得多少掷骰子情况的信息第七十页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解输入输出信道描述两者之间的关系第七十一页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）信道描述两者之间的关系明确信道特性，类型输入集、输出集特性不同时刻之间的关系第七十二页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息输入集、输出集特性例题解（续）第七十三页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）不同时刻之间的关系第七十四页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）不同时刻之间的关系第七十五页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）离散无记忆信道的统计特性1。信源（输入）概率空间第七十六页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）离散无记忆信道的统计特性2。信道输出的符号存在抛2次硬币的情况第七十七页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）离散无记忆信道的统计特性3。信道状态转移图第七十八页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）离散无记忆信道的统计特性4。信道矩阵第七十九页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）离散无记忆信道的统计特性5。输出符号集Y的分布第八十页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）离散无记忆信道的统计特性6。输出符号集Y的熵第八十一页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）离散无记忆信道的统计特性7。条件熵H(Y|X)第八十二页，共一百零三页，2022年，8月28日4.2.4三、信道的平均互信息例题解（续）离散无记忆信道的统计特性8。互信息量I（X；Y）所求第八十三页，共一百零三页，2022年，8月28日4.2.5各种度量之间的关系各种度量之间的关系1－6：略7：第八十四页，共一百零三页，2022年，8月28日4.3离散无记忆扩展信道4.3.1N次扩展信道4.3.2N次扩展信道定理第八十五页，共一百零三页，2022年，8月28日4.3.1N次扩展信道.0N次扩展信道单符号离散信道第八十六页，共一百零三页，2022年，8月28日4.3.1N次扩展信道.00扩展信道N次扩展信道第八十七页，共一百零三页，2022年，8月28日4.3.1一、N次扩展信道的概念离散无记忆扩展信道扩展信道第八十八页，共一百零三页，2022年，8月28日4.3.1一、N次扩展信道的概念N次扩展信道的数学模型被扩展的信道第八十九页，共一百零三页，2022年，8月28日4.3.1一、N次扩展信道的概念N次扩展信道的数学模型（续）N次扩展信道的信道模型第九十页，共一百零三页，2022年，8月28日4.3.1一、N次扩展信道的概念N次扩展信道的数学模型（续）N次扩展信道的信道模型第九十一页，共一百零三页，2022年，8月28日4.3.1一、N次扩展信道的概念N次扩展信道的数学模型（续）N次扩展信道的信道模型第九十二页，共一百零三页，2022年，8月28日4.3.1一、N