信息论第3章-信道及信道容量

第3章信道及信道容量教学内容和要求掌握单符号离散信道及平均互信息量，理解其性质掌握m=n信道、对称信道和准对称信道的信道容量了解多符号离散信道，掌握N次扩展信道及信道容量4/2/2024第3章信道及信道容量教学内容和要求掌握单符号离散信道及平均1掌握单符号连续信道及平均互信息量，理解其性质掌握高斯加性信道的信道容量和最大信息传输速率了解多符号连续信道及信道容量4/2/2024掌握单符号连续信道及平均互信息量，理解其性质4/1/20242编码信道译码噪声信源信宿信道——传输信号的媒介，信道中通常引入噪声狭义信道——信号的传输媒介有线信道——电线、电缆、光缆无线信道——电磁空间——地波传播、天波传播、视线传播4/2/2024编码信道译码噪声信源信宿信道——传输信号的媒介，信道中通常引3发转换媒介收转换调制解调

调制信道编码信道

广义信道——包括调制解调、收发转换装置的信道调制信道——连续信道编码信道——离散信道4/2/2024发转换媒介收转换调制解调调制信道编码信道4一、单符号离散信道及信道容量1、单符号离散信道定义对应于单符号离散信源和单符号离散信宿的信道表示信源——离散型随机变量X信宿——离散型随机变量Y4/2/2024一、单符号离散信道及信道容量1、单符号离散信道定义对应于单符5随机变量X的取值xi为信源发出的消息i=1,2,…,n随机变量Y的取值yj为信宿收到的消息j=1,2,…,mXP(Y/X)Y4/2/2024随机变量X的取值xi为信源发出的消息i=1,2,…,n随6x1x2xny1y2ymP(y1/x1)………P(ym/xn)P(y2/x2)4/2/2024x1x2xny1y2ymP(y1/x1)………P(ym/xn74/2/20244/1/20248例1例24/2/2024例1例24/1/202492、互信息量信源发出消息xi而信宿接收到消息yj，信宿消息yj所含信源消息xi的信息量定义信宿消息yj的概率P(yj)与信源发出消息xi而信宿接收到消息yj的转移概率P(yj/xi)之差对数的负值，用I(xi;yj)表示4/2/20242、互信息量信源发出消息xi而信宿接收到消息yj，信宿消息y10表示4/2/2024表示4/1/202411例3信宿消息0所含各信源消息的互信息量4/2/2024例3信宿消息0所含各信源消息的互信息量4/1/2024123、平均互信息量各互信息量的数学期望，也叫交互熵，用I(X;Y)表示定义表示4/2/20243、平均互信息量各互信息量的数学期望，也叫交互熵，用I(X;134、平均互信息量的意义条件熵H(Y/X)是信道给出的平均信息量——噪声熵或信道散布度平均互信息量I(X;Y)反映信道每传输一条消息所携带的平均信息量，不反映信宿收到某条消息所含信源发出某条特定消息的信息量4/2/20244、平均互信息量的意义条件熵H(Y/X)是信道给出的平均信息14条件熵H(X/Y)是用反信道矩阵形式表示的信道给出的平均信息量——损失熵或信道疑义度4/2/2024条件熵H(X/Y)是用反信道矩阵形式表示的信道给出的平均信息15H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信宿为参考，利用信宿的信息熵和信道的噪声熵来度量信道中传输的平均信息量以信源为参考，利用信源的信息熵和信道的损失熵来度量信道中传输的平均信息量平均互信息量I(X;Y)——信息传输率R4/2/2024H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信宿为164/2/20244/1/2024175、平均互信息量的主要性质①对称性4/2/20245、平均互信息量的主要性质①对称性4/1/202418②非负性③极值性4/2/2024②非负性③极值性4/1/202419X与Y相互独立时，X与Y一一对应关系时，④严格凸函数性信道固定时，I(X;Y)是信源概率分布P(X)的严格上凸函数信源固定时，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数4/2/2024X与Y相互独立时，X与Y一一对应关系时，④严格凸函数性信道固20例4平均互信息量4/2/2024例4平均互信息量4/1/2024214/2/20244/1/202422平均互信息量及p-I(X;Y)和q-I(X;Y)曲线例54/2/2024平均互信息量及p-I(X;Y)和q-I(X;Y)曲线例54/23信道固定时q为常数，作p-I(X;Y)曲线4/2/2024信道固定时q为常数，作p-I(X;Y)曲线4/1/20242400.51I(X;Y)1-H(q)p信源固定时p为常数，作q-I(X;Y)曲线4/2/202400.51I(X;Y)1-H(q)p信源固定时p为常数，作q2500.51I(X;Y)H(p)q4/2/202400.51I(X;Y)H(p)q4/1/2024266、信道容量信道固定时，平均互信息量是信源概率分布P(X)的严格上凸函数，总能找到一种信源概率分布P(X)，使信道中传输的平均互信息量达到最大定义信道转移概率分布P(Y/X)不变时平均互信息量的最大值，用C表示4/2/20246、信道容量信道固定时，平均互信息量是信源概率分布P(X)的27表示7、m=n信道的信道容量4/2/2024表示7、m=n信道的信道容量4/1/2024284/2/20244/1/2024294/2/20244/1/2024304/2/20244/1/2024314/2/20244/1/2024324/2/20244/1/2024334/2/20244/1/202434m=n信道的信道容量4/2/2024m=n信道的信道容量4/1/202435Z信道的信道容量C及达到信道容量的信源概率分布P(X)例64/2/2024Z信道36习题：(P99)3.1、3.24/2/2024习题：(P99)3.1、3.24/1/202437二、对称信道及信道容量1、对称信道矩阵中每一行都是集合中各元素的不同排列——矩阵行可排列；每一列都是集合中各元素的不同排列——矩阵列可排列4/2/2024二、对称信道及信道容量1、对称信道矩阵中每一行都是集合38对称信道中，当m>n时，P是Q的子集；当m=n时，P=Q例1下列信道矩阵所表示的信道是否为对称信道？既行可排列，又列可排列的信道矩阵所表示的单符号离散信道定义4/2/2024对称信道中，当m>n时，P是Q的子集；当m=n时，P=Q例39

行可排列列可排列4/2/2024行可排列列可排列4/1/202440行可排列不存在P，列不可排列×4/2/2024行可排列不存在P，列不可排列×4/1/2024412、对称信道的信道容量m=n=2时的对称信道——二进制对称信道BSC对称信道行可排列4/2/20242、对称信道的信道容量m=n=2时的对称信道——二进制对称信42信宿等概时最大最大值可达条件对称信道列可排列，不失一般性，设对称信道的信道矩阵4/2/2024信宿等概时最大最大值可达条件对称信道列可排列，不失一般性，设434/2/20244/1/2024444/2/20244/1/202445对称信道的信道容量BSC的信道容量达到信道容量的信源概率分布4/2/2024对称信道的信道容量BSC的信道容量达到信道容量的信源概率分布46例2信道的信道容量及达到信道容量的信源概率分布信道矩阵既行可排列，又列可排列，所表示的信道为对称信道4/2/2024例2信道的信道容量及达到信道容量的信源概47信道容量达到信道容量的信源概率分布4/2/2024信道容量达到信道容量的信源概率分布4/1/202448三、准对称信道及信道容量行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的子矩阵列可排列的信道矩阵所表示的单符号离散信道信道矩阵定义1、准对称信道4/2/2024三、准对称信道及信道容量行可排列而列不可排列，按列分为若干个49行可排列不存在P，列不可排列按列分成两个不相交的子集，两个子集构成的子矩阵列可排列，信道为准对称信道4/2/2024行可排列不存在P，列不可排列按列分成两个不相交的子集，两个子50二进制删除信道——准对称信道准对称信道行可排列2、准对称信道的信道容量4/2/2024二进制删除信道——准对称信道准对称信道行可排列2、准对称信道51信宿等概的最大值是否可达？如果信宿等概4/2/2024信宿等概的最大值是否可达？如果信宿等概4/1/202452矛盾！不可达4/2/2024矛盾！不可达4/1/202453按列分为s个不相交的子集，各子集构成的子矩阵列可排列对应于子信道的各子信宿等概时最大最大值可达条件子矩阵列可排列，不失一般性，设第k个子矩阵4/2/2024按列分为s个不相交的子集，各子集构成的子矩阵列可排列对应于子544/2/20244/1/2024554/2/20244/1/202456准对称信道的信道容量达到信道容量的信源概率分布4/2/2024准对称信道的信道容量达到信道容量的信源概率分布4/1/20257二进制擦除信道的信道容量4/2/2024二进制擦除信道的信道容量4/1/202458的信道容量及达到信道容量时的信源概率分布例1行可排列不存在P，列不可排列按列分成两个不相交的子集后，两个子集构成的子矩阵4/2/2024的信道容量及达到信道容量时的信源概率分布例1行可排列不存在P59都列可排列，所表示的信道为准对称信道信道容量4/2/2024都列可排列，所表示的信道为准对称信道信道容量4/1/202460达到信道容量的信源概率分布4/2/2024达到信道容量的信源概率分布4/1/202461的信道容量及达到信道容量时的信源概率分布例2行可排列不存在P，列不可排列4/2/2024的信道容量及达到信道容量时的信源概率分布例2行可排列不存在P62按列分成两个不相交的子集后，两个子集构成的子矩阵都列可排列，所表示的信道为准对称信道4/2/2024按列分成两个不相交的子集后，两个子集构成的子矩阵都列可排列，63信道容量4/2/2024信道容量4/1/202464达到信道容量的信源概率分布4/2/2024达到信道容量的信源概率分布4/1/202465四、N次扩展信道及信道容量1、多符号离散信道定义对应于多符号离散信源和多符号离散信宿的信道表示信源——离散型随机过程X1X2…XN信宿——离散型随机过程Y1Y2…YN4/2/2024四、N次扩展信道及信道容量1、多符号离散信道定义对应于多符号664/2/20244/1/202467X1X2…XNP(Y1Y2…YN/X1X2…XN)Y1Y2…YN4/2/2024X1X2…XNP(Y1Y2…YN/X1X2…XN)Y1Y2…682、N维离散平稳信道定义多符号离散信道对任意两个不同时间起点k和l，其转移概率分布及直到N维的各维联合转移概率分布都相同取l=1，N维离散平稳信道4/2/20242、N维离散平稳信道定义多符号离散信道对任意两个不同时间起点693、N维离散平稳无记忆信道DMC定义N维离散平稳信道的符号序列中各符号相互独立表示4/2/20243、N维离散平稳无记忆信道DMC定义N维离散平稳信道的符号序70N维离散平稳无记忆信道形式上相当于单符号离散信道的N次扩展信道N次扩展信道——对应于N次扩展信源和N次扩展信宿的信道4/2/2024N维离散平稳无记忆信道形式上相当于单符号离散信道的N次扩展信714、N次扩展信道的信道容量4/2/20244、N次扩展信道的信道容量4/1/202472BSC的信道矩阵二次扩展信道的信道矩阵二次扩展信道的信道矩阵和信道容量例14/2/2024BSC的信道矩阵二次扩展信道的信道矩阵二次扩展信道的信道矩阵73二次扩展信道的信道容量习题：(P99-101)3.7、3.154/2/2024二次扩展信道的信道容量习题：(P99-101)3.7、3.174五、单符号连续信道及信道容量1、单符号连续信道定义对应于单符号连续信源和单符号连续信宿的信道表示信源——连续型随机变量X信宿——连续型随机变量Y4/2/2024五、单符号连续信道及信道容量1、单符号连续信道定义对应于单符75随机变量X的取值x为信源发出的消息随机变量Y的取值y为信宿收到的消息Xp(y/x)Y4/2/2024随机变量X的取值x为信源发出的消息随机变量Y的取值y为信宿收762、单符号连续信道的噪声熵①绝对噪声熵p(y/x)为信道转移概率密度函数4/2/20242、单符号连续信道的噪声熵①绝对噪声熵p(y/x)为信道转移77②相对噪声熵表示4/2/2024②相对噪声熵表示4/1/2024783、平均互信息量相对熵不能作为信息度量，平均互信息量作为熵差，具有信息度量的意义4/2/20243、平均互信息量相对熵不能作为信息度量，平均互信息量作为熵差794、平均互信息量的主要性质①对称性②非负性4/2/20244、平均互信息量的主要性质①对称性②非负性4/1/202804/2/20244/1/202481③严格凸函数性信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数信源固定时，I(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数4/2/2024③严格凸函数性信道固定时，I(X;Y)是信源概率密度函数p825、信道容量与最大信息传输速率信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(x)，使信道中传输的平均互信息量达到最大定义信道转移概率密度函数p(y/x)不变时平均互信息量的最大值，用C表示4/2/20245、信道容量与最大信息传输速率信道固定时，平均互信息量是信源83表示连续信道习惯于考虑信道在单位时间内平均互信息量的最大值——最大信息传输速率定义单位时间的信道容量，用Ct表示4/2/2024表示连续信道习惯于考虑信道在单位时间内平均互信息量的最大值—84其中T为平均传输一条消息所需的时间最大信息传输速率的单位为bit/sec(bps)表示4/2/2024其中T为平均传输一条消息所需的时间最大信息传输速率的单位为b85六、高斯加性信道及信道容量1、高斯加性信道加性噪声——信道中噪声与信号相互独立且对信号的作用表现为线性叠加定义4/2/2024六、高斯加性信道及信道容量1、高斯加性信道加性噪声——信道中86表示XY=X+NNX的概率密度函数为p(x)，Y的概率密度函数为p(y)，N的概率密度函数为p(n)4/2/2024表示XY=X+NNX的概率密度函数为p(x)，Y的概率密度函872、高斯加性信道的相对噪声熵相应的雅可比行列式4/2/20242、高斯加性信道的相对噪声熵相应的雅可比行列式4/1/202884/2/20244/1/2024893、高斯加性信道的信道容量根据平均功率受限下的最大相对熵定理，信宿具有最大相对熵4/2/20243、高斯加性信道的信道容量根据平均功率受限下的最大相对熵定理90高斯加性信道的信道容量4/2/2024高斯加性信道的信道容量4/1/2024914、高斯加性信道的最大信息传输速率如果所传输信号的带宽为B，根据采样定理，不失真传输一条消息的最小时间T=1/2B高斯加性信道的最大信息传输速率——香农公式4/2/20244、高斯加性信道的最大信息传输速率如果所传输信号的带宽为B，92香农公式的意义最大信息传输速率与所传输信号的带宽成正比，基本与信噪功率比成正比信噪功率比小于1时最大信息传输速率仍大于0所传输信号的带宽趋于无穷时，最大信息传输速率趋于有限值4/2/2024香农公式的意义最大信息传输速率与所传输信号的带宽成正比，基本93最大信息传输速率一定时，增大所传输信号的带宽，可以降低对信噪功率比的要求4/2/2024最大信息传输速率一定时，增大所传输信号的带宽，可以降低对信噪94高斯加性信道所传输信号的带宽B=3kHz，最大信息传输速率Ct=1.5×104bps，求信噪功率比；如果将信噪功率比降低到-3dB，求保持同样最大信息传输速率所需的带宽例14/2/2024高斯加性信道所传输信号的带宽B=3kHz，最大信息传输速率C954/2/20244/1/202496习题：(P102)3.19、3.204/2