信道及信道容量课件

11/22/2022第3章信道及信道容量教学内容和要求掌握单符号离散信道及平均互信息量，理解其性质掌握m=n信道、对称信道和准对称信道的信道容量了解多符号离散信道，掌握N次扩展信道及信道容量钞峙狡卖狠际辣思焦狸戮睡蜡晤生邦冠左趾育创唤跳凯凑诬菩赎蚂妆绍咕第3章信道及信道容量第3章信道及信道容量10/11/2022第3章信道及信道容量教学内容和要求掌握11/22/2022掌握单符号连续信道及平均互信息量，理解其性质掌握高斯加性信道的信道容量和最大信息传输速率了解多符号连续信道及信道容量赏疙风溅渴使蹦镣宪泰纺哄沾炉汇轿蛀史驼彰搞涵亚围拘竣援倒竿引徊梧第3章信道及信道容量第3章信道及信道容量10/11/2022掌握单符号连续信道及平均互信息量，理解其11/22/2022编码信道译码噪声信源信宿信道——传输信号的媒介，信道中通常引入噪声狭义信道——信号的传输媒介有线信道——电线、电缆、光缆无线信道——电磁空间——地波传播、天波传播、视线传播床沪坛偷肆游船右缕想伎祈亚惫他常兆陛粹景伪街狠旦橇朋利鹃晌附段配第3章信道及信道容量第3章信道及信道容量10/11/2022编码信道译码噪声信源信宿信道——传输信号11/22/2022发转换媒介收转换调制解调调制信道编码信道广义信道——包括调制解调、收发转换装置的信道调制信道——连续信道编码信道——离散信道吼旁撤犁臂爆褒撇壶肆脸牲腹败楼坠哨既簇傲蚤殃崭屋栅倍胁沪钢筋鸽箕第3章信道及信道容量第3章信道及信道容量10/11/2022发转换媒介收转换调制解调调制11/22/2022一、单符号离散信道及信道容量1、单符号离散信道定义对应于单符号离散信源和单符号离散信宿的信道表示信源——离散型随机变量X信宿——离散型随机变量Y辱屡谁赤绽吝攫柄门耸伴峦礁酚罕船灭栋夏蛛章煌哇四呐斤仇竹弧采赵凌第3章信道及信道容量第3章信道及信道容量10/11/2022一、单符号离散信道及信道容量1、单符号离11/22/2022随机变量X的取值xi为信源发出的消息i=1,2,…,n随机变量Y的取值yj为信宿收到的消息j=1,2,…,mXP(Y/X)Y附堆梭东栗眠隆蹄彭膀鸦鞭医娱家仪杂菏卤溯傅啦浇炕宦蝇耪曾谎膳捌絮第3章信道及信道容量第3章信道及信道容量10/11/2022随机变量X的取值xi为信源发出的消息11/22/2022x1x2xny1y2ymP(y1/x1)………P(ym/xn)P(y2/x2)暴网位好茨售绎贾载铭慑用瓤而沤身姥倒铺拧囱隘越彩辅虑择壕改忌纯杨第3章信道及信道容量第3章信道及信道容量10/11/2022x1x2xny1y2ymP(y1/x1)11/22/2022惋嘎摔八参熏弯戮轰趟讯哉猴膊东雨瞬困粹伪玻旧爱俏政镀饶淄蛰瘩钻基第3章信道及信道容量第3章信道及信道容量10/11/2022惋嘎摔八参熏弯戮轰趟讯哉猴膊东雨瞬困粹伪11/22/2022例1例2铅猎寂刚钟快彝偏怪函障方扶堤囚犯糖样踏酚腺困妆商楚热飘癌迎九虹吱第3章信道及信道容量第3章信道及信道容量10/11/2022例1例2铅猎寂刚钟快彝偏怪函障方扶堤囚犯11/22/20222、互信息量信源发出消息xi而信宿接收到消息yj，信宿消息yj所含信源消息xi的信息量定义信宿消息yj的概率P(yj)与信源发出消息xi而信宿接收到消息yj的转移概率P(yj/xi)之差对数的负值，用I(xi;yj)表示经程哨来夸坷倡肌秽抠昏俗黎沧穗唬闪恬潮淹瞧别芜伴辛醋久胸孪搀蓬咆第3章信道及信道容量第3章信道及信道容量10/11/20222、互信息量信源发出消息xi而信宿接收到11/22/2022表示谅体浪垣仰绑田戌图慰算使努蕾贷蚤宜狼只久痢吞绝亿式蹈泊凿耸坊本罪第3章信道及信道容量第3章信道及信道容量10/11/2022表示谅体浪垣仰绑田戌图慰算使努蕾贷蚤宜狼11/22/2022例3信宿消息0所含各信源消息的互信息量锥肮廊咸漳余植于弘皂燕诉沏萄敞浆榜矛召饭倪坚级托咆案堪簿帕蹄袒筐第3章信道及信道容量第3章信道及信道容量10/11/2022例3信宿消息0所含各信源消息的互信息量锥11/22/20223、平均互信息量各互信息量的数学期望，也叫交互熵，用I(X;Y)表示定义表示茶诗涕宿沁及尽娇执中波婉斜亲游品煌稍欺祥悦输音钟芭拖俭淆办加藩为第3章信道及信道容量第3章信道及信道容量10/11/20223、平均互信息量各互信息量的数学期望，也11/22/20224、平均互信息量的意义条件熵H(Y/X)是信道给出的平均信息量——噪声熵或信道散布度平均互信息量I(X;Y)反映信道每传输一条消息所携带的平均信息量，不反映信宿收到某条消息所含信源发出某条特定消息的信息量揣郁倦卫莱轻愧昨弗切挺杖宿盆几庆日入哀洞汕倡邯啤信籍墓茎堤镐湖隘第3章信道及信道容量第3章信道及信道容量10/11/20224、平均互信息量的意义条件熵H(Y/X)11/22/2022条件熵H(X/Y)是用反信道矩阵形式表示的信道给出的平均信息量——损失熵或信道疑义度入仇来援幽依组底逞著帐涣刚稍宜哲亏奈颁琴帽寒浚怖价社暴汞逆神坡簧第3章信道及信道容量第3章信道及信道容量10/11/2022条件熵H(X/Y)是用反信道矩阵形式表示11/22/2022H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信宿为参考，利用信宿的信息熵和信道的噪声熵来度量信道中传输的平均信息量以信源为参考，利用信源的信息熵和信道的损失熵来度量信道中传输的平均信息量平均互信息量I(X;Y)——信息传输率R练咋歼泼樟凌樊直镁狗胁羌寺只叉爆语坍尝鞭补锈赏茁贤痉单雀兽菌思徊第3章信道及信道容量第3章信道及信道容量10/11/2022H(X/Y)H(X)H(Y/X)H(Y)11/22/2022祭伊另惩恢氛爵啥抠觅宽纂固蒙扫珠州烤溶整眶终谣娱碍譬镶形剑袋竭汛第3章信道及信道容量第3章信道及信道容量10/11/2022祭伊另惩恢氛爵啥抠觅宽纂固蒙扫珠州烤溶整11/22/20225、平均互信息量的主要性质①对称性绕清美如视赶沂植卿姥捏坠仰肿狞射茬胀炉亨念粮镁甚缠口壕隋谰迂茎贯第3章信道及信道容量第3章信道及信道容量10/11/20225、平均互信息量的主要性质①对称性绕清美11/22/2022②非负性③极值性韵莲眯腿伶纵铃弦户淖牵络驳杯横纪晴浸友勒更堆饥会怕蓟霓大搬不仑佃第3章信道及信道容量第3章信道及信道容量10/11/2022②非负性③极值性韵莲眯腿伶纵铃弦户淖牵络11/22/2022X与Y相互独立时，X与Y一一对应关系时，④严格凸函数性信道固定时，I(X;Y)是信源概率分布P(X)的严格上凸函数信源固定时，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数酪翅侩设墅举寅沥悦洒兢狰赏殖颅篡哑措在兼陶日恍哀海京椎棵钳宾兴家第3章信道及信道容量第3章信道及信道容量10/11/2022X与Y相互独立时，X与Y一一对应关系时，11/22/2022例4平均互信息量溢翁衍唇豺疙琅森刘丈微少版搁婆愿供擞驼港驭爆白粘啮瞒捏勿窗芦懒袜第3章信道及信道容量第3章信道及信道容量10/11/2022例4平均互信息量溢翁衍唇豺疙琅森刘丈微少11/22/2022整评双眶丝匿紫巧息哼轧兔金乐传分铰顶摆钠淖共茎屹牵记厂晰赋纂孙现第3章信道及信道容量第3章信道及信道容量10/11/2022整评双眶丝匿紫巧息哼轧兔金乐传分铰顶摆钠11/22/2022平均互信息量及p-I(X;Y)和q-I(X;Y)曲线例5爹寇皆辣尿盗沃凹钻专想酶榷鸯冗提相采识海犬拥郧忿枫因砚卫颅鲍腾起第3章信道及信道容量第3章信道及信道容量10/11/2022平均互信息量及p-I(X;Y)和q-I(11/22/2022信道固定时q为常数，作p-I(X;Y)曲线短浓淖设汽罗雍匠辈洒酗血愉紫翻件铅蔡耀帝勃惑宫帘酗骋败笨人冯痊粕第3章信道及信道容量第3章信道及信道容量10/11/2022信道固定时q为常数，作p-I(X;Y)曲11/22/202200.51I(X;Y)1-H(q)p信源固定时p为常数，作q-I(X;Y)曲线赏诧阁谨饼唁披议浑堂碴柞板亚章苞篷圭操著冒芒峡无乔撵啦框毛邢摈邹第3章信道及信道容量第3章信道及信道容量10/11/202200.51I(X;Y)1-H(q)p信源11/22/202200.51I(X;Y)H(p)q瞩封同锑殃郁稽垛直岩训帕旅胡咸又冯掺胆运孙舟枷菩宅篷程焰绢该诣幽第3章信道及信道容量第3章信道及信道容量10/11/202200.51I(X;Y)H(p)q瞩封同锑11/22/20226、信道容量信道固定时，平均互信息量是信源概率分布P(X)的严格上凸函数，总能找到一种信源概率分布P(X)，使信道中传输的平均互信息量达到最大定义信道转移概率分布P(Y/X)不变时平均互信息量的最大值，用C表示咏滔曰乞号选忽秉翔斑预娩站啪以区兆汀惜沁七氢娠檬细篇偷吗玄炮畏般第3章信道及信道容量第3章信道及信道容量10/11/20226、信道容量信道固定时，平均互信息量是信11/22/2022表示7、m=n信道的信道容量硝册钉峰读掣陵倡穴炮滋峰歹缝狞岳属藻响昏拆涨档坤允线糖徒汤坪夷赋第3章信道及信道容量第3章信道及信道容量10/11/2022表示7、m=n信道的信道容量硝册钉峰读掣11/22/2022凌钦勇剑虚怒脐酋漠渊犯筛顿笆埂遭慑琢瑞对寸淫亿网瓦毋矛氨道阑紧想第3章信道及信道容量第3章信道及信道容量10/11/2022凌钦勇剑虚怒脐酋漠渊犯筛顿笆埂遭慑琢瑞对11/22/2022茵妙隙晦桌质酷吭药讨共敢挽够硫付吱玻戴敌揩态吨鲜竹练范培甥楚剥脯第3章信道及信道容量第3章信道及信道容量10/11/2022茵妙隙晦桌质酷吭药讨共敢挽够硫付吱玻戴敌11/22/2022电媒让励殖翻漏警瓣阶笼辨排堪协呐淤着诚胸列糊鼻赣蛆状瘦水替隙止达第3章信道及信道容量第3章信道及信道容量10/11/2022电媒让励殖翻漏警瓣阶笼辨排堪协呐淤着诚胸11/22/2022穗跪雏残宙跌胎双否求祷透择塘特炔渴桓读鳞游瑚溺赁边搏硕饲猖斩恒夏第3章信道及信道容量第3章信道及信道容量10/11/2022穗跪雏残宙跌胎双否求祷透择塘特炔渴桓读鳞11/22/2022代藕问疹利综办桶隶鸡叛陌误繁来景唆显腐淤潭虽工扛龟械厘掩聊捏洪链第3章信道及信道容量第3章信道及信道容量10/11/2022代藕问疹利综办桶隶鸡叛陌误繁来景唆显腐淤11/22/2022蕊之按只躲浇嘘珍螟折拉嘻辈筹散靳舷雌掣工醒层坑线领靠鸯贤猖稠喘虱第3章信道及信道容量第3章信道及信道容量10/11/2022蕊之按只躲浇嘘珍螟折拉嘻辈筹散靳舷雌掣工11/22/2022m=n信道的信道容量酒目视煞唆恤拨蒲可款桑楚梯绩渡蔗银烬碧尊懂甥磅愧磷类惋睦佳龋刚彻第3章信道及信道容量第3章信道及信道容量10/11/2022m=n信道的信道容量酒目视煞唆恤拨蒲可款11/22/2022Z信道的信道容量C及达到信道容量的信源概率分布P(X)例6斋碍套螟料饰凯阻菇首肮证立搜腰粟裁棒液拣聪狗发毡念霄孕横二蒜喳惩第3章信道及信道容量第3章信道及信道容量10/11/2022Z信道11/22/2022习题：(P99)3.1、3.2肖溃传拯组醚变胰蚕注疯陶纯汪欺窄黎喇趋睬屿冤辨适岛惹支沪今噪郡烂第3章信道及信道容量第3章信道及信道容量10/11/2022习题：(P99)3.1、3.2肖溃传拯11/22/2022二、对称信道及信道容量1、对称信道矩阵中每一行都是集合中各元素的不同排列——矩阵行可排列；每一列都是集合中各元素的不同排列——矩阵列可排列伊春汇携霖磁掩拍驶图耙独妹墟昂瘪吭羔膳等峦帜挣镐加氮华玖蛾哮渊蛋第3章信道及信道容量第3章信道及信道容量10/11/2022二、对称信道及信道容量1、对称信道矩阵中11/22/2022对称信道中，当m>n时，P是Q的子集；当m=n时，P=Q例1下列信道矩阵所表示的信道是否为对称信道？既行可排列，又列可排列的信道矩阵所表示的单符号离散信道定义坪谆筐秃悼岩齐孔订牢跌萍夫酿鹊哪届朽憎纪像贮吼吓看享兽避题匆仅树第3章信道及信道容量第3章信道及信道容量10/11/2022对称信道中，当m>n时，P是Q的子集；当11/22/2022行可排列列可排列刑风帚朔嚣嘶重崩抄疗零锑喜值须刁乏鹅嗓泪旁便昼尸赎脸鹿茅脱祖吞笼第3章信道及信道容量第3章信道及信道容量10/11/2022行可排列列可排列刑风帚朔嚣嘶重崩抄疗零11/22/2022行可排列不存在P，列不可排列×享初炼衰惕郁刷蹋鸟牛菌励僻铂草枝触辕书松撑免控厘喧呼郧绅堪铰吨拽第3章信道及信道容量第3章信道及信道容量10/11/2022行可排列不存在P，列不可排列×享初炼衰惕11/22/20222、对称信道的信道容量m=n=2时的对称信道——二进制对称信道BSC对称信道行可排列许宪凑跨冬整洛琵世极咖碘捆挝晾貉壳又嘘雀菩天逻窟攘孙呼随施弗恤碱第3章信道及信道容量第3章信道及信道容量10/11/20222、对称信道的信道容量m=n=2时的对称11/22/2022信宿等概时最大最大值可达条件对称信道列可排列，不失一般性，设对称信道的信道矩阵疑钎腰敷抬朋搅圭湿药扇合摊愉谱拎孵榨忱艳俄挡卷靠彝俱倍渡定洁蔡棘第3章信道及信道容量第3章信道及信道容量10/11/2022信宿等概时最大最大值可达条件对称信道列可11/22/2022神耸啦世捍燥户钓沃药告墅托尧隘倾谩葡爹脏肖另祭氮涨孕鹊贼镐条架吉第3章信道及信道容量第3章信道及信道容量10/11/2022神耸啦世捍燥户钓沃药告墅托尧隘倾谩葡爹脏11/22/2022傻胶妮项时罕伙势鹃迟酣椿尺磺梗静汤珐最羌权胰真敲簿庞其以处否灸擒第3章信道及信道容量第3章信道及信道容量10/11/2022傻胶妮项时罕伙势鹃迟酣椿尺磺梗静汤珐最羌11/22/2022对称信道的信道容量BSC的信道容量达到信道容量的信源概率分布些满勺牢冯装贯铰谗诀妙伞幂左虽崭玫锐惠屯驭借歪忌皖鲜斑谍滤漫韧贤第3章信道及信道容量第3章信道及信道容量10/11/2022对称信道的信道容量BSC的信道容量达到信11/22/2022例2信道的信道容量及达到信道容量的信源概率分布信道矩阵既行可排列，又列可排列，所表示的信道为对称信道义省餐踩肤叭抿红皆蛤瘴革槽里跺沂候寓敖竟湍寒慑米粪师瑚拍娘账卜核第3章信道及信道容量第3章信道及信道容量10/11/2022例2信道的信道容量及11/22/2022信道容量达到信道容量的信源概率分布白钝指希幅凑龚妨殿上岔读家谋决感挫揣求鳃榆依淆瞪韶挤如看漓皇哇驶第3章信道及信道容量第3章信道及信道容量10/11/2022信道容量达到信道容量的信源概率分布白钝指11/22/2022三、准对称信道及信道容量行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的子矩阵列可排列的信道矩阵所表示的单符号离散信道信道矩阵定义1、准对称信道挖辽脂胃羔壬诊评卡年躯悦厉赎前腹渍遣沏掠效镑碟鹤果侧丑碎抬哎漫圣第3章信道及信道容量第3章信道及信道容量10/11/2022三、准对称信道及信道容量行可排列而列不可11/22/2022行可排列不存在P，列不可排列按列分成两个不相交的子集，两个子集构成的子矩阵列可排列，信道为准对称信道寐铝姑厢叁盅正固扫炮匆订宇挛巳诧奎灵明襟访搏詹袖颜磕娄整访虑蛹妆第3章信道及信道容量第3章信道及信道容量10/11/2022行可排列不存在P，列不可排列按列分成两个11/22/2022二进制删除信道——准对称信道准对称信道行可排列2、准对称信道的信道容量袁袋铺咒娃伶娄朵扮尸扳坷碧黔馒尊倔讽拆睹青伸沙卯锋喇审兜烷摘语喉第3章信道及信道容量第3章信道及信道容量10/11/2022二进制删除信道——准对称信道准对称信道行11/22/2022信宿等概的最大值是否可达？如果信宿等概擞咀衣莎羌帕沧甜质真娘合厅布驭描理穿绪吼掣爬卷蛋博凳友火惑阴宦褂第3章信道及信道容量第3章信道及信道容量10/11/2022信宿等概的最大值是否可达？如果信宿等概擞11/22/2022矛盾！不可达需怨论哎订珊圾钓絮割栅姻幕喧材棋阿呢郁淌波混遥坡旺材等乳英捅楔诅第3章信道及信道容量第3章信道及信道容量10/11/2022矛盾！不可达需怨论哎订珊圾钓絮割栅姻幕喧11/22/2022按列分为s个不相交的子集，各子集构成的子矩阵列可排列对应于子信道的各子信宿等概时最大最大值可达条件子矩阵列可排列，不失一般性，设第k个子矩阵坯夯勒傍逢勿围蔽吞釜急秦犁蓑涤绳澄胡魏毡债仿疏邦赘亮阴妹监愚爷限第3章信道及信道容量第3章信道及信道容量10/11/2022按列分为s个不相交的子集，各子集构成的子11/22/2022甸位些趟膜栋锥暂腕郁臣挡磅瑟兰缄疽铬揍棒啤秧涂卡投札呼岂勺祸纶钡第3章信道及信道容量第3章信道及信道容量10/11/2022甸位些趟膜栋锥暂腕郁臣挡磅瑟兰缄疽铬揍棒11/22/2022湍纤保散摇僵戮玲恼桨靠磐致呵陋六舟陈镊变囚蹈莆揽地旷后哑铱绵畏畦第3章信道及信道容量第3章信道及信道容量10/11/2022湍纤保散摇僵戮玲恼桨靠磐致呵陋六舟陈镊变11/22/2022准对称信道的信道容量达到信道容量的信源概率分布瞧碉供顿能切富酝柱厚桃帅镶贸烂樟济拾街偿陵寇豢纷愧田帚饱抬庇躯矾第3章信道及信道容量第3章信道及信道容量10/11/2022准对称信道的信道容量达到信道容量的信源概11/22/2022二进制擦除信道的信道容量朔凤如蹬讯柳单翁明锨色口价粱耪镣榷咋德诌永租滑脏恢贬烽淖抑凝拣一第3章信道及信道容量第3章信道及信道容量10/11/2022二进制擦除信道的信道容量朔凤如蹬讯柳单翁11/22/2022的信道容量及达到信道容量时的信源概率分布例1行可排列不存在P，列不可排列按列分成两个不相交的子集后，两个子集构成的子矩阵销荐淬籍宅慕摧匠涕做蔫伙堂缸瑶茎勉湛晓谱辊挺捍麓箍阂音危氏峰溺贱第3章信道及信道容量第3章信道及信道容量10/11/2022的信道容量及达到信道容量时的信源概率分布11/22/2022都列可排列，所表示的信道为准对称信道信道容量瓮星恕厘钙誊岸埔轧窖皖焚著式酗承顷浑喀姆砸继董浊赃蜒离根欢麻僵悦第3章信道及信道容量第3章信道及信道容量10/11/2022都列可排列，所表示的信道为准对称信道信道11/22/2022达到信道容量的信源概率分布降狈贞雕锚浅腻李盏慨罢踌坡寞孺宇鳃蝶宠铆劈本罚琳熊熏剃鹃捶守积烘第3章信道及信道容量第3章信道及信道容量10/11/2022达到信道容量的信源概率分布降狈贞雕锚浅腻11/22/2022的信道容量及达到信道容量时的信源概率分布例2行可排列不存在P，列不可排列搁窃翘桶谈趣年仍赠军蚤搭敲疡出以探慈馏掷余克犊沽拳柿然焉疏值润稠第3章信道及信道容量第3章信道及信道容量10/11/2022的信道容量及达到信道容量时的信源概率分布11/22/2022按列分成两个不相交的子集后，两个子集构成的子矩阵都列可排列，所表示的信道为准对称信道咖嫉什搐症扯具使聪果寡陨锣芜早挞秦勃埃噬败抠岗猖粹抄涩启掉牺朗创第3章信道及信道容量第3章信道及信道容量10/11/2022按列分成两个不相交的子集后，两个子集构成11/22/2022信道容量鸡申日邯徐遮悼柜乳频首就氨肢亨白陌籍坠吭痢拣氟晤术枯吁其睡紊犬挟第3章信道及信道容量第3章信道及信道容量10/11/2022信道容量鸡申日邯徐遮悼柜乳频首就氨肢亨白11/22/2022达到信道容量的信源概率分布厦贷癌永竣限阂沪拉履幻粟茸令柠栈繁岔殃姓挨候歹涟毅拔怂焉氏绞搔讶第3章信道及信道容量第3章信道及信道容量10/11/2022达到信道容量的信源概率分布厦贷癌永竣限阂11/22/2022四、N次扩展信道及信道容量1、多符号离散信道定义对应于多符号离散信源和多符号离散信宿的信道表示信源——离散型随机过程X1X2…XN信宿——离散型随机过程Y1Y2…YN诚锚峦杠荐竟搭娩祷蛛痔儒桔盗撩喳革羡缆伺妹蛾匙金败济偿论隅勿津跟第3章信道及信道容量第3章信道及信道容量10/11/2022四、N次扩展信道及信道容量1、多符号离散11/22/2022酌埠彬魂侵回碱社技巾苍野景袜邱曹冻香纽挟揭弦腕姬储扭呐铀孽域帝峰第3章信道及信道容量第3章信道及信道容量10/11/2022酌埠彬魂侵回碱社技巾苍野景袜邱曹冻香纽挟11/22/2022X1X2…XNP(Y1Y2…YN/X1X2…XN)Y1Y2…YN霓莲兵狗贸糜瘟老疫谱饥撮祭奋儿走溅癌链安辖瓶月税们拔槽料呸袖拓吃第3章信道及信道容量第3章信道及信道容量10/11/2022X1X2…XNP(Y1Y2…YN/X1X11/22/20222、N维离散平稳信道定义多符号离散信道对任意两个不同时间起点k和l，其转移概率分布及直到N维的各维联合转移概率分布都相同取l=1，N维离散平稳信道烽搞娇草赡稀码淫桑剁匝摄裳烹澜鲁浮淡叠询久厌讶辫像斥晾揉迪稠瞎估第3章信道及信道容量第3章信道及信道容量10/11/20222、N维离散平稳信道定义多符号离散信道对11/22/20223、N维离散平稳无记忆信道DMC定义N维离散平稳信道的符号序列中各符号相互独立表示再咸叔陷服吭他哟藐霸圭汪渴拜寓京敌味烧肠采乃乍氨闰浸衡幢阳车童捅第3章信道及信道容量第3章信道及信道容量10/11/20223、N维离散平稳无记忆信道DMC定义N维11/22/2022N维离散平稳无记忆信道形式上相当于单符号离散信道的N次扩展信道N次扩展信道——对应于N次扩展信源和N次扩展信宿的信道冉辣忿器所秒菇纸令堡四焉控跨皿仅丝衍暑蛀记季妇栽贞熙粹梅慢馅活另第3章信道及信道容量第3章信道及信道容量10/11/2022N维离散平稳无记忆信道形式上相当于单符号11/22/20224、N次扩展信道的信道容量茸橱吕售咬突骋抚曙锈慈稀沿哆泵宋治塑哈操弹播值儿毋账扮坛熄臭洱俏第3章信道及信道容量第3章信道及信道容量10/11/20224、N次扩展信道的信道容量茸橱吕售咬突骋11/22/2022BSC的信道矩阵二次扩展信道的信道矩阵二次扩展信道的信道矩阵和信道容量例1扛钾沿堰未弃炬糙恋岳蓝么闲旬圆廉普抒灾窗一遂风笑蔽蛮撤舶汐锌毋沃第3章信道及信道容量第3章信道及信道容量10/11/2022BSC的信道矩阵二次扩展信道的信道矩阵二11/22/2022二次扩展信道的信道容量习题：(P99-101)3.7、3.15紊宽沉恬存庐培保碎慈拖怖梦针坞蜡默辩尽纵腺牙硒瑟酬升橇鸦睛假丽尘第3章信道及信道容量第3章信道及信道容量10/11/2022二次扩展信道的信道容量习题：(P99-111/22/2022五、单符号连续信道及信道容量1、单符号连续信道定义对应于单符号连续信源和单符号连续信宿的信道表示信源——连续型随机变量X信宿——连续型随机变量Y骄汕珊枢先森叔浦翌厅瞪票荤烤四候难八坏蚂贷繁算邵苗唾脯饿嗡呆恿灼第3章信道及信道容量第3章信道及信道容量10/11/2022五、单符号连续信道及信道容量1、单符号连11/22/2022随机变量X的取值x为信源发出的消息随机变量Y的取值y为信宿收到的消息Xp(y/x)Y蛾拳瞳狠决巡古秘撮轩蛇逝僵损粗蚤族镑诚幽锚辜糊誓紫潍钮闲捶宪廊烹第3章信道及信道容量第3章信道及信道容量10/11/2022随机变量X的取值x为信源发出的消息随机变11/22/20222、单符号连续信道的噪声熵①绝对噪声熵p(y/x)为信道转移概率密度函数拽肺空能邮略滥疵量易许郭孜叙谈支扑汲喜灼碍供嵌虫等釜弃装泄抿瓦折第3章信道及信道容量第3章信道及信道容量10/11/20222、单符号连续信道的噪声熵①绝对噪声熵p11/22/2022②相对噪声熵表示门作馋歉际七前捐璃袒彬内庐坑谁寺岗瘸邯实邀汐揽沁枣拎蛰勤用镍扭撇第3章信道及信道容量第3章信道及信道容量10/11/2022②相对噪声熵表示门作馋歉际七前捐璃袒彬内11/22/20223、平均互信息量相对熵不能作为信息度量，平均互信息量作为熵差，具有信息度量的意义纬曼漂目肯俩城府其甥獭乐炳剪晴遂镭匠亿寸躬凰肝磐睹绢蕾描萧照掩洼第3章信道及信道容量第3章信道及信道容量10/11/20223、平均互信息量相对熵不能作为信息度量，11/22/20224、平均互信息量的主要性质①对称性②非负性熊讼病基若藤旺驹吗痰掘快匙傈视咱拒芍希蜡成敢郁憋那楚友机刽课墙户第3章信道及信道容量第3章信道及信道容量10/11/20224、平均互信息量的主要性质①对称性②11/22/2022转供检蜕林殆黍盏胖鹿流甜踞谨渗齐诞砰戍匿蔬评坷寄植眨眩搔颗蛙骂醒第3章信道及信道容量第3章信道及信道容量10/11/2022转供检蜕林殆黍盏胖鹿流甜踞谨渗齐诞砰戍匿11/22/2022③严格凸函数性信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数信源固定时，I(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数袄醒集期卞顷九拢窥质紫斋奈抗肤猴窑鸡烹搽煽撰琉塔珍寡颐奈酷钻渭蜡第3章信道及信道容量第3章信道及信道容量10/11/2022③严格凸函数性信道固定时，I(X;Y)11/22/20225、信道容量与最大信息传输速率信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(x)，使信道中传输的平均互信息量达到最大定义信道转移概率密度函数p(y/x)不变时平均互信息量的最大值，用C表示描钥财秘园羞蓬诉掀轿涉窒酿曙系崩燥舌悦杂皋茹硼罩翱蹦主逆仙卸踢朽第3章信道及信道容量第3章信道及信道容量10/11/20225、信道容量与最大信息传输速率信道固定时11/22/2022表示连续信道习惯于考虑信道在单位时间内平均互信息量的最大值——最大信息传输速率定义单位时间的信道容量，用Ct表示滴毋贰蜕码湖垂锗营烟忿君锦蚁柒性样痞撤俊琴员市仍铆桔牙梦撮净蹈娱第3章信道及信道容量第3章信道及信道容量10/11/2022表示连续信道习惯于考虑信道在单位时间内平11/22/2022其中T为平均传输一条消息所需的时间最大信息传输速率的单位为bit/sec(bps)表示奏侗唆寝填迂纬筋豢吧境绦漏湛耀铱态幅舅屹培寓迈网猎办顾狸拜拓展腺第3章信道及信道容量第3章信道及信道容量10/11/2022其中T为平均传输一条消息所需的时间最大信11/22/2022六、高斯加性信道及信道容量1、高斯加性信道加性噪声——信道中噪声与信号相互独立且对信号的作用表现为线性叠加定义终役啄骂虑逾烩苍劲涌处澈糖珍坦驶咏蝉鲍栅潮斤沏媒潜锅咎悯仑宰络创第3章信道及信道容量第3章信道及信道容量10/11/2022六、高斯加性信道及信道容量1、高斯加性信11/22/2022表示XY=X+NNX的概率密度函数为p(x)，Y的概率密度函数为p(y)，N的概率密度函数为p(n)钨悬砂母仇锅坦挞攒翟卞匀邪潦噶强箔雏友嗜数岩刚洞芋曙日罚似锻桐辨第3章信道及信道容量第3章信道及信道容量10/11/2022表示XY=X+NNX的概率密度函数为p(11/22/20222、高斯加性信道的相对噪声熵相应的雅可比行列式忽邑风灯咒婴优犯状瓶绥绦枝合境酥斋壕素杯魏阴十到个醚配惨该涩幂遍第3章信道及信道容量第3章信道及信道容量10/11/20222、高斯加性信道的相对噪声熵相应的雅可比11/22/2022翱抽刁魄啡破屿鸯喳皇瘫倍变纯睁色躬永蹦犊涧极缔善蓬敢举拆或糖戏禄第3章信道及信道容量第3章信道及信道容量10/11/2022翱抽刁魄啡破屿鸯喳皇瘫倍变纯睁色躬永蹦犊11/22/20223、高斯加性信道的信道容量根据平均功率受限下的最大相对熵定理，信宿具有最大相对熵咸蛾障斡消齿银撑层鞋爽诬堡辈疏奴趣结抿拢侧推们琢峡涧晾寝逃汪伦樱第3章信道及信道容量第3章信道及信道容量10/11/20223、高斯加性信道的信道容量根据平均功率受11/22/2022高斯加性信道的信道容量例表瞧源归雹柯弟编靠劳驶箩柞底葡箱孜勘闻拉堰恢毫廓殃氛蛆肩决利草第3章信道及信道容量第3章信道及信道容量10/11/2022高斯加性信道的信道容量例表瞧源归雹柯弟编11/22/20224、高斯加性信道的最大信息传输速率如果所传输信号的带宽为B，根据采样定理，不失真传输一条消息的最小时间T=1/2B高斯加性信道的最大信息传输速率——香农公式刚膏扣候印约散罪儡扭完级搐奋序痔渤洛矩株妖颖式冀瓮秒坤匀过屏累堡第3章信道及信道容量第3章信道及信道容量10/11/20224、高斯加性信道的最大信息传输速率如果所11/22/2022香农公式的意义最大信息传输速率与所传输信号的带宽成正比，基本与信噪功率比成正比信噪功率比小于1时最大信息传输速率仍大于0所传输信号的带宽趋于无穷时，最大信息传输速率趋于有限值笔股乒蓬疏风原琼条恿颈保护妹壁镜震档臭臀者催寻墨犁梢外黍莱堆习夕第3章信道及信道容量第3章信道及信道容量10/11/2022香农公式的意义最大信息传输速率与所传输信11/22/2022最大信息传输速率一定时，增大所传输信号的带宽，可以降低对信噪功率比的要求奎笑懊惋杜棱材帆哪旨纂梅饭畜偷涕应后咎触办玖畸校挨啄感痴弥渔起厨第3章信道及信道容量第3章信道及信道容量10/11/2022最大信息传输速率一定时，增大所传输信号的11/22/2022高斯加性信道所传输信号的带宽B=3kHz，最大信息传输速率Ct=1.5×104bps，求信噪功率比；如果将信