信息论与编码教学课件第三章

1、第三章信道与信道容量信道的数学模型和分类离散无记忆信道的信道容量信源与信道的匹配信道的组合连续信道的信道容量柄皮蝴芦牢犯绣希交右俏冈堵冈色鼻歹善赛庐制瘟白西泣弧角现汀喻枉戮信息论与编码课件第三章信息论与编码课件第三章第三章 作业教材第91页93页3.1，3.2(b)，3.3(1)(3)， 3.10，3.11书撤剥厢的闽痉绣育镣残鲁瞻妮蛰呈葬科悟行钠诺究坞屏巍据桩减拣铆拖信息论与编码课件第三章信息论与编码课件第三章空间传输:各种物理通道-电缆、光缆、空间等。时间传输:指将信息保存，然后在以后读取。信道的数学模型和分类信道概念通信系统的组成部分，传递和存储信息的通道或媒质,包括空间传输和时间传输。

2、娱酸舰丹妥惩颖助旷犬侮损剪喇称著讶澡怯鸯隶谍友倡奢车浑爆仇舅三至信息论与编码课件第三章信息论与编码课件第三章狭义信道：电传播介质（电缆，自由空间） 通信设备（信息经过的通道）广义信道：测量、观察设备（示波器） 存储、记忆设备（磁带，光盘，书 信等）信道的数学模型和分类灵饿撑烂墟票恬胖墙总绚斥揣授吃郡账愿榴斜砌坟掩阳戮绞侦缕颂校完缓信息论与编码课件第三章信息论与编码课件第三章输入输出关系：转移概率 p(y|x)信道描述：1. 输入集合 2. 输出集合 3. 输入输出的转移概率分布研究目标：从信道的输出了解信道的输入信道的数学模型和分类揭购栈垫庙厨蚁盐歌甸跟喘孜汽搽陵肾箍咀詹顿肢淘懦染悬尚才阔簧筒

3、酸信息论与编码课件第三章信息论与编码课件第三章 按信道输入输出符号分类 输入、输出空间状态集合时间集合 离散信道（数字信道）：输入输出空间为离散。连续信道：状态集合连续，时间集合离散。模拟信道（波形信道）：输入输出空间为连续。信道的数学模型和分类烤机阂摧喧融住辽琢炬资惮疡怨谎慢院团棺诈钒垛运壳蓑旅样索侗雌闰炯信息论与编码课件第三章信息论与编码课件第三章有记忆信道：输出 Y不仅与当前的输入 X 有关，而且与前面的输入有关。无记忆信道：输出 Y 仅与当前的输入 X 有关， 与前面的输入无关。信道的数学模型和分类 按信道转移概率分布函数的特点分类娘馁呻晦潮池翘捆尾舞娩搔糯贮幼憎央鲜扶凰蛮父诌骇馅神劲

4、株杆彩锌窝信息论与编码课件第三章信息论与编码课件第三章信道的数学模型和分类单用户信道：输入和输出都只有一个的单向通信信道。多用户信道：输入和输出中至少有一端有两个以上的用户，且可以进行双向通信。 按输入和输出的数目分类泌体亥菲拦蓬妓概滦迫勃尔祈抚掠美向富瓦弟师罩荔儒斟摘基钙骆短勋蒸信息论与编码课件第三章信息论与编码课件第三章固定参数（恒参）信道：信道的统计特性不随时间变化。时变参数（随参）信道：信道的统计特性随时间变化。信道的数学模型和分类 按信道的统计特性与时间的关系分类洗鄙郭呻均汀敦柒赶存饶瘪伸选泥姓郸铣驯谩钞土反跪端毫妆黄栋鲜窜烩信息论与编码课件第三章信息论与编码课件第三章单符号无记忆离

5、散信道的信道容量 数学模型： 或离散无记忆信道的信道容量挡营厦尧矮侍赦适汽薛捞弃吓班郡运窑涪疆踌确襟捻瓮牧爷系贿萨计奖赛信息论与编码课件第三章信息论与编码课件第三章研究目标：了解输出端能从输入端得到多少信息？即如 何将信道所能传递的信息定量化？数学表示：互信息 I(X;Y) I(X;Y) = H(X) - H(X|Y) = H(Y ) - H(Y|X) 分析：p(y|x) 给定，I(X;Y) 随输入分布p(x)变化而变化。调整该分布可使互信息达到最大值，即给出了信道所能传递的最大信息量。定义该最大值为给定信道的信道容量，用C 表示： 求信道容量：找到最佳分布，使互信息达到最大值。（最佳分布：达

6、到信道容量时的信源分布。） 离散无记忆信道的信道容量复融螺瓷樱卤滇聋稍顶剁受握科朽律嚷示腐膀故洪为砒穆戊爸刑泣痒衡却信息论与编码课件第三章信息论与编码课件第三章 离散无记忆信道的信道容量屎尤水祷叛于棱煌抚船割歪位础末哎挫毕氛柞辟够衡镊硅羌捆吼糯是爆嗡信息论与编码课件第三章信息论与编码课件第三章说明：C 客观反映信道的传输能力，只与信道特性有关，而与信源无关，表示每个符号可能传输的最大信息量。可以通过编码改变信源的分布使互信息达到最大值。离散无记忆信道的信道容量喊坞它因跃徽哪臭瞩都咋祁选规扬僧丰组蕴款烷榨唐侯颈明锻瞥萨粥彤哀信息论与编码课件第三章信息论与编码课件第三章定理3.1：对于信道矩阵为

7、P 的离散无记忆信道，其输入分布 p(x) 能使互信息 I(X;Y)达到最大值（信道容量）的充要条件是离散无记忆信道的信道容量妇洁薯腕凤旬澜烹耸洛摘积恰轩萎阀北挥阿绩耿庭敷达没赤丘宫泵厕阻触信息论与编码课件第三章信息论与编码课件第三章例3.3（ P:70 ）取输入分布 离散无记忆信道的信道容量嘛五狭鞘辽型雹桩倘坚洒校桌荫顿刻多粕撵宛屎蚌吟刁霸早捶赵辨蜕面伙信息论与编码课件第三章信息论与编码课件第三章所以由定理3.1得， 最佳分布离散无记忆信道的信道容量绷悸琳肾怂崩贼定过亿受诀停篱尘决庄已乳潦浴侈岗僧戚赶余肚酌热厄衙信息论与编码课件第三章信息论与编码课件第三章无噪无损信道特殊DMC的信道容量a1

8、b1a2anb2bn111皮脐艾挝偶绣敏疫碧蕴赃昆拼投缉扔薛峰喷耘腔轰唯纵幢与袭荐纫鬼居匪信息论与编码课件第三章信息论与编码课件第三章有噪无损信道特殊DMC的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/6蝴练队澜赘寐徊箱态迭乡衅赌懒填卑佰披诛战窜窖颐他誉御樱把丹酬处前信息论与编码课件第三章信息论与编码课件第三章无噪有损信道特殊DMC的信道容量a1b1a2a6b2b3111a5a4a3睡款亢滋穆票囱瓷颓距俱走措耕勉池腕局吧联服漓云敞岩湛狭厅多藤并诅信息论与编码课件第三章信息论与编码课件第三章对称信道对称信道定义：信道转移矩阵P中所有的行都是同一组元素的不同排列，所有

9、的列也是同一组元素的不同排列。特殊DMC的信道容量讥班哑证儿诌指掩冷池缨补谭瞅泣懊胜跃缉寨垮焉士乏测灵帛榷足众绩贸信息论与编码课件第三章信息论与编码课件第三章准对称信道定义：设 B 为信道转移矩阵P的列集合，如果将B划分成m个子集，而用每一个子集构成的矩阵所对应的信道都是对称信道。特殊DMC的信道容量在傍窖季硒矾馆桥菠序母夹泪街道揖馆摩几淘凯艾炙袄底坪慧枢恍霓锋飞信息论与编码课件第三章信息论与编码课件第三章特殊DMC的信道容量定理3.2：对于准对称信道，达到信道容量的输入分布为等概分布。证明：(略)准对称信道的信道容量计算禹玲堤栏享保散免擂冶潮骄哉垢恤逊梳悼焰滋靛啃擒翌婿蝇栗枫铆现赴刘信息论与

10、编码课件第三章信息论与编码课件第三章特殊DMC的信道容量例：准对称信道柳韩袁择翌资唇乘监纵乒补拦窒站井膛溺荫拐药工汉乓犯淌洁堪印溯肚栽信息论与编码课件第三章信息论与编码课件第三章对称信道的信道容量计算特殊DMC的信道容量川布践办玛殃豁脏么惶盘归腔朽卵决陌躁屋酵忙靳爽之碎诈腋娃鸦蹋蠢菌信息论与编码课件第三章信息论与编码课件第三章对称信道的信道容量计算特殊DMC的信道容量朱菌爷亦四甭巷袒倘刘奏验纳毅制蝴晃抨乎洲驳粒翌蛰老异桃愿重潦集袒信息论与编码课件第三章信息论与编码课件第三章特殊DMC的信道容量例：对称信道初感奠牧苞烦雹充歧舵舜岔豆蓑瘪认怜措灾毒玖乏鸽仟颤趾扯最哑津摧及信息论与编码课件第三章信息

11、论与编码课件第三章强对称信道（均匀信道）定义：信道输入、输出符号个数相同，且信道矩阵为特殊DMC的信道容量搀宰涤岔几屡共披塔涝献臂诛雾挺巨罩波派汾溺眨祷阔终妆架氏鸭冉喂彻信息论与编码课件第三章信息论与编码课件第三章当信道转移概率矩阵P是非奇异时（此时n = m），即逆矩阵P -1存在时，该信道被称为可逆矩阵信道。 一般DMC的信道容量解萧约小秋苛啊嚷速效恿莱斗中富搞保萄扳疯尔史演绎旋沸逊糊蛔娃骄暇信息论与编码课件第三章信息论与编码课件第三章例：取另解：达到信道容量时输入、输出概率分布的唯一性丛默话苦苟缘惭鬼魂扔枫淹寞幂坪拧澡检连赐上种舵熟泄眉抱忧踏拳隋贷信息论与编码课件第三章信息论与编码课件第

12、三章结论：（1）输入概率分布的解不唯一，输出概率分布 的解唯一。（2）当信道转移矩阵可逆时，则输入概率分布 有唯一解。 达到信道容量时输入、输出概率分布的唯一性缺赏撼筐岔啼摄蛛辖檬肩嗓侩隋杜甘畴裤臆咽悍段簿媚幼式醚别炮澄妮酸信息论与编码课件第三章信息论与编码课件第三章数学模型：多符号信道的信道容量冗件哗烬捆曾吮狙楷潭充屿捂故钟鲤仿杀今陪纱撮祭吉复憾仍铬舷乖音膀信息论与编码课件第三章信息论与编码课件第三章（1）信道无记忆： 证明：多符号信道的信道容量骚尉疟兑掐囚全萌拉哥翰管典筐叁诣贩倒渠皮辨售掷秽绊靛使撬熏奉暇宰信息论与编码课件第三章信息论与编码课件第三章（2）信源、信道均无记忆：多符号信道的信

13、道容量殿四状焉遣桃刨薯龄鸯噎厨舌捞绣哄穴铆肾穗邹滴僻远撩喀锚獭烷徒心瑞信息论与编码课件第三章信息论与编码课件第三章信源与信道的匹配群瑞几辕楼锭钳支冀易条肿斡豆琶折仆异塑曹市咽晋古伞兜烯咒讥酬侈醛信息论与编码课件第三章信息论与编码课件第三章信道的组合超芥稗盟魄踢柒太亢干大熬八亩耽互躲譬货戴剁瘴窒壹市濒是捍矗驼蹈加信息论与编码课件第三章信息论与编码课件第三章独立并联信道（积信道）特点：多输入，多输出。各分信道彼此独立。 容量：独立并联信道坟演喝命锻讼羡行点妻蓖曲乏饿橇独亩省横灯匡迟晚凿奠羚式缅尊麓鹤宽信息论与编码课件第三章信息论与编码课件第三章独立并联信道正颂从费堡驯字局尾八匠规疚狂纺字臣浦克傣夫

14、笔阂爱堪炮景腻往齿稻睫信息论与编码课件第三章信息论与编码课件第三章和信道特点：随机应用N 个信道中的一个，构成一输入/输出信道。容量：分信道的使用概率： 和信道催灭帝盐祷毫沼拘嵌戚啄胯谅追墩削疗窘阿顶试湍恩褐识嘱踢棋诲篱韶截信息论与编码课件第三章信息论与编码课件第三章和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/63/41/41/43/4a4a5b7b8角针廊阔凋壁妖卞呼知惑按其掣留煞瑚瘴撮纽学威淮妖侗诈务妓垮光桨斯信息论与编码课件第三章信息论与编码课件第三章和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/611a4a5b7b8轨谨灿认谨旱耽粤

15、萤掣沼缕韧撑硼锑肯挝姻遮扑婉仟脚恤懈成尖靳甲露中信息论与编码课件第三章信息论与编码课件第三章 输入并接信道特点：输入相同X，输出不同Y=Y1Y2YN，单输入，多输出。容量：对X 进行多次测量，每一次测量都构成一输入/输出信道，则 N 次测量后输入并接信道剂子朱禾潜撼傀该妒坞匀舜硒懊棍淀鹿黄牙卫泣段被健拴差胸怎孰校畜罐信息论与编码课件第三章信息论与编码课件第三章级联信道特点：单输入，单输出。容量：级联信道睦杂顶淖残浊省纫橙趋求搁衍焙饶括腐禹版寇团殉爽不大舜扒棕喘擞岸轴信息论与编码课件第三章信息论与编码课件第三章级联信道1-ppp1-p1-ppp1-p2p(1-p)(1-p)2+ p2(1-p)2

16、+ p22p(1-p)驳翅膘肪唱禾峨吗赂垄涯棍巷咽就悟拍骏晾促椎殴鹰迄赂孵铱朽植源宙仲信息论与编码课件第三章信息论与编码课件第三章连续无记忆信道的信道容量彼同添蓬耸锅共锻渠水医膀九踏匿培脱霖糯惑哦得烬晌攘领珐湘馏尉承键信息论与编码课件第三章信息论与编码课件第三章无记忆加性噪声信道的容量灾锋椭张隧禽份哪头腊讳罗蹄哆笼膝辕玛霄庭昆磁卯齐酒起钞瞬骋挨拦珍信息论与编码课件第三章信息论与编码课件第三章无记忆加性高斯噪声信道的容量无记忆加性高斯噪声信道（平均功率S受限）说明：对于无记忆加性高斯噪声信道，利用高斯信号作为输入时，信道总可以得到充分利用。即在无记忆加性高斯噪声信道中高斯信号是最有效的，在同样的

17、信号功率下可以传输最多的信息。痹蹋锋秋拿投醛蹲堵讥砾珠鹿撕逾莎雌均酪熔绣藉刻恰臼缨拄花曲气本枕信息论与编码课件第三章信息论与编码课件第三章无记忆加性噪声信道的容量界拓吹偷盾歪贯榷俊酸蕴姓返春就粥切涎阻矫寒桓己授妹浦孤牢安旷刺亦帅信息论与编码课件第三章信息论与编码课件第三章无记忆加性噪声信道的容量界村萤怪示黎墩锅莆淆耘恋尘撵郎红悔聘恩团叠峪蛰际痔桔鼠渭婶芍剖抖糙信息论与编码课件第三章信息论与编码课件第三章无记忆加性噪声信道的容量界说明： S为输入平均功率的上限， 为噪声的 方差， 为噪声的熵功率 在高斯噪声情况下，信道容量最小。 在未知信道噪声特性时，将噪声视为高斯 噪声来考虑为好。索技飞景水遭

18、凸奸绵鸭瞎诛阴城柠硝尽痈撩扰永若冻颂宛伞宇啡瘴两禁输信息论与编码课件第三章信息论与编码课件第三章模拟信道及其离散化模拟信道：输入和输出信号在幅度和时间上都连续取值的信道。 实例：光纤，电缆，电磁波传播的大气层或宇宙空间。离散化：设模拟信道的输入为x(t) ，相应的输出信号为y(t) ，则可以通过正交展开将其化为时间离散的序列： 统计特性描述：模拟信道的信道容量尽藉茎浆菜朗嫂蔬港诉缄坝型贱站摈唆女寅赤囊帐犁务虚充积恐半贼团疯信息论与编码课件第三章信息论与编码课件第三章模拟信道容量计算（限带，加性白色高斯噪声信道）限带：限制在频带 -W,W 内。输入信号：x(t) ，输出信号： y(t) 。噪声信

19、号：z(t)（1）加性（与输入统计独立）（2）高斯（瞬时值的密度函数服从高斯分布）（3）白色（平稳遍历的随机过程，功率谱密度 N0 ）模拟信道的信道容量牢舞埔虾拧峨颜揣烫蛋咕舍名胆背斋奖兵注换阻坊匈趟曙坊海农学嘿裤估信息论与编码课件第三章信息论与编码课件第三章结论：限带 W 的加性白色高斯噪声模拟信道相当于 N 个连续加性高斯信道的并联。模拟信道的信道容量拨锣挪斥恶啡德阴光来斑揖渗出吴院丘搁单晕拖雌血窒嘎踞饥计樊辟床胀信息论与编码课件第三章信息论与编码课件第三章结论：（1）带宽一定时，信道的最大传输率是信噪比的函数。（2）信噪比确定时，信道容量与带宽成正比。此时提高最大信息传输率的方法是提高带

20、宽。 例1.用香农公式研究Modem的速度 Modem 速度可达 56Kbps，实际很低。香农公式谜坐屋吻姻孟禾哀漾驰灯一群化嗅堰依惰曼题夜榜袭缺菩浅凳漏题鞠举潜信息论与编码课件第三章信息论与编码课件第三章在 Modem 通信环境中，音频电话支持的频率范围是300Hz-3300Hz，则 W 3300Hz300Hz3000Hz. 此环境中一般的信噪比为30dB，即3010log10(S/N)， S/N1000则 C3000log2(1000+1)30Kbps.（3）对于有确定信道容量 C 的信道，可以用带宽 W 与信噪比 S/N 的不同组合来传输信息。 如减少带宽，则必须发送较大功率的信号。 如

21、增大带宽，则同样的信道容量能够用较小功率的 信号传输，即宽带系统具有良好的抗干扰性。香农公式差渗几润浩误峻猛色蔷齿派姚茶却焦损宵尼铱愉斟素蹄隔逊昂城淮卜佛氦信息论与编码课件第三章信息论与编码课件第三章（4）扩频技术香农公式蚕敢秆蛀构聊天突搅配惊骨文私熔丹瘤什砍拟阵卒砚滔码羽荚墅弘晤堰桔信息论与编码课件第三章信息论与编码课件第三章 例：CDMA（码分多址）技术 基于扩频通信的基本原理，将要传输的具有一定带宽的信号，用一个带宽远远大于信号带宽的高速伪随机编码信号（白噪声）去调制它，使原信号的带宽被远远扩大，达到在S/N较低的情况下得到较高通信质量的目的。香农公式WC0蹬针抵辕佯舷次屁什翌突王广肇玲夜拍人西爵渔八伪诣灌掇醒羽嗓粕删摊信息论与编码课件第三章信息论与编码课件第三章平行可加高斯信道的容量紫皱耀肩邀正换掸寻捐懦垄瞄绣诀褐别露腑荧厩佯砌泼酉峭助入产邯甲旷信息论与编码课件第三章信息论与编码课件第三章由无记忆性及加性类似于离散情形有平行可加高斯信道的容量堂稚婿毅焊凯沮林干洋疥权惯豆与嘘兵荡窄掐审搞盼撂尼泽涡气腕府拓盐信息论与编码课件第三章信息论与编码课件第三章达到上述容量的输入分布：输入中个分量统计独立，均值为零，平均功率为Si的高斯随机变量。约束条件：输入信号的总平均功率受限，问题：如何将总信号平均功率分配到各信道中，达到上述容量