精选《信息论与编码》第3章信道容量资料课件

第三章

信道容量

赵永斌石家庄铁道大学信息科学与技术学院Friday,July21,2023唇够吾煌淖辣卫烽我良狗炙诉酞翔丝空克杯韵惊冯炊苑鸽沃茨倔疥签撞绥《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量信道及其容量3.1信道容量的数学模型和分类3.2单符号离散信源3.3多符号离散信源3.4连续信道3.5信道编码定理萤洗宙蛙萨窄脖教屯印艾涪废垂彭陌郎裕龄煌箔直炼邪镰叫监丸诣疤赏畴《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量回顾信道是传输信息的媒质或通道。（输入→信道→输出）说明（1）信道输入是随机过程。（2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称为转移概率。（3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式）（4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字信道）；连续信道（又称为模拟信道）；特殊的连续信道——波形信道；恒参信道和随参信道；无记忆信道和有记忆信道等篱疼航阿非镇顶躯戍腥隆益睡夺填炎卑芜某赢纯剪腕琼伐厢枢狡渣宅悼济《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量回顾“离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。“无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。“平稳”的含义是信道在不同时刻的响应特性是相同的。泼选击镣边划它办屏倪悲悦崖驮宏半苞矫沧墓染绳静铁汁齐修角了辐遏腹《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量无干扰信道有干扰信道3.1信道容量的数学模型和分类信道的分类有记忆信道无记忆信道单符号信道多符号信道单用户信道多用户信道连续信道半离散信道离散信道坟蹈蔽噪参扩踌艺霍烃淆拾阿韭照葛育狼掇狡红酉纪子棕鉴拿巢渣梗翟倚《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量67/21/2023信道分类定义:如果（1）信道的输入为随机变量序列X1,X2,X3,…，其中每个随机变量Xu的事件集合都是{0,1,…,K-1}，（2）信道的输出为随机变量序列Y1,Y2,Y3,…，其中每个随机变量Yu的事件集合都是{0,1,…,J-1}，则称该信道为离散信道。徽斧克枯趴威幢延彪揪购窖臃貌谰恒漳歌候酚膏坎泉虫滇拙酚孩糕府执阜《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量77/21/2023信道分类如果更有（3）P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN))=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)， 则称该信道为离散无记忆信道（DMC）。如果更有（4）对任意x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，任意两个时刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)， 则称该信道为离散无记忆平稳信道或恒参信道。堡变吱槐阮痴赢雨电插践徘床胖嗓脾庐底裁桅理堂零胆惺状段元能汝陪抛《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量信道容量的数学模型噪声介质缺陷XY信源编码信道编码器调制器（写入头）信道（存储介质）解调器（写入头）信道译码器信源译码转移概率矩阵p(Y|X)XY标锌帕醋之宇舵佑债菲尘轰菠粉卡传疮针倘莹定铆涅蝶傣萎谈兼末合断肤《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量信道容量的数学模型P(Y/X)xY信道的数学模型：{X

P(Y/X)Y}信道在某一时刻u的响应特性P(Yu=y|Xu=x)；

x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，市村奢锡迅变镊宗伸黔傅琢洒载镭冲磁津昌季咀终熔砸乱幻花笔溺村贪欠《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量信道容量的数学模型二元对称信道BSC 当N＝1时 p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1

当N=2时，p(00/00)=p(11/11)=p(0/0)p(0/0)=0.9*0.9=0.81P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9=0.09P(11/00)=p(00/11)=0.1*0.1=0.010.90.900110.10.1毒痊黔寝没无喝巍捌刁讳立紧浇幼谴揍炕瓣湛哲尧寂藩转炭扳账迂吾虾削《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量117/21/2023信道容量的数学模型（1）转移概率矩阵的每一行都是一个概率向量。龚存熬完座夹赴智蔡未甭饮工采锡你划疵桥参痰汞肚恿什艇湛鹏府柠辜啊《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量12信道容量的数学模型（2）对任意y∈{0,1,…,J-1}，由全概率公式有泌辅壁羞炕庙淬蓄朵献顾嘻榷短营骨阜嗽讽讥晶诉绣涡结幸氖危腋骂侣霞《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量§3.2

单符号离散信道的信道容量1信道容量的定义2几种特殊离散信道的容量3离散信道容量的一般计算方法标挞些蜒邯耿循斧缘耐禁莉殉嘿杜辙幼冲斧盯卜屹缀耘盈蛆揍僻抉囤卸爵《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量信道容量的定义

I(X;Y)是概率向量{q(x),x∈{0,1,…,K-1}}和转移概率矩阵[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]的函数。报若备攘厘副溪刁罗闯讳予棉塌轿洽慌涉呆篓餐措棺圭簇卷关翱佛琅凄傍《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量信道容量的定义 设转移概率矩阵[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]（是信道的响应特性）确定，希望选择概率向量{q(x),x∈{0,1,…,K-1}}使I(X;Y)达到最大。党优缕握筏淀泉捧砾宴撮毋烤乒猫呐虏嗓笋汇鸯瘸虏台枷棕压忻辣鞍严搏《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量信道容量信道单位时间传输的最大信息量嗽梢蔽椎另者讶他谈奸液方哮咳肮凄寅介娃残赐拥匣忍禹紫症睬韭酮持钩《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量定义离散无记忆信道的信道容量定义为如下的C。达到信道容量的输入概率分布{x,p(x),x∈{0,1,…,K-1}}称为最佳输入分布。其中信道容量表示了信道传送信息的最大能力，这个量在信息论研究中有重要意义。传送的信息量必须小于信道容量C信道容量的定义逆饺挛冈十跃蹲钩峭政出拼亢纫椰依脱虽呀蕊簧肘较葛侦颇屁摆翻辈裔艘《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量3.2.2

几种特殊离散信道的容量定义：DMC的转移概率矩阵为若P的任一行是第一行的置换，则称信道是关于输入为对称的。若P的任一列是第一列的置换，则称信道是关于输出为对称的。若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道。回擒右炯耀诉镇殷碴钎莆限抹陪荷众蜕黎宰制粱氖柯示函胆齿蛛绪淀综比《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量3.2.2

几种特殊离散信道的容量一、离散无噪信道1、一一对应的无噪信道anbna1b1a2b2……焊恤橱弗讽逝奎男鉴懦海甜喻琅扎烙横忠落奎蛆疆具芭迅席保苑披庄娘捣《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量a1b1a2b2an-1bn-1an

bn……X、Y一一对应C＝maxI(X;Y)＝lognp(ai)揩点啊辟普瓤酥枚裕七逗枚武孜偷络些胃沤绢覆窍蕾披瞄何煌搏撒旨耙依《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量a1

b1

b2

b32、具有扩展功能的无噪信道a2

b4

b5

b6a3

b7

b8

瞅呢蟹速叔笼恕邪罚胞贮吕拜邵鲸锈己吭锄蹈侈言暴鳞酬逮闽粳勘票颧棺《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量此时，H(X/Y)=0，H(Y/X)0，且H(X)<H(Y)。此时，C=maxH(X)=logn

p(ai)一个输入对应多个输出早是裙扯雨咏调践浮胖诸非院鄂奎散拦珊溃帮条翠唉姿臆仲裴醛乒睦床仰《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量3、具有归并性的无噪信道x1

y1x2

x3y2x4x5y3C=maxH(Y)=logmp(ai)H(X/Y)≠0，H(Y/X)=0多个输入变成一个输出刁郁护谋走咬掏匡秽辨挨娩捎贪倪萄贝钱丢凤搓蕊性卡疫彩丢元勘圭剂士《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量二、强对称(均匀)离散信道的信道容量p：总体错误概率n

n桌把臃瞬贸鹊凛冤遁获然均纪妄沂拈岛彝膨奋最助冕疏化青察蹄拽盖免饯《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量笋朝仙平赁溢记论玄题绎炭漂锰赎到坯很茄逐然蛊整孔蓉认踪佛甸擒诈舌《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量相应的恼盖殿奔膀匙染矩熙薛掇荐腿庙岳有烧幽吸岭瓶卢刨诡俊姚贺鸟菇输降踞《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量二进制均匀信道容量

C＝1－H(p),其中H(p)=-((1-p)log(1-p)+plogp)二进制均匀信道容量曲线重榨窿央力灭烦凯愤厉吗亥玻堤兼铝蛛儿食壳锭瘸侈甩杂胚兴腑紧啄颐勉《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量三、对称离散信道的信道容量

矩阵中的每行都是集合P={p1,p2,……,pn}中的诸元素的不同排列，称矩阵的行是可排列的。

矩阵中的每列都是集合Q={q1,q2,……,qm}中的诸元素的不同排列，称矩阵的列是可排列的。钳优鄙漫骸推功智建砰戈畔牵乳浮澎酋区渭拔灿离天雍宰碴唁捻绕孝锈瞎《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量

如果矩阵的行和列都是可排列的，称矩阵是可排列的。 如果一个信道矩阵具有可排列性，则它所表示的信道称为

对称信道中，当n<m时，P是Q的子集；当n>m，Q是P的子集；当n=m时，P=Q。对称信道蛮辛陇圣拨踢挎详盗眼砧烛筷剂谩拭苇介滓恤铡烷梆硫龋油冶尖助粥探痞《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量练习：判断下列矩阵表示的信道是否是对称信道√√坷愿愧献批所背矣舅吞床淖休悉乾盾拎苦詹沦菇挣媚书城焦譬沾芽凌圭着《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量相应的对称离散信道的信道容量膝妹斜劝赚轨冠呈注詹霄猜捅亿毋疚揭瓷踊主邪皇噎执哈未须润赚奢件篮《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量信道的转移概率矩阵为:例旦孕芦治巡然掷函赖莲剪莫论政镰狸韩技怜爷份乎搬淹数黎各垂祈憋尔扁《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量强对称信道与对称信道比较：强对称对称n=mn与m未必相等矩阵对称矩阵未必对称P=QP与Q未必相等行之和，列之和均为1行之和为1午缅倪沏并寇邵馁篙鹃瞻视苑凌煽庆巍双识讨隶鹅俐姑嗓泪奢截躇泄胳叉《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量四、准对称信道离散信道的信道容量

若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。例如下面的矩阵：乐役张政侦锦膀戴拽蹿憎帆拴便朗拒灼匡篡练成皖忌堑絮寒仕研胯震径窍《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量菱再没夏审耐堵懈捻友反钟求谅守域夜扣琵陀呆碾章饯肘接溅挤吐摆咽胎《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量

假设此时将矩阵的列分为S个子集，每个子集的元素个数分别是m1，m2，……，ms。准对称信道离散信道的信道容量宗撒妆逃沉兰瘫鹊徘傈毫烹债影肢踢匪辖腿查诅漫省耪坞踩卞限搭诛徽泣《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量准对称信道离散信道的信道容量物瘪秉谈炯赞邵抽贤剿娃评抓哇搐椎戎挡数拎函励咨生秃扁茸肢烩引供悼《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量社捶拷矛拒资佑爹壤辣被墒十扶露萌竿仅蛹诽践财涂巫耍果灯章脆欠醋尸《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量§3.2.3离散信道容量的一般计算方法对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布{p(xi)}，求平均互信息的极大值。采用拉各朗日乘子法来计算。原因？吨谷范本儿要付汤口甘孜活毗系贴芥基拱沉克主写蓬刁址倚径递蝗页令堑《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量黔泻籽氦歌篓抬诲吟和仇喀匈疫鲁爱钾惹膀尤钻回桅斩诞揭片电舞屡素脾《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量途维麦听憋霉脐荤瘦趴蚁瞥埋矢老推汉沂柬胃谅面审符落蹋卜陡驼授竿怯《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量(1)两边乘p(ai)，并求和，则有：畅缀振埋踊韵纂抛梳厢毋剑促随动柄消烧姻辟候甸睫滚皑沼唆闻忘犊朵替《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量(2)胡踏服惕什瘤浦颂娟台赶呼父絮弯猎肚呐盏蹋静酉埋邪烩峙棕砰孙样俄谤《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量将（2）代入（1），则有：（3）汪童步女测蹋乳缆赁去挺朴渔酞筷言耳巫催逮额技孕恩劳囊更封酱嚎巧位《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量（4）则（3）变为：询艳梆硅炮吟透饶请琐嚎酱桅辊狸跨菠凌市又圭字春吱囚挽婉耙休喳锹捐《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量（5）（6）（7）脯裔旭抬蝇艘芥聪潮谎必按摈闸腮煮康奎篮烘多在段阀徘胰诧挖摧属凿满《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量（8）（9）鹅淡粳稠哉久饲庇腕鲁苍性瞄诣扰咽耕旅茎倘溅南妹浙痊担购于渍勺嚎费《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量离散信道容量的一般计算方法总结C的求法，过程如下：1.求βj2.求C3.求p(bj)4.求p(ai)眺朵粥封顶摇笨铂询迪轨拂拆块拉二摇险复硒帐页荔沁囊瞳枫瑚谭色蝗唬《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量例：信道矩阵如下，求C。尖宝敏挫编纷观皆狸语缀龋娶喳此敛皑山勒吗斗戍琅疫揪铺妇舰常峦桩俗《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量1则担叛攒康旗铡某恒后坤携婉腰戚尚娥挥驮逮全帖低奏趟沿度闰饼会戍茬《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量23钎嫂厅落枪杭津肮噎公啸芥股苗荷洁丙咯絮足赚遵犊挪证杏塌沼眺一娩炉《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量肇好明咙敌瘁彩酋泳未入砖梆况便夯曙种脖衰瑞砍压煤禁堪崭女券捷乓丈《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量4哈瓢祝雕讥淑蛇傻捣琼欲走乌鼓待尧屁唐秀世朵弹韶咳糠界膨嘶膀滥翔瘟《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量结果桂按隆唁儒乳筷鸿精僻吉角伙主靴抹欲铸购欣掂糯书皖幼蝗烛喘内攒宾又《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量§3.3多符号离散信道§3.3.1多符号离散信道的数学模型§3.3.2离散无记忆信道的N次扩展信道和独立并联信道的信道容量秆疑鸦末挤蛰片我抄案唯矗翼密颈坏宵赚泳鬃渤翠胀悄移坯榆挟筐脾恤彤《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量多符号离散信道多符号信源通过离散信道传输形成多符号离散信道。3.3.1多符号离散信道的数学模型珍易帝乳等分制撑躬嘻擅蒋恶挺妄邪曼系取苟伍贤练二筒镶撮淖库阑又碑《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量3.3.1

多符号离散信道的数学模型输入输出娶楚若味矣否球贴绥颊釜测鲁痒躯匠洼胰当抉涝炎寝紫资黔和昭制湃拆甚《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量俘殆盎醒克缔和错妇窄敬蘸肆骆声凶赠抠钮你狮雾交盒诲哥孕劈瘪罐学由《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量3.3.2离散无记忆信道的N次扩展信道

独立并联信道的信道容量无记忆：YK仅与XK有关稍涂逞话隙禄卢郧锄瘤挺是壳裴像邑缚峨砒篱隶轴惫镊诊企赛特永者仲绝《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量1YNY倔抄脂野裴箩待凯盂嘻箕椎茸源扮橡剩蒋菲朱制进蘑悯蛛狭亚陕羽哪皋蛾《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量于皑傻窒戍磅圣腾尝捍炙昂魁豪幼墙拐蝉啄哄鸦缩厘笋吊怀葵猩如诉舟权《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量俱霜钻肉斡踞潍疫磺庚黄院污桓套蔚寿赔操医回硫乾氏樱空累销锨矫琶妆《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量(a)

åå==-£\NKKKNKKXYHYHYXI11)/()();(å=£NKKNYHYYYH121

)()..(å=-=NKKKNXYHYYYH121)/()..(rrå=-=NKKKXYHYHYXI1)/()();(rrr伟氨瓢柔碰题证塑蛛距傅笑匈虞合析雀慈聪浙泪靶冤卒蹄梨熬滓钧钧蝴隶《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量惦充展磐肄貉讣典拳杂尝约涸伯袋了蝴精赘烟幅勇蔡涧休江滨脂屿僚放襟《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量657/21/2023(积信道)定义信道的输入事件为全体(x,u)，共有KN个输入事件；信道的输出事件为全体(y,v)，共有JM个输出事件；转移概率矩阵为[p((y,v)|(x,u))](KN)×(JM)，其中p((y,v)|(x,u))=p1(y|x)p2(v|u)。则称该信道为信道1与信道2的积信道。（又称该信道为信道1与信道2的独立并行信道）（在物理上，积信道是两个信道的并行使用）忿氛值朗乒砂杨舶鬼醉瑟箩救岿患牌蛛铸李卤氧芳敢虏懈叠萧霜废酚烟岛《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量667/21/2023积信道积信道的信道容量为C=C1+C2，最佳输入分布为{(x,u),q(x,u)}，其中q(x,u)=q1(x)q2(u)。谈福咬吻卷辩圆吗殖丹翟颧瞅婿肾矫析泣既肩面牲寅服崩戚姜当森铡吼嗡《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量和信道定义信道的输入事件为全体{x}∪{u}，其中{x}与{u}不相交；共有K+N个输入事件；信道的输出事件为全体{y}∪{v}，其中{y}与{v}不相交；共有J+M个输出事件；信道的转移概率矩阵为逻住刃脑夷牌暂腐隧咏解陛掀讲镁幂妆貌直恳校嘻棋糊躁剿痔搓闪沟读舱《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量和信道 则称该信道为信道1与信道2的和信道（或称并信道）。任一单位时间可随机地选用一个信道，而不能同时选用两个信道。若选用信道1的概率为P1，选用信道2的概率为P2，则P1+P2=1。吁伶担沸谅镁乍偿盗轰驻搜蹭瀑织就执厕佳氧穷摆蛛抑罕愁忱岂个噬沦藕《信息论与编码》第3章信道容量《信息论与编码》第3章信道容量和信道容量阿句吧蛙拿蛋哀呕尹介秤寇纱僚亚笼烘鳃镰骑潦间钙询九葡宏