《电工胶布使用方法》PPT课件.ppt

1、信息论与编码基础,离散信道,东莞电工培训 ,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,离散信道,a、根据输入、输出信号的时间特性和取值特性,离散信

2、道,连续信道,半离散或半连续信道,波形信道,信息论与编码基础,1、信道的分类,数字信道,b、根据输入集合与输出集合的个数,单用户信道,多用户信道,一对多、多对一,多对多,信息论与编码基础,离散信道,c、根据信道转移概率的性质,无噪信道,有噪信道,1、信道的分类,实际的通信信道几乎都是有扰信道,无记忆信道,有记忆信道,实际信道一般都是有记忆的，信道中的记忆现象来源于物理 信道中的惯性，如电缆信道中的电感或电容、无线信道中电 波传播的衰落现象等。,d、按信道统计特性,恒参信道,变参信道,卫星信道,短波信道,e、根据信道噪声的性质,高斯噪声信道,非高斯噪声信道,信息论与编码基础,离散信道,1、信道的

3、分类,2、离散信道的数学模型,3、单符号离散信道,信息论与编码基础,离散信道,2、离散信道的数学模型,信道,无扰（无噪）信道,有扰信道,无记忆信道,有记忆信道,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,信息论与编码基础,离散信道,信道,3、单符号离散信道,例1 BSC信道,BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型,p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错 误的概率,信息论与编码基础,离散信道,1）条件转移概率,2）转移矩阵,3）转移概率图,3、单符号离散信道,信息论与编码基础,离散信道,一定比例的b

4、it被删 除，并且接收者知 道是那些bit已经被 删除。,例2 二进制删除信道,3、单符号离散信道,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,互信息,自信息,条件自信息,由于条件引入获得的信息量,1）对称性,I(ai;bj) = I(bj;ai),2）事件统计独立时 I(ai;bj) = 0,3）可正、可负,4）I(ai;bj) I(ai),信息论与编码基础,绪论,练习： 令随机变量x表示随机抽取人群中的性别，x0为男性，x1为女性。随机变量y表示随

5、机抽取人是否抽烟，y0表示抽烟，y1表示不抽烟。 （1）若（x，y）的联合概率分布如表11所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。,（2）若（x，y）的联合概率分布如表12所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。,信息论与编码基础,离散信道,1、信道疑义度,先验熵,后验熵,若信道中存在干扰时,信道疑义度,0H(X|Y)H(X),损失熵,信息论与编码基础,离散信道,2、平均互信息,定义3.2 令,为信道输入X与输出Y之间的平均互信息,接收到每个输出符号后获得的关于X的平均信息量,bit/sign,互信息,思考题,试问,1）接收到第一个数字0与M1之间的互信息。

6、,2）接收到第二个数字也是0时，得到多少关于 关于M1的附加互信息。,3）接收到第三个数字仍是0时，又增加多少关于 M1的互信息。,4）接收到第四个数字仍是0时，再增加多少关于 M1的互信息。,信息论与编码基础,离散信道,思考题,令X,Y1,Y2为二进制随机变量， 1）如果I(X; Y1) = 0 且 I(X; Y2) = 0,可否推出I(X; Y1, Y2) = 0? 试举例说明。 3）如果 I(X; Y1) = 0 且I(X; Y2) = 0，是否可推出 I(Y1; Y2) = 0? 请说明。,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质

7、,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,平均互信息,接收到每个输出 符号后获得的关 于X的平均信息量,信息传输率 R,bit/sign,信息论与编码基础,离散信道,利用詹森不等式,信息论与编码基础,离散信道,接收者通过信道获得的信息量不可 能超过信源本身固有的信息量。,0I(X;Y)H(X),信息论与编码基础,离散信道,发出X后获得的关 于Y的平均信息量,4、与各类熵的关系,信息论与编码基础,离散信道,损失熵,噪声熵,散布度：表示信道输入信号由于干扰作用 在输出端表现的散布范围。,信息论与编码基础,离散信道,5、,的凸函数性,于是,信息论与编

8、码基础,离散信道,信息论与编码基础,离散信道,例1（续）,当p = 0时,当p = 1时,当p = 1/2时,信息论与编码基础,离散信道,思考题,假定马尔科夫链(非平稳)起始于n个状态中的一个，然后 第二步受到限制，只能转移到k个状态之一(kk)。于是有,其中,且,1）试说明X1和X3之间的依赖性受到X2的瓶颈效应影响， 即I(X1;X3)logk。,2）试估计当k = 1时I(X1;X3)的值，并进行瓶颈效应分析。,信息论与编码基础,离散信道,一、信道的数学模型与分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码

9、基础,离散信道,1、信道模型,离散无记忆N次扩展信道模型,信道转移矩阵,其中,信息论与编码基础,离散信道,1、信道模型,BSC的二次扩展信道,信息论与编码基础,离散信道,2、平均互信息,a)定义,bit/N-sign,b)性质,，则：,仅当信道无记忆时等式成立。,信息论与编码基础,离散信道,2、平均互信息,信息论与编码基础,离散信道,2、平均互信息,b)性质,信息论与编码基础,离散信道,定理3.1,对于离散无记忆信道，有,2、平均互信息,证明：,b)性质,信息论与编码基础,离散信道,信息论与编码基础,离散信道,定理3.2,对于无记忆信源，则,2、平均互信息,b)性质,证明：,信息论与编码基础,

10、离散信道,计算,信息论与编码基础,离散信道,总结：,1）当信源无记忆时,2）当信道无记忆时,3）当信源、信道均无记忆时,信息论与编码基础,离散信道,思考题,假定某信源的符号集为A = 0,1，其中p0=p1=0.5，则H(A) = 1。令编码器C的符号集为B = 0,1,7，并且假定B中的元素采用二进制形式表示(b2b1b0)。如果输入序列为 a(t) = 101001011000001100111011 并且寄存器的初始值为b = 5(=101)，求输出序列。,如果将该编码器看成一个信道，请讨论该信道的转移特性及平均互信息。,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平

11、均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,平均互信息I(X;Y)代表了接收到每个输出符号后获 得的关于X的平均信息量，又叫做信道的信息传输率。,I(X;Y)能说明一个信道的好、坏吗？,信息论与编码基础,离散信道,1、定义,说明：,bit/sign,1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关,2）C是信道传输的最大信息率。,Ct = C/t,bit/s,信息论与编码基础,离散信道,2、简单离散信道的信道容量,a、无噪无损信道,信息论与编码基础,离散信道,b、有噪无损信道,2、简单离散

12、信道的信道容量,信息论与编码基础,离散信道,c、有损无噪信道,2、简单离散信道的信道容量,信息论与编码基础,离散信道,总结：,1）若严格区分，凡损失熵等于0的信道称为无损信道； 凡噪声熵等于0的信道称为无噪信道。,2）无损信道,3）无噪信道,2、简单离散信道的信道容量,信息论与编码基础,离散信道,例,求BEC的信道容量,信息论与编码基础,离散信道,3、对称信道的信道容量,？,信息论与编码基础,离散信道,3、对称信道的信道容量,？,信息论与编码基础,离散信道,例1,强对称信道,信息论与编码基础,离散信道,4、离散无记忆N次扩展信道的信道容量,达到的条件：只有当信源无记忆时，每一输入变量Xi的分布

13、P(x) 各自达到最佳分布时。,信息论与编码基础,离散信道,有噪声的打字机信道,考虑26个键的打字机,1）如果每敲击一个键，它就准确地输出相应的字符， 那么该容量C是多少？,2）如果假设敲击一个键都会导致输出该键对应的字母 或者下一个字母等概率出现，即敲A可能输出A或B， 敲Z可能输出Z或A。那么此时的容量如何？,信息论与编码基础,离散信道,附：香农信道容量公式,1、连续消息的信息度量,连续信源的可能取值数是无限多个，若设取值是等概 率分布，那么，信源的不确定为无限大。,连续信源的熵,1）与离散信源的熵在形式上统一； 2）实际问题中常常讨论熵之间差值问题。,差熵,高斯分布情况,信息论与编码基础

14、,离散信道,2、高斯信道的信道容量,附：香农信道容量公式,I(X;Y) = h(Y) h(Y|X) = h(Y) - h(n),2、高斯信道的信道容量,附：香农信道容量公式,信息论与编码基础,离散信道,信道的输出功率为,Ey2 = E( x + z )2 = Ex2 + 0 + Ez2 = S + N,根据最大熵定理,平均功率受限条件下信源的最大熵定理 若某信源输出信号的平均功率和均值被限定，则当 其输出信号幅度的概率密度函数p(x)是高斯分布时， 信源达到最大熵值。,有,信息论与编码基础,离散信道,附：香农信道容量公式,3、带限信道的信道容量,对于带限信号，采样定理指出，若信号的有效带宽为

15、B，采样频率为fs，则当fs2B时，样值序列能够保留 原连续信号全部的频谱特征，或者说全部的信息量。,香农公式,信息论与编码基础,离散信道,附：香农信道容量公式,4、香农公式的意义,信噪比,1）信道容量与所传输信号的有效带宽成正比，信号的 有效带宽越宽，信道容量越大,2）信道容量与信道信噪比有关，信噪比越大，信道容量 越大，其制约规律呈对数关系,3）当信道上的信噪比小于1时，信道容量并不等于0，这 说明此时信道仍具有传输信息的能力,4）信道容量C、有效带宽B和信噪比S/N可以相互起补偿 作用，即可以互换。,C不变，B增加，S减小， 扩频通信,C不变，B减小，S增加， 多相位调制,信息论与编码基

16、础,离散信道,附：香农信道容量公式,4、香农公式的意义,是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或在任意低的信噪比情况下仍能实现可靠通信呢？,信号有效带宽与发射功率互换的有效性问题。信道容量往往是 给定的，这时可以根据信道特性来权衡发射功率和信号有效带宽的互换，使系统的设计趋于最佳。,信息论与编码基础,离散信道,附：香农信道容量公式,5、香农限,在信道带宽不受限的情况下,若B趋近于，且Rt趋近于C，则,在带宽不受限的高斯白噪声信道中，只要每赫兹频带传输一比特信息的信噪比不低于-1.6dB，通过最佳信道编码，就有可能实现无差错的传输！这是高斯信道中传输信息的极限能力，称为香农限！

17、,信息论与编码基础,离散信道,1）在图片传输中，每帧约为2.25106个像素，为了能很 好地重现图像，需分16个亮度电平，并假设亮度电平等概 率分布。试计算每秒钟传送30帧图片所需信道的带宽（信 噪功率比为30dB）。,练习,2）设在平均功率受限高斯可加波形信道中，信道带宽为 3kHz，又设（信号功率 + 噪声功率）/噪声功率 = 10dB。 试计算该信道传送的最大信息率（单位时间）。 若功率信噪比降为5dB，要达到相同的最大信息传 输率，信道带宽应是多少。,信息论与编码基础,离散信道,一、信道的数学模型与分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展性道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,当信源与信道连接时，若信息传输率达到信道容量，则称 此信源与信道达到匹配，否则，认为信道有剩余。,信道 剩余,信源剩余度,信道剩余度,信息论与编码基础,离散信道,例，某离散无记忆信源,H(S) = 1.937(bit/信源符号),C1: 000 001 010 011 100 101,C2: 0000 0001 0010 0011 0100 0101,R1 = H(S)/3 = 0.64