信息论与编码复习3-4

第3章信道与信道容量重点掌握有干扰无记忆信道的数学描述信道容量的定义对称和准对称DMC信道的信道容量计算香农公式一般了解信道的各种分类无干扰离散信道的信道容量信源和信道的匹配8/12/20241信道的分类按信道的用户数量来划分 单用户信道、多用户信道按输入/输出之间的关系来划分

无反馈信道、反馈信道按信道参数与时间的关系来划分 固定参数信道、时变参数信道按信道中的噪声种类来划分

随机差错信道、突发差错信道按输入/输出信号在幅度和时间上的取值划分离散信道、连续信道、半离散半连续信道、波形信道8/12/20242信道模型根据干扰和记忆性分类无干扰（无噪声）信道有干扰无记忆信道有干扰有记忆信道信道模型信道的输入Xi={a1,a2,…,an}信道的输出Yj={b1,b2,…,bm}信道转移概率矩阵p(Y/X)信道输入X输出Yp(Y/X)8/12/20243信道模型二进制离散信道：BSC信道输入符号X取值{0,1}输出符号Y取值{0,1}离散无记忆信道：DMC信道输入符号集

X={a1,a2,…,an}输出符号集

Y={b1,b2,…,bm}8/12/20244信道模型离散输入、连续输出信道输入符号集：X={a1,a2,…,an}输出未经量化，即Y={-∞,∞}输出特性由离散输入X、连续输出Y以及一组条件概率密度函数p(y/X=ai)

来决定。波形信道输入是模拟波形，输出也是模拟波形连续无记忆信道和连续有记忆信道y(t)＝x(t)＋n(t)

n(t)代表加性噪声8/12/20245信道容量的定义信道传输率R＝I(X;Y)bit/符号信道中平均每个符号能传送的信息量信息传输速率Rt

＝I(X;Y)/t

bit/s信道中单位时间传送的信息量信道容量给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。I(Px)的极大值就是信道容量。8/12/20246离散单符号信道离散单个符号信道无干扰离散信道有扰离散信道对称DMC信道准对称DMC信道一般DMC信道无噪无损信道无噪有损信道有噪无损信道8/12/20247无干扰离散信道无噪无损信道C=maxI(X;Y)=logn无噪有损信道C=maxI(X;Y)=maxH(Y)有噪无损信道C=maxI(X;Y)=maxH(X)8/12/20248DMC信道的容量对称DMC信道的性质对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关。如果信道输入符号等概率分布，则信道输出符号也等概率分布；反之，若信道输出符号等概率分布时，信道输入符号也是等概率分布。当信道输入符号等概率分布时，对称DMC信道达到其信道容量。8/12/20249DMC信道的容量准对称DMC信道的容量如果转移概率矩阵P的输入对称而输出不对称，则称该矩阵是准对称DMC信道。当信道输入符号等概率分布时，准对称DMC信道达到其信道容量C。矩阵分解法：将转移概率矩阵划分成若干个互不相交的对称子矩阵。8/12/202410DMC信道的容量一般DMC信道的容量以输入符号概率矢量Px为自变量的函数I(Px)的极大值，即信道容量。为了使I(X;Y)最大化，即求取信道容量的值，输入概率集{p(xi)}必须满足的充分必要条件是：I(xi;Y)＝C，对于所有满足p(xi)＞0条件的iI(xi;Y)≤C，对于所有满足p(xi)＝0条件的i每一个概率不为0的输入符号对输出提供相同的互信息8/12/202411离散序列信道及其容量信道输入X输出Yp(Y/X)X=(X1,X2,…,XL)Xl={a1,a2,…,an}Y=(Y1,Y2,…,YL)Yl={b1,b2,…,bm}独立、无记忆、平稳离散序列信道的信道容量为：无记忆离散序列信道的转移概率为：8/12/202412连续信道连续单符号加性信道信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为σ2的加性高斯噪声。多维无记忆加性连续信道可等价成L个独立的并联高斯加性信道注水法：噪声小的子信道分配到的输入功率大，传输的比特数多。受加性高斯白噪声干扰的带限波形信道输入x(t)、输出y(t)和噪声n(t)：模拟波形8/12/202413香农公式香农公式W：频带宽度，简称带宽SNR(信噪比)：表示信号功率与噪声功率的比值加性白噪声的功率谱密度为N0/2Pav：信号的平均功率香农限每传输1比特信息所需的能量。当归一化的信噪比小于香农限（-1.6dB）时，归一化信道容量为零，即信道完全丧失通信能力。8/12/202414香农公式的讨论带宽W一定时，信道容量C

随信噪比SNR的增加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。信道容量C一定时，带宽W增大，信噪比SNR可降低，即二者可以互换。如果输入信号功率PS固定，信道容量C

随带宽W的增加而增加。但到一定阶段后，增加变得缓慢。8/12/202415信源与信道的匹配符号匹配信源输出的符号必须是信道能够传送的符号，这是实现信息传输的必要条件。信息匹配对于某一信道，只有当输入符号的概率分布满足一定条件时，才能达到其信道容量。信道冗余度信道绝对冗余度＝C－I(X;Y)信道相对冗余度8/12/202416第4章限失真信源编码重点掌握失真函数、平均失真保真度准则信息率失真函数的定义域信息率失真函数与信道容量的比较一般了解信息率失真函数的性质连续信源的平均失真8/12/202417失真函数单符号失真函数定义为：将所有的d(xi,yj)排列起来，用矩阵表示为d称为失真矩阵8/12/202418失真函数如果假定离散信源输出符号序列X=(X1X2…Xl…XL),

Xl∈A={a1,…an}，其中L长符号序列xi=(xi1xi2…xiL)，经信源编码后输出符号序列Y=(Y1Y2…Yl…YL)，Yl∈B={b1,…bm}，其中L长符号序列

yj=(yj1yj2…yjL)， 序列失真函数定义为式中，d(xil

,yjl)表示信源输出符号序列xi的第l个符号和编码输出符号序列yj的第l个符号之间的失真函数信源序列的失真度等于序列中对应单个符号的失真度之和8/12/202419平均失真将失真函数的数学期望或统计平均值称为平均失真。失真函数d(xi,yj)描述某个信源符号通过传输后失真的大小。对于不同的信源符号和不同的接收符号，其值是不同的。平均失真：平均失真对信源和信道进行的统计平均。描述某一信源在某一试验信道传输下的失真大小，是从总体上描述整个系统的失真情况。8/12/202420平均失真L维信源符号序列的平均失真度当信源与信道无记忆时，信源符号平均失真度（平均每个符号的平均失真度）表示信源符号序列的第l个符号的平均失真8/12/202421保真度准则保真度准则平均失真度不大于允许的失真D允许信道D允许的试验信道，即满足保真度准则的试验信道。满足保真度准则的所有试验信道，即转移概率分布p(yj

/xi)，构成了一个信道集合8/12/202422信息率失真函数信息率失真函数R(D)限定失真为D的条件下，信源输出的最小信息率。R(D)的定义域率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大取值问题，即[Dmin,Dmax]Dmin的计算Dmax的计算8/12/202423信息率失真函数的性质

R(D)是非负的实数，0≤R(D)≤H(X)

定义域为0≤Dmin≤D≤Dmax

当D＞Dmax时，R(D)≡0

R(D)是关于D的下凸函数R(D)在定义域内是失真度D的U型下凸函数。R(D)在定义域内是关于D的