连续信源和连续信道.ppt

1、2.3连续源，连续源：输出消息具有时间和可取值的连续源。 语音、电视源等。对应的数学工具是随机的过程。 从统一校正特性来说，连续随机过程大致可分为稳态(统一校正特性-各维的概率密度函数不随时间位移而变化的随机过程)和非稳态随机过程。 所述通信系统中的信号均被认为是光滑的随机过程或分阶段光滑的随机过程。 最常见的平滑随机过程是扫描过程。 其中r是全实数集合、连续变量x的可能值的范围以及p(x )是x的概率密度。 假设=(b-a)/n，xia (i-1 )，a i，p(x )是连续变量x的概率密度函数，则由于由于离散源熵引起的连续信道源的可能值无限多，使用中值定理x在第I个小区之间掉落的概率是该获

2、取的如果知道输出是某个值，则得到的信息量也无限大。 由此可见Hc(X )不可表示源的平均不确定性大小或者不表示由连续的源输出的信息量。 如例如，2.3.1个源概率密度图所示，可以确定连续熵，从图中的(a )得到解：并且类似地，可以定义两个连续变量x，y的联合熵和条件熵：2.3.2个特殊连续源也可以为负，n维均匀分布： n维向量(X1 X2 XN )中的各成分相互统一地独立，分别为a1、b1 a2、b2 aN， 在bN的区域中均匀分布(即，连续的2 .高斯分布的连续源的熵：与数学期望无关的，仅关于方差，一维随机数x的取值范围是整个实轴r，概率密度函数是正态分布，并且与方差无关的，平均值m=0，x

3、的方差是随机数相对熵仅与平均功率有关，其概率密度函数为：指数分布的相对熵仅取决于源的平均m，2.3.3连续源熵的性质和最大连续熵定理，其中1 .连续熵为负值，2 .可加性，以及n个变量4 .最大连续熵定理根据约束条件源的最大熵也不同。 (1)如果限制峰值功率的最大熵定理源的n维随机变量的取值在一定范围内，则在有限定义域中均匀分布的连续源具有最大熵。 n维向量(X1 X2 XN )中各成分相互统一地独立，分别为a1、b1 a2、b2 aN， 单变量连续源x指示正态分布的概率密度函数指示：在连续源输出信号的平均值为0并且平均功率受到限制的情况下，源输出信号的幅度指示高斯分布如果源的概率密度符合正态

4、分布，则其相对熵仅与随机变量的方差有关，但方差通常在物理意义上表示信号的交流功率。 即，如果噪声是正态分布，则噪声熵为最大，高斯白噪声得到最大的噪声熵。 在限制信号的平均功率的条件下，正态分布的信道源能够输出的最大相对熵的值随着平均功率的增加而增加。 (3)如果在有限平均值的条件下的最大连续熵定理连续信道源x输出非负信号的平均值受限制，则当输出信号的幅度呈指数分布时，信道源具有最大熵值。 指出当连续的源x为指数分布时的概率密度函数采取平均值受限制而非负的连续源，在指数分布的情况下达到最大熵值，并且该最大熵值仅由所限制的平均值决定，与离散源不同，连续的源具有绝对的最大熵其最大熵与源的制约条件有关

5、。 连续源根据限制条件最大熵不同，无限制条件下不存在最大熵。3.5连续信道、连续信道：输入输出都是单一连续型随机变量的信道。 可以使用模型x，p(y|x )，y来描述单个符号的连续通道。 x是输入连续型随机变量，x是取值的区间是a、b或实数区域r； y是信道输出连续型随机变量，取值的区间是a、b或实数区域r。 信道的传递概率密度函数为p(y|x )，并且当连续信道的信道容量c等于源x处的一定概率密度函数p0(x )时，连续信道的数学模型定义信道熵互信息的最大值。 加性连续信道的容量、加性连续信道：噪声是连续的随机变量n，其是与x相互统一地独立的信道。 信道的噪声对输入的干扰作用表现为噪声和输入

6、线性叠加，即，Y=X N。 加性连续信道的关键特征：信道的条件概率密度函数等于噪声的概率密度函数，p(y/x)=p(n )，条件熵：加性信道的信道容量在第2章中是已知的，并且由于约束的原因，连续变量具有不同的最大值，因此加性信道一个高斯加性连续信道的容量：高斯加性连续信道：一个信道中的噪声，即信道的传递概率密度函数，并且高斯加性连续信道的信道容量通常受输入随机变量x的平均功率是有限的，并且假设被限制为PX，那么噪声的平均功率可以是pn 根据最大连续熵定理，为了使Hc(Y )最大化，y的平均值必须为0，方差值必须为高斯随机变量。 当选择了时，当前问题是当输入概率密度函数p(x )是什么函数时将y设置为高斯分布。 由于在高斯加性信道中，输入x和噪声n是相互统一的且独立的，在因此输入x为平均值0，而色散值为0的高斯随机变量的情况下，输出y的概率密度函数满足高斯分布，而如果满足高斯分布，则在那时输出端的连续熵Hc(Y ) 根据采样定理，当将信道的一次传输视为一次采样时，每个信道传输2W个采样点，并且每个单位时间的信道容量是：这是著名的香农策略。 在带宽时序中，信道容量随着SNR的增加而单调增加，因此可以通过增加信号功率、减小信道噪声来增加信道容量。 在SNR固定时，信道容量会随着带宽的增加而增加。 例如：电视图像每帧由3105个像素构