第二章基础知识信息论初步

1、第二章基础知识信息论初步2022-4-162单元概述单元概述 信源、信道和信宿是通信系统不可缺少的信源、信道和信宿是通信系统不可缺少的三个组成部分。通信的目的是将信源产生的信息三个组成部分。通信的目的是将信源产生的信息传递给信宿，然而，在存在干扰的实际信道中传传递给信宿，然而，在存在干扰的实际信道中传输时，其最高信息传输率受到限制。香农（）信输时，其最高信息传输率受到限制。香农（）信息论的信道容量公式从理论上阐明了信道容量、息论的信道容量公式从理论上阐明了信道容量、信道带宽和信号信道带宽和信号- -噪声功率比三者之间的关系，噪声功率比三者之间的关系，这正是通信系统研究和设计者们所追求的目标和这

2、正是通信系统研究和设计者们所追求的目标和面临的挑战。面临的挑战。2022-4-163单元学习提纲单元学习提纲 （1 1）离散信源和连续信源的统计描述；）离散信源和连续信源的统计描述；（2 2）离散信源的信息量、条件信息量、互信息量和）离散信源的信息量、条件信息量、互信息量和平均信息量（熵）的定义和物理意义；平均信息量（熵）的定义和物理意义；（3 3）连续信源的平均信息量、平均互信息量的定义）连续信源的平均信息量、平均互信息量的定义和物理意义；和物理意义；（4 4）信息量的单位）信息量的单位比特，比特率与波特率的区比特，比特率与波特率的区别；别；（5 5）有扰信道的信息传输过程；）有扰信道的信息

3、传输过程；2022-4-164 （6 6） 信道容量的定义，有扰信道的信道容量的定义，有扰信道的最高信息传输速率；最高信息传输速率； （7 7） 在掌握上述基本概念基础上，在掌握上述基本概念基础上，要求熟记香农信道容量公式，理解它的物要求熟记香农信道容量公式，理解它的物理意义及其对通信系统研究与发展的指导理意义及其对通信系统研究与发展的指导意义。意义。2022-4-165通信系统需要研究的三个主要问题: (1) (1)信号的特性；信号的特性； (2) (2)系统的特性；系统的特性； (3) (3)信号通过系统传输时，影响信号的信号通过系统传输时，影响信号的 噪声特性。噪声特性。2022-4-1

4、66信号与系统部分()( )jtHh t ed t ( )()jth tHed 2022-4-167要搞清楚的三个问题 1 1、输入信号、输出信号、噪声分别具有、输入信号、输出信号、噪声分别具有的特性和表示方式；的特性和表示方式； 2 2、系统中输入信号、输出信号、噪声之、系统中输入信号、输出信号、噪声之间的关系。间的关系。 3 3、系统具有什么特性，信号的传输才处、系统具有什么特性，信号的传输才处于最佳状态。于最佳状态。2022-4-1682.1 2.1 确知信号分析确知信号分析 1 1、 数学上，确知信号可表示为一数学上，确知信号可表示为一个或多个变量的函数。个或多个变量的函数。 2 2、

5、 不同的信号分类不同的信号分类 确知信号确知信号/ /随机信号随机信号 周期信号周期信号/ /非周期信号非周期信号 模拟信号模拟信号/ /数字信号数字信号 能量信号能量信号/ /功率信号功率信号2022-4-169 3. 3. 信号分析方法：信号分析方法： 以基本信号之和或积分表示各种复杂以基本信号之和或积分表示各种复杂信号，并对其性质及其对系统的作用进行信号，并对其性质及其对系统的作用进行分析研究。分析研究。 频域分析法：正弦信号作为基本信号；频域分析法：正弦信号作为基本信号； 时域分析法：冲击函数时域分析法：冲击函数(t)(t)作为基本作为基本信号。信号。2022-4-1610连续周期信号

6、的傅里叶级数连续周期信号的傅里叶级数傅里叶级数傅里叶级数( ),0,1,2.cjntnnf tC en 其中离散频谱其中离散频谱/ 20/ 21()( )cTjntnTC nCft edtT()02,()jnnnCCeTC是 幅 度 谱 ，是 相 位 谱TtPAnT-nT+例： （t）=220其它 /2/2/2/2/2/211TtTTTttPPdtTdtTATAnSaTTooo-jn-jn-jno解：（t)eAee-jn连续的周期信号具有离散频谱连续的周期信号具有离散频谱傅氏级数傅氏级数0/ 20/ 21:()( )ppTjktTpXjkx t edtT正0tpT)(tx-ktjkejkXtx

7、0)()(:0反0)(0jkXpT20时域信号时域信号频域信号频域信号连续的连续的周期的周期的非周期的非周期的离散的离散的若时域周期为若时域周期为, 有频域谱线间隔为有频域谱线间隔为22022-4-16142. 连续非周期信号的傅里叶变换()( )jtFfted t ( )()jtftFed 2jtjttPPP t edtAedtA SaA-例：（t）=220其它解：连续的非周期信号具有连续的频谱连续的非周期信号具有连续的频谱傅氏变换傅氏变换dejXtxtj)(21)(:反)( jXtdtetxjXtj)()(:正)(tx时域信号时域信号频域信号频域信号连续的连续的非周期的非周期的非周期的非周

8、期的连续的连续的对称性对称性: 时域连续，则频域非周期。时域连续，则频域非周期。 反之亦然。反之亦然。 序列的傅氏变换序列的傅氏变换nTjnTjenTxeX)()(:正x(nT)T-T0T2Tt0Ts2)(TjjeXeX或-2/2/)(1)(:ssdeeXnTxTjnTjs反时域信号时域信号频域信号频域信号离散的离散的非周期的非周期的周期的周期的连续的连续的TTs2,*频域的周期为时域抽样间隔为4 4、离散的周期信号具有离散频谱、离散的周期信号具有离散频谱 序列的傅式级数（）序列的傅式级数（）x()(n)FTp1t0T2TNTTpn0002 0 1 2 3)1()1(0NNNN0k)()(0k

9、xexTjk TfTss120NsFTp220 由上述分析可知，要想在时域和频域由上述分析可知，要想在时域和频域都是离散的，那么两域必须是周期的。都是离散的，那么两域必须是周期的。时域信号时域信号频域信号频域信号离散的离散的周期的周期的周期的周期的离散的离散的.2,;2*0TTTTspp频域的周期为时域的离散间隔为为函数，频域的离散间隔时域是周期为2022-4-1622三. 能量谱密度和功率谱密度1. 1. 能量谱密度能量谱密度信号波形的能量信号波形的能量规一化能量（电阻值规一化能量（电阻值1W1W）能量信号：能量为有限的信号能量信号：能量为有限的信号( (非周期的时间有限信号）非周期的时间有

10、限信号） EUt i tdt 2Eftd t 21()2jtEft dtftFeddt2022-4-1623当当f(t)f(t)为实函数时为实函数时F(-)F(-)* *()()上式上式能量谱密度能量谱密度E()()|2 E()()|2 焦耳焦耳/ /赫兹赫兹 11( )( ) ()22j tFf t edt dFFd 21()()21()2FFdFd 2. 2. 功率谱密度功率谱密度功率信号：信号在功率信号：信号在- - t t + + 内存在，内存在， 具有无穷大能量，但平均功率为有限值。具有无穷大能量，但平均功率为有限值。分析时，先用截短函数将其截为能量信号。分析时，先用截短函数将其截为

11、能量信号。TTtTf(t)-f （ t） =220其 它功率谱密度功率谱密度（瓦特（瓦特/ /赫兹）赫兹）双边功率谱密度定义在（双边功率谱密度定义在（-，+）单边功率谱密度定义在（单边功率谱密度定义在（0 0，+） 22222222212TTTTTTTTTEft dtft dtFd 2221TTTPft dtT 222211limlim2TTTTTEPft dtdTT2limTTET 例：试求功率信号为周期性信号时的功率谱密度例：试求功率信号为周期性信号时的功率谱密度解：取截短周期解：取截短周期0 0周期信号的功率周期信号的功率等于各次谐波功率之和。等于各次谐波功率之和。0jkteKk = -

12、用 f ( t ) =C代 入 0000022222200221lim11TTTTTjktTTPft dtTft dtftedtTTKk=-C0002021( )TjktTft edtTKk=-C2KKKk = -k = -CCC周期信号的功率谱是离散谱。周期信号的功率谱是离散谱。00( )()()ftttdtft由 采 样 性 质220()KKkkCkdC 所以2020()12()2KkKkCkdCkd 所以p= 20()KkCk 所以W=22022-4-1628自相关函数1. 1. 定义定义 表明一个信号与该信号延时后的相似程度。表明一个信号与该信号延时后的相似程度。能量信号能量信号 (

13、) ()f t f tdtR=功率信号功率信号 1( ) ()f t f tdtTTR=lim2. 2. 性质性质实函数的自相关函数是实偶函数，即实函数的自相关函数是实偶函数，即R(-)()R(-)()信号的自相关函数与其能量谱密度信号的自相关函数与其能量谱密度/ /功率谱密度构成功率谱密度构成 傅氏变换与反变换的关系。傅氏变换与反变换的关系。 ( ) ()( ) ()()x tf t f tdtf t f tdtR 证：R= 2( ) ()( )()( ) ( )( )( )( )( )jjj tf t f tdt edf tf teddtFf t edtFFFE -证：F R= ( )W同

14、理：F R信号的自相关函数在原点的值等于信号的能量信号的自相关函数在原点的值等于信号的能量/ /功率。功率。自相关函数的最大值出现在原点，即自相关函数的最大值出现在原点，即 R() R(0) R() R(0) 20( )ft dtER= /22/210( )TTft dtPTTR=lim周期信号的自相关函数是其功率谱密度函数的傅氏周期信号的自相关函数是其功率谱密度函数的傅氏反变换。反变换。00000000000/ 2/ 20/ 22() / 20/ 22/2/ 202/22/1( )()1( )1( )TTTjktTkTkTjkTjktTkTkjkTkkkjkTkkRftftd tTftCed

15、 tTCeft ed tTCCeCe 例：本周期信号例：本周期信号f(t)的自相关函数的自相关函数2.2 2.2 确定信号通过线性系统确定信号通过线性系统1.1.时域：时域：( )( )( )YHF( )( ) ()( ) ()( )( )( )( )y tf t h tdh t f tdh tf tf th t2.2.对于时域相乘系统，譬如采样等，对于时域相乘系统，譬如采样等，( )( )( )1( )( )( )2y tf tp tYFP设输入设输入f(t)() f(t)() ， 输出输出y(t)(t)y(t)(t)* *h(t)()()H()h(t)()()H()1. 1. 能量信号能量

16、信号2iEF 22222OiEYFHFHHE 2limTiTFWT 2limTOTYWTlimTTTYHF而 2222limlimTOTTiTHFWTFHHWT所以随机过程部分随机信号分析随机信号分析概率及随机变量概率及随机变量概率分布函数概率分布函数分布函数属性分布函数属性 是非降函数是非降函数)()(xXPxFX10)(xFX1 0)(,)(XXFF)(xFXxxpxXxPXxxd2121)()(随机过程部分随机变量的数字特征随机变量的数字特征数学期望数学期望方差方差协方差协方差xxxpXEaXXd)(xxpxgxgEXd )()()(xxpaXaXEXDXXXd22)()()(YXaaX

17、YEXYC)( 随机过程部分随机过程和它的统计特性随机过程和它的统计特性随机过程的定义随机过程的定义随机过程是一类随时间作随机变化的过程，它不能用确随机过程是一类随时间作随机变化的过程，它不能用确切的时间函数描述。切的时间函数描述。理解理解1 1：对应不同随机试验结果的时间过程的集合。：对应不同随机试验结果的时间过程的集合。理解理解2 2：看作是在时间进程中处于不同时刻的随机变量的：看作是在时间进程中处于不同时刻的随机变量的集合。集合。 随机过程的数学期望随机过程的数学期望 方差方差 xtxxptXEtad 1);()()(xtxptaxtatXEtXEtXEtXDtd 12222);()()

18、()()()()()(随机过程部分随机过程的自协方差函数随机过程的自协方差函数随机过程的自相关函数随机过程的自相关函数12112211222121212( , )( )( )( )( )( )( )( ,; , )d dXCt tEX ta tX ta txa txa tpx xt tx x )()(),(2121XtXtXEttR212121221dd xxttxxpxx),;,( 随机过程部分平稳随机过程平稳随机过程定义定义 若一个随机过程若一个随机过程(t)(t)的任意有限维分布函数的任意有限维分布函数与时间起点无关，与时间起点无关， 也就是说，对于任意的正整数也就是说，对于任意的正整数

19、n n和所有实数和所有实数，有有 则称该随机过程是平稳随机过程。则称该随机过程是平稳随机过程。平稳随机过程的统计特性不随时间的推移而改变！平稳随机过程的统计特性不随时间的推移而改变！),(),(21212121nnnnnntttxxxftttxxxf；随机过程部分平稳过程的自相关函数平稳过程的自相关函数 性质性质各态历经性各态历经性)()()(tXtXER)()( RRStXER)()(20)()(RR0ttxTtxaaTTTd )(1lim)(2/2/tatxTTTTd)(1lim22/2/22ttxtxTRRTTTd)()(1lim)()(2/2/随机过程部分平稳随机过程的功率谱密度平稳随

20、机过程的功率谱密度平稳随机过程的功率谱密度可以写为平稳随机过程的功率谱密度可以写为随机过程随机过程 的平均功率可表示为的平均功率可表示为平稳随机过程的自相关函数和功率谱密度服从维纳平稳随机过程的自相关函数和功率谱密度服从维纳辛钦关系辛钦关系TXETXEPEPTTTTxX22)(lim)(lim)()(d 21)(XPP)(de )()(jRRPXF F)(de )(21)(1jXXPPRF F)(tX随机过程部分 高斯随机过程高斯随机过程高斯随机过程高斯随机过程定义定义如果随机过程如果随机过程 (t) (t)的任意的任意n n维（维（n =1,2,.n =1,2,.）分布均）分布均服正态分布，

21、服正态分布， 则称它为正态过程或高斯过程。则称它为正态过程或高斯过程。性质性质若高斯过程是广义平稳的，则它也一定是狭义平稳的。若高斯过程是广义平稳的，则它也一定是狭义平稳的。对于高斯过程在不同瞬间的值，互不相关和相互独立是对于高斯过程在不同瞬间的值，互不相关和相互独立是等价的，等价的， 也就是说，如果高斯过程在不同时刻的取值是不相也就是说，如果高斯过程在不同时刻的取值是不相关的，那么关的，那么 它们也是统计独立的。它们也是统计独立的。高斯过程经过线性变换后生成的过程仍是高斯过程。也高斯过程经过线性变换后生成的过程仍是高斯过程。也可以说，可以说， 若线性系统的输入为高斯过程，则系统输出也是高若线

22、性系统的输入为高斯过程，则系统输出也是高斯过程。斯过程。随机过程部分一维高斯分布一维高斯分布高斯过程在任一时刻上的取值是一个正态分布的随机高斯过程在任一时刻上的取值是一个正态分布的随机 变量，也称高斯随机变量，其一维概率密度函数为变量，也称高斯随机变量，其一维概率密度函数为 式中：式中： a a 均值均值 2 2 方差方差 曲线如右图曲线如右图221()( )exp22xaf x随机过程部分在通信系统中，通常要计算高斯随机变量在通信系统中，通常要计算高斯随机变量X X大于某常大于某常数数C C的概率的概率P P（XCXC） 令令 ，定义，定义Q Q 函数：函数： 所以所以xaxCXPCd2ex

23、p2122)()(zzaCd2exp212axzyQyde2122/)(aCQCXP)(随机过程部分Q Q函数与误差函数的关系函数与误差函数的关系误差函数的定义误差函数的定义互补误差函数的定义互补误差函数的定义互补误差函数的近似计算互补误差函数的近似计算 所以有所以有yyde2)( erf20yyde2)erf(1)erfc(221erfc()e1，)( erfc212Q)( erf-121随机过程部分高斯白噪声高斯白噪声定义定义: :对于平稳的高斯过程，由于其平稳性，它的数学对于平稳的高斯过程，由于其平稳性，它的数学期望和方差都是与时间无关的常数期望和方差都是与时间无关的常数一维概率密度函数

24、为，一维概率密度函数为， 噪声功率在正负频率两侧的分布称为双边分布，仅在噪声功率在正负频率两侧的分布称为双边分布，仅在正频率一侧的分布称为单边分布。由于白噪声的功率正频率一侧的分布称为单边分布。由于白噪声的功率谱密度为均匀分布，所以功率谱密度为常数谱密度为均匀分布，所以功率谱密度为常数 其中，其中，n0n0为单边功率谱密度；为单边功率谱密度； n0/2 n0/2称为双边功率谱密称为双边功率谱密度。度。222e21/)()(axxp2)(0nfPn)(f随机过程部分特点说明特点说明由于白噪声的带宽无限，其平均功率为无穷大，所以，由于白噪声的带宽无限，其平均功率为无穷大，所以，真正真正“白白”的噪

25、声是不存在的，它只是构造的一种理想的噪声是不存在的，它只是构造的一种理想化的噪声形式。化的噪声形式。实际中，只要噪声的功率谱均匀分布的频率范围远远大实际中，只要噪声的功率谱均匀分布的频率范围远远大于通信系统的工作频带，我们就可以把它视为白噪声。于通信系统的工作频带，我们就可以把它视为白噪声。如果白噪声取值的概率分布服从高斯分布，则称之为高如果白噪声取值的概率分布服从高斯分布，则称之为高斯白噪声。斯白噪声。 高斯白噪声在任意两个不同时刻上的随机变量之间，不高斯白噪声在任意两个不同时刻上的随机变量之间，不仅是互不相关的，而且还是统计独立的。仅是互不相关的，而且还是统计独立的。随机过程部分 平稳随机

26、过程通过系统的分析平稳随机过程通过系统的分析平稳随机过程通过线性系统平稳随机过程通过线性系统输出随机过程等于输入过程与系统单位冲激响应的卷输出随机过程等于输入过程与系统单位冲激响应的卷积积输出过程的数学期望输出过程的数学期望 H(0) H(0)是线性系统在是线性系统在 f = 0 f = 0处的频率响应，因此输出处的频率响应，因此输出过程的均值过程的均值 是一个常数。是一个常数。dtXhtY)()()( )( )(0)(0)XE Y tE X tHaH随机过程部分输出随机过程的自相关函数输出随机过程的自相关函数 当输入随机过程是广义平稳时，输出随机过程也是当输入随机过程是广义平稳时，输出随机过

27、程也是广义平稳的广义平稳的输出随机过程的功率谱密度输出随机过程的功率谱密度 输出过程的功率谱密度是输入过程的功率谱密度输出过程的功率谱密度是输入过程的功率谱密度乘以系统频率乘以系统频率 响应模值的平方响应模值的平方vvvdd 21uuRhuhttRXY)()()(),( )(YR)()()()()()(XXYPHPHHP2随机过程部分平稳随机过程通过乘法器平稳随机过程通过乘法器乘法器的输出乘法器的输出设某乘法器的一个输入为随机过程设某乘法器的一个输入为随机过程 ，另一，另一个输入为个输入为载波载波 ，乘法器的输出，乘法器的输出为为 ，其自相关函数为：其自相关函数为：显然，由平稳随机过程的定义可

28、知，显然，由平稳随机过程的定义可知， 为非平为非平稳随机过程。稳随机过程。 对于非平稳随机过程，其功率谱密度可表示为：对于非平稳随机过程，其功率谱密度可表示为：)()()(),(tYtYERttRYY)2cos(cos2)(ccc2tRAXde ),()(j -tYYttRPttAXtYccos)()()(tY)(tXtAccos随机过程部分即即也就是说，乘法器输出也就是说，乘法器输出 的功率谱密度的功率谱密度 等于对输入等于对输入随机过程随机过程 的功率谱密度的功率谱密度 的线性搬移。的线性搬移。 d)ecos()(2de ),()(j -c2j -tXtYYRAttRP)()(4cc2XX

29、PPA)(tY)(YP)(tX)(XP随机过程部分 窄带随机过程窄带随机过程窄带随机过程窄带随机过程什么是窄带随机过程什么是窄带随机过程若随机过程若随机过程X(t)X(t)的谱密度集中在中心频率附近相对窄的谱密度集中在中心频率附近相对窄的频带的频带范围范围f f 内，即满足内，即满足f f 的条件，且的条件，且 远离零频远离零频率，则称该率，则称该X(t)X(t)为窄带随机过程。为窄带随机过程。窄带随机过程的表示式窄带随机过程的表示式 其中其中)()()(tttAtXXXccosttXttXQIccsincos)()()()()(ttAtXXXIcos )()()(ttAtXXXQsin 00

30、)()(tXEtXEQI零均值的窄带随机过程：零均值的窄带随机过程：EX(t) =0随机过程部分窄带随机过程的自相关函数窄带随机过程的自相关函数 由于由于 所以所以 功率谱密度为功率谱密度为ccsin cos )()()(IQIXRRRccsin cos )()()(QIQXRRR)()(QIRR)()(QIIQRR222QIXcc()( +),( )( )0,XXIQPPWWPP 其它随机过程部分正弦波加窄带高斯过程的合成信号形式为正弦波加窄带高斯过程的合成信号形式为可以推导出正弦波加窄带高斯随机过程的包络概率密度函数为可以推导出正弦波加窄带高斯随机过程的包络概率密度函数为式中，式中， 为零

31、阶贝塞尔函数。为零阶贝塞尔函数。这个概率密度函数为广义瑞利分布，也称莱斯分布，如果这个概率密度函数为广义瑞利分布，也称莱斯分布，如果 ，则上式便是瑞利分布。则上式便是瑞利分布。 ccccccc( )cos()( )cos() ( )cos( )sincos( )cos sin( )sin= ( )cos( )r tAtn tAtx tty ttAx ttAy ttz ttt202222)(21exp)(AzIAzzzf0z)(0 xI0A 传输媒质传输媒质有线信道有线信道明线、电缆、明线、电缆、光纤光纤无线信道无线信道自由空间或大自由空间或大气层气层 信 道n狭义信道：狭义信道：n广义信道：广

32、义信道： 调制信道调制信道研究调制研究调制/解调解调问题问题编码信道编码信道研究编码研究编码/译码译码问题问题信道的定义与分类信道数学模型n 模型：模型：l有一对（或多对）输入端和输出端有一对（或多对）输入端和输出端l大多数信道都满足线性叠加原理大多数信道都满足线性叠加原理l对信号有固定或时变的延迟和损耗对信号有固定或时变的延迟和损耗l无信号输入时，仍可能有输出（噪声）无信号输入时，仍可能有输出（噪声）n共性：共性：叠加有噪声的线性时变/时不变网络：调制信道模型n入出关系：入出关系：0( )( )( ) tr ts tno( )( )(iifcs ts tstto( )( )iCSS C( )n tu 不同的物理信道具有不同的特性C()= 常数（可取常数（可取1）加性高斯白噪声信道模型+ = 1二进制二进制无记忆无记忆编码信道编码信道模型模型可用 转移概率来描述。+ = 1 P(0/0) P(1/1) 正确正确 P(1/0) P(0/1) 错误错误e(0) (1/0)(1) (0/1)PPPPPn 模型：编码信道模型01233