2016秋季多媒体技术第二章信号处理技术与信息论基础学习专业课件

多媒体技术

第2章信号处理技术与信息论基础(4学时)刘绍辉计算机科学与技术学院哈尔滨工业大学shliu@2016年秋季第2章信号处理技术与信息论基础2.0引言 2.0.1多媒体系统结构2.0.2视觉通信系统模型2.0.3模拟与数字2.0.4几个小问题2.1信号与系统2.1.1信号2.1.2消息2.1.3信号传输与信号处理2.1.4系统2.2信号、系统的描述及其分类 2.2.1如何描述 2.2.2信号分类 2.2.3系统与系统模型2.2.4系统的分类2.2.5系统分析方法2.3连续时间信号2.3.1连续时间信号的抽样 2.3.2奈奎斯特采样定理2.3.2信号重建2.4离散时间信号2.4.1离散时间信号2.4.2离散时间系统2.4.3频域表示2.4.4典型的频域变换2.4.5模拟到数字的转换2.5基本信息论2.5.1通信基本模型2.5.2信息度量2.5.3离散信源熵2.5.4连续信源熵2.5.5熵速率与信道容量2.5.6离散有噪信道中的信道容量2.5.7连续有噪信道中的信道容量2.6信源与信道匹配的编码2.6.1编码定理2.6.2信源最佳化2.6.3符号独立化2.6.4概率均匀化2.7信息率失真函数参考文献和站点2.0引言多媒体系统结构(彩色部分为本课程涉及的内容)

(引自http://www.kom.tu-darmstadt.de/mm-book/)

2.0引言(续1)信息论基础信号处理手段、方法通信与网络传输2.0引言(续2)视觉通信系统模型2.0引言(续3)模拟vs.数字模拟MediarepresentedusingrealvaluesSoundpressureintheair(example)Electronicrepresentationofsoundfromamicrophone数字Mediarepresentedusingdiscretevalues(integers,quantizednumbers,floatingpointrepresentations)Maybeinfinite,butforafixedrangefinite.2.0引言(续4)现实世界是模拟的光的强度声音的传送照片电话数字信号出现很晚2.0引言(续5)数字信号怎么来的从模拟信号转换过来的目前PC机上的基本都是数字信号，如PC上图像的像素，MP3音乐问题模拟和数字的是否等价?asgood,sufficient,better,prettier,slimmer,lessfilling?2.0引言(续6)几个小问题MP3的采样率?128kbps代表什么？CD的比特率大概是多少？kbps与kBps有区别吗？如何确定采样率，有什么准则？通过数字化的信号与原始信号有区别吗？2.1信号与系统信号人们相互问迅、发布新闻、传递数据：要把某些消息借一定形式的信号传送出去定义是消息的表现形式，消息则是信号的具体内容消息有时也称为信息如何度量？---信息论

t-10t1t2t3……tkt42.1信号与系统(续1)信号传输与信号处理信号传输烽火台火炬传递信息奴隶剃头传递信息鸣金收兵电信号：1837，F.B.Morse发明电报，1876年，A.G.Bell发明电话，1901年G.Marconi等发明无线电通信电信号：随时间而变化的电压或电流，电荷，线圈的磁通，空间的电磁波…电信号与非电信号可以方便的进行转换信号处理对信号进行某种加工或变换：削弱信号中的多余内容；滤除混杂的噪声和干扰；或者将信号换成容易分析与识别的形式，便于估计和选择它的特征参量2.1信号与系统(续2)系统由若干相互作用和相互依赖的事物组合而成的具有特定功能的整体狭义：无线电电子学领域：通信系统，控制系统，计算机系统，指挥系统->宇宙航行系统广义：包括各种物理系统和非物理系统，人工系统和自然系统物理系统：通信，电力，机械非物理系统：政治结构，经济组织，生产管理，社交网络人工系统：计算机网，交通运输自然系统：原子核，太阳系，动物的神经组织系统工程学将系统理论应用于系统工程设计，以期使较复杂的系统最佳地满足预定的需求2.2信号、系统的描述及其分类2.2信号、系统的描述及其分类 2.2.1如何描述 2.2.2信号分类 2.2.3系统与系统模型2.2.4系统的分类2.2.5系统分析方法2.2信号、系统的描述及其分类信号的描述信号描述的基本方法：写出它的数学表达式，是时间的函数，绘出函数的图像称为信号的波形信号的分类确定性vs随机信号信号可表示为一确定的时间函数实际信号往往具有不可预知的不确定性：噪声，干扰随机信号分析周期信号vs非周期信号(傅立叶级数vs傅立叶变换)依一定时间间隔周而复始，无始无终的信号f(t)=f(t+nT)如果T趋近于无穷，则成为非周期信号连续时间信号vs离散时间信号时间取值的连续性与离散性连续信号的幅值可连续—模拟信号0

t-10t1t2t3……tkt42.2信号、系统的描述及其分类(续1)离散时间信号的幅值连续，称为抽样信号离散时间信号的幅值也是离散的，称为数字信号能量受限信号Vs功率受限信号调制信号，载波信号，已调信号…典型的连续信号指数信号，f(t)=Keat,单边指数衰减信号正弦信号，f(t)=Ksin(omega*t+theta)复指数信号Sa(t)函数(抽样函数)：Sa(t)=sint/t奇异信号单位斜变信号单位阶跃信号单位冲击信号和2.2信号、系统的描述及其分类(续2)系统模型模型是系统物理特性的数学抽象，以数学表达式或具有理想特性的符号组合图形来表征系统特性系统分类连续时间系统vs离散时间系统连续时间系统的数学模型是微分方程离散时间系统的数学模型是差分方程即时系统vs动态系统即时系统：系统输出与历史无关，模型为代数方程动态系统:模型为微分或差分方程集总参数系统vs分布参数系统集总参数元件:常微分方程分布参数元件:偏微分方程，考虑空间位置2.2信号、系统的描述及其分类(续3)线性系统vs非线性系统线性：具有叠加性和均匀性时变系统vs时不变系统系统参数不随时间变化一般线性性与时变性组合，有四种系统系统模型的求解方法时间域方法时域特性变换域方法频域特性2.2信号、系统的描述及其分类(续4)信号理论：信号分析、信号处理、信号综合系统理论：系统分析、系统综合信号分析与系统分析是一个统一的整体：从信号传输的角度来看：信号通过系统时，在系统的传递特性作用下，信号的时间特性和频率特性会发生相应的变化，从而变成了新的信号。从系统响应的角度来看：系统的主要作用是对信号进行处理与传输。在输入信号的激励下，系统必然会作出相应的反响，其外在的表现形式就是会有一个对应的输出（响应）。综合上述两个方面，可以看出：对信号的分析与对系统的分析是密不可分的。从数学的角度来看：时域分析中信号与系统的特性都可以表示为时间的函数，对它们也都可以用变换域的方法进行分析，只不过是各自变换域函数的物理意义不同而已。2.2信号、系统的描述及其分类(续5)信号分析：研究信号的表示、性质和特征。系统分析：给定系统，已知输入，求输出。研究系统的特征和功能。系统综合：给定输入，为了获得预期的输出，要求设计系统。注意大多数系统是线性时不变系统许多非线性系统和时变系统经过适当处理后，可以近似地化为线性时不变系统来分析。2.3连续时间信号-数字信号处理的基本步骤1）电压幅值调理，以适宜采样。2）滤波，以提高信噪比。3）隔离信号中的直流分量。4）调制解调。模拟信号经采样、量化并转化为二进制2.3连续时间信号-信号数字化出现的问题数字信号处理：模拟信号数字信号

采样是用一个等时距的周期脉冲序列（或采样函数）s(t)去乘原模拟信号x(t)。时距Ts称为采样间隔，1/Ts=fs称为采样频率采样和截断2.3连续时间信号-取样定理

调制定理：把信号搬移到不同的频段来实现频分多路通信。（频分复用）

取样定理（抽样定理）：利用连续信号在等时间间隔上的瞬时值（样本值）来表示和恢复原信号，实现时分复用。也是连续信号与离散信号之间相互转换的理论依据。频分复用时分复用2.3连续时间信号-时域取样取样后得到的离散信号称之为取样信号。抽样：利用取样脉冲序列从连续时间信号中抽取一系列离散的样值的过程。取样脉冲序列也称为开关函数自然取样由频域卷积定理理想取样2.3连续时间信号-时域取样定理可见，取样定理必须满足两个条件：一个在频谱区间()以外为零的频带有限信号(带限信号)，可以唯一地由其均匀时间间隔上的取样值确定。1.必须为带限信号，即在时，其频谱2.取样频率不能过低，必须满足定义为奈奎斯特取样率当取样频率大于或等于信号带宽的两倍时，可以从中恢复原信号。2.3连续时间信号-信号的恢复从频域的角度来看，可以通过理想低通滤波器从取样信号中恢复原来的连续信号。从时域的角度分析：这里故得可见，任意信号可以分解为无穷多个取样函数的代数和。时域采样时域截断2.3连续时间信号-频域采样频域采样形成频域函数离散化，相应地把其时域函数周期化了信号数字化出现的问题—时域采样采样是把连续时间信号变成离散时间序列的过程，大部分为等间距地取点。而从数学处理上看，则是用采样函数去乘连续信号。依据

FT的卷积特性：时域相乘就等于频域做卷积依据δ函数的卷积特性：频域作卷积就等于频谱的周期延拓长度为T的连续时间信号x(t),从t=0点开始采样，得到离散时间序列x(n)为信号数字化出现的问题—时域采样(续1)注意：采样间隔的选择是个重要的问题！信号数字化出现的问题—时域采样(续2)由于采样频率过低造成的混叠现象信号数字化出现的问题—混叠定义：在频域中，如果平移距离过小，平移后的频谱就会有一部分相互交叠，从而使新合成的频谱与原频谱不一致，因而无法准确地恢复原时域信号，这种现象称为混叠。注意：将原频谱X(f)依次平移1/Ts个采样脉冲对应的频域序列点上，然后全部叠加而成信号数字化出现的问题—混叠(续1)混叠产生原因采样频率fs太低原模拟信号不是有限带宽的信号，即措施对非有限带宽的模拟信号，在采样之前先通过模拟低通滤波器滤去高频成分，使其成为带限信号。这种处理称为抗混叠滤波预处理。满足采样定理信号数字化出现的问题—采样定理采样定理：为了不产生频率混叠，应使采样频率大于带限信号的最高频率的2倍，即注意：在实际工作中，考虑实际滤波器不可能有理想的截止特性，在其截止频率fc之后总有一定的过渡带，通常取信号数字化出现的问题—频域采样、时域周期延拓频域采样：是使频率离散化，在频率轴上等间距地取点的过程。而从数学处理上看，则是用采样函数去乘连续频谱。依据FT的卷积特性——频域相乘就等于时域做卷积依据δ函数的卷积特性——时域作卷积就等于时域波形的周期延拓频域离散化，无疑已将时域信号“改造”成周期信号频域采样和时域采样相似，在频域中用脉冲序列乘信号的频谱函数。离散信号与系统离散时间系统传输和处理离散时间信号的系统数字计算机、数字通信系统、数字控制系统精度高、抗干扰能力强、可集成化程度高与连续时间系统的联系与区别数学模型：差分方程分析方法：时域、频域、Z域分析法系统响应：零输入响应、零状态响应离散信号与系统的时域分析信号和系统的整个分析过程都在离散时间域内进行2.4离散时间信号离散时间信号的时域描述模拟信号量化信号离散信号数字信号时间取值：连续连续不连续不连续幅度取值：连续不连续连续不连续一.离散时间信号的概念1.离散信号只在离散的时刻上有定义；2.离散信号可以看作是（在满足奈奎斯特抽样率的条件下）对连续信号进行理想抽样的结果，此时4.序列不一定是时间的函数。3.离散信号在数学上可以表示为数值的序列，为了方便，序列f(k)

与序列的第k

个值两者在符号上不加区别；2.4离散时间信号(续1)离散信号的表示方法1.解析式2.序列形式3.图形2.4离散时间信号(续2)2.4离散时间信号(续3)-序列的分类双边序列序列f(k)

对所有的整数k

都存在确定的非零值。2.单边序列有始序列（右边序列）：有终序列（左边序列）：3.有限序列2.4离散时间信号(续3)-离散信号的一些基本运算1.序列相加：两个序列同序号的数值逐项对应相加。2.序列相乘：两个序列同序号的数值逐项对应相乘。例：已知序列3.序列移位：4.序列折迭：

f(-k)例：已知序列……………………f(k)右移m位成f(k-m),左移m位成f(k+m)5.序列差分(对应于连续信号的微分)一阶前向差分二阶前向差分一阶后向差分二阶后向差分6.序列的求和（累加）(对应于连续信号的积分)2.4离散时间信号(续4)-常用的离散信号1.单位函数(1)筛选特性(2)加权特性应用此性质，可以把任意离散信号f(k)表示为一系列延时单位函数的加权和，即2.单位阶跃序列对比：截取特性3.斜变序列类似地，还可以定义余弦序列4.正弦序列正弦序列不一定是周期序列当是正整数时，正弦序列为周期序列，且周期为N

。当是有理数时，正弦序列为周期序列，且周期为。当是无理数时，正弦序列为非周期序列。5.指数序列(1)若A和

均为实数，设其中，A和

可以是实常数，也可以是复数。则为实指数序列；(2)若A=1，

为虚指数序列；根据欧拉公式，上式可写成可见，虚指序列的实部和虚部都是正弦序列。当满足为有理数时，虚指序列才是周期序列。2.4离散时间信号(续5)-卷积称为卷积和或离散卷积。可以证明，其代数运算与卷积积分相同，也服从交换律、分配律和结合律。若k<k1

时，x(k)=0;k<k2

时，h(k)=0;确定求和限的一般公式为2.4离散时间信号(续6)-卷积计算步骤：1.换元；2.折叠h(-n)；3.移位h(k-n)；

4.相乘x(n)h(k-n)；5.求和。2.4离散时间信号-典型的频域变换DFT：离散傅里叶变换DCT：离散余弦变换END第2章信号处理与信息论基础滤波(filtering)滤波器(filter):

可以改变信号频率特性，让一些信号频率通过，而阻塞另一些信号频率。低通滤波器(lowpassfilter)：使低频(low-frequency)成分通过。（男低音）高通滤波器(highpassfilter)：使高频(high-frequency)成分通过。（女高音）带通滤波器(bandpassfilter)：允许一定频带内频率通过。带阻滤波器(bandstopfilter)：允许一定频带外频率通过。相关分析及其应用-相关系数函数关系两个变量若存在一一对应的确定关系相关关系当两个随机变量之间具有某种关系时，随着一个变量数值的确定，另一个变量却可能取许多不同值，但取值有一定的概率统计规律各态历经随机过程的一个样本函数两者具有相同的均值和标准差相关分析及其应用-自相关系数自相关函数的定义（各态历经随机信号及功率信号）相关分析及其应用-自相关系数(续1)（1）（2）自相关函数的性质自相关函数的性质(续1)（3）（4）（5）周期函数的自相关函数仍为同频率的周期函数其幅值与原周期函数的幅值有关，但丢失了原信号的相位信息四种典型信号的自相关函数信号的互相关函数两个各态历经的随机信号x(t)和y(t)的互相关函数定义为：性质信号的互相关函数(续1)同频相关，不同频不相关：两个均值为零且具有相同频率的周期信号，其互相关函数保留了原两信号的频率幅值和相位差思考:两个非同频的周期信号是不相关的互相关函数不是偶函数，有什么作用？信号的互相关函数(续2)应用相关滤波利用互相关函数同频相关、不同频不相关的性质来达到滤波效果应用实例在噪声背景下提取有用信息。对一个线性系统（例如某个部件、结构或某台机床）激振，所测得的振动信号中常常含有大量的噪声干扰。根据线性系统的频率保持性，只有和激振频率相同的成分才可能是由激振而引起的响应，其它成分均是干扰。因此只要将激振信号和所测得的响应信号进行互相关（不必用时移，τ=0）处理，就可以得到由激振而引起的响应幅值和相位差，消除了噪声干扰的影响。两个间隔一定距离的传感器测量运动物体的速度确定深埋在地下的输油管裂损位置离散信号的互相关函数知道连续的情况，离散的怎么办？时域的情况，频域的呢？自功率谱密度函数m为最大时移序数傅立叶变换内容引言傅立叶变换离散傅立叶变换快速傅立叶变换结论内容引言傅立叶变换离散傅立叶变换快速傅立叶变换结论引言变换目的：便于处理，抽取特性，能量集中方法FT系列DCTDWTKL…FT-傅立叶变换傅立叶变换是在傅里叶级数正交函数展开的基础上发展而产生的。傅立叶分析的研究与应用经历了一百余年。1822年法国数学家傅立叶（J.Fourier,1768-1830）在研究热传导理论时发表了“热的分析理论”著作，提出并证明了将周期函数展开为正弦级数的原理，奠定了傅里叶级数的理论基础。泊松（Poisson）、高斯（Gauss）等人把这一成果应用到电学中去。伴随电机制造、交流电的产生与传输等实际问题的需要，三角函数、指数函数以及傅里叶分析等数学工具已得到广泛的应用。1965年，Cooley,TukeyFFT1D-FTFourierTransform(FT)逆变换平移定理FT存在的条件：1）f(x)具有有限个间断点2）具有有限个极值点3）绝对可积一般是个复数：2D-FTFourierTransform(FT)逆变换Properties可分性线性共轭对称性旋转性Parseval-能量守恒定理卷积定理：DFT(DiscreteFT)可借助离散傅立叶级数的概念，把有限长序列作为周期性离散信号的一个周期来处理DFTInverseDFT2D-DFTDiscreteFourierTransform(DFT)TransformInverseandf(j.k)istheinputsequence.2D-DFTDFT,如果均采用方形阵列，M=NTransformInverseandf(j.k)istheinputsequence.DFTDiscreteFourierTransform(DFT)NotsopopularinimagecompressionbecauseperformanceisnotgoodenoughcomputationalloadforcomplexnumberisheavyComputationalCost：N*NmultiplysComputationalCostofDFTUsingtransformsdirectly:ComputationofN-pointDFTsrequiresmultiplysTheCooley-Tukeyalgorithm-FFTConsidertheDFTalgorithmforanintegerpowerof2,Createseparatesumsforevenandoddvaluesofn:Letting

fornevenandfornodd,weobtain

TheCooley-TukeydecimationintimealgorithmSplittingindicesintime,wehaveobtainedButand

N/2-pointDFTofx[2r]

N/2-pointDFTof[2r+1]Howaboutcost?WehavesplittheDFTcomputationintotwohalves:Havewegainedanything?ConsiderthenominalnumberofmultiplicationsforOriginalformproducesmultiplicationsNewformproducesmultiplications

Signalflowgraphrepresentationof8-pointDFTRecallthattheDFTisnowoftheformTheDFTin(partial)flowgraphnotation:Divide-and-ConquerstrategySowhynotbreakupintoadditionalDFTs?Let’staketheupper4-pointDFTandbreakitupintotwo2-pointDFTs:RecursiveprocedureNowlet’stakeacloserlookatthe2-pointDFTTheexpressionforthe2-pointDFTis:Evaluatingforweobtainwhichinsignalflowgraphnotationlookslike...ThistopologyisreferredtoasthebasicbutterflyThecomplete8-pointFFTComputationalcostofN-pointFFTsLet(log2(N)columns)(N/2butterflys/column)(2mults/butterfly)or~multiplys“Slow”DFTrequiresNmults;FFTrequiresNlog2(N)multsFilteringusingFFTsrequires3(Nlog2(N))+2NmultsLet

N a1 a2 16 .25

.8124

32 .156 .50 64 .0935 .297 128 .055 .171 256 .031 .097 1024 .0097 .0302ComparingprocessingwithandwithoutFFTsNote:1024-pointFFTsaccomplishspeedupsof100forfiltering,30forDFTs!DFT，FFTNDFT(N^2)FFT(O(Nlog2(N))Improved1241421625632835122621442304113.84102410485765120204.852048419430411264372.4Additionaltimesavers:reducingmultiplicationsinthebasicbutterflyAswederivedit,thebasicbutterflyisoftheformSincewecanreducingcomputationby2bypremultiplyingbyAnExampleConsiderthebinaryrepresentationoftheindicesoftheinput:00004100201061101001510130117111BitreversaloftheinputRecallthefirststagesofthe8-pointFFT:Ifthesebinaryindicesaretimereversed,wegetthebinarysequencerepresenting0,1,2,3,4,5,6,7HencetheindicesoftheFFTinputsaresaidtobeinbit-reversedorder结论FTDFTFFT附录1熵信道容量编码定理：信源熵速率R,信道容量C信源最佳化:熵值最大化符号独立化符号概率均匀化变换去相关->信源信道匹配关于正交变换傅里叶变换建立了时间函数f(t)与频谱函数F(w)之间的对应关系。其中，一个函数确定之后，另一函数随之被唯一地确定。1、对称性2、线性（叠加性）3、奇偶虚实性4、反折5、共轭性能6、尺度变换特性7、时移特性8、频移特性9、微分特性10、积分特性附录2-傅立叶变换的一些基本性质TT附录2-傅立叶变换的一些基本性质TTT其中，a1,a2为常数线性性为复函数当信号在时域中压缩（a>0)，等效于在频域中扩展。当信号在时域中扩展（a<0)，等效于在频域中压缩。当信号在时域中沿纵轴反折（a=-1)，说明信号在时域中沿纵轴反折等效于在频域中频谱也沿纵轴反折。即：信号的波形压缩a倍，信号随时间变化加快a倍，则它所包含的频率分量增加a倍。即频谱展宽a倍。根据能量守恒定律，各频率分量的大小必然减小a倍。在通信系统中，通信速度与占用频带宽度是一对矛盾。信号在时域中延时t-t0（沿时间轴右移），等效于在频域中相位产生偏差（-wt0),其幅度谱不变。频谱搬移技术在通信中应用广泛。如调幅、同步解调、变频等过程都是在频谱搬移的基础上完成的。频域上右移w0,等效时域中信号调制。即乘以因子附录3-傅立叶变换与小波变换的关系Fourier变换小波变换小波母小波第2章信息论基础2.5基本信息论2.5.1通信基本模型2.5.2信息度量2.5.3离散信源熵2.5.4连续信源熵2.5.5熵速率与信道容量2.5.6离散有噪信道中的信道容量2.5.7连续有噪信道中的信道容量2.6信源与信道匹配的编码2.6.1编码定理2.6.2信源最佳化2.6.3符号独立化2.6.4概率均匀化2.7信息率失真函数参考文献和站点信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。信息论物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。三个不同的范畴的信息论狭义信息论：即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理，以Shannon信息论为基本内容，也称为基本信息论一般信息论：研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用，信息传输的基本问题，即通信理论广义信息论：包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域2.5基本信息论通信基本模型

干扰源

信道信道译码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效干扰信道图2-1通信系统的一般模型变换逆变换2.5基本信息论(续1)通信基本模型信源，信道，信宿变换编码，译码，调制，解调编码目的改善信源的传输效率：有效性编码，主要针对信源特性进行处理，也称为信源编码提高信息传输的可靠性：可靠性编码或抗干扰编码，主要针对信道特性进行编码，也称为信道编码信道分类传输介质：有线，无线信道特性：恒参信道，特性不随时间改变，有线信道，微波接力信道，卫星中继信道；变参信道，短波电离层反射信道，对流层散射信道信道传送信号的形式：离散信道，连续信道

信息论研究范畴中信道的划分方式2.5基本信息论(续2)通信-传递信息传输信息的速率越大越好，通信的有效性问题传输的信息受到干扰和噪声越小越好，通信的可靠性问题矛盾？信息论的研究表明在一定条件下，通信系统能以任意小的差错率实现最大的传输率通信就是用传递消息来消除收信人对某事情状态的不定性信源要传递的事情一般是属于随机事件用概率论和随机过程等统计数学工具来描述和分析通信问题------经典信息论的基本研究内容2.5基本信息论(续3)离散无记忆信源(DiscreteMemorylessSource，简记为DMS)输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即：p(xi

)：信源输出符号消息xi的先验概率;满足：0

p(xi)1，1i

I

2.5基本信息论(续4)离散平稳有记忆信源用联合概率空间{X,P(X)}来描述离散有记忆信源的输出。信源在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条件概率p(xi

xi-1

xi-2…)确定。如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为平稳信源。对于离散平稳有记忆信源，有：p(x1=a1)=p(x2=a1)=

…p(x2=a2

x1=a1)=p(x3=a2

x2=a1)=

…p(x3

x2

x1)=p(x4

x3

x2)=

…┇p(xi+L

xi+L-1

xi+L-2

…xi)=p(xj+L

xj+L-1

xj+L-2

…xj)=

…┇

2.5基本信息论(续5)离散无记忆信道离散无记忆信道的输入和输出消息都是离散无记忆的单个符号，输入符号xi

{a1,a2,…,ak}，1

i

I，输出符号yj

{b1,b2,…,bD

}，1

j

J，信道的特性可表示为转移概率矩阵：p(yj

xi

)对应为已知输入符号为xi，当输出符号为yj时的信道转移概率，满足0

p(yj

xi

)1

。

1.二元对称信道(BinarySymmetricChannel，简记为BSC)这是一种很重要的信道，它的输入符号x

{0,1}，输出符号y

{0,1}，转移概率p(y

x)如图所示信道特性可表示为信道矩阵，其中p称作信道错误概率。几种常见的离散无记忆信道：二进制对称信道1-p0

p

1011-p

p

无干扰信道2100111122.

无干扰信道这是一种最理想的信道，也称作无噪信道，信道的输入和输出符号间有确定的一一对应关系，p(y

x)=如图三元无干扰信道中，x,y

{0,1,2}，对应信道矩阵是单位矩阵

3.二元删除信道

对于接收符号不能作出肯定或否定判决时，引入删除符号，表示对该符号存有疑问，作为有误或等待得到更多信息时再作判决。二元删除信道如图所示，输入符号x

{0,1}，输出符号y

{0,e,1}，转移概率矩阵为4.二元Z信道

二元Z信道如图所示，信道输入符号x

{0,1}，输出符号y

{0,1}转移概率矩阵为

101011-p

p1-p0

p1011-p

p

e图

二元删除信道

图二元Z信道

2.5基本信息论-自信息量和互信息量一个事件的自信息量就是对其不确定性的度量,互信息量则表明了两个随机事件的相互约束程度对于随机事件集X={x1，x2，…，xi，…，xI}中的随机事件xi，其出现概率记为p(xi)，将两个事件xi

,yj同时出现的概率记为p(xiyj)，则p(xi)，p(xiyj)应满足：相应的条件概率为信息量直观的定义为：收到某消息获得的信息量=不确定性减少的量将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=f[p(x)]2.5基本信息论-自信息量和互信息量(续1)研究信息度量的必要性评价通信系统的标准：误码率，接收信噪比，传信率等，传信率：单位时间内所传递的信息量，为了评价它，就必须对消息或信源所含有的信息有一个数量上的度量信源的不肯定性不肯定程度与信源概率空间的状态数及其概率分布有关，信源概率空间的概率分布为等概时，不肯定程度最大；等概时，不肯定程度与信源概率空间的可能状态数或相应的概率有关，状态数愈多或相应的概率愈小，不肯定程度愈大100个球的例子:99vs1,50vs50,25vs25vs25vs252.5基本信息论-自信息量和互信息量(续2)直观观察，信息量应满足

I(x)应该是p(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和当p(x)=1时，I(x)=0：表示确定事件发生得不到任何信息当p(x)=0时，I(x)→∞：表示不可能事件一旦发生，信息量将无穷大自信息量自信息量的单位与log函数所选用的对数底数有关，如底数分别取2、 e、10，则自信息量单位分别为：比特、奈特、哈特事件xi发生以前，表示事件发生的先验不确定性当事件xi发生以后，表示事件xi所能提供的最大信息量（在无噪情况下）2.5基本信息论-自信息量和互信息量(续3)二维联合集XY上元素xi

yj的联合自信息量I(xi

yj)定义为条件自信息量，在已知事件yj条件下,随机事件xi发生的概率为条件概率p(xi︱yj),条件自信息量定义为2.5基本信息论-自信息量和互信息量(续4)从通信的角度考虑，假设信源的不肯定性用H表示信源X的概率空间为收信者收到消息Y后，不肯定程度可以描述成:P(X),P(X/Y)分别表示收信者收到信息前后的先验概率和后验概率，这时候收到消息yj后所获得的信息量:

Ij=I(xi)-I(xi/yj)=log(后验概率/先验概率)发送消息H(X)=H(P(X))收到消息H(X/Y)=H(P(X/Y))为什么？【例】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若：1.

甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到多少信息？

2.

甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？用xi代表单元数，yj代表户号：（1）甲找到乙这一事件是二维联合集XY上的等概分布，这一事件提供给甲的信息量为

I(xiyj)=-log

p(xiyj)

=

log60=5.907（比特）

（2）在二维联合集XY上的条件分布概率为，这一事件提供给甲的信息量为条件自信息量

I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）

2.5基本信息论-互信息量和条件互信息量互信息量，从通信的角度引出互信息量的概念信源符号X={x1，x2，…，xI}

，xi∈{a1,a2,…,ak}，i=1,2,…,I，经过信道传输，信宿方接收到符号Y={y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J事件xi是否发生具有不确定性，用I(xi)度量；接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xi︱yj)度量；观察事件前后，这两者之差就是通信过程中所获得的信息量，则互信息量用I(xi

;yj)表示：根据概率互换公式p(xi

yj)=p(yj︱xi)p(xi)=p(xi︱yj)p(yj)

互信息量I(xi;yj)有多种表达形式:

将事件互信息量的概念推广至多维空间： 在三维XYZ联合集中，有：

I(xi;yjzk)=I(xi;yj)+I(xi;zk︱yj)

类似，在N维U1U2

…

UN联合空间,有：I(u1;u2u3…

uN)=I(u1;u2)+I(u1;u3︱u2)+…

+I(u1;ui︱u2…ui-1)+

…+I(u1;uN︱u2…uN-1)

2.5基本信息论-互信息量和条件互信息量(续1)条件互信息量三维XYZ联合集中，在给定条件zk的情况下,xi,yj的互信息量I(xi

;yj︱zk)定义为：【例】信源包含7个消息x0,x1,x2,x3,x4,x5,x6

信源编码器将其对应编成7个三位二进制数000，001,…,110。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，计算信息量I(x4;100)。信源消息码字消息先验概率消息后验概率收到1后收到10后收到100后x0

0001/16000x1

0011/16000x2

0101/16000x3

0111/16000x4

1001/22/34/51x5

1011/81/61/50x61101/81/600表为7个三位二进制数对应的各种概率。根据给定的先验概率，可算出： 将各种后验概率的计算结果列于表中，计算出互信息量：I(x4;100)=I(x4;1)+I(x4;0︱1)+I(x4;0︱10)

(比特)

也可直接计算出：(比特)P(x4︱100)=12.5基本信息论-熵平均自信息量概率意义下的平均信息量即为熵人们注意的是整个系统的统计特性，当信源各个消息的出现概率相互统计独立时，这种信源称为无记忆信源，无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值），即平均自信息量H(X)定义为H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵这个词把H(X)称为集合X的信息熵，简称熵条件熵当X,Y统计独立时，有p(xiyj)=p(xi)p(yj)，p(xi︱yj)=p(xi)，则从通信角度来看：若将X={x1，x2，…，xi，…}视为信源输出符号；

Y={y1，y2，…，yj，…}视为信宿接收符号；I(xi︱yj)可看作信宿收到yj后，关于发送的是否为xi仍然存在的疑义度（不确定性），则反映了经过通信后，信宿符号yj（j=1,2,…）关于信源符号xi（i=1,2,…）的平均不确定性。2.5基本信息论-熵(续1)由熵、条件熵、联合熵的定义式可导出三者的关系式H(XY)=H(X)+H(Y︱X)=H(Y)+H(X︱Y)

H(X

Y)=H(X)+H(Y)

上式反映了信息的可加性。当X,Y统计独立时，有联合熵H(XY)(共熵)是定义在二维空间XY上，对元素xiyj的自信息量的统计平均值，若记事件xi

yj出现的概率为p(xiyj)，其自信息量为I(xiyj)，则联合熵H(X

Y)定义为

2.5基本信息论-熵(续2)2.5基本信息论-熵(续3)熵函数的性质极大离散熵定理设信源的消息个数为M，则H(X)

logM，等号当且仅当信源X中各消息等概(1/M)时成立，即各消息等概分布时，信源熵最大。对称；非负；H(X︱Y)

H(X)，X,Y统计独立时等号成立，H(XY)

H(X)+H(Y)；设f(x)=f(x1,x2,…,xn)为一个n元函数，若对任意f(x1),f(x2)∈f(x)，任意正数θ，0

θ

1，有θf(x1)+（1-θ）f(x2)

f[θx1+（1-θ）x2]，则f(x)为∩型凸函数，反之为∪型凸函数2.5基本信息论-平均互信息量如果将发送符号与接收符号看成两个不同的“信源”，则通过信道的转移概率来讨论信息的流通问题，一次通信从发送到接收究竟能得到多少信息量呢，这就是平均互信息量定义xi

∈X和yj

∈Y之间的互信息量为I(xi

;yj

)，在集合X上对I(xi

;yj

)进行概率加权统计平均，可得I(X;yj)为：【例】二元等概信源，通过信道转移概率为的信道传输，信宿接收符号Y={y0,y1}，计算信源与信宿间的平均互信息量I（X；Y）。

（1）

先根据计算出（2）

由计算后验概率（3）计算各消息之间的互信息量I(xi;yj)

（比特）

（比特）（比特）

（比特）

（4）

计算平均互信息量

（比特）

对上式在三维空间XYZ上求概率加权平均值，就得到平均条件互信息量

（2-31）式中p(xi

yj

zk)满足

平均条件互信息量I(X;Y︱Z)是在联合概率空间{XYZ，p(xyz)}上定义的物理量。由式（2-11）知道

2.5基本信息论-条件平均互信息量2.5基本信息论各种信息量之间的关系：平均互信息量与信源熵、条件熵的关系I(X;Y)=H（X）-H（X︱Y）I(X;Y)=H（Y）-H（Y︱X）I(X;Y)=H(X)+H(Y)-H(XY)维拉图设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均不确定性,H（X︱Y）是观察到Y后，集X还保留的不确定性，二者之差I(X;Y)就是在接收过程中得到的关于X,Y的平均互信息量。对于无扰信道，I(X;Y)=H(X)对于强噪信道，I(X;Y)=0从通信的角度来讨论平均互信息量I(X;Y)的物理意义由第一等式I(X;Y)=H（X）-H（X︱Y）看I(X;Y)的物理意义对于无扰信道，有I(X;Y)=H(X)=H(Y)。对于强噪信道，有H（Y︱X）=H（Y），从而I(X;Y)=0。H(Y)是观察到Y所获得的信息量，H（Y︱X）是发出确定消息X后，由于干扰而使Y存在的平均不确定性，二者之差I(X;Y)就是一次通信所获得的信息量。由第二等式I(X;Y)=H（Y)-H（Y︱X）看I(X;Y)的物理意义通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意义2.5基本信息论-连续信源熵定义：与离散类似，采用概率分布来进行定义，假设分布为p(v)无穷大2.5基本信息论-连续信源熵(续1)连续信源熵的定义是一个比无穷大大多少的相对量，但离散信源的则不是；但传信率，信道容量都是熵的差，所以不影响计算2.5基本信息论-连续信源熵(续2)连续信源的最大熵假设样值之间相互独立，研究使连续信源熵为最大时信号的一维最佳概率分布一般用变分法解限制条件可写成求积分(泛函)为极值时函数p(x):2.5基本信息论-连续信源熵(续3)变分法求解2.5基本信息论-连续信源熵(续4)连续信源最大熵信源输出的瞬时功率或输出幅度受限的情况信源输出的平均功率受限的情况当幅度限制在-V1和V2之间时：2.5基本信息论-连续信源熵(续4)连续信源最大熵信源输出的平均功率受限的情况信号平均功率一定时，信号的最佳概率分布时数学期望为0，方差等于平均功率的高斯分布2.5基本信息论-连续信源熵(续5)熵功率假如信源输出信号平均功率为N，但幅度不是高斯分布，那么熵比最大熵偏小，用熵功率来表示该信源的剩余定义：就是指与这个平均功率为N的非高斯信源有同样熵的高斯信源的平均功率，若H为熵，则根据熵功率定义得2.5基本信息论-熵速率和信道容量信源熵速率定义：信源在单位时间内输出的熵(或平均信息量)称为信源的熵速率，也叫信息速率离散信源的熵速率离散信源的熵也就是离散信源每个消息的熵，完全由信源的概率分布决定H(x)=-∑P(x)log(P(x))如果离散信源每秒输出消息数目为n/秒，则离散信源的熵速率H’(x)=nH(x)连续信源的熵速率输出带宽为W，采样率为2W/s连续信源的熵速率2.5基本信息论-熵速率和信道容量(续1)信道容量信源输出的信息通过信道传送到收信者，需要度量信道的传输能力定义：信道对信源的一切可能的概率分布而言能够传送的最大熵速率离散信道的信道容量信源等概时，输出熵最大，每秒传输n个等宽度，有K中状态的脉冲为什么要做信源信道匹配连续信道的信道容量对频带为W，平均功率为N的受限的连续信源，其幅度分布为高斯分布时，其熵最大，且为要求将信源改造成随机噪声，才能与信道匹配2.5基本信息论-离散有噪信道中的熵速率和信道容量接收熵速率收信者接收一个消息符号所获得的信息量或收到的熵I=log(后验概率/先验概率)p(i),p(j),p(i,j),p(i/j):发送第i个消息,接收第j个消息的概率情况表示收到Y后获得的关于X的信息，称为他们的互信息。可见，由于干扰或噪声，信道没有把信源熵H(x)全部传输过去，传输过程中损失的信息量称为疑义度、可疑度或含糊度统计平均对i进行统计平均2.5基本信息论-离散有噪信道中的熵速率和信道容量(续1)共熵H(x,y)Icp=H(x)-H(x/y)=H(y)-H(y/x)=H(x)+H(y)-H(x,y)H(y/x)表示信道输入信号(即信源熵)由于干扰作用在输出端表现的散布范围，称为散布度如果信道每秒传输消息数为n/s,则接收者收到的熵速率R为H’(x/y),H’(y/x)分别表示疑义度熵速率和散布度熵速率疑义度H(x/y)的意义：为了克服信道中噪声的影响，从而使接收的信息仍然被正确识别必须额外提供的纠正信息信道容量定义：为信道提供给收信者的最大熵速率(或信息速率)2.5基本信息论-连续有噪信道中的熵速率和信道容量接收熵速率收信者接收的消息y是由发送消息x和信道噪声n所组成

y=x+n信源x与噪声n的共熵为

H(x,n)=H(x)+H(n/x)信源和噪声独立：H(x,n)=H(x)+H(n),且y=x+n，因此y的概率分布规律与噪声的概率分布规律一样，p(y/x)=p(n/x）H(y/x)=H(n/x)=>H(x,y)=H(x,n)=>H(y)+H(x/y)=H(x)+H(n)与离散信道一样，定义接收熵为:H(x)-H(x/y)=H(y)-H(n)接收熵速率(信道传信率)R=H’(x)-H’(x/y)=H’(y)-H’(n)(bit/s)2.5基本信息论-连续有噪信道中的熵速率和信道容量(续1)信道容量X与n无关，故H’(n)与p(x)无关假定信道如下特性，干扰为随机噪声，功率谱均匀，幅度为高斯分布，平均功率为N;信道带宽为矩形带宽，宽度为W;信道输入信号平均功率受限，为P，如何计算信道容量?Shannon公式2.5基本信息论-连续有噪信道中的熵速率和信道容量(续2)结论平均功率受限的高斯白噪声信道，其信道容量C与信道带宽W和信号噪声功率比P/N有关平均功率受限的信道，当其输入信号为高斯分布式，该信道的传信率R可以达到传信率理论极限值-容量平均功率受限的信道，高斯白噪声危害最大。因为这时候H’(n)最大目前还没有实际系统其传信率达到信道容量，但指出了现实系统的潜在能力和理论极限值，可以作为通信系统中带宽与信号噪声比进行互换的理论基础2.6信源与信道匹配的编码2.6.1编码定理2.6.2信源最佳化2.6.3符号独立化2.6.4概率均匀化2.6信源与信道匹配的编码-编码定理当信源输出有剩余的消息时，信道的传信率或熵速率就小于信道容量Shannon指出:可以通过适当的编码方法使信道的传信率无限接近信道容量无噪声离散信道的编码定理假设信源熵为H(bit/符号)，无噪声信道容量为C(bit/秒),则总可以找到一种方法对信源的输出进行编码，使得在信道上传输的平均速率为每秒(C/H-e)个符号，其中e为任意小的正数，但要使传输速率大于C/H是不可能的定理的逆命题，即速率不可能超过C/H可以这样说明，信源每秒送入信道的熵等于信源的熵速率，这个速率不能超过信道容量，也就是说H’<=C,并且每秒钟符号个数H’/H<=C/H为使信源与信道在统计意义上达到匹配，应当在信源信道之间加入编码器，使得从信道输入端来看，输入信源应当与使信道中熵最大的信源具有同样的统计特性，这就是信源信道之间达到最佳匹配理想和近似理想的编码系统均有长时间的延迟，实用性受限2.6信源与信道匹配的编码-编码定理(续1)有噪声离散信道的编码定理假设离散信源的熵速率为R，噪声信道容量为C(bit/秒)，如果R<=C,则存在一种编码方法，使信源的输出能以任意小的错误概率在信道上传输，如果R>C，就不可能有象R<=C时的编码方法定理本身没有给出编码方法，而是存在性！信源和信道给定后，编码器的设计分为两大类变换信源符号间的概率分布使之达到最佳，从而使信息传输速率任意逼近信道容量，这类编码称为有效性编码，主要针对信源特性实现信源与信道之间的匹配，也称为信源编码变换信源符号间的规律性或相关性，使之在一定传信条件下错误概率任意小，这类编码主要为了提高抗干扰性，称为抗干扰编码，针对信道特性而采取的措施，也称为信道编码有噪信道的编码定理在原则上给出了有效性和抗干扰性两方面的最佳统一，但目前没找到！2.6信源与信道匹配的编码-信源最佳化通信系统的传输效率就是指给定信道的信道容量利用率，表示信道的实际传信率与信道容量的比值无噪声信道中提高传输效率，基本任务就是要改造信源，使其熵最大化，此时，达到这个目的的过程就是信源最佳化的过程。而信源熵H(x)最大化的实际上就是找到一种最佳的概率分布根据熵函数的性质，在离散信源情况下，当各个符号彼此独立并且概率相等时，信源熵达到最大值2.6信源与信道匹配的编码-信源最佳化(续1)信源熵的最大化首先：进行符号独立化，解除符号间的相关性各个符号概率均匀化实际操作如果符号已经相互独立了，那就只需要概率均匀化一般先解除符号间的相关性，再进行概率均匀化问题：Huffman编码属于那一种？为什么？2.6信源与信道匹配的编码-符号独立化符号独立化解除信源各个符号间的相关性弱记忆信源和强记忆信源弱记忆信源(弱相关信源)信源符号序列中，只有相邻的少数几个符号之间有统计相关性，而距离较远的符号之间的统计相关性可以忽略不计怎么去相关？把相关性强的几个符号看成一个符号，这样这些大符号之间的相关性就小得多(延长或合并法)等价于把基本信源空间变成多重空间，重数越多越好吗？复杂性2.6信源与信道匹配的编码-符号独立化(例)二元序列:000101101011…,变成二重空间的四元序列00，01，01，10，10，11…,新序列的符号熵?原始信源序列的熵为条件熵2.6信源与信道匹配的编码-符号独立化(续1)强记忆信源(相关信源)信源符号序列具有很强的相关性，根据一部分可以推测出其余部分的符号可以根据统计特性做预测，能预测的不需要传送，例如只传送预测差值，从而节约信道容量--------预测法例如增量调制，差分编码调制(DPCM)别的方法也可以解除相关，压缩信源和提高传输效率模式识别技术，变换编码技术，