多媒体通信技术期末考点

第1章绪论1、根据国际电联体23、多媒体技术所涉及的媒体特指表示媒体，而且主要是指数字表示媒体。因此，也可以说多媒体就是多样化的数字表示媒体。和多媒体概念相对应的是单媒体，以往的信息技术基本上是以单媒体的方式进的匹配。4、多媒体通信的迅速发展主要得力于下列五项技术的发展：（如数据）好的物质基础。广域网WANMANLANBISDN字接口（FDDI）和异步转移模式（ATM）的开发应用已取得不少成功经验。了物理支撑环境。语音识别与处理，文字语音合成，声音数据压缩，图像识别与处理，文字，数据、声音和图这些都为多媒体通信的兴起和发展奠定了良好的理论和实践基础。5、多媒体通信的特征：集成性、交互性、同步性6ITU-T（国际电信联盟电信标准部ISO（化组织）IEC（国际电子技术委员会）三个机构。7、多媒体通信的关键技术：多媒体信息处理技术、多媒体通信的网络技术、多媒体通信的终端技术、移动多媒体通信的信息传输技术、多媒体数据库技术第2章多媒体信息处理的必要性和可行性1（1）数据量庞大（2）码率可变、突发性强（3）复合性信息多，同步性、实时性要求高2、信息压缩的可行性空间冗余空间冗余是在图像数据中经常存在的一种冗余。在任何一幅图像中，均有许多灰度或颜色都相同的邻近像素组成的局部区域，它们形成了一个性质相同的集合块，即它们之间具有空间（或空域）上的强相关性，在图像中就表现为空间冗余。时间冗余时间冗余是活动图像和语音数据中经常包含的冗余。活动图像中的两幅相邻的图像有较大的相关性，这反映为时间冗余。同理，在语音中，由于人在说话时其发出的音频是一个连续和渐变的过程，而不是一个完全的时间上独立的过程,因而存在着时间冗余。信息熵冗余（编码冗余）NN结构冗余知识冗余人们通过认识世界而得到某些图像所具有的先验知识和背景知识，由此带来的冗余称为知识冗余。视觉冗余在多媒体技术的应用领域中，人的眼睛是图像信息的接收端。而人类的视觉系统并不能对图像画面的任息敏感，对颜色的分辨率较弱等。其他冗余性所带来的冗余等。空间冗余和时间冗余是将图像信号看作为随机信号时所反映出的统计特征，因此有时把这两种冗余称为统计冗余。它们也是多媒体图像数据处理中两种最主要的数据冗余。3、数据压缩技术的性能指标压缩比据压缩的程度越高。在实际应用中，压缩比可以定义为比特流中每个样点所需要的比特数。重现质量重现质量是指比较重现时的图像、声音信号与原始图像、声音之间有多少失真，这与压缩的类型有关。压缩方法可以分为无损压缩和有损压缩。无损压缩是指压缩和解压缩过程中没有损失原始图像或声音的信息，所以对无损系统不必担心重现质量。有损压缩虽然可获得较大的压缩比，但压缩比过高，还原后的图像、声音质量就可能降低。压缩和解压缩的速度CD-ROM比解压缩要大。在静止图像中，压缩速度没有解压缩速度要求严格。15/s2530/s第3章音频信息处理技术1、掩蔽效应受四种要素的影响：时间、频率、声压级、声音品质2这一处理过程中涉及到模拟音频信号的采样、量化和编码。3、音频信息编码技术可分为三类：(DMADPCM码(SBC)和矢量量化编码（VQ）等等。号的数学模型对语音信号特征参数（主要是指表征声门振动的激励参数和表征声道特性的声道参数）进行提取及编码，力图使重建的语音信号尽可能保持原信号的语意，而重建的语音信号波形同原信号的波形kb/s（如卫星通信等性预测编码LPC。(3)混合编码。这种方法克服了原有波形编码与参数编码的弱点，并且结合了波形编码的高质量和参数编码的低数据率，取得了比较好的效果。混合编码是指同时使用两种或两种以上的编码方法进行编码的以优势互补，克服各自的不足，从而达到高效数据压缩的目的。无论是在音频信号的数据压缩中，还是后面章节将要描述的图像信号的数据压缩中，混合编码均被广泛采用。4增量调制一般增量调制就是所谓的“斜率过载”。01的，这种现象就叫做增量调制的“散粒噪声”。自适应增量调制（ADM）为减少斜率过载，希望增加阶距；为减少散粒噪声，又希望减少阶距。5、自适应差分脉冲编码调制6、子带编码7、变换域编码分配码字然后编码，收方解码后再用相应的反变换转换成时域信号。8、矢量量化VQ（Vector式分组，把这些分组数据看成一个矢量，对它进行量化。9、线性预测编码取语音的特征参数，然后对特征参数进行编码传输。第4章图像信息处理技术1、图像信号按其内容变化与时间的关系来分，主要包括静态图像和动态图像两种。图像分类还可以按其他方式进行：如按其亮度等级的不同可分为二值图像和灰度图像；按其色调的不同可分为黑白图像和彩色图像；按其所占空间的维数不同可分为平面的二维图像和立体的三维图像等等。（1YUV、YIQYCCbrAYUVYUVYUVYUVYUVYUV视机的兼容问题。YUV表示法的另一个优点是，可以利用人眼的视觉特性来降低数字彩色图像的数据量。人眼对彩色图像（即大面积着色原理PAL4.43MHz1.3MHz（22090颁布的一系列图像压缩国际标准中均采用分量编码方案。2、图像信号数字化与音频数字化一样主要包括两方面的内容：取样和量化。3、对均匀量化来讲，量化分层越多，量化误差越小，但编码时占用比特数就越多。4、数字图像压缩方法一般可分为：可逆编码（eersbleCongnormatonPresevngCong不可逆编码（Non-ReversibleCoding在一定的误差，但视觉效果一般是可接受的，它可提供较高的压缩比。按照压缩方法的原理，数字图像压缩方法可分为：预测编码（PredctieCodng。预测编码是一种针对统计冗余进行压缩的方法，它主要是减少DPCMADPCM变换编码TransformCoding像光强矩阵（时域信号）变换到系数空间（频域）离散傅氏变换DCT（离散余弦变换、DST（离散正弦变换Karhunen-Loeve量化和矢量量化编码VectorQuantization是一个很关键的步骤，量化器设计的好坏对于量化误差的大小有直接的影响。矢量量化是相对于标量量化而提出的，如果我们一次量化多个点，则称为矢量量化。信息熵编码（EntropyCodng。根据信息熵原理，用短的码字表示出现概率大的信息，用长的码字表示出现概率小的信息。常见的方法有哈夫曼编码、游程编码以及算术编码。子带编码Sb-bandCodng结构编码（trctreCodng，也称为第二代编码（econdGeneratonCodng求出图像中的边界、轮廓、纹理等结构特征参数，然后保存这些参数信息。解码时根据结构和参数信息进行合成，从而恢复出原图像。基于知识的编码Knowledge-BasedCodng识形成一个规则库，据此将人脸的变化等特征用一些参数进行描述，从而用参数加上模型就可以实现人脸的图像编码与解码。图像压缩算法的总体框图如图4.3-1所示。5、图像压缩算法的总体框图P68 图4.46这是熵编码的理论基础。7、哈夫曼（Huffman）编码方法编码步骤(1)（对概率相同的灰度级可以任意颠倒排列位置。（2）(1)步方法重排（个数已减少一个。如此重复进行，直到只有两个概率为止。（3）“1”“0”0.60“0”0.40“1”码（0.60“1”0.40“0”码4.50.40“1”来的。码字的最后一位码元一个赋予“0”码元，另一个赋予“1”0.600.370.23，则所得码字分别为“00”和“01”。前例哈夫曼编码的编码效率计算P728、DPCM像降质现象。理想的运动补偿预测编码应由以下四个步骤组成：图像划分：将图像划分为静止部分和运动部分。运动检测与估值：即检测运动的类型（平移、旋转或缩放等计，找出运动矢量。动补偿预测。9、变换编码不直接对原图像信号压缩编码，而首先将图像信号映射到另一个域中，产生一组变换系数，然后对这些系数进行量化、编码、传输。10、二值图像压缩标准图像压缩标准化工作主要由国际标准化组织ISOIEC）和国际电信联盟ITU-T）行。ITU-TG3G4G3MR（ModifiedREAD）G4G3MMR（ModifiedMR）算法。目前，这两种二值图像压缩标准广泛地应用于传真通信和文档存MMRG4JBIG，其主要原因是要改进二值中间色调图G3/G411、静止图像压缩标准JPEGJPEG（JointPhotographicExpertsGroup）成立于1986年，该标准于1992年正式通过。JPEG标准的目标和适应性为：有多种操作模式可供设计和使用时选择：·LosslessEncodingMode原数字图像相比不会产生任何失真。·DCT（DCT-basedSequentialEncodingDCT从上到下的顺序对原图像数据进行压缩编码。图像还原时，也是按照上述顺序进行。DCTDCT-basedProgressiveEncodingDCT的大致面貌，然后逐步细化直到全部还原出来为止。DCTDCT-basedHierarchicalEncodingDCT无损压缩编码JPEG（DPCM）单、易于实现，重建的图像质量好基于DCTDCT8×8DCTDCT化，并分别对量化以后的系数进行差分编码和游程长度编码，最后再进行熵编码。12、基于DCT的累进编码模式DCT13、JPEG的实现JPEGJPEG（1）（2）（3）充系统。14、目前世界上模拟彩色电视有PAL、NTSC、SECAM三种不同制式15、MB是作运动估计的基本单元，B是作DCT的基本单元。16、MPEG-1标准由系统部分、视频部分和音频部分组成。171）（IntrapicturesI预测画面PredictedPicturesP参数之用。插补画面BidirectionalPredictedPicturesB本身不作为参考画面使用，所以不必传送，但需要传送运动补偿信息。48×828×88×8DCT51基础是为这些同步关系建立一个独立于实现环境的抽象的描述模型。QoS等各种不确定因素带来的负面影响，实现多媒体同步规范描述的多媒体时态说明。2、同步的类型：上层同步、中层同步、底层同步3条件变化。由于各个相关媒体流可能来自不同的信源，每个信源所处的地理位置可能不同，每个媒体流选择的信道大节省信宿端缓存。此外还可以将这两种方法配合使用。抖动定义为最大时延与最小时延的差，也即时延的变化。网络抖动是指数据包从发送方到接收方网络I／O设备的传输过程中所经历的时延变化，这是由中间节点的缓存引入的。端系统抖动是指端系统中引起的时延变化，这些变化主要是由于系统负荷的改变以及媒体单元在各个协议层的打包拆包。抖动通常是在信宿端通过采用弹性缓冲区来补偿的。(NTP延的改变或媒体单元丢失率的增高。处理丢失单元的同步机制是重复播映前一个媒体单元的内容。4、目前较为流行的多媒体同步模型有三种：参考点同步模型、时间轴同步模型、层次同步模型。参考点同步模型的缺点是将连续媒体离散化，从而破坏了连续媒体之间的相互依赖关系，破坏了连续媒体的整体特性。同步模型。逻辑数据单元（LDU）同步容限第6章多媒体通信网络技术1、多媒体通信对通信网的要求吞吐要求实时性和可靠性要求时空约束分布处理要求2（PSTN（PSPDN字数据网DDN、窄带和宽带综合业务数字网NISDNISDN）（LANWANFDDIDQDB）网络，如有线电视网（CATV、混合光纤同轴网（HFC公共交换电话网（PSTN）窄带综合业务数字网（N-ISDN）计算机局域网（LAN）有线电视(CATV)网3、多媒体通信的实时通信协议InternetInternetInternet不是用于实时通信的，由于TCP/IP使实时通信的质量严重下降。另外，TCP协议负责数据的流量控制，保证传输的正确性，具有数据重发功能，这一点也不适合于实时通信。InternetUDP/IPUDPIP输的可靠性没有保障。为了解决这个问题，IETF提出了多种实时通信协议，这里主要介绍应用比较广泛的实时传输协议（RTP、实时流协议RTSP）和资源预留协议RSVP。4RTPRTCPRTCPRTPRTCP包的数量等统计资料。5、多媒体通信对通信网络提出了哪些要求？6RTPRTSP、RSVP71(RealtimeStreaming（ProgressiveStreaming）传输。2、流媒体播放方式1.单播2.组播3.点播与广播3、流媒体系统的基本构成户管理涉及用户的登记、授权、计费和认证。视频服务器管理媒体内容的播放。客户端播放系统主要PC第9章多媒体通信的应用1、根据ITU-T的定义，