多媒体复习资料

第一章思考：计算机数据处理方式的发展历程0/1数值，转换为二进制字符，ASCII码，GB2312码图形，图像，音频，视频。多媒体技术媒体媒体（Media）是信息表示、存储和传输的载体根据媒体的时间依赖性不同，媒体分成两种类型：离散媒体和连续媒体离散媒体是独立于时间的媒体，如文本、图形、图像。连续媒体（时基媒体）：是依赖于时间的媒体，如声音、视频，不仅用一系列值表示，而且要指出相应值出现的时间，信息的表示与时间有关多媒体：定义：多媒体是指信息表示媒体的多样化，包括文本、图形、图像、声音、音乐、动画、视频等性质：多媒体是多种信息载体的表现形式、存储和传输方式的有机集合多媒体技术：定义：计算机综合处理多种媒体信息，在文本、图形、图像、音频和视频等多种信息之间建立逻辑关系，并连同多媒体设备一起集成为一个具有交互性能的应用系统的技术简言之，多媒体技术就是计算机综合处理声、文、图等信息性质:多媒体系统具有多样性、集成性、实时性和交互性多样性:包含的媒体种类非常丰富集成性:媒体集成性“表示媒体集成气设备的集成性“表现媒体集成”实时性:声音、视频与时间密切相关，（多媒体信息处理、传输实时）交互性:低级（检索）、中级（介入信息过程）、高级（VR）交互感觉媒体:能直接作用于人的感官，使人直接产生感觉的一类媒体（作用于人）主要研究表示媒体:计算机对信息的表示方法的描述。是为了加工、处理和传输感觉媒体而人为研究、构造出来的一种媒体（作用于计算机）表示媒体具体体现为:编码表现媒体:感觉媒体和用于通信的电信号之间转换用的一类媒体，分为输入表现媒体和输出表现媒体。如打印机、音箱、MIDI键盘，扫描仪、键盘、鼠标。除此之外，还有耳麦、轨迹球、绘图仪等（用于人与计算机交互）存储媒体:用于计算机存放表示媒体，以便计算机随时处理、加工和调用信息编码。常用的有光盘、硬盘、磁带、活动硬盘、优盘等广义存储媒体：报纸、书籍、杂志等平面媒体（也是新闻学意义上的传播媒体传输媒体:用于传输表示媒体，将表示媒体从一处传送到另一处的物理载体。如双绞线、同轴电缆、光纤等存储媒体 传输媒体多媒体技术的研究内容多媒体硬件支持技术多媒体基本处理设备多媒体输入/输出设备多媒体转换设备多媒体数据存储技术多媒体通信设备支持多媒体应用的软件技术多媒体操作系统多媒体创作工具基础多媒体技术多媒体数据编码压缩技术高级多媒体技术多媒体信息的组织与管理技术多媒体网络和通信技术分布式多媒体技术基于内容的检索技术多媒体智能监控技术虚拟现实（VR）技术增强现实（AR）技术多媒体安全语音识别文语转换多媒体信息的组织与管理表现层：超文本HTMLXML存储层：多媒体数据库VRAR多媒体技术研究内容总结获取：包括硬件技术及软件技术，我们可以研究软件技术，包括采样、量化表示：软件技术，我们可以研究，包括表示方式、编码方式、压缩技术表现：主要是硬件技术，我们不研究存储：主要是硬件技术，我们不研究传输：包括硬件技术及软件技术，我们可以研究信源编码、加密、信道编码处理：主要是软件技术，与具体的媒体特性有关多媒体系统的体系结构/多媒体应用系统、,多媒*创作系统j媒体制作平台与工由多媒体核心系统\/多媒体计算机硬件系统、/多媒体外围设备\多媒体应用系统：针对某一主题设计开发的具体多媒体应用系统多媒体创作系统：用于生成各种多媒体应用系统媒体制作平台工具：多媒体数据的采集、制作及编辑（Photoshop）多媒体核心系统：核心是多媒体操作系统，还包括设备驱动程序多媒体计算机硬件系统：包括多媒体计算机主机系统及各种外围设备的接口部件多媒体外围设备：包括音频、视频等多种媒体的输入/输出设备和装置，通信（网络）传输设备及装置数字图「符号、图表、图形、图像」离散化：（采样）「空间、时间」、（量化）幅值编码香农采样定理：采样频率是图像变化最高频率的2倍时，能保证由离散图像数据无失真地恢复原图色彩要素：色调、饱和度、亮度注视点：注视点一般集中在高频部分颜色模型：.RGB颜色模型（显示设备）.CMYK颜色模型（打印设备）•HSL颜色模型（人眼）灰度=0.299R0.587G0.144B.YUV（彩色电视）4:1:1Y-亮度信号，U、V-色差信号（B-Y,R-Y）YIQ（彩色电视）Y-亮度，I和Q-色差信号Lab颜色模型Index（索引）色彩模式Grayscale（灰度）模式Binary（二值）模式RGB相加混色模型CMYK相减混色模型HSLH色调S饱和度L亮度Lab生成的颜色与使用设备无关Index索引8bit表示，最多使用256种颜色（颜色存放在调色板）Grayscale灰度8bit表示，最多使用256级灰度Binary二值1bit表示通过抖动可以模拟灰度图像真彩色伪彩色直接色BMP压缩00:行的结束01：图像结束02:后2个字节表示下一个像素从当前开始的水平和垂直位置的偏移量0,第2个字节为0x03~0xFF之间的一个值（绝对方式）：第2个字节表示跟在这个字节后面的字节数，每个字节包含单个像素的颜色索引。压缩数据格式需要字边界对齐第1个字节非0（编码方式）：第1个字节指定使用相同颜色的像素数目，第2个字节指定使用的颜色索引BMP文件头14字节+40字节BMP信息头文件大小=54+调色板大小+像素大小+（2Bytes"对齐”）TIFF「文件头+IFD、数据」RGB无压缩、RLE压缩、JEPG压缩第三章音频：「声音、语音、音乐」声音的听觉心理特性、声音信号数字化方法及其与图像数字化的区别声音分类：（声音特性）不规则声音：噪音规则声音：语音、音乐、音效（频率）次音信号＜20Hz音频信号20Hz~20kHz其中300〜3000Hz为话音信号超声波信号＞20kHz声音的听觉，心理特性音调、响度、听阈：人能听到的最低声压级痛阈：当声压级增大到一定强度时，人耳会感到不适或疼痛掩蔽效应（频域掩蔽「一个强纯音会掩蔽在其附近同时发声的弱纯音」、时域掩蔽「时间上相邻的声音之间也有掩蔽现象」）：声音数字化：采样、量化、编码（数据+控制信息）音频质量：采样频率、采样精度（量化位数）和声道数奈奎斯特采样定理：采样频率高于信号最高频率的两倍，就可以从采样中完全恢复原始信号的波形。因此，采样频率不应低于声音信号最高频率的两倍数据率（字节/每秒）=采样频率（Hz）x样本精度（位）x声道数8MIDI电子乐器数字接口：MIDI是动作指令MIDI音乐设备「音源、音序器、输入设备」动态图像：原理：视觉暂留动画：视频：泛指将一系列的静态影像以电信号方式加以捕捉，纪录，处理，储存，传送，与重现的各种技术彩色空间变换：不同色彩格式间的转换第五章冗余：多媒体数据冗余：统计冗余（空间冗余、时间冗余）、结构冗余、知识冗余、感知冗余（视觉冗余、听觉冗余）信息表达冗余：信息熵冗余统计冗余：时间冗余:相邻的2帧中会有大量的区域有相同或相近的数据，形成帧间的数据冗余，即时间冗余（音频数据亦然）空间冗金：在同一个静态图像或画面中，有部分区域数据值一样或相差不大，形成空间冗余结构冗余:图像存在着明显的分布模式知识冗余:许多图像的理解与某些基础知识有相当大的相关性。如人脸的图像有固定的结构感知冗余:听觉、视觉等冗余视觉：「亮度和色度、高亮度区和非高亮度区、边缘和非边缘」信息熵冗余：信息熵:一组数据所携带的平均信息量（不确定性的度量）：H土N-lP"

取值范围：0<H（x）<log2NN为数据的种类（信源符号）的个数Pi为第i个信源符号出现的概率平均信息量乘以数据的个数，就是整个一组数据的信息量信息的表达存在冗余，称为信息熵冗余信源编码器模型编码器输出码字的平均码长：d=£niP（xi）d>>H（x）有冗余，称为信息熵冗余d<H（x）不可能d~H（x）最佳编码原始图像冗余度编码效率数据压缩方法分类根据解码（解压缩）后数据与原始数据是否完全一致•可逆编码（无失真编码，无损编码,lossless）Huffman编码、算术编码、游程长度（RLE）编码等统计编码•不可逆编码（有失真编码，有损编码，lossy）变换编码和预测编码根据数据压缩的原理统计编码针对信息嫡冗余，即信息表达冗余(游程(RLE)、Huffman编码、算术编码)预测编码针对统计冗余，即多媒体信号的相关性变换编码针对感知冗余，即多媒体信号的人类感知冗余其他编码游程编码RLE：(PCX、Targa)Huffman编码：变长编码，编码效率高，依赖于信源的统计特性算数编码：基本参数「符号的概率和它的编码间隔」，整个消息只产生一个码字，精度在64位以内，区别于Huffman编码的是，它是根据信源符号估计出各个元素的概率，然后进行迭代计算。而不Huffman编码必须预先得知信源的出现概率1 e0,5ea0.26eai0,2360.2 0.2 0.23词典编码：第一类:用已经出现过的字符串替代重复的部分，输出仅仅是指向早期出现过的字符串的“指针”。LZ77算法

第二类：创建一个“短语词典”。编码中遇到已在词典中出现的“短语”时，输出词典中的短语的“索引号”。LZ78算法LZW压缩编码：LZW不需要传输压缩编码时建立的词典，而是在解压缩时建立词典，此点不同于Huffman编码。但需要初始化词典/表/串表ABABA读入的字符上次的当前申无串登加结果查找重复项97(A)输出代码新添加表项当前串重新赋值BAAB无97AB-25SBABBA无98BA459ABAAB细AABABA无祝ABA-260A结束A97流结束标志输出数据StringoQcode)读入的字符（code）Combine(string)newtable(string-code)97CA>AA98(B)AB25S:ABB25S(AB}BAAB97CA>ABA260:ABAAEOF衡量数据压缩技术性能的三个指标压缩比（压缩效果）：压缩前数据量/压缩后数据量算法复杂性和运算速度（压缩效率）：｛对称压缩非对称压缩失真度（压缩质量）预测编码（压缩数据的空间冗余和时间冗余）根据离散信号之间存在一定的相关性的特点，利用前面的一个或多个信号对下一个信号进行预测，然后对实际值和预测值的差值进行编码压缩对象声音：声波的下一个幅度、音色图像：下一个像点、下一条线或帧特点简捷且易于实现要求数据传输速度很高，需要前面多个信号参与预测压缩能力有限，预测差值不一定可以大量压缩变换编码（感知冗余有损压缩编码变换->变换域采样->量化对欲编码的原始数据所在的时间或空间域从一种信号空间变换到另一种信号空间，产生一批变换系数，使得通过变换后能够突出原始数据中的重要部分，以便重点处理。然后再对这些系数进行编码处理（突出重要性）关键是要寻找一个最佳变换各种编码方式的比较ASCII码、GB2312码针对单个信源符号编码定长码消息的编码由消息中各个信源符号编码连接而成解码时需要编码规则（即相应的编码表）解码方式为查表方式无错误传播Huffman编码针对单个信源符号编码变长码消息的编码由消息中各个信源符号的编码连接而成解码时不需要信源符号的概率统计模型，但需要相应的编码规则表Huffman表），使用固定概率模型时对于不同的消息，可以使用相同的编码规则表解码方式为查表方式有错误传播算术编码针对消息编码变长码不产生单个信源符号的编码，直接得到消息的编码解码时需要信源符号的概率统计模型，不需要其它表解码方式为根据信源符号的概率统计模型进行有错误传播LZW编码针对单个信源符号或若干个信源符号的组合编码（即可能多个信源符号被看作一个信源符号）定长码消息的编码由消息中各个信源符号或信源符号的组合的编码连接而成解码时不需要信源符号的概率统计模型，不需要词典，但需要初始词典，解码过程中生成词典解码方式为查表方式有错误传播（虽然是定长编码，但在解码过程中需要生成词典。如果存在错误，可能导致生成词典出错，甚至无法生成词典）瑞码名称编码对象京阁变匕消息编冯为式解诰规则解电£错谡用播ASCII码GB23L2妈单个信源符号定长码由消息中各个信源符号编妈连接而成需要蝙战规则表查表无毕个信源符号黎码由消息中各个信源符号编码连接而成不需要信源符号的概率统计模型需是编码规则表（Huffrnan表）查表有算术蝙码消息不产生单个倩源符号的编码’直接得到消息的编妈需要信源符号的概率统计模型,不需要共它表根据侑源符号的概率统计模型进行有LZW编码单不信源符号或若干个信源符号的组合编码《即可能多个信源符号祐看作一个信源符号】定长玛由消息吊答个佰源符号或信傩符号的组合的蝙码连接而成不需要信源符号的概率统计模型，不需要词感,回需要初始词典'解码过程中生成词典直表有音频译码器：波形编连码器：对模拟语音信号进行采样，然后进行幅度量化与二进制编码（简单，失真最小）音源编译码器：以声音信号产生的模型为基础，将声音信号转换成参数后再进一步编码（压缩率大，计算量大，保真度不高，保密性能好）混合编译码器：PCM:脉冲编码调制模拟声音信号->（防失真滤波器〉波形编码器）->PCM样本采样频率为声音频率的2倍DM：增量调制（预测编码）缠过载（反馈回路输出信号的最大变化速率受到量化阶大小的限制）、粒状噪声（在输入信号缓慢变化部分，即输入信号与预测信号的差值接近零的区域，增量调制器的输出出现随机交变的“0”和“1”）矛盾：在输入信号变化快的区域，斜率过载是关心的焦点；在输入信号变化慢的区域，关心的焦点是粒状噪声，为了尽可能避免出现斜率过载，就要加大量化阶△，但这样做又会加大粒状噪声；相反，如果要减小粒状噪声，就要减小量化阶△，这又会使斜率过载更加严重DPCM:差分脉冲编码调制原理同预测编码区别：PCM:量化绝对值

DM:量化相对值（2值量化）DPCM:量化相对值（多值量化）量化均匀量化非均匀量化：在满足精度要求的情况下用较少的位数来表示（大的输入信号采用大的量化间隔，小的输入信号采用小的量化间