水电大基2版-第6章 多媒体信息处理

1第6章多媒体信息处理本章目标了解多媒体技术的特点和应用领域掌握声音和图像的数字化原理了解多媒体文件的格式掌握声音、图像、视频的基本处理方法26.1多媒体技术和多媒体计算机（1）媒体（Medium）指信息的表现形式，如数字、文字、声音、图形、图像和动画。（2）多媒体（Multimedia）是指以上提到的信息中多种表现形式有机的结合。（3）多媒体技术用计算机交互式地综合处理多种媒体信息，使多种信息集成为一个具有人机交互功能系统的技术。36.1.1多媒体系统中使用的技术1．具有多媒体功能的芯片支持多媒体功能的CPU（MMX）和专门用于音频、视频处理的芯片2．光盘存储CD盘片容量650MB左右单面单层的DVD存储容量4.7GB单面双层DVD的容量8.5GBDVD盘片17GB43．输入输出技术媒体信息的数字化媒体的识别与理解数字化处理后的再现4．数据压缩技术大的存储空间和较高的传输速率的需要5．多媒体操作系统Windows2000、WindowsNT、WindowsXP、WindowsVista等。56.1.2多媒体计算机系统的组成1.硬件设备（1）外部输入设备包括光驱、麦克风、MIDI合成器、扫描仪、录音机、VCD/DVD、数码照相机、摄像机等。（2）外部输出设备包括音箱、立体声耳机、投影仪、刻录机、声卡、打印机等（3）功能卡作用：连接各种外部设备，完成音频、视频信息的数字化输入、编辑和输出种类：声卡、视频输出卡、VGA/TV转换卡等62.软件设备支持多媒体处理的软件包括音频处理软件、图像处理软件、视频处理软件、通信软件、VCD制作与光盘刻录软件等。73.多媒体计算机的标准MPC4（1）CUP要求Pentium133或200（2）内存16MB以上。（3）外存1.6GB以上的硬盘、3.5英寸1.44MB软驱（4）声卡：16位立体声、带波表44.1kHz/48kHz（5）图形：辨率为1280×1024/1600×1200/1900×1200，24/32位真彩色

……86.1.3多媒体技术的特点1．交互性从单向的被动接收到双向有选择的交互方式转变2．多样性处理对象从文字扩展到声音、图像、动画等多种形式3．集成性多种媒体信息有机的组织在一起，共同表达一个完整的多媒体信息，成为一体化系统。4．实时性要求系统有较高的传输速率。98.1.4多媒体技术的应用1．商业领域2．教育和培训3．远程医疗4．视听会议5．文化娱乐6．电子商务106.1.5流媒体技术简介流媒体一边下载，一边播放，实现了连续、实时地传送。优点应用在现场直播、突发事件报道等对实时性传输要求较高的场合缺点网络速率较低或拥塞时，会造成播放的时断时续。流媒体格式的文件：.asf、.rm、.ra、.mpg、.flv等116.2声音处理计算机处理声音的硬件要求安装声卡麦克风连接到声卡的MIC插孔音箱连接到声卡的SPEAKER插孔处理过程：数字化、保存和处理、还原126.2.1声音的数字化数字化将模拟的声音信号转变为数字音频的过程三个阶段采样、量化和编码13（1）采样采样每隔一段时间间隔读取一次声音波形的幅度值采样频率单位时间内进行采样的次数，通常用赫兹（Hz）表示。采样频率越高，经过离散的波形越接近原始波形，声音还原质量也越好，相应地，保存这些信息所需的存储空间也越大奈奎斯特采样定理当采样频率高于输入信号中最高频率的两倍时，可以从采样信号中无失真地重构原始信号。14（2）量化量化对采样后得到的幅度的值连续信号将其幅度取值数量加以限定离散值的个数与采用的编码的二进制位数有关15（3）编码将量化后的幅度值用二进制编码进行表示采样精度是指用来表示量化级别的二进制数据的位数，也叫样本位数、位深度，常用的有8位和16位。例如：采样精度为8位，可以表示28即256种幅值；采样精度为16位，可以表示65536种不同的幅值。采样精度越高，声音质量越高，需要存储空间越大166.2.2声频卡简介1.声频卡的关键技术（1）数字音频:要求必须具有大于44.1kHz的采样频率和16位的编码位数。（2）音乐合成:主要有FM合成和波形表合成。（3）MIDI乐器数字接口:规定不同厂家的电子乐器和计算机连接的方案和设备之间数据传输的标准。（4）音效:在硬件上实现回声、混响等各种效果172.声频卡的主要技术指标（1）采样频率11.025kHz、22.05kHz和44.1kHz或更高（2）编码位数保存每个采样值使用的二进制编码位数，当前声卡中常用的有8位、16位和32位（3）声道数产生声音的波形个数，一般为1个（单声道）或2个（立体声）。183.存储容量和数据传输率（1）存储容量计算公式存储容量（字节）=采样精度×采样频率×声道数×时间/8（2）数据传输率数字化1秒钟的声音或还原1秒钟的声音所需传输的数据位数计算公式：数据传输率（b/s）=采样精度×采样频率×声道数19例题计算1秒钟声音的数据量和1分钟声音所需的存储空间，已知采样频率为44.1kHz、采样精度16位、立体声双声道。根据公式，1秒钟声音的数据量为：16×44.1kHz×2×1/8＝176400Byte=172.265625KB而存储1分钟这样的声音所需的存储空间为：176.4KB×60秒=10335.9375KB=10.09MB20213.声音数据的压缩压缩的原因声音经数字化后的编码数据量较大，为保存这些数据就需要较大的空间为实现实时处理，需要及时传输这些数据，这又要求有较高的传输率226.2.3常用的声音文件1.WAV文件Microsoft为Windows提供标准音频格式文件扩展名为.WAV事实上的通用音频标准格式WAV文件主要由采样数据组成，文件的大小与采样频率、编码位数和声道数有关主要缺点:文件占用的空间较大232.MP3文件MP3文件可以实现12:1的压缩比例音质接近CD、制作容易，目前网上使用最多的音频文件格式几乎所有的音频编辑工具都支持MP3文件243.MIDI文件MIDI是MusicalInstrumentDigitalInterface的缩写，即乐器数字化接口规定了电子乐器和计算机之间进行联接的硬件及数据通信协议采用数字方式对乐器演奏出来的声音进行记录，在播放时对这些记录进行合成文件扩展名是.MID，占用存储空间比音波文件小得多4.CD-DA格式光盘数字音频文件，俗称CD音乐，音质较好的音乐256.2.4声音的录制与播放Windows中的录音机程序功能录音、播放、混合声音、添加回音、加速、减速和反向等简单的音频处理。启动：执行“程序”|“附件”|“娱乐”|“录音机”命令26主要操作1．录制声音2．以不同的格式保存声音文件3．删除声音文件中的一部分4．在当前文件中插入另一个声音文件276.2.5WindowsXP中音量的控制执行“程序”|“附件”|“娱乐”|“音量控制”命令，打开“音量控制”窗口。286.3图形图像处理6.3.1图像的数字化（1）采样将连续图像在二维空间上进行离散化处理采样方式：逐行顺序进行，假设在水平、垂直两个方向上分别取M和N个相等的间隔，那么就可以得到M×N个点，每个点称为一个图像元素，简称像素（Pixel）或像元29（2）量化对采样后每个像素点的处理：单色图像：将每个点量化为两个级别，分别是0和1黑白图像：将每个点的灰度进行离散化，划分纯白色和纯黑色和介于这两者之间的不同程度的灰色彩色图像：要将每个点的颜色的值进行离散化，也就是使用不同的颜色模型进行颜色编码量化的等级和像素的颜色编码位数有关30（3）编码将量化后的每个点的灰度级别或颜色用不同的二进制编码表示，用这种编码表示的图像就称为数字图像。像素深度（位深度）为每个像素点的颜色或灰度进行编码所使用的二进制数的位数。像素深度的值越大表示的颜色数越多，色彩也越丰富逼真，占用的存储空间越大。312.像素点编码使用的颜色模型（1）RGB模型计算机中分别将三种颜色（红绿蓝）按深浅程度分为256个级别，取值范围0~255255级是纯红、纯绿或纯蓝三种颜色值的不同比例表示不同颜色322.像素点编码使用的颜色模型（2）HSB模型使用颜色的三个特性来区分颜色，即色调、饱和度和明度（3）CMY模型任何一种颜色可以用青色、品红和黄色三种基本颜色按一定的比例混合得到336.3.2数字图像的属性参数和表示方法1．图像的属性参数（1）图像分辨率对图像采样后得到的像素数目称为图像分辨率，用“每列点数×行数”表示例如，640×480表示图像有480行，每行有640个像素34（2）扫描分辨率是指对图像进行采样时，单位距离内采样的点数用每英寸点数DPI（dotsperinch）表示例如，如果用300DPI来扫描一幅尺寸为4英寸×5英寸的图像，就得到一幅1200×1500个像素的数字图像扫描分辨率越高，像素点就越多，图像越细腻（3）显示分辨率显示分辨率是指显示屏上可以显示出的像素数目，数目的多少与显示模式有关。35（4）像素深度（位深度）为表示每个像素点的颜色或灰度进行编码所使用的二进制数的位数。像素深度的值越大表示的颜色数越多，色彩也越丰富逼真，占用的存储空间越大。常见的像素深度：1位：表示黑白图像4位：表示16色图像或16级灰度图像8位：表示256色图像或256级灰度图像24位：表示真彩色图像，有224种颜色362.图像的表示方法（1）位图图像用二进制编码来描述图像的每个像素点的颜色或灰度，这种图像叫位图图像影响位图文件大小的因素分辨率越高，组成一幅图像的像素越多，图像文件越大像素深度越深，表示单个像素颜色的位数越多，图像文件也越大。位图文件占据的存储空间比较大37（2）矢量图像使用一系列指令描述一幅图所包含的直线、矩形、圆、圆弧、曲线等的形状、位置、颜色等属性和参数例如，直线的描述：line，start_point，end_point

圆的描述：circle，center_x，center_y，radius矢量图像不会随图像尺寸的改变而改变，也不存在采样分辨率的问题，只与显示的尺寸和显示分辨率有关矢量图像文件所占空间较小386.3.3图像的压缩1．压缩的必要性例1计算用位图文件存储一幅分辨率为352×288的静态真彩色图像需要的存储空间。解：图像文件大小的计算公式：文件字节数=每行列数×图像行数×颜色深度÷8对于真彩色，每一个像素点用24位来记录，因此该图像需要的存储空间为：352×288×24/8B=304128B（字节）39例2计算1分钟视频所需的存储空间，该视频每秒钟25帧，每帧图像分辨率为352×288，不计算音频数据 解：由上题，每一帧占的空间为304128B，因此，1秒钟视频所占有的存储空间为：304128B×25×60=456192000B=435.06M40结果分析：存储视频信息所需要的存储容量非常大数据的传输速度也无法满足结论：必须进行压缩。412．压缩的可能性压缩依据：在声音和图像中存在大量的冗余（1）静态图像中存在的空间冗余一幅图像大部分区域具有相同的亮度和颜色只记录相同值和连续重复出现的次数（2）动态视频中存在的时间冗余视频序列中，相邻的两帧图像之间具有相同的画面或者几乎相同的画面，两者之间变化部分较少对第二张图像只需要记录和前一张图像之间的差别423．压缩的方法（1）无损压缩经过压缩后可以将原来文件中包含的信息完全保留的一种数据压缩方式常用的无损压缩编码有行程编码(runlengthencoding，RLE)、哈夫曼编码(Huffman)行程编码：将原始数据中连续出现的符号用该符号出现的次数和该符号本身来代替43行程编码示例下面是一幅图像在某一行各个像素点的颜色值：44每个像素点用3个字节，未压缩时所需存储空间：50×3B+2×3B+1×3B+9×3B+72×3B=402BRLE编码为：50（200，30，100）2（255，255，255）1（0，5，5）9（0，0，0）72（200，30，100）。需要的存储空间：（2B+3B）+（2B+3B）+（2B+3B）+（2B+3B）+（2B+3B）=25B压缩比为402:25即16.08:145图像压缩的原理前提：图像中连续多行上都具有相同的颜色一行中有许多连续的像素都具有相同的颜色值压缩方法：存储一个像素的颜色值和具有相同颜色的像素数目存储一个像素的颜色值和具有相同颜色值的行数46（2）有损压缩经压缩后不能将原来的文件信息完全保留的压缩，称为有损压缩，这是不可逆的压缩方式。有损压缩的依据，在原始信息中存在一些对用户来说不重要的、不敏感的、可以忽略的内容。476.3.4图像的基本处理技术（1）点处理对某个像素点进行亮度调整、对比度调整、负片处理、色度调整等（2）局域处理对某个像素点及其周围区域内的像素进行处理，主要有平滑处理、模糊处理、锐化处理、浮雕效果、拖尾处理、马赛克处理和图像复原处理等（3）几何处理改变图像中某些区域的内容、形状和位置等，例如翻转、旋转、平移和缩放486.3.5常用的图像文件格式1．BMP格式位图文件，扩展名是.bmp，Windows的标准图像格式特点：一个BMP文件只能存放一幅图像；图像数据可以采用压缩或不压缩的方式存放；可以分别用1位、4位、8位和24位表示单色、16色、256色以及真彩色四种图像格式的数据。文件占用的存储空间较大。492．GIF格式GIF是GraphicsInterchangeFormat即图形交换格式的缩写，该格式文件的扩展名为.gif，可以用1~8位表示颜色，因此最多为256色.采用无损压缩存储。生成的文件比较小，非常适合网络的传输。503．JPEG格式JPEG是静态的数字图像数据压缩编码标准，文件扩展名为.JPG。用于灰度图像和彩色图像。使用有损压缩算法压缩时可以调节压缩比，调节范围是2:1~40:1Internet上的主流图像格式4．PCX格式PCX格式的图像由Zsoft公司设计，该格式支持256色515．TIF格式TIF是TaggedImageFormat的缩写，标志图像格式最复杂的图像文件格式标准支持的颜色从单色到真彩色图像文件可以是压缩的和非压缩的其他：TGA格式、PCD格式、EPS格式、3DS格式、DRW格式和WMF格式等526.3.6常用的图像处理软件Micorsoft“画图”的工具箱绘图工具：直线、矩形、椭圆、铅笔选择笔画的粗细选择编辑区域文字工具532.AbobePhotoshop美国Adobe公司的图像处理软件。主要功能：调整和改变图像属性：色彩的明暗、浓度、色调、透明度等；变形：旋转、拉伸、倾斜等变形操作；滤镜：产生特殊效果，如浮雕效果、动感效果、模糊效果、马赛克等等；图层和通道处理：提供丰富的图像合成效果543.PhtotImpactPhotoImpact是Ulead公司的位图处理软件功能：影像特效制作3D字型效果立体对象制作gif动画制作及多媒体档案管理等554.ACDSee图像浏览软件可以浏览多种常见格式的图像文件主要包含了两个相互独立又相关的软件：ACDSeeBrowser和ACDSeeViewer。565.FireWorks一款功能强大的专业级图像处理软件，既可以编辑网页图像，也可以制作网页动画，并且将位图图形的编辑和矢量图形的编辑合为一体。主要特点：（1）具有图像处理和网络处理的功能；（2）使用多种图像格式；（3）具有丰富的图像效果，例如浮雕、投影、笔触等；（4）图形优化功能。（5）和PhotoShop相同的图层概念。576.4视频和动画数字视频简称DV（DigitalVideo），是指以数字化的方式表示连续变化的图像信息数字视频的产生方法：利用计算机生成动画，例如将FLC等动画格式转换成AVI视频格式把静态图像序列组合成视频文件序列通过视频采集卡把模拟视频转换成数字视频58描述视频信息的技术参数（1）帧速表示每秒钟播放的静止画面数，用帧/秒表示。（2）数据量一个未经过压缩的视频数据量是每帧图像的数据量乘以帧速。（3）画面质量画面质量除了与原始图像质量有关，也和视频数据的压缩比有关596.4.1数字视频的MPEG标准数字视频标准主要由MPEG(MovingPictureExpertGroup)运动图像联合专家组制定。MPEG采用的编码算法简称为MPEG算法，以MPG作为文件的扩展名。601.MPEG标准系列（1）MPEG-1MPEG专家组1991年制定的标准，用于大约1.5Mbps的数字存储媒体的运动图像及其伴音编码，最大压缩可达约200:1。（2）MPEG-21994发布，是直接与数字电视广播有关的高质量图像和声音编码标准。适合4～15Mbps介质传输，应用在数字广播电视、DVD、VOD、交互电视等61（3）MPEG-4多媒体的应用标准，制定该标准的目标有3个，即数字电视、交互式图形应用和交互式多媒体应用。传输速率在4.8～64kbps之间，可以应用在移动通信和公用电话交换网上，并支持可视电话、电视邮件、电子报纸和其他低传输速率场合62 2．MPEG的压缩原理动态图像帧与帧之间的特点：动态图像以每秒25帧播放，在如此短的时间内，画面通常不会有大的变化画面中变化的只是运动部分，静止部分往往占有较大面积MPEG压缩的基本思路：（1）每隔若干帧（例如30帧）保存一幅原始帧；（2）每一幅原始帧可以采用JPEG的压缩算法保存；（3）两个原始帧之间的各个帧采用差异帧，仅仅记录该帧和前一帧不同的地方。636.4.2视频文件的常用格式1．AVI格式AVI（AudioVideoInterleaved）是一种音频和视频交叉记录的数字视频文件格式。AVI文件的主要参数：（1）帧分辨率（2）帧速（3）视频与伴音的交错参数（4）压缩参数642．RM格式RM（RealMedia）格式RealNetworks公司开发的流媒体视频文件格式可以根据网络的不同传输速率制定不同的压缩比率RM主要包含三部分：（1）RealAudio简称RA，用来传输接近CD音质的音频（2）RealVideo用来连续传输视频数据，可以边下载边播放（3）RealFlash是RealNetworks和Macromedia联合推出的高压缩比动画视频格式653．ASF格式ASF(AdvancedStreamingFormat)格式是由Microsoft公司推出的一种高级流媒体格式，也是一个可以在Internet上实现实时播放的标准，使用MPEG-4的压缩算法。664．DV格式DV（DigitalVideo）格式是一种国际通用的数字视频标准，是由Sony和Panasonic等10余家公司共同开发的一种家用数字视频格式，DV摄像机就是以这种格式记录数