第五章 数字媒体及应用

第五章数字媒体及应用Chapter5DigitalMediaandItsApplicationChapter5DigitalMediaandItsApplication什么是数字媒体？“媒体”指的是信息的各种表示形式（如数值、文字、图象、声音、视频等）数字媒体就是数值、文字、声音、图像等的二进制数字表示数字媒体是随着计算机功能的不断增强、计算机应用的不断深入而发展起来的5.1文本与文本处理文本:基于特定字符集的、按一定格式组织起来的、具有上下文相关性的一个字符流，每个字符均使用编码表示。文本展现（阅读器）文本处理（文本处理软件）文本生成其他媒体电子文本文本编辑（编辑器）格式化的电子文本网络传输计算机对文本的处理5.1.1字符的编码TheEncodingofCharacter美国标准信息交换码(AmericanStandardCodeforInformationInterchange)：使用7个二进位对字符进行编码（叫做标准ASCII码），称为ISO-646标准。基本的ASCII字符集共有128个字符96个可打印字符（常用字母、数字、标点符号等）32个控制字符特殊字符的ASCII码空格（32）A（65）a（97）0（48）ASCII字符集和ASCII码0123456789ABCDEF控制字符01234567b3b2b1b0b6b5b4(ASCIICodeSet)汉字编码字符集汉字是记录汉语（国语，华语）的文字，属于表意文字，它用符号直接表达词或词素。汉字的特点：数量大（我国汉字自古至今累计已超过7万字,国家语委颁布的“现代汉语通用字表”包含7000汉字）多个国家和地区使用：港台地区，日、韩、朝、新、马等字形复杂，同音字多，异体字多。我国汉字编码的国家标准：GB2312-80（6763个常用简体汉字和682个非汉字字符）GBK-95（21003个汉字和883个图形符号）GB18030-2000GB2312字符集及其码位分布GB2312字符集及区位码在双字节代码空间中GB2312汉字内码的码位分布

（3）UCS/Unicode与GB18030汉字编码标准（a）通用编码字符集UCS/Unicode优点：编码空间极大，能容纳足够多的各种字符集（13亿字符）缺点：4字节的字符编码使存储空间浪费严重欧洲及中东地区使用的拉丁字母、音节文字各种标点符号、数学符号、技术符号、几何形状、箭头及其他符号中、日、韩（CJK）统一编码的汉字汉字的编码（十二）TheEncodingofChineseCharacter5.1.2文本的准备ThePreparationofText文本的准备文本信息的输入：文本的编辑（使文本内容正确，版面清晰整齐、美观大方）：对字、词、句、段落进行添加、删除、修改等操作；字的处理：设置字体、字号、字的排列方向、间距、颜色、效果等；段落的处理：设置行距、段间距、段缩进、对称方式等；页面布局处理：设置页边距、每页行列数、分栏、页眉、页脚等。5.1.3文本的分类与表示TheTypesandPresentationofText文本的分类按是否格式化分：简单文本(plaintext)/丰富格式文本(richtext)按结构分：线性文本/超文本(hypertext)按是否可执行来分：静态文本/动态文本/主动文档简单文本（plaintext）：是由一连串用于表达正文内容的编码字符（包括汉字）所组成，它几乎不包含任何其他格式信息和结构信息。这种文本通常称为纯文本，其文件后缀名是.txt特性：呈现为一种线性结构，以行、字为单位，是顺序写作与阅读最通用的文本文件格式。文件体积小，阅读不受限制，几乎所有的文字处理软件都能识别和处理。但不能插入图片、表格等，不能建立超链接。简单文本（纯文本）PlainText丰富格式文本：文本的格式化，设置文本的字体、字号、颜色、段落等格式，使文本整齐、美观、大方，也称排版。richtext、fancytext、formattedtextRTF格式文本：由于不同软件制作的丰富格式文本相互不兼容，为了便于丰富格式文本能在不同的软件和系统中互换使用，一些公司联合提出了一种公用的中间格式，称为RTF格式。多媒体文档（MultimediaDocument）：许多应用场合需要在文本中插入图、表、公式，声音、视频。其中含有声音、视频信息的文本称为多媒体文档。

丰富格式文本RichFormattedText线性文本：顺序阅读方式超文本(hypertext)的阅读方式传统的顺序式阅读通过链接、跳转、导航、回溯等操作实现跳跃式阅读，实现对文本内容的方便访问。超文本的结构：

网状结构，各信息块按照其内容的关系互相链接节点（node）：一个文本块（标题、字、词、图片等）超链（hyperlink）：定向指针链源（起点位置）、链宿（链接的目标）超文本(Hypertext)5.1.5文本的展现打印输出屏幕显示ThePresentationofText文本输出：在屏幕上显示文本，用打印机打印文本，进行阅读、浏览。文本输出过程：首先要对文本的格式描述进行解释，然后生成文字和图表的映像（bitmap），最后再传送到显示器或打印机输出。文本阅读器：承担上述文本输出任务的软件，也称为浏览器。它们可以是嵌入在文本处理软件中的一个模块，如微软的Word，也可以是独立的软件，如Adobe公司的AcrobatReader，微软公司的IE等。文本的输出（一）TheOutputofText文字（汉字）字形的生成过程：先根据字符的字体确定相应的字型库（font），再按照该字符的代码从字型库中取出该字符的形状描述信息，然后按形状描述信息生成字形，并按照字号大小及有关属性（粗体、斜体、下横线）将字形作必要的变换，最后将变换得到的字形放置在页面的指定位置处。字型库：简称字库，同一种字体的所有字符(例如GB2312中的7000多字符)的形状描述信息的集合。不同的字体(如宋体、仿宋、楷体、黑体等)对应不同的字库。文本的输出（二）TheOutputofText字符形状的描述方法：点阵描述轮廓描述文本的输出（三）字符的点阵描述字符的轮廓描述TheOutputofText数字电子文本的缺点：容易被复制和修改，版权保护和信息安全不易保证；阅读数字电子文本信息感知效率低，人容易疲劳，这是有待解决的问题5.2图像与图形ImagesandGraphics图象的获取过程图象的获取设备：扫描仪，数码相机取样模拟图像量化量化量化数字图像分色黑白图象的表示Blackandwhiteimage灰度图象的表示Grayscaleimage彩色图象的表示图象的主要参数：图象分辨率，位平面数目，颜色空间的类型，像素深度等蓝色分量绿色分量红色分量5.2.3数字图像处理与应用TheProcessingofDigitalImageandApplication数字图像处理：使用计算机对来自照相机、摄像机、传真机、扫描仪、医用CT机、X光机等的图像，进行去噪、增强、复原、分割、提取特征、压缩、存储、检索等操作处理对图像进行处理的主要目的提高图像的视感质量（亮度、色彩、特技）图像复原与重建（图像校正、使用投影重建图像）图像分析（频域、灰度、纹理、形状等特征）图像数据的变换、编码和数据压缩（图像存储与传输）图像的存储、管理、检索，以及图像内容与知识产权的保护等1.数字图像处理TheProcessingofDigitalImage 与应用领域密切相关，通常具有很强的专业性，如遥感图像处理软件、医学图像处理软件等。 使用较多的是面向办公、出版与信息发布的图像处理软件，也称为图像修饰（imageretouching）或图像编辑软件，支持多种不同的图像文件格式，提供多种图像编辑处理功能，可制作出生动形象的图像。如美国Adobe公司的PhotoShop，集图像扫描、图像编辑、绘图、图像合成及图像输出等多种功能于一体，是一个流行的图像处理工具。2.图像处理软件ImageProcessingSoftware图像的显示控制图像区域的选择图像的编辑操作图像的滤镜操作绘图功能文字编辑功能图层操作PhotoShop的主要功能包括图像处理软件

ImageProcessingSoftware常用图像编辑处理软件：AdobePhotoshopCoreldrawWindows画图软件,Imageforwindows映像软件MicrosoftPhotoEditorPhotoImpactACDSystem公司的ACDSee32其它（网络下载）图像通信（传真、可视电话、视频会议）遥感（航空遥感、卫星遥感等）医疗诊断（X射线、超声、核磁共振CT等）工业生产中的应用(产品质量检测，自动控制）机器人视觉（危险环境作业、工件装配定位识别）军事、公安、档案管理（军事侦察、指纹印章识别、古迹鉴别与图片档案管理等）3.数字图像的应用TheApplicationsofDigitalImages5.2.4计算机图形ComputerGraphics使用计算机合成图像的主要优点：能生成实际存在的具体景物的图像，还能生成假想或抽象景物的图像(虚拟现实）能生成静止图像，还能生成各种运动、变化的动态图像计算机合成图像的应用：计算机辅助设计和辅助制造（CAD／CAM）利用计算机生成各种地形图、交通图、天气图、海洋图、石油开采图等作战指挥和军事训练计算机动画和计算机艺术(计算机三维动画电影)其他：电子出版、数据处理、工业监控、辅助教学(CAI)、软件工程等3.计算机合成图像的应用ApplicationofComputerSynthesisImages矢量图形：计算机合成图像矢量绘图软件：制作矢量图形的软件 如：AutoCAD、MAPInfo、ARCInfo等2D的矢量绘图软件：Corel公司的CorelDrawAdobe公司的IllustratorMacromedia公司的FreeHand微软公司的MicrosoftVisio微软公司Office办公套件中的Word和PowerPoint（可插入矢量图形）4.矢量绘图软件VectorDrawingSoftware国际标准的绘图语言（编程语言）二维图形的国际标准是GKS三维图形的国际标准是GKS-3D、PHIGS工业标准OpenGL公司标准如微软公司的Direct-3D图形元文件标准（数据形式，在不同计算机系统之间交换矢量图形）国际标准CGM和STEPAutodesk公司的DXFMicrosoft公司的WMF矢量绘图软件VectorDrawingSoftware5.3数字声音及应用DigitalAudioanditsApplication5.3数字声音及应用数字声音的特点：是一种连续媒体，传输与播放有实时性要求数据量大，对存储和传输的要求很高。

数字声音的类型：取样（波形）声音语音全频带声音计算机合成声音合成音乐（MIDI）合成语音5.3.1波形声音的获取与播放TheCaptureandPlayofWaveSound波形声音的获取方法：2.量化（quantization，ADconversion)3.编码（encoding）模拟声音信号量化数字声音01100011001···编码取样1.取样（sampling）波形声音获取设备联机获取设备(声卡)麦克风（microphone）声音卡（soundcard）声波转换为电信号取样、量化、压缩、编码、模拟声音数字声音脱机获取设备：数码录音笔声卡的功能与原理DSPDMA接口PC总线取样，量化D/A重建滤波声音输出声音输入MIDI合成器mixerMIDI接口

波形声音的获取、编码；波形声音的重建、播放；

MIDI消息的输入；

MIDI声音的合成、播放；(CD-ROM驱动器的控制，CD-DA声音的播放)5.3.2波形声音的表示与压缩编码ThePresentationandCompressionCodeofWaveSound取样频率(SamplingRate)量化位数声道数目使用的压缩编码方法数码率（bitrate）：指的是每秒钟的数据量，也称比特率、码率数字声音未压缩前，其计算公式为：波形声音的码率

＝

取样频率

×

量化位数

×

声道数压缩编码以后的码率＝压缩前的码率/压缩倍数波形声音的主要参数TheParameterofWaveSound几种常见数字声音的主要参数

波形声音的主要参数声音类型带宽（Hz）取样频率（kHz）量化位数（bits）声道数未压缩时的码率压缩后的码率数字语音300～340088164kb/s2~64kb/sCD唱片20～2000044.1162176.4kB/s176.4kB/sMP3音乐20～2000044.1162176.4kB/s128~112kb/sTheParameterofWaveSound问题：数据量很大。如CD盘片上所存储的立体声高保真的全频带数字音乐，1小时的数据量大约是635MB目的与办法：降低存储成本和传输通信带宽，对数字波形声音进行数据压缩波形声音数据压缩的可能性：声音信号中包含有大量的冗余信息，再加上还可以利用人的听觉感知特性，因此，产生了许多压缩算法声音数据压缩算法的评价：压缩倍数高，声音失真小，算法简单，编码器/解码器的成本低全频带声音的压缩编码TheCompressionCodeofBandwidthAudio全频带声音压缩编码标准全频带声音的压缩编码名称压缩后的码率（每个声道）声道数目主要应用MPEG-1层1384kbps（压缩4倍）2数字盒式录音带MPEG-1层2256～192kbps（压缩6～8倍）2DAB，VCD，DVDMPEG-1层3128～112kbps（压缩10～12倍）2Internet，MP3音乐MPEG-2层audio与MPEG-1层1，层2，层3相同5.1，7.1同MPEG-1DolbyAC-364kbps5.1，7.1DVD，DTV，家庭影院TheCompressionCodeofBandwidthAudioMPEG-1声音压缩编码是国际上第一个高保真声音数据压缩的国际标准，它分为三个层次：层1(Layer1)：编码简单，用于数字盒式录音磁带层2(Layer2)：算法复杂度中等，用于数字音频广播(DAB)和VCD等层3(Layer3)：编码复杂，用于互联网上的高质量声音的传输，如MP3音乐，压缩10倍MPEG-2的声音压缩编码采用与MPEG-1声音相同的编译码器，层1,层2和层3的结构也相同，但它能支持5.1声道和7.1声道的环绕立体声全频带声音的压缩编码TheCompressionCodeofBandwidthAudio音（视）频媒体的传输要求高带宽连续实时传输平稳传输，克服突发问题传输音（视）频媒体的方式先下载，后播放（下载方式，需要等待很长时间，有很大的存储需求）边下载，边播放（流式传输方式，不需要下载完整个文件,只需经过几秒或十数秒的启动延时即可进行播放）全频带声音的压缩编码TheCompressionCodeofBandwidthAudio声音流媒体产品RealNetworks公司的RA（RealAudio）数字音频微软公司的WMA（WindowsMediaAudio）数字音频苹果公司的QuickTime全频带声音的压缩编码TheCompressionCodeofBandwidthAudio.wav(waveform)：用于PC.PCM：使用PCM编码的声音文件,.VOC：声霸卡使用的音频文件格式.Mp2：MPEGLayerI，II.Mp3：MPEGLayerIII,.rm，ra(RealAudio)：RealNetworks的流式声音文件.wma：微软公司的流式声音文件.aif(AudioInterchangeableFileFormat)：苹果机波形声音的文件格式TheFormatofWaveSoundFiles语音：空气通过声道引起声门振动产生语音 带宽只有300～3400Hz压缩方法波形编码（PCM脉冲编码调制）特点：码率较高（64kb/s、32kb/s）、语音质量高、 算法简单、易实现应用：固定电话通信系统、多媒体文档参数编码或模型编码特点：码率很低、声音质量较差应用：保密通信混合编码特点：中度码率(4.8-16kb/s)、压缩比较高、 语音质量较好应用：移动通信、IP电话数字语音的压缩编码TheCompressionCodeofDigitalVoices5.3.3波形声音的编辑TheCompileofWaveSound基本编辑操作声音的剪辑（删除、移动或复制一段声音，插入空白等）声音音量调节（提高或降低音量，淡入、淡出处理等）声音的反转持续时间的压缩/拉伸消除噪音声音的频谱分析声音的效果处理包括混响、回声、延迟、频率均衡、和声效果、动态效果、升降调、颤音等格式转换功能其他功能（如分轨录音，配音，刻录CD唱片等）声音编辑软件的功能TheFunctionsofAudioEditSoftware5.3.4计算机合成声音SynthesisAudioInComputer语音合成（Speechsynthesis）：根据语言学和自然语言理解的知识，使计算机模仿人的发声，自动生成语音的过程。目前主要是按照文本（书面语言）进行语音合成，这个过程称为文语转换（Text-To-Speech,简称TTS）。文语转换过程文本分析韵律分析语音生成语音合成SpeechSynthesis文语转换过程语音合成SpeechSynthesis文本文本分析韵律处理语音合成合成语音词典，发音规则韵律规则库语音库语音库：语音库中存储了大量预先录制的语音基元（单音、词组、短语或句子）的波形，合成时读取语音基元的波形，将这些波形进行拼接和韵律修饰，然