第一章-多媒体技术概论

多媒体技术及应用第1页第一章多媒体技术基础内容：多媒体技术概述多媒体技术与计算机发展媒体数据声音媒体视觉媒体主要讲授内容需要掌握的工具第2页1.1多媒体技术概述媒体第3页1.1多媒体技术概述媒体媒体：信息载体，是信息传递和存储的基本技术和手段ITU（国际电联）对媒体的分类：感觉媒体(PerceptionMedium)：感觉器官能感觉到的信息的自然种类，如：语言、音乐、自然界的各种声音、图像、图形、计算机中的数据、文本。表示媒体(RepresentationMedium)：为了加工、处理和传输感觉媒体而人为研究、构造出来的一种媒体，用以定义信息的特性。一般以语音编码、图像编码和文本编码等形式来描述。

表示媒体是感觉媒体数字化后的代码。InternationalTelecommunicationUnion,总部在日内瓦第4页1.1多媒体技术概述媒体ITU（国际电联）对媒体的分类：显现媒体(PresentationMedium)：感觉媒体与电信号之间相互转换用的一类媒体，即显现信息或获取信息的物理设备。如：显示器、扬声器、打印机；键盘、鼠标、扫描器、MIC、摄像机存储媒体(StorageMedium)：存储表示媒体的物理设备，如：光盘、硬盘、磁带传输媒体(TransmissionMedium)：用于媒体传输的物理载体，如：电缆、光缆、双绞线、无线电链路交换媒体(ExchangeMedium)：系统间交换数据的手段和类型，可以是存储媒体、传输媒体，或者是二者的组合第5页1.1多媒体技术概述媒体根据与时间的关系对媒体的分类：静态媒体：信息的再现与时间无关，如文本、图形、图像等等连续媒体：具有隐含的时间关系，其播放速度将影响所含信息的再现。如声音、动画、视频等。

连续媒体的引入给传统的计算机系统、通信系统和分布式应用系统提出了更高的要求！第6页1.1多媒体技术概述媒体类别声：语音、声响、音乐等图：图像、图形等像：动画、视频等文：文字、符号、数值等其他：动作媒体、触觉媒体动画制作第7页1.1多媒体技术概述媒体分类视觉媒体分类视觉静止信息图像图形文字符号抽象化抽象化动态信息图像图形动态影像视频真实感三维动画二维动画三维动画语言文字第8页1.1多媒体技术概述媒体分类听觉媒体分类触觉媒体分类其他感觉媒体听觉抽象化声音声响（自然界）语音（人类语言）音乐其它（嗅觉、味觉等）触觉振动运动传感/发生器第9页1.1多媒体技术概述多媒体基本概念多媒体(Multimedia)：通常是指处理和应用多媒体信息的相应技术，称“多媒体技术”则更准确。起源：20世纪80年代以来，计算机技术、通讯技术和广播电视技术相互渗透相互融合而形成的一种新技术。定义：以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并能具有良好交互性的技术。第10页1.1多媒体技术概述多媒体的定义Multimediaistheuseofseveraldifferentmediatoconveyinformation(text,audio,graphics,animation,videoandinteractivity).Multimediaalsoreferstocomputerdatastoragedevices,especiallythoseusedtostoremultimediacontent.Astheinformationispresentedinvariousformats,multimediaenhancesuserexperienceandmakesiteasierandfastertograspinformation.Presentinginformationinvariousformatsisnothingnew,butmultimediagenerallyimpliespresentinginformationinvariousdigitalformats.Itisalsousedinvisualartstodescribeworkscreatedusingmorethanonemedium.Multimediafindsitsapplicationinvariousareasincluding,butnotlimitedto,art,education,entertainment,engineering,medicine,mathematics,andscientificresearch.第11页1.1多媒体技术概述多媒体的定义——wikimediaMultimedia

is

media

and

content

thatusesacombinationofdifferent

contentforms.Thiscontrastswithmediathatuseonlyrudimentarycomputerdisplayssuchastext-onlyortraditionalformsofprintedorhand-producedmaterial.Multimediaincludesacombinationof

text,

audio,

stillimages,

animation,

video,or

interactivity

contentforms.Multimediaisusuallyrecordedandplayed,displayed,oraccessedby

informationcontent

processingdevices,suchascomputerizedandelectronicdevices,butcanalsobepartofaliveperformance.Multimediadevicesare

electronicmedia

devicesusedtostoreandexperiencemultimediacontent.Multimediaisdistinguishedfrom

mixedmedia

in

fineart;byincludingaudio,forexample,ithasabroaderscope.Theterm"richmedia"issynonymousfor

interactivemultimedia.

Hypermedia

canbeconsideredoneparticularmultimediaapplication.第12页1.1多媒体技术概述多媒体特性多样性：即信息载体的多样性，指的就是信息媒体的多样化，有人称之为信息多维化。65%20%10%2%3%视觉味觉嗅觉触觉听觉第13页1.1多媒体技术概述多媒体特性交互性：用户控制和使用信息的必备手段，易于人和计算机的交互交互可以增加对信息的注意力和理解力，延长信息保留的时间当交互性引入时，“交互活动”本身作为一种媒体介入到信息的传递和转换过程。即：数据转变为信息、信息转变为知识。当我们完全地进入到一个与信息环境一体化的虚拟信息空间自由遨游时，这才是交互式应用的高级阶段，这就是虚拟现实（VirtualReality）。

第14页1.1多媒体技术概述初级交互对数据的交换和提取(如数据库检索图片)中级交互信息处理——能对信息进行抽象和理解高级交互虚拟现实第15页1.1多媒体技术概述多媒体特性集成性（两层含义）A)多种不同的媒体信息（文字、声音、图像…）有机的组合，成为完整的多媒体信息，共同表达事物；B)处理媒体的设备和工具（包括硬件和软件）的集成1+1〉2硬件：高速并行CPU、大容量存储设备、输入输出、网络等软件：多媒体操作系统、管理系统、创作工具、应用软件第16页1.1多媒体技术概述多媒体的主要特性多：多媒体表现：文本、声音、视频……多学科交汇：物理/人体工程/生物多领域应用：教学、娱乐各方面媒：人---计算机---世界体：综合集成一体化信息码流一体化设备控制一体化交互控制一体化第17页1.1多媒体技术概述请根据多媒体特性判断一下哪些属于多媒体范畴（1）交互式视频游戏（2）有声图书（3）网络电视（4）彩色电视（5）视频会议（6）彩色画报（7）远程教育（8）iTV（9）CMMB清华IPv6多媒体电视直播：/resource/ipv6-shi-pin-dian-bo/

/bbs/dszb.php知识链接：CMMB……第18页1.1多媒体技术概述CMMB是英文ChinaMobileMultimediaBroadcasting(中国移动多媒体广播)的简称。它是国内自主研发的第一套面向手机、PDA、MP3、MP4、数码相机、笔记本电脑多种移动终端的系统，利用S波段卫星信号实现“天地”一体覆盖、全国漫游，支持25套电视节目和30套广播节目。第19页1.1多媒体技术概述S波段

波段(frequencyband)是指无线电波的频率范围。其度量单位是赫兹(Hz)或周/秒(C／S)。包括甚高频(VHF)、特高频(UHF)、超高频(SHF)、极高频(EHF)4个波段。第二次世界大战期间，为了保密，用大写英文字母表示雷达波段，并一直沿用至今。其中：230—1000兆赫称为P波段1000—2000兆赫称为L波段2000—4000兆赫称为S波段

4000~8000兆赫称为C波段8000—12500兆赫称为x波段12.5~18千兆赫称Ku波段18~26.5千兆赫称K波段26.5~40千兆赫称Ka波段第20页1.1多媒体技术概述国家广电总局正式颁布了中国移动多媒体广播(俗称手机电视)行业标准，确定采用我国自主研发的移动多媒体广播行业标准。中国移动多媒体广播系统(简称CMMB)行业标准，规定了在广播业务频率范围内，移动多媒体广播系统广播信道传输信号的帧结构、信道编码和调制该标准适用于30MHz到3000MHz频率范围内的广播业务频率，通过卫星和/或地面无线发射电视、广播、数据信息等多媒体信号的广播系统，可以实现全国漫游。第21页1.1多媒体技术概述第十五届中国国际广播电视信息网络展览会(CCBN2007)上，刚刚研发成功的支持CMMB移动多媒体广播标准的芯片IF101首次亮相。手机、PMP、MP4、GPS、笔记本电脑、数码相机等终端安装该芯片后，可接收到覆盖全国20多套电视节目、30多套音频广播以及各类信息节目。用户可在移动中24小时随时随地收看电视节目。奥运期间CMMB电视直播风靡中国国内已有多个城市实现CMMB的信号覆盖。请观看录像演示第22页1.1多媒体技术概述第23页1.1多媒体技术概述最新技术DTMB（课后自行查阅资料）请观看演示第24页1.1多媒体技术概述多媒体的起源和发展技术源流1839年法，达盖尔→照相1843年苏格兰贝思→

fax传真1876年贝尔→电话1893年

爱迪生→电影1925年

英，Baird机械式电视接收1936年英，BBC电视广播1953年

彩电（NTSC制式）1956年录像机1964年贝尔实验室→可视电话1967年德国：彩电（PAL制式）；法、前苏联彩电（SECAM制式）1972年数字电视；PHILIPS→激光视盘1984年CD-ROM驱动器第25页1.1多媒体技术概述多媒体的起源和发展多媒体技术发展阶段1983，RCA公司DVI技术提出，88’被Intel收买89’推出i750芯片1984，APPLE推出Macintosh，引入位图、视窗、图标等界面，并集成良好的内部音频1985，Commodore推出Amiga专用多媒体系统1989，拉斯韦加斯ComdexFall展出大量专用系统1990，MPC规范1.0提出之后，MPC2.0MPC3.01993,美国政府正式宣布全美信息高速公路计划（NII）1995,将NII扩展为GII（全球信息基础设施）；1995年因而被称为“Internet年”1997，Intel奔腾芯片加入MMX技术，多能奔腾（MultiMediaeXtension)至此，多媒体技术不再是计算机的外围技术，成为标准配置趋势：集成到主板上，内置到系统里NationalInformationInfrastructure(国家信息基础设施)第26页1.1多媒体技术概述多媒体的起源和发展计算机0，1通信大众传媒文本图象图形声音视频MPC邮政电报电话数字网ISDN信息高速报纸广播电影电视HDTVITV/CMMB多媒体时代ISDN：IntegratedServicesDigitalNetwork,综合服务数字网HDTV：HighDefinitionTV高清晰电视；iTVInteractiveTV互动电视第27页1.1多媒体技术概述多媒体计算机（MPC）定义：能够综合处理多种媒体（媒体信息采集、存储、加工处理、表现、输出），使多种媒体信息建立逻辑连接，集成为一个系统并具备交互性的计算机。组成：硬件软件第28页1.1多媒体技术概述多媒体计算机多媒体计算机层次结构基本计算机硬件系统多媒体硬件设备多媒体核心系统软件(硬件驱动、操作系统)多媒体制作平台和工具多媒体创作、编辑软件多媒体应用系统软件系统硬件系统第29页1.1多媒体技术概述多媒体计算机多媒体计算机硬件组成录像机摄像机影碟机显示器光盘驱动器电视机MIC音响MIDI视频卡计算机电视卡声卡其他：打印机、扫描仪、图像卡IP电话、视频会议、数

码相机、手写板、投影机DVD第30页1.1多媒体技术概述多媒体计算机MPC的特点光驱——MPC的重要组件高质量的数字音响和MIDI(MusicalInstrumentDigitalInterface，乐器数字化接口)图文并茂的显示装备多媒体软件第31页1.1多媒体技术概述多媒体个人计算机标准MPC1（1991：Microsoft主导的MPC工作组）对个人计算机增加多媒体功能所需的软硬件进行最低标准的规范规定多媒体个人计算机硬件设备和操作系统等的量化指标制定高于MPC标准的计算机部件的升级规范第32页1.1多媒体技术概述MPC1标准设备和软件配置标准推荐配置CPU386SX386DX或486SX系统时钟16MHz内存2MB4MB硬盘30MB80MB鼠标2键键盘101键接口串行接口、并行接口、游戏棒接口MIDI具备MIDI合成与混音功能的MIDI输入输出接口显示模式VGA或更高等级显示模式，分辨率为640*480，16色256色光盘驱动器单速CD-ROM，数据传输率150KBpa，平均访问时间<1s声音输入麦克风mV级灵敏度声音重放耳机、扬声器声卡模式8b/11.025kHz采样，11.025kHz和22.050kHz输出操作系统DOS3.1以上，Windows3.0带多媒体扩展模块Windows3.1第33页1.1多媒体技术概述多媒体个人计算机标准MPC3（1995）进一步提高了多媒体个人计算机的软件、硬件技术指标制订了视频压缩技术（MPEG）的技术指标，使视频播放技术更加成熟和规范化，并且指定了采用全屏幕播放、使用软件进行视频数据解压缩等技术标准。第34页1.1多媒体技术概述MPC3标准设备和软件配置标准CPUPentium或兼容CPU系统时钟75MHz内存8MB硬盘540MB鼠标2键键盘101键接口串行接口、并行接口、游戏棒接口MIDI具备MIDI合成与混音功能的MIDI输入输出接口显示模式VGA或更高等级显示模式，分辨率为640*480，65536(64k)色光盘驱动器4倍速CD-ROM，数据传输率600KBpa，平均访问时间<250ms600KBps传输时，CPU占用量≤40%，300KBps传输时，CPU占用量≤20%音频16位数字声音，波表合成功能，MIDI回放视频回放支持MPEG1视频文件播放（硬件或软件）操作系统Windows3.11和DOS6.0第35页1.1多媒体技术概述多媒体信息系统也是一种信息系统多媒体信息系统特点信息的多媒体化（文本、数值、图形、图像、声音、视频）集成的内容丰富（计算机网络、通讯网络、广播网络、大众传播媒介、计算机及辅助硬件设备）应用领域广泛（企业管理、教育、学习、娱乐）丰富的信息表现效果、极强的交互能力第36页小结媒体媒体的分类多媒体的概念多媒体的起源和发展多媒体计算机多媒体信息系统第37页1.2多媒体技术与计算机发展早期的计算机第38页早期计算机输入/输出——纸带1.2多媒体技术与计算机发展第39页早期计算机输入/输出——电传打字机TTY只能处理文字信息，操作仍然很麻烦以复制文件为例子：

C:\>COPYA.TXTB.TXT1.2多媒体技术与计算机发展第40页现代计算机输入/输出——图形终端图像用户界面的出现，彻底改变了计算机的使用方法树型目录结构管理文件非常方便彩色显示器到液晶显示器1.2多媒体技术与计算机发展第41页图像/视频采集视频采集卡，把高质量视频信号转变为计算机的文件可产生MPEG文件可产生AVI文件…今天的多媒体技术1.2多媒体技术与计算机发展第42页图像/视频采集数码相机的普及，使得数字化的图像信息比过去任何时候都容易获得。（以前需要用照片扫描）DV（数字录像机）已经便宜到许多家庭都能购买，数字视频数据同样唾手可得。手机上的摄像头分辨率也越来越高，已经成为一个有效的图像信息来源1.2多媒体技术与计算机发展第43页音频采集目前的计算机都配备声卡，声卡能采集声音信号产生WAV文件几乎所有MP3都能录音1.2多媒体技术与计算机发展第44页CD-ROM/DVD-ROM/MP3的普及使得多媒体的存储传播更为方便举例：传统的24盘语音磁带

＝20小时的声音信息＝MP3文件约500M

＝刻录成1

张CD-ROM

而DVD-ROM最普通的容量也有4.7G双面双层可达17G1.2多媒体技术与计算机发展第45页视频编辑软件，使得视频剪辑工作非常方便AdobePremiereAdobe公司推出的基于非线性编辑设备的视音频编辑软件Premiere已经在影视制作领域取得了巨大的成功。现在被广泛的应用于电视台、广告制作、电影剪辑等领域。WindowsMovieMaker简单易用、免费、普及。1.2多媒体技术与计算机发展第46页声音编辑软件GoldWave（实验D:\software\goldwave555_HZ）CoolEdit

Pro（实验）AdobeAuditionFlexiMusic注意：使用FlexiMusic播放mp3格式文件时需要下载lamewin32.exe1.2多媒体技术与计算机发展第47页多媒体课件制作MicrosoftPowerPointWindowsMovieMakerFlash8……1.2多媒体技术与计算机发展第48页多媒体数字化，使得多媒体信息得到空前广泛的传播Mp3,高质量的歌曲，不会变调和卡带Mp4,掌上视频设备，随时随地观看影片Mp5（MPEGLayer5的简称，它是由国内科技厂商自行开发出的演算法，具有听音乐、看视频（支持多种格式）、看文本等功能）INTERNET——最大的多媒体数据库，本课大部分图片都从google查到1.2多媒体技术与计算机发展第49页iphone5、iphone6接连发布/v/b/85631635-2963341802.htmlIphone6发布会现场1.2多媒体技术与计算机发展第50页多媒体技术的应用及展望语音输入（未来的计算机可能不需要键盘）IBMViaVoiceWindowsXP已经有成功的语音识别技术Iphone语音识别技术（Siri语音识别展示）/c11/OjY6JCAjIGgnaiIv.html

想象一个能跟用户说话的计算机1.2多媒体技术与计算机发展第51页计算机视觉交通视频监视系统（F:\00最终稿及ppt\ppt制作\汇报）高速路上监控车辆流量超速监测车牌识别违章盗抢车辆稽查事故场景再现、责任认定交通事件快速检测1.2多媒体技术与计算机发展第52页计算机视觉的研究领域身份识别：人脸识别、虹膜识别、指纹识别等生物识别技术。比如：人脸识别已经能够认识主人，男女，中国人与外国人等。3D场景构建，能够“理解”所处的环境。智慧安防：智能视频分析（如：行人跟踪，多视频协同车辆轨迹跟踪，复杂场景事件提取，交通事件智能提取）。已经广泛应用于工业、农业、服务业、教育、航空航天、国防等等几乎所有行业，前景十分广阔。1.2多媒体技术与计算机发展第53页今天的多媒体技术，处处都有计算机的身影，可以说多媒体改变、丰富着计算机，同时也越来越离不开计算机，计算机已经成为处理、存储、传播多媒体信息的最主要的工具。计算机技术的发展，带给多媒体诸多好处容量、处理速度、方便程度目前计算机的角色还仅仅是存储、编辑、传播的工具，多媒体信息最终还是由人来理解。直接从多媒体中提取有效的信息的计算机目前还处于研究阶段，但一直是学者们关注的热点。小结1.2多媒体技术与计算机发展第54页1.3媒体数据感觉媒体感觉媒体的分类视觉类：时基动态视觉媒体、静止视觉媒体听觉类：时基类连续媒体，声音信息触觉类：压力、温度、湿度、运动、振动、旋转，也称为环境媒体其他类嗅觉媒体、味觉媒体等活动媒体：人可以通过活动（一组行为的过程，如作试验）得到更多的信息；抽象事实媒体：对原始数据中进行统计、分析、加工和挖掘等抽象操作，以视觉或听觉媒体加以表达，获得新信息；混合媒体：组合媒体的信息大于简单相加第55页1.3媒体数据感觉媒体感觉媒体的性质不同媒体的格式不同不同媒体所表达的信息量不同媒体间的相互关系也包含丰富的信息部分媒体间可相互转换第56页1.3媒体数据多媒体数据的特点数据量大600MB的标准光盘能存储：1小时44.1kHz16bit立体声语音信号20秒N制非压缩真彩视频图像（30帧/S）1小时15分压缩视频图像（200:1压缩比）数据类型多媒体类型多：文本、图形、图像……同一种媒体分多种格式：图像分黑白、彩色、高分辨率、低分辨率……第57页1.3媒体数据多媒体数据的特点不同类型数据之间差别大空间上：存储量差别大时间上：时基媒体信息组织方法不同格式和内容上：不同媒体不可能统一数据处理复杂多媒体数据处理包括：采集、编码变换、应用等环节，每环节都有不同的处理方式。如：输入输出可分异步和同步两种（下页图）第58页1.3媒体数据多媒体数据的特点计算机表现输出声音图像文字存储合成多通道同步输入输出多通道输入分解实时信息第59页1.3媒体数据多媒体数据的特点声音通道图像通道文字通道计算机表现输出声音图像文字存储合成多通道异步输入输出第60页1.4声音媒体声音媒体的性质及分类声音：运动使空气振动产生声音，其携带的信息量远远大于文字。分类：按频率分：次声(<20Hz)、超声(>20kHz)、可听声（也称音频，20Hz~20kHz）音频再按频率范围分：电话语音(20Hz~3.4kHz)调幅广播(50Hz~7kHz)调频广播(20Hz~15kHz)宽带音频(20Hz~20kHz)第61页1.4声音媒体声音媒体的性质及分类分类：按用途分：语音音乐效果按处理方式分波形音频（WaveformAudio）MIDI音频

第62页1.4声音媒体声音媒体的性质及分类性质随时间变化的连续时基类媒体：处理时对时序要求高三要素：音调也称音高（频率决定）、音强也称响度（振幅决定）、音色（波形的形状，多频混合，基音＋泛音）声音的方向感：声音以波形式传播，有方向，人能分辩，因此可形成立体声和空间效果第63页1.4声音媒体声音媒体的性质及分类乐音基本知识——三要素构成：音高、音色和响度音高（音调）：声波的基频（越低，声音越沉）音色：具有固定音高和相同谐波的乐音。有时给人感觉有很大差异。比如：相同音高的钢琴和二胡，我们很容易辨认。原因是：各阶谐波比例不同，随时间衰减程度不同，音色就不同。比如：小号高次谐波丰富，所以声音高亢。响度（音强）和时值：人耳对声音细节的分辨和响度有关，只有适中时，人耳辨别才最灵敏。时值（持续时间），影响旋律的行进。如：平缓、跳跃等。音阶CDEFGAB简谱1234567频率Hz261293330349392440494第64页1.4声音媒体声音媒体的性质及分类性质振幅（音强）周期（音调）泛音(音色)第65页1.4声音媒体波形音频波形音频：以数字方式来表示声波波形音频的采样：将模拟信号变为数字信号，即将连续的音频信号x(t)变为时间上离散的序列{x1,x2,x3,…}声音的模拟信号采样量化编码声音的数字信号声音信号数字化的过程第66页1.4声音媒体波形音频采样量化图12345678910111213141510256272798586849097948957360100908070605040302010123456789101112131415采样点幅度第67页1.4声音媒体波形音频波形音频采样的参数采样定理：当采样频率是信号最高频率2倍时，可恢复原信号波形。采样频率：每秒采样次数。高保真44.1kHz，音乐效果22.05kHz，语音效果11.025kHz量化精度/等级：量化二进制位数，8/16/32位声道数：记录声音时产生声波个数（单/双）数据量（单位：字节）[(采样频率×采样精度×声道数)/8]×时间第68页1.4声音媒体音乐合成技术MIDI（音乐设备数字接口）何谓MIDI：将电子乐器键盘的演奏信息（键名、力度、时间长短）记录下来，播放时读出这些信息，生成对应乐曲的声音波形。

MIDI消息3字节指令——MIDI指令记录状态信息、数据信息、弹奏动作（键名、通道、力度等）相当于乐谱的数字描述，由合成器解释，产生音乐可定义16个通道，同时产生16种音色/声部第69页1.4声音媒体音乐合成技术MIDI指令?一般由3个字节组成cc,kk,vv；含义依次是：“命令+通道号”，“音符”，“力度（或速度）”命令的第一个字节的最高位是1，前4位是1000，代表关闭音符；或1001，代表开启音符，后四位为通道，0000-1111，对应0-15个通道；第二字节即音符，最高位是0，因此，音符号为0-127，即00H-7fH；第三字符即力度，最高位也是0，即力度为0-127；举例1：816170代表：关闭音符的速度值，70H失效，采用第2通道，按第97个键。举例2：935132代表：用第4个通道，按第81键，演奏速度是50

95482A/f/21016841.html第70页1.4声音媒体音乐合成技术MIDIMIDI的技术规范（1988年国际标准）每种MIDI装置由1个接收器、1个发送器组成，异步通讯连接，速率31250位/秒MIDI设备三种端口：MIDIIn,MIDIOut,MIDI转送口MIDITHRUMIDI键盘128键MIDI接收器中有16个通道，类似16个乐器MIDI文件包含的MIDI消息格式定义合成器可以是单音也可以是多音DIN型5针插头第71页1.4声音媒体音乐合成技术MIDIMIDI的技术规范15针声卡中MIDI接口1针+5V4针GND地12针MIDITXDMIDI输出15针MIDIRXDMIDI输入第72页1.4声音媒体音乐合成技术MIDIMIDI设备的连接不妨把MIDI理解成一种局域网，网络的各个部分通过专用的串行电缆(MIDI线)连接，并以31.25kbps的速度传送数字音乐信息。

第73页1.4声音媒体音乐合成技术MIDI工作原理图作曲软件电子琴键盘MIDI文件处理MIDI编辑播放声音合成器立体声功放MIDI文件MIDI消息MIDI消息音箱MIDI音序器MIDI控制器MIDI合成器第74页1.4声音媒体音乐合成技术MIDIMIDI控制器（controller）制造MIDI指令的设备（电子感应器）控制器有键盘式、弦乐式、鼓式、管乐式最常用的是电子键盘第75页1.4声音媒体音乐合成技术MIDIMIDI音序器（sequencer）一种制谱软件，是为MIDI作曲而设计的计算机程序用来记谱、编辑MIDI事件音序器软件

Voyetra——SequencerPlusJunior（SPJr）AWE32——OrchestratorPlus第76页1.4声音媒体音乐合成技术MIDIMIDI合成器（synthesizer）制造声音，将指令翻译成声音！转换方式（1）算法方式，如YamahaFM合成；（2）波表（wavetable）方式合成器指标：声音质量、声道数（同时发声的乐器数）、发音数（同时的最大音符数）现在的合成器一般集成在声卡中。第77页1.4声音媒体音乐合成技术MIDIMIDI的优点存储容量小：30分钟立体声音乐，MIDI需200k而波形（无压缩）需300M，是其1500倍MIDI文件与波形文件混合使用MIDI文件编辑方便、灵活，可任意改变速度、音调，更换乐器MIDI的缺点声音质量依赖于MIDI硬件设备第78页1.4声音媒体流行软件

（1）MIDI作曲编辑软件Cakewalk，CuteMIDI（2）音频编辑软件Vegas/CoolEdit

（3）Wav格式转MIDI软件

AmazingMIDI

（演示）

（4）MIDI制作软件CuteMIDI演示第79页1.4声音媒体轻松一下请欣赏MIDI音乐——YesterdayOnceMore中国MIDI音乐网:

碧海银沙：/midi/

酷特科技：/cm.php第80页1.4声音媒体MP3数码音乐全称：MPEG-1Layer3音频文件高压缩比：MP1(4:1)、MP2(6～8:1)MP3(10～12:1)有损压缩感观编码技术，小的损失高的压缩比便携设备＋网络流行第81页1.5视觉媒体视觉媒体基础概念：通过视觉传递信息的媒体视觉媒体分类：位图/点阵图像：对图像每一点的颜色、亮度等数字化后的图像，分为：二值、灰度（彩色）矢量图形：描述图像点产生过程动态图像：多帧静态画面序列在时间轴上变化形成的动态视觉感受。分视频、动画、三维动画符号：人对信息的抽象结果，如文本、符号视觉媒体的特点：准确、直观、具体、生动高效、应用广、信息量大第82页1.5视觉媒体视觉媒体基础图像：人类视觉系统所感知的信息形式或人们心目中的有形想像。图像参数分辨率：决定图像质量的主要因素。（屏幕分辨率、图像分辨率、象素分辨率/象素长宽比）颜色深度：1bit，4bits，8bits，16bits，24bits颜色深度颜色总数图像名称12单色图像41616色图像8256256色图像（伪彩色）163276816位色图像（增强色）2416772216真彩色图像第83页1.5视觉媒体视觉媒体基础图像参数点阵图像的数据量（字节）调色板(colorpalette)：存放一个图像所有颜色的表，由序号和真彩色值构成。是降低颜色深度保证足够的颜色分辨率一种方法。第84页1.5视觉媒体视觉媒体基础图形：抽象化的图像，依据某个标准对图像进行分析产生的结果，通常由点、线、弧、圆、曲线、文字等元素构成。图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合，在图形文件中只记录生成图的算法和图上的某些特征点，也称矢量图。line（x1,y1,x2,y2,color）circle（x,y,r,color）第85页1.5视觉媒体视觉媒体基础图形的分类和特征：分类：二维/三维图形，在平面和空间进行显示和变换对图像抽象化得到图形，其过程称矢量化存储空间小图形中的元素可单独控制操作显示时需要一定的计算时间第86页1.5视觉媒体视觉媒体基础图形和图像比较：矢量图形的构成是图元（图形指令）、点阵图像的构成是像素，后者更逼真图形的显示过程是按图元的顺序，而图像是按点阵的排列，与图像内容无关图形缩放后无变形和失真，图像不然图形的编辑以图元为单位，互不影响，图像的编辑只能以象素或区域来进行图形是图像的抽象，有信息的丢失第87页1.5视觉媒体图形图像图形图形图形第88页1.5视觉媒体视觉媒体基础动态图像：利用人眼的视觉暂留特性(约0.05～0.1秒)，将多幅画面序列以一定的间隔连续播放，给人以真实的连续感。动态图像特性：时间上连续的图像可以表现事件的“过程”，属时基媒体，信息丰富实时性强，必须在规定的时间更换画面数据量大，必须压缩才能应用到多媒体系统中帧间相关性大，可以利用帧间关系压缩数据量第89页1.5视觉媒体视觉媒体基础动态图像参数帧速：一般24～30帧/秒图像质量：由原始数据质量以及压缩算法有关，压缩比太大时质量明显下降数据量（/秒）不压缩时：帧速×图像数据量

压缩时：取决于算法减低帧速或缩小幅面也能减小数据量第90页1.5视觉媒体视觉媒体基础文本及特点文本是一种“流”结构形式，由具有上下文关系的字符串组成。其携带的信息只与其结构有关，而与其表现形式（如字体）无关文本显示的改变只是属性的改变，不影响含义对文本的处理应遵守文本内部的结构，如断句、结尾、分段、章节第91页1.5视觉媒体彩色空间彩色三要素亮度Brightness：人眼对明亮程度的感觉，与对象的发光强度有关，人对不同颜色的亮度感觉是不一样的色调Hue：色调表示光的颜色，它决定于光的波长。可见光的各色波长范围之间的界限并不十分明显，色调是由强度最大的彩色成分来决定的。例如自然界中的七色光就分别对应着不同的色调，而每种色调又分别对应着不同的波长饱和度Saturation：颜色的深浅程度，即各种颜色混入白光的程度，饱和度越高，颜色越纯。100％饱和度表示没有混入白光色调＋饱和度＝色度，反映颜色的类别和深浅度知识窗第92页1.5视觉媒体彩色空间什么是对比度？屏幕上同一点最亮时（白色）与最暗时（黑色）的亮度的比值，不过通常产品的对比度指标是就整个屏幕而言的，例如一个屏幕在全白屏状态时候亮度为500cd/m2（坎德拉/平方米，1cd相当于一只蜡烛的发光强度），全黑屏状态亮度为0.5cd/m2，这样屏幕的对比度就是1000:1。对比度和图像质量的关系对比度越大，图像越清晰醒目，色彩也越鲜明艳丽；而对比度小，则会让整个画面都灰蒙蒙的。第93页1.5视觉媒体彩色空间暖色调与冷色调色调取决于光的波长。频率越高（波长越短），视觉感觉越冷，称之为冷色调；反之频率越低的光，视觉感觉越温暖，称之为暖色调。

可见光的波长范围在770～350纳米之间。770～622nm，红色；622～597nm，橙色；597～577nm，黄色；577～492nm，绿色；492～480nm，青色；480～455nm，蓝靛色；455～350nm，紫色。第94页1.5视觉媒体彩色空间暖色调与冷色调暖色有向前的感觉，冷色则向后退；暖色有放大、分散的感觉，冷色则有收缩趋向。暖色给人以兴奋、热烈的感觉，冷色则反之给人以沉静感。暖色使人联想到日光、大地、泥土、干燥，显得较沉重，有刺激感；冷色则使人联想的月光，空气、潮湿、水、有轻松柔和感。第95页1.5视觉媒体彩色空间暖色调与冷色调第96页1.5视觉媒体彩色空间三原色：红、绿、蓝红绿蓝品红青黄白二次色：品红、黄、青补色（两色相加后为白）：红－－青(Cyan)

蓝－－黄绿－－品红(Magenta)亮度方程：第97页1.5视觉媒体彩色空间数字化彩色图像彩色图像可以定义为二维连续函数f(x,y)，颜色是位置的函数。数字化就是把f(x,y)的空间坐标和彩色幅度离散化坐标离散化常取128、256、512、1024，而彩色幅度离散化由彩色空间决定。第98页1.5视觉媒体彩色空间RGB彩色空间(计算机程序设计时常用)第99页1.5视觉媒体彩色空间YUV彩色空间(电视中用，更适合人的视觉)第100页1.5视觉媒体彩色空间YUV彩色空间解决黑白电视和彩色电视的兼容性人眼对亮度的分辨能量高于对色彩的分辩能力，可用不同的带宽来传送信号（如我国的PAL/D制式中Y的带宽6M，U、V的是1.3M)多媒体计算机中采用YUV彩色空间，数字化时各分量的位数是不一样的，经常取8:4:4或8:2:2，这样，可以把24位色彩压缩为16位或12位，而这种变化人眼感觉不到第101页1.5视觉媒体彩色空间YIQ彩色空间(NTSC制，美国日本)Y亮度信号I、Q色差信号，色度矢量与U、V不同，坐标轴夹角33°33°UQFIV33°第102页1.5视觉媒体彩色空间YIQ彩色空间人眼分辩红与黄之间颜色变化的能力最强分辩蓝与紫之间颜色变化的能力最弱在色度矢量图中，红黄之间的橙色（相角为123°）和蓝紫之间的青色（相角303°）。把通过123°～0°～303°的线的色度信号定义为I轴，表示最敏感的色轴。与I轴正交的Q轴表示人眼最不敏感的色轴。传输时，I的带宽取1.3~1.5MHz,而Q的带宽只取0.5MHz第103页1.5视觉媒体彩色空间HSI彩色空间(用于图像快速处理)H：色调(Hue)、S：饱和度(Saturation)、I：亮度(intensity)各参数相互独立，分别提供解释彩色图像的信息。色调H是颜色的属性，描述真正的彩色，如纯红、纯绿、纯黄等，当关注图像颜色时，该参数最具有代表性；饱和度S是颜色的另一属性，描述颜色用白色冲淡的程度；亮度I是非彩色属性，表示亮或暗，对应黑白图像中的灰度，图像处理中很多操作直接应用。第104页1.5视觉媒体彩色空间彩色空间的转换

RGB->YUV第105页1.5视觉媒体彩色空间彩色空间的转换RGB->YIQ第106页1.5视觉媒体彩色空间彩色空间的转换RGB->HSI第107页1.5视觉媒体视觉媒体文件格式图形图像常见文件格式格式提出公司特点其他GIFCompuServe为图像传输制定使用LZW压缩TIFFAlaus/Microsoft为输入输出设计兼容好，使用广TGATrueVision专业图像卡用结构简单BMP广泛使用PCXZsoftPCPaintbrush软件使用与特定显示硬件相关JPG/JPEGAppleMac静态压缩高压缩比PCDKodakPhotoCD专用专业摄影用第108页1.5视觉媒体视觉媒体文件格式动画常见文件格式格式提出公司特点其他FLICAutoDesk早期：320X200，256色新板：提高广泛使用MMMMacromediaDirector多媒体软件特有第109页1.5视觉媒体视觉媒体文件格式视频常见文件格式格式提出公司特点其他AVIMicrosoftVideoforwindows的标准格式音/视频文件支持多种压缩方法MOVApple质量优于AVIMPEG国际标准MPEG1,MPEG2,MPEG3,MPEG4VCD光盘第110页1.6主要内容讲什么？涉及内容太广泛——声音、视频、图形、图像、动画、虚拟现实、标准、多媒体网络、数据库、网页、通信、软件应用……讲授音频、视频原理、压缩算法、标准、多媒体数据库，网页，通信等基本理论方法，重点练习两种软件Premiere和Flash的使用。不具体讲某个应用软件的使用。第111页1.6主要内容课程讲授内容音频采集、处理、标准视频采集、处理、标准输入输出设备多媒体数据库多媒体网络多媒体网页等第112页1.6主要内容多媒体信息的数字化方法编码解码压缩等多媒体数据的存储、检索方法多媒体数据库多媒体信息的应用展望语音识别语音合成计算机视觉第113页1.6主要内容编码是指将语音或视频模拟信号数字化的过程。解码是指将数字信号转换成模拟信号的过程。编解码器是指具备了以上2种功能的装置。调制是为了通过传输线路传送这些数字号，而将数