第四章多媒体技术及其应用

1、多媒体技术及应用基础1第四章第四章 多媒体技术及其应用基础多媒体技术及其应用基础多媒体技术概述主要媒体的处理技术多媒体存储及传输多媒体开发平台多媒体系统2多媒体技术及其应用（一）多媒体技术及其应用（一） 多媒体技术概述多媒体技术概述多媒体与多媒体技术多媒体技术的研究内容多媒体技术的应用(自学) 主要媒体在计算机中的处理技术主要媒体在计算机中的处理技术文本、图形与图像、视频、动画 多媒体存储技术多媒体存储技术数据压缩原理主要存储设备多媒体技术及应用基础3第四章第四章 多媒体技术及其应用基础多媒体技术及其应用基础多媒体技术概述多媒体技术概述 4多媒体技术概述 什么叫多媒体？什么叫多媒体？5多媒体技

2、术概述 媒体 ：是指用来表示、存储、传输各种计算机数字信息的载体 感觉媒体感觉媒体: :文字、声音、图形、文字、声音、图形、图像、视频图像、视频 表示媒体表示媒体: :ASCIIASCII码、视频编码、码、视频编码、音频编码等音频编码等 显示媒体显示媒体: :显示器、键盘、鼠标、显示器、键盘、鼠标、扫描仪等扫描仪等I/OI/O设备设备 存储媒体存储媒体: :硬盘、光盘、磁带等硬盘、光盘、磁带等 传输媒体传输媒体: :电话线、电缆、光纤电话线、电缆、光纤等等 01010011016多媒体技术概述 多媒体和多媒体技术多媒体技术指以信息数字化技术为基础，计算机技术以及通信技术综合的以文本（text）

3、、图像（image）、声音（audio）、视频（video）等各种媒体为处理对象的整套技术的总称.表示 编码存储 压缩传输 实时，高效7多媒体技术概述8多媒体技术概述 多媒体的主要特征数字化数字化 对各类媒体的处理都围绕数字化进行对各类媒体的处理都围绕数字化进行综合性综合性 集计算机、声音、图像、通信技术于一集计算机、声音、图像、通信技术于一体体 交互性交互性 非线性非线性人与人、人与机器、机器与机器之间的交互 可灵活地选择自己所需的内容进行浏览 实时性实时性 传输、显示传输、显示9多媒体技术 的发展 多媒体技术的发展历程20世纪80年代，CD-ROM的研发 为标志19851985年美国的年美

4、国的CommodoreCommodore公司推出首台多媒体计算机系统公司推出首台多媒体计算机系统Amiga Amiga 19901990年，一些著名的计算机厂商成立了年，一些著名的计算机厂商成立了“交互式多媒体协会交互式多媒体协会” 19911991年率先制定了基本标准年率先制定了基本标准MPC1 MPC1 19951995年，美国年，美国MicrosoftMicrosoft公司开发了公司开发了Windows 95Windows 95操作系统操作系统 2020世纪末，高速的奔腾世纪末，高速的奔腾CPUCPU系列进入多媒体计算机系列进入多媒体计算机 2121世纪多媒体通信技术的发展、信息高速公路

5、的形成、点播电世纪多媒体通信技术的发展、信息高速公路的形成、点播电视系统出现视系统出现10多媒体技术 的发展 多媒体技术的发展方向多媒体通信网络化多媒体通信网络化多媒体技术标准化多媒体技术标准化 多媒体应用融合化多媒体应用融合化 多媒体计算机系统智能化多媒体计算机系统智能化 多媒体现实虚拟化多媒体现实虚拟化 11多媒体技术研究的主要内容 多媒体技术主要研究内容 多媒体数据的编码多媒体数据的编码多媒体数据的多媒体数据的压缩与压缩与存储技术存储技术 多媒体通信多媒体通信多媒体应用技术开发多媒体应用技术开发 多媒体创作和编辑工具 多媒体智能技术多媒体智能技术 12多媒体技术研究的主要内容 多媒体关键

6、技术 编码表示编码表示压缩压缩存储存储数据的压缩与解压缩 大容量光盘存储技术 多媒体网络和多媒体通信多媒体网络和多媒体通信 超文本与超媒体超文本与超媒体 多媒体同步技术多媒体同步技术 多媒体系统多媒体系统 13多媒体技术应用 教育和培训 咨询和演示 娱乐和游戏 电子出版物 信息管理 多媒体新闻系统 多媒体通讯 宣传和节目制作 多媒体技术及应用基础14第四章第四章 多媒体技术及其应用基础多媒体技术及其应用基础主要媒体处理技术主要媒体处理技术 15多媒体文本处理 文本：符号的有序排列非格式化文本与格式化文本非格式化文本与格式化文本 文本的获取方法键盘输入、手写输入、声音输入、键盘输入、手写输入、声

7、音输入、扫描输入等扫描输入等 超文本(选修，自学)由信息本身和表示信息之间联系的链由信息本身和表示信息之间联系的链接构成的网络结构接构成的网络结构主要用于网页中，实现网页导航主要用于网页中，实现网页导航超文本需设计超文本需设计 超媒体(选修，自学)多媒体信息之间的非线性链接16多媒体文本处理 文本处理软件 Microsoft WordMicrosoft Word、WPSWPS、WordPerfect WordPerfect 等等 文本格式 TXTTXT（texttext）格式）格式 DOCDOC、DOCX (word 2007DOCX (word 2007， 即是即是OpenXML)OpenX

8、ML)RTFRTF（Rich Text FormatRich Text Format）格式）格式 PDF网页文件HTML XML ODF (已成为ISO标准)17HTML文本示例hyper text mark language hello! 18多媒体图形图像处理 图形 由点、直线、圆弧、任意曲线、平面、立体所构成的图，是抽象后的图像。一般由计算机绘制 图像 由输入输出的设备捕捉的实际景物的画面图像的获取方法 图像处理技术指标 图像分辨率 图像颜色深度图像灰度 文件大小 图像文件的大小图像文件的大小= =（图像高的像素值（图像高的像素值图像宽的像素值图像宽的像素值灰度的位数）灰度的位数）/8

9、/8 （字节）（字节）19多媒体图形图像处理 多媒体图形图像的基本格式BMP（Bitmap）格式 GIFGIF（Graphics Interchange FormatGraphics Interchange Format）格式）格式 JPEGJPEG（Joint Photographic Experts GroupJoint Photographic Experts Group）格式）格式 JPEG 2000JPEG 2000格式格式 PNGPNG（Portable Network GraphicsPortable Network Graphics）格式）格式 PSDPSD（Photoshop

10、 DocumentPhotoshop Document）格式）格式 TIFFTIFF（Tag Image File FormatTag Image File Format）格式）格式 PDFPDF（Portable Document FormatPortable Document Format）格式）格式 SVGSVG（Scalable Vector GraphicsScalable Vector Graphics）格式）格式 20BMP（Bitmap）格式 图像文件的大小图像文件的大小=（图像高的像素值（图像高的像素值图图像宽的像素值像宽的像素值灰度的位数）灰度的位数）/8 （字节）（字节）

11、21多媒体音频处理 音频信息获取方法使用录制设备来录制音频，然后对其进行数字化处使用录制设备来录制音频，然后对其进行数字化处理。理。由网上直接下载公开的音频信息。由网上直接下载公开的音频信息。可以通过一些相关的音频软件制作简单的音频信息可以通过一些相关的音频软件制作简单的音频信息 音频处理指标 采样频率采样频率 量化精度量化精度 通道数通道数 实时音频交互时延=15, movie:24, Pal:25, ntsc:30)(=15, movie:24, Pal:25, ntsc:30)视频图像质量视频图像质量 视频文件的大小视频文件的大小 多媒体视频压缩有损压缩和无损压缩有损压缩和无损压缩 26

12、多媒体视频处理 多媒体视频多媒体视频存储存储格式格式 ( (不是视频、音频编码不是视频、音频编码) )FLV (Flash Live Video) FLV (Flash Live Video) 流式视频格式，高压缩率流式视频格式，高压缩率 AVIAVI（Audio Video InterleavedAudio Video Interleaved）格式）格式 MPEGMPEG（Motion Picture Experts GroupMotion Picture Experts Group）格式）格式 编码：MPEG-1 MPEG-2 MPEG-4 MPEG-7RM（Real Media）和和 R

13、MVBRMVB（Real Media Variable Real Media Variable BitrateBitrate）格式）格式 ASF（Advanced Streaming format）格式 WMV（Windows Media Video）格式 AVS（Audio Video Coding Standard）格式 国内提出的音频视频编码标准国内提出的音频视频编码标准MP4，3GP27HDTV(高清晰度电视)HDTV编码格式编码格式MPEG2-TSH.264VC1HDTV显示格式显示格式(16:9)720P(1280720，逐行) 1080i(19201080，隔行)1080P(19

14、201080，逐行)一部电影文件大小一部电影文件大小20GVCD4:3, 340255DVD4:3, 720576 http:/ 多媒体多媒体视频处理的主要软件 Adobe PremiereAdobe Premiere。非线性的编辑音频、视频软件，已经。非线性的编辑音频、视频软件，已经在影视制作领域取得了比较大的成功。在影视制作领域取得了比较大的成功。Media Studio ProMedia Studio Pro。集影片特效、。集影片特效、2D2D动画制作、视频编动画制作、视频编辑相整合的视频编辑软件。辑相整合的视频编辑软件。Ulead Video StudioUlead Video Stu

15、dio。专门针对家庭娱乐、个人影像制。专门针对家庭娱乐、个人影像制作的简便型视频编辑软件。作的简便型视频编辑软件。Ulead DVD Movie Factory Ulead DVD Movie Factory 。完整的。完整的DVDV编辑和编辑和VCDVCD、DVDDVD制作的工具制作的工具 29多媒体动画处理 （自学） 多媒体动画的类型 关键帧动画关键帧动画 轨迹动画轨迹动画 粒子动画粒子动画 片头动画设计片头动画设计 常用动画制作软件 Director Director 、Animator Pro Animator Pro 、3D Studio Max 3D Studio Max 、Fla

16、sh Flash 等等多媒体技术及应用基础30第四章第四章 多媒体技术及其应用基础多媒体技术及其应用基础多媒体存储与传输技术多媒体存储与传输技术 31数据压缩原理 信息量 = 数据量 - 冗余量 数据冗余 空间冗余空间冗余 时间冗余时间冗余 结构冗余结构冗余 视觉冗余视觉冗余 听觉冗余听觉冗余其它冗余其它冗余 知识冗余、信息熵冗余、纹理的统计冗余 32压缩原理示例 行程长度编码：用较短的子串来表示较长的子串：行程长度编码：用较短的子串来表示较长的子串： 字符串“AAAAAAAAAA” 可用 10A 来表示例如有一张黑白图片，以W表示白色，B表示黑色： WWWWWWWWWWWWBWWWWWWWW

17、WWWWBBBWWWWWWWWWWWWWWWWWWWWWWWWBWWWWWWWWWWWWWW使用这个压缩法便可得到 12WB12W3B24WB14W如果是ABio154WQS 这样的毫无规律的字串用什么方法也无法压缩的更小一点/w/index.php?title=%E6%95%B0%E6%8D%AE%E5%8E%8B%E7%BC%A9&variant=zh-cnzh-cn33压缩原理示例 Hoffman编码：编码：用较短的码来表示出现频率较多的字，而不像 ASCII、UNICODE 码是等长的。这样可以缩短编码后的大小。“this is an exa

18、mple of a huffman tree.” 37个字符编码后只需135b（不包括保存树所用的空间）字符频率编码space7111a4010e4000f31101h21010i21000m20111n20010s21011t20110l111001o100110p110011r111000u100111x11001034压缩原理示例MPEG动态图像特点动态图像特点动态图像以每秒25 帧播放，在如此短的时间内，画面通常不会有大的变化；在画面中变化的只是运动的部分，静止的部分往往占有较大的面积；即使是运动的部分，也多为简单的平移。 压缩原理：压缩原理：每隔若干帧（如30帧）之后记录一幅原始（完

19、整）帧，对于中间帧只记录和前一帧的不同；播放时，根据前一帧的画面和两帧的不同构造出当前画面(预测)利用运动补偿算法Bidirectional Prediction1I2B3B4B5P6B7B8B9P10BForward Prediction11B12B13I35压缩原理示例MPEG 续 首先首先,MPEG-1压缩的基本思想压缩的基本思想:帧内压缩和帧间压缩。帧内压缩和帧间压缩。 其次其次,时间相关性的统计分析时间相关性的统计分析:统计的结果表明统计的结果表明,在间隔在间隔12帧的图像中帧的图像中,各像素只有各像素只有10%以下的点以下的点,其亮度差值变化超其亮度差值变化超过过2%,而色度差值的

20、变化只有而色度差值的变化只有1%以下。以下。 采用的压缩方法采用的压缩方法: 分组分组:把几帧图像分为一组把几帧图像分为一组(GOP),为防为防止运动变化止运动变化,帧数不宜取多。帧数不宜取多。 1.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧; 2.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧; 3.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。36数据压缩 压缩技术的指标 压缩比压缩比 数据压缩前与数据压缩后的数据量之比 信号质量信号质量 有损压缩 无损压缩压缩与解压缩的速度压缩与解压缩的速度 算法与软硬件的开销算法与软硬件的开销 37数据压缩

21、压缩的分类 根据编码前后多媒体信息是否完全一致 无损压缩 可逆有损压缩 根据其作用域的不同根据其作用域的不同, ,分为分为 空间域方法变换域方法混合方法 根据是否自适应分根据是否自适应分 自适性非自适应性编码 38数据压缩 常用的压缩算法 变长编码变长编码 主要用于消除代码的冗余，是一种无损压缩算法 预测编码预测编码 信号之间的关联性越强，预测的值也就越精确 变换编码变换编码 变换编码系统对数据的压缩分为变换、变换域采样、量化三个步骤 模型编码模型编码 采用模型的方法对传输的图像进行相关参数的估计 39光存储设备 光存储介质（120mm光盘）+光盘驱动器 光存储系统的分类 按照光盘的读写功能划

22、分按照光盘的读写功能划分 只读式光存储系统 一次写入式光存储系统 可重写光存储系统 按照光盘的存储结构划分按照光盘的存储结构划分 CD 700MBDVD 4.7GB, 8.5GB蓝光光盘 20GB40光存储设备 光存储设备的技术指标 存储容量存储容量 平均存取时间平均存取时间 数据的传输率数据的传输率 光存储设备的使用优势 存储容量大存储容量大 寿命长寿命长 体积小体积小 价格低价格低 41多媒体技术及其应用（二） 多媒体传输技术多媒体传输技术流媒体 多媒体系统多媒体系统组成：硬件+软件多媒体开发平台与工具多媒体开发平台与工具视频会议系统数字电视42流媒体 什么是流媒体？适合流式传输的媒体适合

23、流式传输的媒体流媒体的出现流媒体的出现与与”第四媒体第四媒体”网络有关网络有关 流媒体技术的内涵流媒体文件格式流媒体文件格式 缓存技术缓存技术 网络协议网络协议流式传输过程流式传输过程 源媒体文件格式普通压缩文件流媒体文件图4-2 流媒体文件与传统压缩文件压缩格式的区别43流媒体文件格式流媒体文件格式 历史上赫赫有名的：RMRM（RealMediaRealMedia，RealnetworksRealnetworks） ASFASF（Advanced Streaming FormatAdvanced Streaming Format，MicrosoftMicrosoft） QuickTime (

24、Apple)QuickTime (Apple) 后起之秀：FLV (macromedia, Adobe)FLV (macromedia, Adobe)视频网站视频网站http:/ 流式传输的基本过程缓冲存储器缓冲存储器选择媒体选择媒体45流媒体 流媒体的优点 真正实现第四媒体真正实现第四媒体提供网络在线播放和传输性能提供网络在线播放和传输性能, ,流媒体的交互性流媒体的交互性 点播收看点播收看 全球性和通用性全球性和通用性 流媒体的播放方式 点播点播单播单播 广播广播 组播组播 46流媒体 q流媒体的应用领域 远程教育远程教育 宽带网视频点播宽带网视频点播 视频会议视频会议 流媒体技术存在的问

25、题 网络的可用带宽低网络的可用带宽低 高丢包率高丢包率 延时延时 新发展方向：新发展方向：P2PP2P（peer to peerpeer to peer）流媒体）流媒体 例如47P2P工作原理 打开打开多媒体技术及应用基础48第四章第四章 多媒体技术及其应用基础多媒体技术及其应用基础多媒体系统多媒体系统 49多媒体系统的组成 多媒体控制卡和接口多媒体控制卡和接口多媒体应用软件多媒体应用软件多媒体创作与编辑软件多媒体创作与编辑软件多媒体开发平台多媒体开发平台多媒体操作系统多媒体操作系统多媒体驱动软件多媒体驱动软件多媒体计算机硬件多媒体计算机硬件多媒体外围设备多媒体外围设备第八层第八层第七层第七层

26、第六层第六层第五层第五层第四层第四层第三层第三层第二层第二层第一层第一层多媒体硬件多媒体硬件系统系统多媒体软件多媒体软件系统系统图图4-6 多媒体系统层次结构图多媒体系统层次结构图50多媒体系统组成 图图4-7 多媒体硬件系统结构多媒体硬件系统结构多媒体硬件系统多媒体硬件系统主主板板CPU和和内内存存显显示示设设备备鼠鼠标标和和键键盘盘数数字字笔笔触触模模屏屏彩彩色色打打印印机机音音响响投投影影仪仪音音频频卡卡视视频频卡卡显显示示卡卡网网络络适适配配器器通通信信线线路路调调制制解解调调器器交交换换机机基本硬件基本硬件多媒体多媒体I/O设备设备多媒体扩展硬件多媒体扩展硬件网络设备网络设备51多媒

27、体系统组成 图图4-8 多媒体软件系统结构多媒体软件系统结构多媒体软件系统多媒体软件系统操作系统操作系统设备驱动程序设备驱动程序创作平台与工具创作平台与工具应用软件应用软件Windows 9XWindows 2000/XPVista/Windows 7Linux, Unix, OS/2声卡驱动程序声卡驱动程序主板驱动程序主板驱动程序网卡驱动程序网卡驱动程序音音/视频卡驱动程序视频卡驱动程序I/O驱动驱动多媒体素材制作软件多媒体素材制作软件Windows 95/98多媒体库函数多媒体库函数多媒体创作工具多媒体创作工具多媒体播放器软件多媒体播放器软件Windows 95/98光盘刻录软件光盘刻录软

28、件多媒体压缩软件多媒体压缩软件52多媒体视频会议系统http:/ 硬件组成硬件组成 软件组成软件组成音视频编码网络传输协议控制软件54多媒体视频会议系统 视频会议系统的特点 分布性分布性 实时性实时性 协作性协作性 集成性集成性方便性方便性 高质量高质量 55多媒体视频会议系统 视频会议系统的扩展功能 提供流畅的音频，清晰的视频图像提供流畅的音频，清晰的视频图像视频广播视频广播 桌面共享和远程摇控桌面共享和远程摇控 电子白板电子白板 数据传输和共享数据传输和共享 音频、视频的录制功能音频、视频的录制功能 56多媒体教学系统 与传统教学系统相比，多媒体教学系统的优势 多样性多样性 集成性集成性

29、灵活性灵活性 交互性交互性 信息量增加信息量增加 跨时空性跨时空性 57多媒体教学系统 多媒体教学系统设计原则 教学性原则教学性原则 科学性原则科学性原则 灵活性原则灵活性原则 互动性原则互动性原则 简约、艺术性原则简约、艺术性原则 58数字电视系统 与模拟电视相比，数字电视的优势 抗干扰能力强抗干扰能力强 带宽的利用率提高带宽的利用率提高 图像清晰度高图像清晰度高色彩鲜艳色彩鲜艳 稳定性稳定性可靠性高可靠性高 交互性增强交互性增强 能对视频画面进行多种操作能对视频画面进行多种操作 59数字电视系统 数字电视的关键技术 数字电视信号的压缩、解压缩技术数字电视信号的压缩、解压缩技术 数字电视数据

30、的复用、加扰技术数字电视数据的复用、加扰技术 数字电视信道的编码、解码技术数字电视信道的编码、解码技术 大屏幕、高清晰度的显示技术大屏幕、高清晰度的显示技术 宽带网络技术宽带网络技术 数字电视的调制技术数字电视的调制技术 多媒体技术及应用基础60第四章第四章 多媒体技术及其应用基础多媒体技术及其应用基础多媒体开发平台与工具多媒体开发平台与工具 61多媒体开发平台与工具 图像处理 VC+VC+、PhotoshopPhotoshop、ACDSeeACDSee、CorelDrawCorelDraw、Paint BrushPaint Brush、Freehand Freehand 等。等。 视频处理软

31、件 Adobe PremiereAdobe Premiere、Media Studio ProMedia Studio Pro、Ulead Video Ulead Video StudioStudio 等。视频转换视频转换 音频编辑软件有Cool Edit ProCool Edit Pro、Gold WaveGold Wave、Cake WalkCake Walk等、抓音轨。等、抓音轨。 动画处理软件有DirectorDirector、Animator ProAnimator Pro、3D Studio Max3D Studio Max、SuperCardSuperCard、CompuServe GIF89aCompuServe GIF89a等。等。 62OpenCV OpenCV的全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。最新版本为2.0。由一系列的由一系列的C C语言函数以及语言函数以及C+C+的类构成，它独立于外部库函数，的类构成，它独立于外部库函数，但同时也可以在运行时对外部库进行使用。提供了强大的图