多媒体技术与应用第一章

多媒体技术与应用第一章问题1、什么是多媒体？2、关键特性有哪些？3、日常中我们是如何利用多媒体的？4、多媒体可应用于？5、掌握课后的思考题！…日常中我们是如何利用多媒体的？多媒体可应用于？美国MITMediaLab（麻省理工学院媒体实验室）的学生普拉纳夫研究的惊人的技术:

/v_show/id_XMTQxNzY2MDUy.html新技术让日常物体变成视觉麦克风/sites/ccf/nry.jsp?contentId=2815401641444百度李彦宏：未来五年语音图片搜索将超过文字:/2014-09/04/c_1112359704.htm中科院开发人脸识别系统在线支付刷脸/internet/87/38958587.shtml2011.12—2012.12中国网民对各类与多媒体技术相关的网络应用使用率(CNNIC)

多媒体概述多媒体元素多媒体信息的数据压缩多媒体系统多媒体技术第一章多媒体基本概念媒体与多媒体

媒体分类多媒体的关键特性1.1多媒体概述媒体：是指传播信息的介质。准确的说，媒体又称媒质或媒介，是信息表示、信息传递和信息存储的载体。传统的媒体：报纸、杂志、广播、电枢、电影等；新媒体：网络媒体、IPTV、电子杂志、移动媒体等；计算机领域，媒体包含两重含义：存储信息的实体（媒质）传递信息的载体（媒介）——多媒体计算机技术中媒体的含义。1.1.1媒体与多媒体多媒体20世纪80年代创造的英文词MM:Multimedia=multiple+media是指将多个不同但相互关联的媒体综合集成在一起而产生的一种传播、存储和表现信息的全新载体。多媒体信息多媒体技术多媒体经常作为多媒体技术的同义词。多媒体信息处理技术——音频信息处理、图像信息处理等。1、多媒体是信息交流和传播的媒体，从这个意义上与电视、报纸…等功能一样。2、多媒体信息都是以数字形式而不是模拟信号的形式存储和传播的。3、多媒体是人-机交互式媒体。补充：流媒体：指视频、声音和数据从源端同时向目的地传输，它可以作为连续实时流在目的地被接收。是一种新的媒体传送方式，而非一种新的媒体。超媒体：超媒体除了使用文本外，还使用图形、图像、声音、动画或影视片断等多种媒体来表示信息，这些媒体之间也是用超级链接组织的，它们直接的链接也是错综复杂的。多媒体定义中需要明确的按承载信息的方式来划分感觉媒体：能直接作用于人的感官，使人产生感觉的媒体。如声音、图像、气味、味道等表示媒体：用于数据交换的编码，是感觉媒体数字化后的表现形式。如条形码、文本编码、图像编码、声音编码等显示媒体：感觉媒体与电信号之间转换用的媒体，分为输入显示媒体（键盘、鼠标、话筒、摄像机、扫描仪等）和输出显示媒体（显示器、音箱、打印机、投影仪）1.1.2媒体分类存储媒体：又称存储介质，用来存放表示媒体的媒体，如磁盘、磁带、光盘、内存等传输媒体：将表示媒体由一处传送到另一处的物理载体，如双绞线、光纤和无线传输介质等核心：感觉媒体和表示媒体信息存在和表示的形式存储器输出设备CPU输入设备表示媒体存储媒体显示媒体显示媒体感觉媒体感觉媒体传输媒体表示媒体计算机中五种媒体的关系按计算机处理数据的形式来划分文本、声音、图形、图像、动画和视频从人机交互的角度来划分视觉、听觉、触觉、嗅觉和味觉信息载体的多样化信息载体的集成性信息载体的交互性1.1.3多媒体的关键特性单选：流媒体技术的主要特点是：____

A：下载视频后再播放

B：边下载视频边播放

C：实时视频通讯

D：实时视频压缩填空：媒体信息都是以____形式式存储和传播的.多选：按照承载信息的方式分类，媒体分为____(A)感觉媒体(B)表示媒体(C)听觉媒体(D)视觉媒体(E)显示媒体(F)存储媒体(G)触觉媒体(H)传输媒体判断：多媒体技术，即是计算机交互式综合处理多媒体信息--文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。练习:B数字a,b,e,f,h对文本图形图像声音动画视频1.2多媒体元素文本文件非格式化文本文件，如“.txt”文件；格式化文本文件，如“.doc”文件。微机中ASCII编码GB-2312编码计算机获取文字的方法键盘、手写、语音、OCR1.2.1文本图形一般指由计算机绘制的画面如直线、矩形、圆、圆弧、任意曲线和图表等，机械结构图、建筑结构图都是典型的组合图形。图形文件只记录生成图的算法和图上的某些特征点，因此又称为矢量图。计算机中常用的图形文件

SWF、DXF、SVG…1.2.2图形图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面，它用数字来描述像素点、强度和颜色。 静止的图像就象一个矩阵，由一些排成行列的点组成，这些点称之为像素点，这类图像又称为位图。计算机中常用的图像文件

BMP、GIF、JPG…1.2.3图像位图由像素组成、而矢量图由矢量线组成。矢量图可以无限放大，而且不会失真。而位图则不能。位图可以表现的色彩比较多.而矢量图则相对较少。矢量图更多的用于工程作图中，比如说ACD。而位图更多的应用在作图中，比如PS。矢量图和位图的区别声音是一种物体震动产生的波 按照其频率的不同，可分为次声波（频率低于20Hz）、超声波（频率高于20kHz）和可听声波（频率在20Hz与20kHz之间），可听声波也称为音频波。常用的声音文件

WAV、MID、MP31.2.4声音动画是动态图画。实质是一幅幅静态图像的连续播放，一幅静态图像称为一帧。计算机设计动画方法有两种造型动画、帧动画。常用的动画文件

GIF、FLI/FLC、SWF1.2.5动画将若干幅有联系的图像画面（帧）连续播放便形成了视频 视频的每一帧，实际上就是一幅静态图像，多幅图像连续播放（电影的播放速度是24帧／秒），对于人眼就会产生图像“动”的效果。计算机中主要的视频文件

AVI、MPG、ASF1.2.6视频多媒体数据压缩概述数据压缩技术基础数据压缩方法多媒体数据压缩标准1.3多媒体信息的数据压缩多媒体信息的数据量冗余的基本概念数据冗余的种类1.3.1多媒体数据压缩概述声音数据量=（采样频率×量化位数×声道数×声音持续时间）／8采样频率满足采样定理。电话话音（1小时）(8k×8×1×3600)/8=28125(KB)≈27.47(MB)CD音乐(44.1k×16×2×3600)/8=635040(KB)≈620(MB)5.1声道（44.1k×16×5.1×3600）/8=1581398(KB)≈1544(MB) ≈1.5(GB)多媒体信息的数据量1K是千M是兆G是吉咖T是太拉

8bit(位)=1Byte(字节)

1024Byte(字节)=1KB

1024KB=1MB

1024MB=1GB

1024GB=1TB

静态图像数据量=（垂直方向分辨率×水平方向分辨率×颜色深度）／8真彩色位图图像分辨率为640×480，颜色数为16777216（24bit)：

(640×480×24)／8=900(KB)相机(如NikonD200)拍摄的照片图像分辨率为3882×2592，颜色深度为24位：

(3882×2592×24)／8≈29479(KB)≈28.8(MB)多媒体信息的数据量2动态视频数据量=（分辨率×颜色深度）×帧频×播放时间／8 彩电PAL制式帧频为25，每帧画面为625行，宽高比为4:3，每秒数据量：((625×4/3)×625×24)×25／8≈38147(KB)≈37.25(MB)需要的传输带宽为312.5Mbps；每小时的数据量约为131GB；在650MB的光盘中只能存放不到18秒的视频。高清晰度电视（HDTV）分辨率为1920×1080，帧频为30，每秒数据量为：(1920×1080×24)×30／8=182250(KB)≈177.98(MB)需要的传输带宽为1423.8Mbps；每小时的数据量约为626GB。多媒体信息的数据量3多媒体信息的数据量=信息量＋冗余数据量多媒体信息的数据冗余主要体现在两个方面冗余的具体表现是相同或相似信息的重复无法传递或播出的信号，这部分信号的数据可以被压缩剔除（1、精度和带宽的限制；2、人们感知的限制等。）冗余的基本概念空间冗余：是态静图象存在的最主要的一种冗余。时间冗余：是运动图像中经常包含的冗余。空间冗余和时间冗余被称为统计冗余。结构冗余：知识冗余视觉冗余：Mpeg听觉冗余：mp3编码冗余数据冗余的种类熵的概念量化数据压缩技术的性能指标1.3.2数据压缩技术基础信息熵 用来表示一条信息中真正需要编码的信息量，即该信息数据压缩的理论极限。信源S的熵定义为：

H(s)=∑pilog2(1/pi) pi是符号Si在S中出现的概率；

log2(1/pi)表示包含在Si中的信息量，也就是编码Si所需要的位数。 例如一幅灰度图像采用256级灰度，如果一个像素点取值每一个灰度级的概率均为pi=1／256，则每一个灰度级的编码需要8个二进制位，即每一个像素点就需要8位编码表示。熵的概念熵计算实例有一幅100个像素组成的灰度图像，灰度共有5级，分别用符号A、B、C、D和E表示，100个像素中各级灰度的像素数如下：灰度级灰度A灰度B灰度C灰度D灰度E像素个数

502510105如果用3个二进制位表示5个等级的灰度值，也就是每个像素用3位表示，编码这幅图像总共需要300位；按照香农理论，这幅图像的熵为：

H(s)=(50/100)log2(100/50)+(25/100)log2(100/25)+(10/100)log2(100/10)+(10/100)log2(100/10)+(5/100)log2(100/5) ≈1.88(bit)

这就是说每个符号用1.88位表示，100个像素需用188位。量化模拟信号到数字信号的转化（A/D转换）包含采样和量化两个步骤采样：用有限个离散量来代替无限的连续模拟量声音：时间轴上的离散化图像：空间区域的离散化量化：对模拟量确定一组量化级并确定其代表值，每个量化级覆盖一定的取值空间，所有量化级覆盖整个有效取值区间。将模拟量的采样值与这些量化级比较，落在某个量化级空间上，就用这个量化级的代表值作为采样点的量化结果。声音：幅度值的量化表示图像：灰度值的量化表示音频采样频率图像分辨率音频量化位数/量化级颜色深度/像素深度采样率（Hz）：每秒钟的采样次数，如16kHZ帧率（framespersecond,fps）：每秒钟视频帧的个数电影：24fpsPAL制式：25fpsNTSC制式：30fps比特率（bitspersecond,bps）:每秒钟媒体数据所使用的比特位数音频：采样率×量化位数视频：帧率×每幅图像的比特数图像分辨率对图像质量的影响265x180133x9066x4533x22采样定理：在进行模拟/数字信号的转换过程中，当采样频率fs.max大于信号中，最高频率fmax的2倍时，即：fs.max>=2fmax,则采样之后的数字信号完整地保留了原始信号中的信息；采样定理又称奈奎斯特定理。

量化采样率与比特率比特率=采样率*采样精度（量化位数）量化处理：实际是数据压缩编码的过程。频带(Hz)带宽(kHz)采样频率(kHz)量化位数声道数比特率(kbps)电话200~32003.081远程会议50~70007.0161数字音频光盘20~2000020.0162数字音频带20~2000020.016281644.148.0642561411.21536颜色深度对图像质量的影响256灰度级16灰度级8灰度级4灰度级量化处理标量量化：一维量化，一个采样点对应一个量化结果典型PCM:均匀量化.矢量量化：多维量化将若干个标量数据组构成一个矢量，然后在矢量空间给以整体量化，从而压缩了数据而不损失多少信息信息压缩比（大小）压缩后多媒体信息的质量（质量）压缩和解压缩的速度（速度）数据压缩处理的硬件和软件开销（成本）数据压缩技术的性能指标根据解码后数据是否能够完全无损地恢复原始数据来进行划分无损压缩：行程编码、哈夫曼（Huffman）编码、算术编码和LZW编码等。压缩比：2-5倍之