多媒体技术及应用课件

多媒体技术及应用12Multimedia:Computing,CommunicationsandApplications.

RalfSteinmetz,KlaraNahrstedt 1995PrenticeHall,Inc.

影印本和中译本：清华大学出版社2000年

MultimediaCommunications:ProtocolandApplications.

F.Kuo,W.Effelsberg PrenticeHall,Inc.清华大学中译本1998年

ComputerNetworks,3rdEdition.

A.S.Tanebaum 1996PrenticeHall,Inc.

清华大学出版社 1996(大学计算机教育丛书：影印版)

InternetworkingwithTCP/IPVolI:Principles,ProtocolsandArchitecture,3rdEdition.

DouglasE.Comer,P-H,清华影印版

IP交换技术协议体系结构：IPSwitchingProtocolsandArchitecture.

Metz,C.Y等 theMcGrawHillCo.,Inc.1999年机械工业出版社中译本参考书目3参考书目多媒体数字压缩原理与标准：DigitalCompressionforMultimediaPrinciplesandStandards.

Gibson,J.D.等MorgomKaufmamnPublishers,Inc.2000年电子工业出版社李煜辉、朱山风、段上为等；

多媒体技术教程

胡晓峰吴玲达老松杨司光亚编 人民邮电出版社2002.1

现代通信新技术

达新宇主编 西安电子科技大学出版社2001年多媒体网络技术与应用

鲁士文编著，清华大学出版社2002年多媒体技术(高级)

钟玉琢等，清华大学出版社，1999年7月MPLS技术与实现

李晓东编著，电子工业出版社，2002年12月4参考书目High-SpeedNetworksandInternets:PerformanceandQualityofService,2ndEdition

WilliamStallings,PrenticeHall

高速网络与互联网－－性能与服务质量(第二版)

电子工业出版社2003年NetworkManagement:PrinciplesandPractice(影印版)

Mani

Subramanian,高教出版社，PearsonEducation出版集团

2001年移动IP技术

孙利民等编著，电子工业出版社，2003年

网格计算

都志辉、陈渝、刘鹏编著，李三立审，清华大学出版社，2002年5多媒体技术与应用内容多媒体通信技术概述多媒体：媒体与数据流多媒体数据压缩多媒体同步多媒体通信服务质量IntServ和DiffServ－－IPQoSRSVP、MPLS、GMPLS6第一章多媒体通信技术概述

1.1多媒体通信基础设施国家信息化基础设施：NII及全球信息化基础设施GII

一个由覆盖全国、完整统一的、大容量、高速率的现代化通信网(信息高速公路)和连接在这条公路上的各类信息资源、信息终端以及必要的法律规范所构成的，能使任何人在任何地点、任何时间都可以方便获取和交流信息的现代社会基础结构。五个层次(NII):第一层：传输层 以光缆为主体的高速宽带传输网。第二层：网络层在第一层基础上根据不同类型信息交换要求设置的各类交 换机、路由器组成的通信网。第三层：信息层连接在通信网上的各类信息源，即提供各类声音、数据、 图像等信息资源的各种公用或专用信息库。第四层：应用层 通过各种有线或无线接入网存取网络信息库资源的各类信

息终端，以及应用这些终端实现的各行各业的信息应用。第五层：管理层管各个层次的，有关通信和信息业的政策、法规以及人才 教育的社会环境。71.2多媒体通信的关键特征1.通信载体多样性－－信息多维化

人类感觉空间：视觉、听觉、触觉、嗅觉和味觉

在信息交互方面，计算机等类似设备远未达到人类处理信息的水平。 多媒体要把机器处理的信息多样化95%以上的信息量信息获取(输入)表现(输出)记录重放创作与综合(变换、组合、加工)数据、设备、系统、网络丰富表现力

增强效果Currentcapacityreservation2多媒体通信的关键特征熵:

=－[0.6无规律数据流，包的数据量既不恒定也没有周期性的变化规律量化表

量化器步长Q(u,v)是量化表元素,随DCT系数的位置和彩色分量的不同有不同的值.350.⑦亮度子块JPEG编码示例

亮度子块按”Z”序列排列的系数:

K:0123456789~303132~63

系数:125-20200010-10初值为整个区间[0,1),出现新的编码符号,先把完整的[0,1)区间映射到上一次形成的区间,然后新区间取为[0,1)上新符号对应区间所映成的像.如比特率等级:帧宽×帧高×帧率(水平像素×垂直像素×帧/S)

低级:352×288×29.线性变换,有效的时频域分析工具,静态图像的压缩;TTLoftopentryonstackdecrementedatinternalLSRLabelswitchedrouterscapableofswitchingandroutingpacketsbasedonlabelappendedtopacket部分在VOP内、部分在VOP外的宏块JPEG(JointPhotographicExpertsGroup)图像纹理区的像素值存在着分布模式:如方格状地板图案;ConfigurevaryingdegreesofQoSformultiplecustomers传输模式：异步传输模式、同步传输模式、等时传输模式感知信息靠五大感觉：

视觉、听觉、触觉、嗅觉、味觉350.国际电子学委员会IEC和ISO组成的ISO/IEC81.2多媒体通信的关键特征2.交互性：

通信系统中人与系统之间的相互控制能力。

终端与系统的交互通信能力。交互式使用、加工和控制多媒体信息的手段。

多媒体终端用户对通信全过程有完备的交互控制能力。

通过人机接口协议和应用层协议实现。

实现真正多点之间、多种媒体信息之间的自由传输与交换。

虚拟现实。数据－信息－知识3.同步性

多媒体通信终端上显现的图像、声音和文字是以同步方式工作的。

图像数据库、声音数据库、文本数据库中数据按特定关系组合。

文字、声音、图像等信息可来自不同的信息源，并可通过不同的传输途径传输而来，但用户终端得到的是完全同步的多媒体信息。

同步性是区别多媒体通信与多种媒体通信的重要标志。91.2多媒体通信的关键特征4.集成性

采集、处理、存储、传输和显示多种信息表示媒体。

1)多媒体信息媒体的集成：信息的多通道统一获取、统一存储与组织、表现合成。媒体间关系。

2)处理多媒体设备设施集成：

硬件：高速并行处理系统、大容量存储系统、多 通道I/O及设计、宽带接口、多媒体网络；

软件：多媒体OS、媒体交换格式、多媒体DBMS、 创作用具、应用软件系统。

它是集多种Codec、多种显示方式于一体，能与多种传输媒体进行接口，与多种存储媒体进行通信的系统。

时间关系、空间关系、链接关系101.3多媒体通信业务基于群体的通信：多方参与、多条链接、资源和用户可以动态变化。1.3.1交互型业务

会话型、电子信函型和检索型1)会话型业务两点或多点之间同时传递语音、图像和文件及高速数据传输。几方预定或即时发生。信息流量可以是双向对称或不对称。文本交谈、可视电话、视频会议112)电子信函型业务包含图像、伴音、混合文件的电子邮件业务消息的存储、转发、处理功能点对点或者点对多点，对称或单向图、文、声信箱及传递3)检索型业务宽带可视图文、高分辨率图像检索、文件/数据检索点对点、点对多点远程教学、医疗、购物、娱乐等121.3多媒体通信业务1.3.2分配型业务按用户能否进行单独演示控制分类用户不能控制的常规电视、文件传送、高速不受限制数字信息传输广播型电视节目、电子报纸用户不能控制广播信息的起始时间及顺序用户能够进行单独演示控制的全频道广播视频通信：远程教学、新闻检索、节目点播点播型业务：用户可控制节目播放的起停和顺序131.4多媒体通信的应用1.4.1办公自动化：虚拟办公室交流、处理信息不同的地点1.4.2服务行业远程教育：电子学习或e-Learning(数字化学习)远程医疗：异地会诊、医疗信息库查询财政金融1.4.3科研和工程CAD(ComputerAidedDesign)CIMS(计算机集成制造系统)141.4多媒体通信的应用1.4.4家庭新闻、教育、保健、医疗、体育休闲、消费、理财、管理等机顶盒、家庭媒体网关（硬件平台、1394接口、接入网插件、嵌入式OS、设备驱动程序、中间件系统、应用软件等）1.4.5其它领域军事和保安：指挥、调度、会议与现场检测交通管理：智能交通系统ITS保险业：房地产：151.5多媒体通信的关键技术多媒体通信终端技术、网络技术、应用系统技术1.5.1信号处理与识别技术纠错编码技术调制解调技术数字滤波技术信息安全与防护技术1.5.2多媒体数据压缩编码技术视频信息： 不压缩140Mb/sH.261H.263HDTV信息： 不压缩1Gb/s JPEG语音信号： 不压缩64Mb/s MPEG-1,2,4,7,21;

161.5多媒体通信的关键技术1.5.3宽带网络技术压缩后的多媒体数据率仍然很高

HDTV20Mb/s不失真传输，带宽20MHz1.多媒体通信网高速宽带QoS保证和资源管理同步安全组播分布处理：CSCW(ComputerSupportedCooperativeWork)LAN、MAN、WAN、BackboneNetworksATM(B-ISDN)、IP网171.5多媒体通信的关键技术2.接入网全光网、无源光网、FTTHxDSL无线接入网3.下一代互联网1)NGI：白宫下一代Internet倡议2)VBNS：美国NSF的超高带宽网络服务3)Internet2：美国高校、企业、政府合作的Internet2181.5多媒体通信的关键技术4)Grid、ACI、ISG等：美国Argonne国家实验室GlobusToolkitRelease3.x资源共享基础设施：计算、存储、通信、信息、软件、知识，SLA（服务等级协定），单一映象、一体化服务P/G：Pervasive/Grid的GGG(GreatGlobeGrid)将取代B/S的WWW标准化在2004-2005年，主导2005-2020年IT大发展，2015-2020年创造20万亿美元的大工业美国科学基金会NPACI和NCSA、宇航总署IPG、能源部ASCIDISCOM、欧盟DataGrid、日本GCIIBM、SUN、HP、Intel、MS等大公司的GRID方案中科院Vega网络和清华ACI系统19第二章多媒体：媒体和数据流媒体(Media)多媒体系统的主要属性多媒体系统的定义传统数据流特性连续媒体数据流特性计算机中的常见媒体多媒体的综合特性202.1媒体(Media)媒体的定义承载信息的载体信息发布和表示的形式媒体的分类媒体可用不同标准分类，现用感知、表示、表现、存储、传输和信息交换对其进行分类表示值和表示空间(RepresentationValues&RepresentationSpace)表示维度(RepresentationDimensions)212.1.1感知媒体(PerceptionMedia)直接作用于人的感官而产生感觉帮助人类感知环境：

人们怎样在计算机环境中感知信息？感知信息靠五大感觉：

视觉、听觉、触觉、嗅觉、味觉计算机看感知信息用可视介质：

文本、图形、图像、动画、视频

计算机听感知信息用可听介质：

语音、音乐、噪声预测器可以采用不同的预测方法,不同的预测方法将决定有那些相邻的像素将被用于预测下一个像素.参考帧:I,P;B不能作参考帧;利用图像块内像素值之间的相关性,把图像变换到一组新的基上,使能量集中到少数几个变换系数上.表示空间也可能是信息输出表示媒体的一部分RSVPOperationDiagram熵:

=－[0.统计编码

(熵编码)(无损)VOP内的块:DCT编码;信息记录方式:游程是连续的,游程的位置信息和信号值都有2种记录方式——差分方式:较高效率;绝对值方式;MaxlinkdatarateRouterscandecideiftheycanmeetdemand直接作用于人的感官而产生感觉基于16×16宏块的算法:每个宏块作为一个2维运动矢量处理,宏块作为预测单元,当前宏块是先前宏块的位移,位移内容包括运动方向和运动幅度.350.影印本和中译本：清华大学出版社2000年熵编码分两步:

DC码/AC码→中间符号序列→赋以变长码字4Gbit=290GBPortnumbers兼容性(包容性和继承性);离散像素采样表示颜色没有利用这种空间连贯性;对帧图使用DCT编码的宏块结构和场图使用DCT编码的宏块结构是不一样的.222.1.2表示媒体

(RepresentationMedia)对感知媒体进行有效处理、加工和传输信息在计算机内的表示：

信息怎样编码？计算机内媒体信息的编码是人造的媒体文本字符：ASCII、EBCDIC、T.101、GB2312图形：CEPT或CAPTAIN视频正文标准、GKS图形标准音频：PCM（每个样本用16位线性量化）图像：ISOgroup3、JPEG、JBIG、H.261A/V混合序列：TV标准格式PAL、NTSC、SECAM（计算机中用MPEG格式保存）232.1.3表现媒体

(PresentationMedia)又称显示媒体(DisplayMedia)信息输入和输出的工具和设备：

计算机通过哪种媒体发送或接收信息？完成感知媒体和用于通信的电信号之间变换的媒体OUT：纸张、显示器（CRT或LCD）、扬声器、打印机IN：键盘、鼠标、相机、话筒、摄像机242.1.4存储媒体(StorageMedia)存放表示媒体的物理实体存储信息的数据载体：

信息被存储在何种媒体？存储媒体实例缩微胶片磁带磁鼓磁盘（软盘、硬盘）CD-ROM移动存储器252.1.5传输媒体(TransferMedia)传输数据信息能够连续传输数据的信息载体：

信息将在什么媒体上传输？传输媒体实例网络传输介质（线、缆等物质介质）无线传输（波，自由空间）262.1.6信息交换媒体

(InformationExchangeMedia)存储并传输数据信息包括所有传输和存储信息的载体（存储媒体和传输媒体）：

哪种信息用在不同地方之间进行信息交换？信息通过传输介质流动信息交换媒体实例电子邮件系统（由存储和传输媒体配合实现）272.1.7表示值和表示空间表示值确定不同媒体的信息表示文本媒体：一系列字符组成的句子（可视方式）语音媒体：以声波的形式表示语句（由语音表示文本媒体）有些表示值是媒体自身包含的，即能由接收者适当解释：温度、味觉和嗅觉有些媒体需要预定由用户认可的符号集（文本、语言、姿势）表示值可以是连续值或一系列离散值连续值：声波、电磁波离散值：文本字符、音频采样值282.1.7表示值和表示空间表示空间每一种媒体定义了涉及五种感觉的表示值和表示空间视觉的表示空间：计算机控制的投影、显示屏幕，纸听觉的表示空间：立体声系统表示空间也可能是信息输出表示媒体的一部分②基于内容分级扩展:

空域分级/时域分级/基于内容的交互——操作、编辑、访问等.Portnumbers对DC码和AC游程编码的码字作基于统计特性的熵编码;2MPEG-1标准(六)表示空间：一维或多维组成2多媒体数据压缩编码技术JPEG采用线性均匀量化器;ROI(RegionofInterest);永久性数据是固定的：如存储形式（文件中的记录、数据库中的元组和对象等）c.部分在VOP内、部分在VOP外的宏块连续数据流：所有分组无中间间隔地传送（即连续流），数据的附加信息（如错误控制码）被考虑，系统资源100％被利用和优化使用，可以获得最大的数据吞吐量SenderselectionForwardpacket媒体处理的灵活性：用文本和图形表现的信息可用视音频（与文本相结合）来表现第三章多媒体数据压缩编码ZZ(5)~ZZ(7)=0,ZZ(8)=1(-1,1),NNNN/SSSS=3/1,查表为111010,ZZ(5)~ZZ(8)的编码为1110101;为数据流的每个分组定义了最大和最小端到端时延，每个分组的时延抖动被限制24MB=524帧/片

650MB÷31.ReservationRequest292.1.8表示维度表示空间：一维或多维组成二维：计算机屏幕三维：全息照相、立体声时间作为一维发生在每一种表示空间，对多媒体系统具有核心意义多媒体按其表示空间的时间作用分类时间无关媒体时间依赖媒体302.1.8表示维度时间无关媒体（离散媒体）媒体的信息是由一系列独立元素或没有时间成分的连续元素组成，数据的有效性、正确性不依赖于任何时间状态：文本、图像有些媒体可能在数值上是离散的，但时间上是连续的312.1.8表示维度时间依赖媒体媒体的值是随时间变化的。信息表达：独立值、值产生的时间。语义学上依赖于离散值或连续值相对改变的程度：温度传感器的值数据的有效性及正确性依赖于时间条件：媒体的处理是有严格时限的连续媒体：周期性发生的时间依赖媒体一系列周期性发生的单个图像：自然源和人工源的视频一些列带有周期性为的音频采样值：序列数字化声波采样存储的音频各种传感器的信号：气压、温度、湿度、压力和放射322.1.8表示维度时间依赖媒体非连续媒体：非周期性发生的时间依赖媒体（表示值的不连续序列）实时系统的控制命令带有共享视窗的协同应用中信息传输（鼠标位置）时间依赖媒体、离散媒体和连续媒体的概念与信息的计算机内部表示无关，而与观者或听者的感觉有关电影：连续媒体，由一系列离散值组成，这些值在表示空间根据时间的变化而变化，当图像显示的帧速率达到15帧/秒时，人眼的惯性将导致画面连续的印象33第二章多媒体：媒体和数据流媒体(Media)多媒体系统的主要属性多媒体系统的定义传统数据流特性连续媒体数据流特性计算机中的常见媒体多媒体的综合特性342.2多媒体系统的主要属性媒体的结合连续媒体与离散媒体都被应用数量和质量：文本和图形结合就不是多媒体独立性媒体相互独立的级别视音频信息是独立的，但又有紧密联系（磁带公共存储介质耦合）DAT磁带机音频信号与计算机文本相结合满足媒体独立性的要求Resourcesallocatedbyrouterfordurationofsession对彩色静态画面采用JPEG;

对2值图像采用JBIG(JointBinaryImageGroup)编码;

低压缩率采用JPEGLS编码;特征:

频率轮廓线、音频对象、音色、和声、频率特性、振幅、时间结构、文本内容、声波近似值、原型声音、空间结构、声源和它的模型和特性;Abletocommittodifferentlevelsofsupporttomeetusertrafficrequirements图、文、声信箱及传递InDLCIfieldofFrameRelayAbletobalanceloadinfaceofdemandB不能作其他帧的预测参考帧.(3)分形图像编码(Fractal)多媒体技术教程胡晓峰著WHT(Walsh-HadamardTransform);解码时缓冲器初始化;d.(1)概率统计,得到几个不同概率的信息符号;黑白/灰度、彩色显示、分辨率、颜色数、调色板、数据量5Mbps,360×240(亮度);180×120(色度),30F/s;

MPEG-2:运动图像及其伴音的通用压缩技术标准,解决多媒体技术、数字电视技术、多媒体分辨率与传输率(3)分形图像编码(Fractal)6无规律数据流，包的数据量既不恒定也没有周期性的变化规律Canreduceload5Mbps,360×240(亮度);180×120(色度),30F/s;

MPEG-2:运动图像及其伴音的通用压缩技术标准,解决多媒体技术、数字电视技术、多媒体分辨率与传输率MPEG定义解码过程(非解码器):352.2多媒体系统的主要属性计算机支持的集成媒体独立性提供了以任意形式结合媒体的可能性计算机控制的独立媒体的数据能被集成以完成某种功能（时间、空间和语义同步关系被包含）媒体处理的灵活性：用文本和图形表现的信息可用视音频（与文本相结合）来表现多媒体系统必须能够通信计算机互联：多媒体信息分发超越计算机边界分布式环境适用于多媒体应用36第二章多媒体：媒体和数据流媒体(Media)多媒体系统的主要属性多媒体系统的定义传统数据流特性连续媒体数据流特性计算机中的常见媒体多媒体的综合特性372.3多媒体系统的定义多媒体是由多种表示媒体按照特定的时空同步关系组合在一起多媒体服务特指能处理多种表示媒体的服务（ITU定义）多媒体系统是由计算机控制，对独立信息进行产生、操作、表现、存储和通信的集成，它至少通过一种连续媒体（时间依赖）和一种离散媒体（时间无关）进行编码38第二章多媒体：媒体和数据流媒体(Media)多媒体系统的主要属性多媒体系统的定义传统数据流特性连续媒体数据流特性计算机中的常见媒体多媒体的综合特性392.4传统数据流特性数据流：以时间依赖风格传递的单个分组序列连续媒体数据流：电话系统中连续传输的语音信号离散媒体数据流：数据库支持的检索传输模式：异步传输模式、同步传输模式、等时传输模式402.4.1异步传输模式

(AsynchronousTransferMode)没有时间限制的通信，分组尽快到达接收端（电子邮件，以太网）离散媒体信息可作为异步数据流传送，但如果与连续媒体同步化定时连接，则也包括有时间限制，连续媒体选择异步传输时，附加技术要提供时间限制412.4.2同步传输模式

(SynchronousTransferMode)为数据流的每个分组定义了一个最大的端到端时延视频数据的未压缩传输具有高数据传输率和高的最大端到端时延（分别为140Mb/s和1s）接收端需要较大的缓冲区按照上例的数据需要17.5MB422.4.3等时传输模式

(IsochronousTransferMode)为数据流的每个分组定义了最大和最小端到端时延，每个分组的时延抖动被限制接收端存储缓冲区减小，但要把数据路由经过的从起点到终点间所有中间部件中的存储都考虑在内43第二章多媒体：媒体和数据流媒体(Media)多媒体系统的主要属性多媒体系统的定义传统数据流特性连续媒体数据流特性计算机中的常见媒体多媒体的综合特性442.5连续媒体的数据流特性相邻分组完整传输之间的时间间隔相邻分组大小的变化相邻分组之间的连续性（相关性）实例全面的描述原则:相同资料可使用不同类型的特征描述,适应具体应用;信号源概率比较接近时,算术编码比哈夫曼编码效率高;每个像素携带有亮度信息Y和色差信息Cb和Cr.Routerscandecideiftheycanmeetdemand基本层的结构与MPEG-1ISO/IEC11172-2相一致,由视频序列层、图像组块层、宏块层和块层(基本层)组成视频数据结果的编码比特流.DC和AC系数中符号1用哈夫曼表中变长码VLC编码,哈夫曼变长码表作为JPEG编码器的输入,但数据流中哈夫曼表的表示格式是间接说明,在解码时利用这间接说明重构真正的哈夫曼表.41Mbps

44kHz×16bit/Hz·样本×2(声道)＝1.为JPEG文件加密版权信息:加密版权在图像处理过程中不损失,比水印技术更先进.60

2x2100.EachFEChasQoSrequirements顺序编码:上下、左右一次扫描完成编码(每一图像分量);

b.IBM、SUN、HP、Intel、MS等大公司的GRID方案宏块层:宏块格式有以下三种:⑧JPEG2000-ISO15444

新一代彩色静态图像编码方式:1998开始，2000.DCT变换编码——三个阶段:描述量，语言，数据，标识，事物或事件，用图形表示的数据曲线，数据库的关系数据等，数值、字符等有结构的符号组，是比图形更高一级的抽象，与使用着的知识有关，表达精确度高1静态图像压缩编码国际标准-JPEG1静态图像压缩编码国际标准-JPEG离散媒体数据流：数据库支持的检索对DCT系数F(u,v)进行量化处理——压缩数据;452.5.1相邻分组完整传输之间的时间间隔强周期性的数据流：相邻分组的时间间隔是固定的（即T为常量），理想情况下抖动值为零传统电话交换系统中PCM编码的语音Tt图2.1强周期数据流（T为两个相邻包之间的时间间隔），即两个相邻包之间有相同长度的时间间隔462.5.1相邻分组完整传输之间的时间间隔弱周期性的数据流：相邻分组的时间间隔不是固定的，但可用周期函数来描述TtT1T1T2T2T3图2.2弱周期数据流，即相邻两个包之间的时间间隔具有周期性472.5.1相邻分组完整传输之间的时间间隔非周期性的数据流：除上述两种情况以外的数据流多媒体会议系统、共享窗口中用户鼠标状态与位置在所有参与者之间分发周期性发送：极高冗余非周期性发送：位置或状态发生变化时交换数据T1t图2.3非周期数据流，其时间间隔既不满足强周期条件也不满足弱周期条件T2Tn482.5.2相邻分组大小的变化强规律数据流：数据流的生存周期中，所有分组的数据量是固定大小的取自摄像机中的非压缩视频流取自音频CD中的音频流D1D1tT图2.4强规律数据流，所有包的大小都一样492.5.2相邻分组大小的变化弱规律数据流：分组的数据大小呈周期性变化D1D3D2tTD2D1D3图2.5弱规律数据流，包的数据量呈周期性变化502.5.2相邻分组大小的变化弱规律数据流：分组的数据大小呈周期性变化压缩编码的图像每两秒钟周期性发送，在两秒周期当中传送附加的分组，它包括两相邻压缩图像之间的不同信息MPEG压缩视频流分成I、P、B帧图像（每帧图像所建立数据量的I:B:P一般是确定的，常为10:1:2）I帧：压缩的独立图像，帧内图P帧：预测图B帧：双向插补图图像的差别512.5.2相邻分组大小的变化无规律数据流：分组数据量不是固定大小也不是按周期函数变化压缩数据流分组的位率是变化的，从单个图像派生出来的独立分组的大小取决于先前变化图像的内容，这样建立的信息单元的大小依赖于视频序列，因而数据流是不规则的D1D3D2Dnt图2.6无规律数据流，包的数据量既不恒定也没有周期性的变化规律522.5.3相邻分组之间的连续性（相关性）数据包在传输时，相邻分组之间是否有间隔，可以用来衡量某种系统资源（如网络）的利用率连续数据流非连续数据流532.5.3相邻分组之间的连续性（相关性）连续数据流：所有分组无中间间隔地传送（即连续流），数据的附加信息（如错误控制码）被考虑，系统资源100％被利用和优化使用，可以获得最大的数据吞吐量ISDN的B通道64Kb/s音频数据流tD1D2D3DD4Dn图2.7连续的数据流，传输时包与包之间没有空隙542.5.3相邻分组之间的连续性（相关性）非连续数据流：信息单元之间存在间隔（即离散流），当连续流通过容量较高的通道时，在分组之间产生间隔用JPEG编码，平均吞吐量为1.24Mb/s的数据流在FDDI网中传送时分组间将产生间隔tD1D2DD3Dn图2.8不连续的数据流，包之间存在空隙552.5.4实例从视频摄像机中获取的信号，无压缩量化得到的数据流是强周期性，强规律性和连续性的，分组之间没有间隔；在压缩数字化处理后可能是弱周期性和弱规律性的，在16Mb/s的TokenRing上传输的是非连续性的56第二章多媒体：媒体和数据流媒体(Media)多媒体系统的主要属性多媒体系统的定义传统数据流特性连续媒体数据流特性计算机中的常见媒体多媒体的综合特性572.6计算机中的常见媒体嗅觉、味觉等触觉：压力，运动，传感器/发生器，温度，VR等听觉：时间依赖的连续媒体：声音（声响，语言，音乐）视觉其它表示为视觉的媒体：音乐转化为音谱，哑语用姿势表示动态（时间依赖）静态图像文字图形图像图形582.6.1表示为视觉的静态媒体图像位图图像，其基本单元是像素黑白/灰度、彩色显示、分辨率、颜色数、调色板、数据量数据量＝分辨率×图像（颜色）深度÷8

＝垂直h像素×水平w像素×颜色深度c÷8图像经过抽象化（矢量化）可得到图形，矢量化可由计算机自动或人工进行，是用来描述产生图形上点的过程和方法592.6.1表示为视觉的静态媒体图形矢量图形，其基本单元是图元图形的特性对图像抽象的结果图形矢量化使得有可能对图中各部分分别进行控制图形的产生需要时间与图像的关系图形矢量概念，图元图形命令；图像位图概念，像素图元顺序显示图形；像素顺序显示图像图形变化无失真；图像变换有失真图形是更加抽象的图像602.6.1表示为视觉的静态媒体文本（上下文相关特性的符号流）符号描述量，语言，数据，标识，事物或事件，用图形表示的数据曲线，数据库的关系数据等，数值、字符等有结构的符号组，是比图形更高一级的抽象，与使用着的知识有关，表达精确度高文本：流结构形式，对文本控制不影响信息本身的表达，显示改变文本属性不影响本身的含义，处理应遵循内部结构语言文字文本多样化依赖文字（字的格式，字的定位，字体，字的大小）的变化及组合612.6计算机中的常见媒体嗅觉、味觉等触觉：压力，运动，传感器/发生器，温度，VR等听觉：时间依赖的连续媒体：声音（声响，语言，音乐）视觉其它表示为视觉的媒体：音乐转化为音谱，哑语用姿势表示动态（时间依赖）静态图像文字图形图像图形622.6.2表示为视觉的动态媒体图像动态视频：单帧图像是真实图像（时间连续性，帧间强相关，实时要求高，数据量很大，帧速快，图像质量高）制式：NTSC(525/60)，PAL(625/50)，SECAM(625/50)

比值表示扫描线行数/帧频颜色空间：R、G、B三彩空间；Y（宽度）、U、V（均为色差）；H（色调）、S（饱和度）、I（强度），它们之间可相互变换；Y、I、Q（NTSC基础）三维真实感动画：单帧图像是计算机生成的真实感动画，由三维动画＋真实光照效果和质感等组成AV数据的基于内容的检索;

定义一种描述AV信息内容的格式,与其存储形式(编码)相关;TreatmentofPacketsofOneSessionatOneRouter2多媒体通信的关键特征现代通信新技术

达新宇主编 西安电子科技大学出版社2001年同步与异步(syncandasyn)对DCT系数再进行量化、Z扫描、游程及Huffman编码.接收端需要较大的缓冲区Huffman编码的步骤:1表示为视觉的静态媒体8不连续的数据流，包之间存在空隙宏块层:宏块格式有以下三种:350.TopmostlabelvalueinATMheaderVPI/VCIfield10

4x711110.表示值可以是连续值或一系列离散值3等时传输模式

(IsochronousTransferMode)顺序编码:上下、左右一次扫描完成编码(每一图像分量);

b.H（色调）、S（饱和度）、I（强度），它们之间可相互变换；350.=2.0IncreasedDemands63※背景资料NTSC(NationalTelevisionCommittee)美国1953，525/60颜色载波正交调幅，帧频为30帧/s，525线，工作频率为60Hz，频道总带宽为6.0MHz4.2MHz给亮度Y，I=R-Y为1.0MHz

Q=B-Y为0.6MHz，即色度带宽为1.6MHz64※背景资料PAL(PhaseAlternatingLine)相交替行，西德1962，625/50正交调幅，颜色载波不加抑制，用Y，U，V表示颜色载波频率如下计算：

先颜色载波×色差信号U

+后颜色载波偏移90度×色差信号V

再加入调制的Y信号相位（减少相位误差）标准相差

幅度调制65※背景资料SECAM(SequentialCouleurAvecMemoire)

法国，625/50序列颜色和存储调频帧频为25帧/s，625线662.6.2表示为视觉的动态媒体图形二维动画（平面型）图元为线、曲线、矩形、圆、填充区工程建筑，电子线路，军事等高线地图三维动画（二维动画＋空间形象）在二维CRT显示器上显示三维动画三维地图，CAD，仿真系统，VR672.6计算机中的常见媒体嗅觉、味觉等触觉：压力，运动，传感器/发生器，温度，VR等听觉：时间依赖的连续媒体：声音（声响，语言，音乐）视觉其它表示为视觉的媒体：音乐转化为音谱，哑语用姿势表示动态（时间依赖）静态图像文字图形图像图形682.6.3表示为听觉的声音媒体声音媒体是时间依赖的连续媒体声音媒体的种类：波形媒体，语音，音乐声音的三要素音频：频率响度：振幅音色：基音（频率）＋泛音（响度）692.6.3表示为听觉的声音媒体声音媒体是时间依赖的连续媒体声音的质量波形声音：采样频率（声波被等分的份数）

采样精度（信息量的二进制表示位）

声道数（声音产生的波形数）语言：可懂度，清晰度，自然度音乐：保真度，空间感，音响效果声音的连续谱周期信号：线性谱非周期信号：连续谱702.6.3表示为听觉的声音媒体声音媒体是时间依赖的连续媒体声音的方向感：立体声效果和空间感效果声音是连续的时基媒体音频技术：声音的采集、数字化、压缩/解压、播放71第二章多媒体：媒体和数据流媒体(Media)多媒体系统的主要属性多媒体系统的定义传统数据流特性连续媒体数据流特性计算机中的常见媒体多媒体的综合特性722.7多媒体的综合特性媒体之间的相互性质多媒体的交互特性媒体的转换732.7.1媒体之间的相互性质静止和运动(Stillandmoving)静止：媒体在表现时间上不受媒体本身的限制，可保留任意的时间（图像、文本、图形）运动：媒体在表现过程中与时间紧密相连，时间将决定其保留时间（视频、动画、声音）空间和时间(spatialandtemporal)时间：表现上需要时间；媒体的时间属性确定了该媒体对象所处的时间坐标点空间表现上需要空间：显示空间，听觉空间与可视媒体的同步等媒体之间相互的空间关系：将信息在空间上进行有序组织742.7.1媒体之间的相互性质暂时性和永久性(transientandpersistence)暂时性中间数据不能持久，但没它们表现的时间过程无法完成永久性数据是固定的：如存储形式（文件中的记录、数据库中的元组和对象等）752.7.1媒体之间的相互性质媒体的单位与量级表2.1媒体的单位和量级762.7.1媒体之间的相互性质同步与异步(syncandasyn)同步与异步是媒体之间协调的关系形式异步：时间上不能预知何时发生，无严格的限制同步：媒体之间严格的时间关系加以约束，同步的时间粒度要求是实时性要求一对一和一对多媒体媒体交互形式一对一：计算机上普通方式一对多：大众传媒（广播、电视、书报）一对多和多对多：多媒体信息系统，多媒体交互式影片772.7.2多媒体的交互特性交互的过程交互不仅是指丰富多彩的表现，而且是人与信息系统交换信息的全过程交互具有多层含义数据交换数据解释：知识辅助媒体内容证明：人工智能辅助782.7.3媒体的转换格式转换形式转换媒体转换的两个重要过程合成：语言合成识别：语言识别，文字识别多媒体技术——计算、通信及应用吴产乐

wuchl@第三章多媒体数据压缩编码推荐教材多媒体技术(高级)钟玉琢著多媒体技术教程胡晓峰著多媒体数字压缩原理与标准：DigitalCompressionforMultimediaPrinciplesandStandards.

Gibson,J.D.等MorgomKaufmamnPublishers,Inc.

李煜辉1998年电子工业出版社；High-SpeedNetworksandInternets:PerformanceandQualityofService,2ndEdition

WilliamStallings,PrenticeHall

高速网络与互联网－－性能与服务质量(第二版) 电子工业出版社本章内容多媒体数据压缩编码的必要性和编码方法多媒体数据压缩编码的国际标准3.1.1多媒体数据压缩编码的必要性3.1压缩编码的必要性和重要性3.1.1压缩编码的必要性和重要性1.多媒体系统技术:面向三维图形、立体声、彩色全屏幕运动画面的

处理技术；多种媒体承载的由模拟量转化成数字量信息的获取、表示、存储、传输、表现。

2.未压缩的数字化信息量1页B5文件数据量约为6.61MB/P

180×255mm2×122像素/mm2×8bit÷1B/8bit=6.61MB/P

650MB的CDROM存放98Pages3.1.1多媒体数据压缩编码的必要性CD-A激光唱盘每秒采样位为1.41Mbps

44kHz×16bit/Hz·样本×2(声道)＝1.41Mbps

650MB的CDROM存放1小时音乐

数字音频磁带(DAT)每秒采样位为768kbps

48kHz×16bit/Hz·样本=768kbps

650MB的CDROM存放2小时节目

数字电视图像①SIF(Sourceinputformat)格式、NFSC制、彩色、4:4:4采样

每帧:352×240×3B=253KB

每秒:253KB×30=7.603MBps

每片CDROM:650MB÷253kB=2569帧/片

(650MB÷7.603MB)÷60=1.42分/片3.1.1多媒体数据压缩编码的必要性2.未压缩的数字化信息量数字电视图像

②ICCR(InternationalConsultativeCommitteeforRadio)格式、PAC制、4:4:4采样

每帧:720×576×3B=1.24MB

每秒:1.24MB×25=31.1MBps

每片CDROM:650MB÷1.24MB=524帧/片

650MB÷31.1MB=20.9秒/片

陆地卫星(LandSat-3)分辨率2340×3240、4波段、7位采样精度

每幅:2340×3240×7×4=212Mb

每天:212Mb×30=6.36Gbit

每年:6.36Gbit×365=2321.4Gbit=290GB3.1.2多媒体数据压缩的可能性3.1.2多媒体数据压缩的可能性

（1）图像数据表示中大量冗余

（2）图像数据压缩技术:利用图像数据冗余性减少数据量方法

1.空间冗余静态图像存在的主要冗余;采样点颜色之间的空间连贯性:区域中各点光强、色彩、饱和度同;离散像素采样表示颜色没有利用这种空间连贯性;改变颜色的像素存储方式,利用空间连贯性,减少数据量.

2.时间冗余序列图像(电视、运动图像)表示常包含的冗余;相邻帧记录了相邻时刻的同一场景画面,移动物位置稍不同.

3.1.2多媒体数据压缩的可能性3.1.2多媒体数据压缩的可能性3.结构冗余图像纹理区的像素值存在着分布模式:如方格状地板图案;已知分布模式,可通过某一过程生成图像.

4.知识冗余有些图像的理解与某些知识有相当大的相关性,如人脸的图像有固定结构;规律性结构可由先验知识和背景知识获得——知识冗余;由已有知识,对图像中物体构造其基本模型,创建对应各种特征的图像库:存储时只需保存图像的一些特征参数;知识冗余是模型编码主要利用的特征.3.1.2多媒体数据压缩的可能性5.视觉冗余(1).人类视觉系统对图像场的敏感性是非均匀的和非线性的;

(2).记录图像时假定视觉系统是均匀和线性的,对不同敏感区同样对待,产生了视觉冗余.应对不同敏感部分分开编码;

(3).视觉的非均匀性.视觉系统对图像的亮度和色彩度的敏感性相差很大，RGB→NTSC的yIQ后发现,视觉系统的亮度y的敏感度远高于色度(I,Q)的敏感度——可对IQ允许误差大于y的允许误差;

亮度增加时,视觉系统对量化误差的敏感度降低,人眼辨别能力与物体周围的背景亮度成反比.——在高亮度区,灰度值的量化可粗糙一些;3.1.2多媒体数据压缩的可能性人眼的视觉系统能把图像的边缘和非边缘区域分开处理——边缘区和非边缘区分别编码的依据;

人眼的视觉系统是把视网膜上的图像分解成若干个空间有向的视频通道后再进行处理——编码时把图像分解成符合这一规律(视觉内在特性)的频率通道,可获大的压缩比;小波编码的特性.6.图像区域的相同性冗余图像中多个区域所对应的像素值相同或者相近,产生重复性存储;

向量量化(Vectorquantization)是针对这种冗余的压缩编码方法.

7.纹理的统计冗余某些图像纹理在统计意义上服从某些分布规律;

利用分布规律减少图像数据量.3.1.3多媒体数据压缩编码方法PCM固定自适应自适应预测编码固定DPCM△MADPCM运动补偿变换编码傅立叶(DFT)离散余弦(DIT)离散正弦(DST)沃尔什-哈达马哈尔斜变换卡胡南-苏夫

(K——L)小波变换子带编码统计编码

(熵编码)(无损)哈夫曼算术编码费诺香农游程(RLC)LZW静图像编码方块逐渐浮现逐层内插位平面抖动电视图像编码帧内预测帧间编码运动估计运动补偿条件补充内插帧间预测基于重要性矢量量化滤波子采样模型编码分形编码混合编码H.261JPEGMPEG图3-1多媒体数据压缩编码方法3.1.3压缩编码方法-PCM1.脉码调制PCM(PulseCodeModulation)

连续模拟信号的数字采样表示;Nyquist采样速率:c=2H·log2L(b/s)

Shannon公式:c=2H·log2(1+S/N)(b/s);N级量化器,N=2b,每个采样用b位代码表示;PCM的编码/解码器(codec)是图像编码系统的起/终点,即A/DC和D/AC;其他编码方法是在模拟信号经PCM编码后的压缩编码方法.3.1.3压缩编码方法-预测编码2.预测编码

DPCM(differentialpulsecodemodulation)和ADPCM(自适应DPCM)编码器存储和传输的是样本值与预测值之差——预测误差编码;预测值由欲编码信号的过去信息决定;线性预测,比例系数由统计特性估计;预测可在相邻像素值之间,也可以在行之间;空间相关性使差值变化范围小于真值范围,用较少位数表示;利用人的视觉特性对差值进行非均匀量化,从而提高压缩比;对差值编码时进行了量化,这是一种有损编码.3.1.3压缩编码方法-变换编码3.变换编码利用图像块内像素值之间的相关性,把图像变换到一组新的基上,使能量集中到少数几个变换系数上.通过存储这些系数达到压缩的目的.如时域→频域(声音、图像时低频信号).分布集中,进行采样编码,压缩数据;把整幅图分成许多矩形子图独立进行变换,变换域采样和量化;最优-KTL(Karhunen-LoeveTransform):消除相关性最有效,计算量大,无快速算法,在均方差最小意义下导出的最优变换,其基向量是输入向量协方差矩阵的特征向量;次优-DCT(DiscreteConsineTransform):与KTL类似,有快速算法,对固定(像素)块进行变换成DCT系数,空间频率为0的系数为直流分量,是所有像素的平均值,其余63个系数为交流系数,多数情况下高频系数为0或趋近于0.变换时将输入信号和DCT正交矩阵相乘完成DCT变换准最佳变换-DFT(DiscreteFourierTransform):近似最佳,但是运算次数多,需要复数运算.保留FFT在DFT中取实数部分进行DCT快速运算;WHT(Walsh-HadamardTransform);3.1.3压缩编码方法-统计编码4.统计编码Huffman编码出现频率大的符号用较少的位数表示,出现频率小的符号用较多位数表示;编码效率取决于编码符号出现的概率分布,越集中压缩比越高;各码字长度严格按照所对应符号出现概率的大小逆序排列.

算术编码每一符号对应[0,1)上一子区间,区间长度为该符号出现的频率,把编码的符号串(数值串)表示成实数0到1之间的一区间.初值为整个区间[0,1),出现新的编码符号,先把完整的[0,1)区间映射到上一次形成的区间,然后新区间取为[0,1)上新符号对应区间所映成的像.可方便使用自适应编码,根据当前接收的数据不断更改概率模型;不需要传送像哈夫曼编码的表;信号源概率比较接近时,算术编码比哈夫曼编码效率高;哈夫曼(Huffman)编码(一)香农的信息保持编码指出一种无失真的编码,使得编码平均码长逼近熵值这个下限,但无具体的编码方法;Huffman编码常用作这种熵保持编码,是最佳的,其他还有Shannon编码和Fano编码;变字长编码的最佳编码定理:

在变字长码中,对于出现概率大的信息符号编以短字长的码,对于出现概率小的信息编以长字长的码,如果码字长度严格按照符号概率的大小的相反顺序排列,则平均码字长度一定小于按任何其他符号顺序排列方式得到的码字长度.

最佳排列方式的码字平均长度:;规定P(ai)≥P(as),ni

≤ns

ni是ai的码长p(ai)是信源符号ai出现的概率哈夫曼(Huffman)编码(二)Huffman编码的步骤:(1)概率统计,得到几个不同概率的信息符号;(2)按概率排序n个信息符号;(3)n个概率中,最小的两概率相加,概率为n-1个;(4)n-1个概率重新排序;(5)重复步骤(3)、(4);(6)重复n-2次,最后得到2个概率序列;(7)以二进制码元(0,1)赋字构成哈夫曼码字.

Haffuman码字长度与信息符号出现的概率大小次序相反.哈夫曼(Huffman)编码(三)Haffuman编码过程

输入输入第1步第2步第3步第4步第5步

信息符号概率

2x1000.350.350.350.350.400.60

2x2100.200.200.200.250.350.40

3x30100.150.150.200.200.25

3x40110.100.100.150.20

3x51100.100.100.10

4x611100.060.10

4x711110.04

1945年Shannon提出把熵H定义为:从一个随机变量中得到的平均信息量.

上述过程中平均码长

=(0.35+0.2)×2+(0.15+0.10+0.10)×3+(0.06+0.04)×4=2.55bits/pel哈夫曼(Huffman)编码(四)

熵:

=－[0.35log20.35+0.20log20.20+0.15log20.15+2*0.10log20.10+

0.06log20.06+0.04log20.04]

=2.13bits/pel特点

>H(熵);(entroy)<3bits(等长码需要的比特数);保证解码过程的唯一性,短码字不够成长码字的前缀;接收端需保持一个与发送端相同的哈夫曼表

(输入与哈夫曼码的对应表)3.1.3压缩编码方法-统计编码4.统计编码游程编码(RLC)一维信号的分段常数逼近,编码器不断比较一维的相邻元素值的变化幅度,一旦发现有明显变化,设一个游程;游程两种信息:游程起始位置和该游程对应的信号值;信息记录方式:游程是连续的,游程的位置信息和信号值都有2种记录方式——差分方式:较高效率;绝对值方式;主要技术:检测重复的位或字符序列,用它们出现的次数取而代之;方法:计算信源符号出现的游程长度,并将其转换成代码.3.1.3压缩编码方法-分析合成编码5.分析-合成编码(1)量化编码标量量化:逐个量化,以较小的量化均方误差进行量化,在JPEG、H.261和MPEG中采用的都是基于视觉特性的标量量化;

矢量量化:语义编码,采用非线性量化器,对频率和能量分布较大的的系数分配较多比特数,即采用较小的量化步长;反之分配较少的位,即采用较大的量化步长;

矢量量化优于标量量化,有效利用矢量中各分量间的4种相关性(线性依赖性、非线性以依赖、概率密度函数的形状和矢量维数)来去除冗余度.矢量量化的基本过程:将实际数据流分成矢量块;在压缩编码和解码端都有一个称为”码本”的表,可以预定义也可以动态改造;各矢量可参考码本表选择最佳匹配模式;一旦找到最佳匹配模式就将码本中的对应的索引进行传送.3.1.3压缩编码方法-分析合成编码5.分析-合成编码(2)小波变换编码(WaveletTransform)

非均匀分辨率对数据进行时间频带局部分析与综合。线性变换,有效的时频域分析工具,静态图像的压缩;

将信号分解成对空间和时间、频率的独立贡献,不失原信息;

小波系数的时宽-带宽积很小,变换后能量集中,不同分量进行不同处理,有较高的压缩比;

图像的小波变换可以理解为图像信号经过一系列带通过滤波器的结果,这组滤波器在对数意义下具有相同的带宽,从小波变换后不同分层定位中,提取图像特征,低频部分平滑表示背景;高频部分不平稳表示细节.利用不同层次对恢复图像的贡献大小和对人眼视觉系统的影响的大小,采用不同的编码方法,可以达到图像压缩的目的.3.1.3压缩编码方法-分析合成编码5.分析-合成编码(3)分形图像编码(Fractal)模型编码,用模型方法对图像进行参数估测,具有压缩比高、解码高速、不受图像分辨率的影响等优点;

分形是某种形状、结构的局部或片断,它有多种尺寸,但形状相似,其局部和整体有相似性,即自相似性体系;

方法:数字图像经过处理(如颜色分割、边缘检测、频谱分析、纹理分析等)分成子图像,在分形集中查找这样的子图像,但分形集中存储的是迭代函数,经反复迭代可恢复子图像,表示迭代函数只需少量数据,达到很高的压缩比.将数据预分解为若干分形子图并提取其迭代函数代码，恢复时由该代码按规范迭代重构各子图。3.1.3压缩编码方法-分析合成编码5.分析-合成编码(4)子带编码(SubbandCoding,SBC)利用带通滤波器组把信号频带分割成若干子频带,然后分别处理,通过等效于单边带调幅的调制过程,将各子带搬移到零频率附近以得到低通表示后,以Nyquist速率对各子带输出取样,并对取样值进行通常的数字编码;

如果设想在SBC的每一个子带输出都用DPCM编码器来编码,那么SBC就在时间域(或空间域)的预测编码和频域(或变换域)的变换编码之间架起了一座连接的桥梁,联系参数就是子带数目M.如果M=1就是DPCM全带编码;如果M>1就是SBC;当M大到等于块内的样本数,即每一子带只由一个样本(一根谱线)组成时,SBC便成为变换编码(DFT).从这个观点上看,预测编码和变换编码只不过是子带编码的两个特例.3.2多媒体数据压缩编码的国际标准

国际标准:(视频)

国际标准化组织ISO和CCITT(ITU-T)联合组成专家组

JPEG(JointPhotographicExpertsGroup)JBIG(JointBilevelImageGroup)

国际电子学委员会IEC和ISO组成的ISO/IECMPEG(MotionPictureExpertsGroup)

国际电信联盟(ITU-T):H.261,G3,G4

3.2.1静态图像压缩编码国际标准-JPEGJPEG-联合图像专家组:CCITT与ISO联合组成专家组;

JPEG算法:连续色调,多级灰度,静态图像的数字图像压缩编码方法(彩色、灰度、静止图像)

应用:a.静态图像压缩;

b.电视图像序列的帧内图像压缩

目的:a.达到或接近当前压缩比与图像保真度的技术水平;

b.能适用于任何种类的连续色调的图像；长宽、内容、复 杂度、统计特性时不受限的；

c.计算复杂性是可控制的:软件可完成,硬件实现算法.3.2.1静态图像压缩编码国际标准-JPEG操作方式:

a.顺序编码:上下、左右一次扫描完成编码(每一图像分量);

b.累进编码:多次扫描,由粗糙到清晰的累进过程;按频段累进， 按位累进；

c.无损编码:解码后精确恢复源图像采样值,压缩比低;

d.分层编码:原始图像空间分辨率进行变换,使水平与垂直方向分

辨率以2的倍数因子下降.

图像在多个空间分辨率进行编码,用JPEG进行.在信道慢,接收显示分辨率不高时,只需做低分辨率图像解码,用插值方法恢复图像分辨率,把分辨率已升高的图像作为原图像的预测值,并把它与原图像的差值采用基于DCT的编码.重复上述步骤,可以达到完整的分辨率编码.3.2.1静态图像压缩编码国际标准-JPEG1.JPEG的无损预测编码算法

图3-1是JPEG的无失真预测编码的框图,预测编码具有硬件实现容易、重建图像质量好的优点,在此采用的是可以完全恢复的技术.无损压缩不使用DCT方法,而是采用一个简单的预测器.预测器可以采用不同的预测方法,不同的预测方法将决定有那些相邻的像素将被用于预测下一个像素.常用的预测方法如三领域预测法.JPEG的无失真预测编码对于中等复杂程度的彩色图像,可以达到大约2:1的压缩比.

源图像数据压缩的图像数据熵编码器预测器表说明图3-2JPEG无损预测编码框图3.2.1静态图像压缩编码国际标准-JPEG2.JPEG的基于DCT的有损编码算法

8×8DCT正变换量化器熵编码器量化表编码表块准备熵解码器编码表量化器量化表8×8DCT逆变换恢复块源图像数据编码器压缩的图像数据解码器恢复的图像数据图3-3基于DCT的有损JPEG编解码过程样值DCT系数量化DCT系数量化DCT系数反量化DCT系数①离散余弦变换DCT:8×8大小子块的二维DCT块准备将一帧图像分成8×8的数据块(三种分量:光亮度Y和两个色差U和V,图像大小为480行,每一行有640个像素.色度分解为4:1:1,则亮度分量就是一个640×480的数值矩阵,色差分量是一个320×240的矩阵,为了满足DCT过程的要求,块准备必须划分出4800个亮度块和两分1200个色差块共7200个数据块);

采样精度为p位无符号整数,采样数据在[0,2p-1]内,则变成在[-2p-1,2p-1-1]有符号整数内,以此作为DCT正变换的输入;FDCT

解码器输出端经IDCT逆变换后等到一系列8×8的图像数据块,需将其数值范围由[-2p-1,2p-1-1]有符号整数变回到[0,2p-1]无符号整数范围内,才能获得重构图像.3.2.1静态图像压缩编码国际标准-JPEG二维8×8DCT正变换:

二维8×8DCT逆变换:

其中,C(u)=C(v)=,当u,v=0

C(u)=C(v)=1,其他

②FDCT具有可分离的变换特性:

行向一维DCT计算

列向一维DCT计算

2维快速余弦变换(2-FDCT)