多媒体技术应用4视频处理技术精品课件

多媒体技术应用2021/4/261精品可修改第四章视频处理技术4.1视频概述

4.1.1视频的视觉原理

4.1.2模拟视频4.1.3数字视频4.2常用视频压缩标准

4.2.1视频压缩原理

4.2.2MPEG

4.2.3H.26X4.3常用视频处理软件

4.3.1

WindowsMovieMaker

4.3.2AdobePremiere2021/4/262精品可修改第四章视频处理技术4.1视频概述

4.1.1视频的视觉原理4.1.2模拟视频4.1.3数字视频2021/4/263精品可修改视觉是人类感知外部世界最重要的途径之一，人类接受的所有信息中大约有70%来自视觉。视觉接受的信息可分为两大类：静止的和运动的。相对静止的图形图像，视频所含的信息量更丰富、更直观、更生动。在多媒体技术中，视频信息的获取和处理无疑占有举足轻重的地位，视频处理技术在目前和将来都是多媒体应用的一个核心技术。2021/4/264精品可修改4.1.1视频的视觉原理视频与图像是两个既有联系又有区别的概念：静止的图片称为图像，运动的图像称为视频。二者的信源方式不同，图像的输入主要有扫描仪、数码相机等设备，而视频的输入只能是电视接收机、摄像机、录像机等可以输入连续图像信号的设备。

2021/4/265精品可修改4.1.1视频的视觉原理视频就其本质而言，就是其内容随时间变化的一组动态图像（每秒25或30帧），所以视频又被称为运动图像或活动图像。视频信号具有内容随时间而变化和有与画面动作同步的声音（伴音）两大本质特征。2021/4/266精品可修改所谓视觉暂留，是指人体的视觉器官在看到的物象消失后，仍可暂时保留视觉的印象。视觉印象在人的眼中大约可保持0.1s。如果两个视觉印象之间的时间间隔不超过0.1s，那么前一个视觉印象尚未消失，而后一个视觉印象已经产生，并与前一个视觉印象融合在一起，就形成视觉暂留现象。

动画和电影利用的正是人眼的这一视觉暂留特性。

2021/4/267精品可修改4.1.2模拟视频电视系统的发展前景是数字彩色电视，数字视频的基础是模拟视频，而彩色电视又是在黑白电视的基础上发展起来的。2021/4/268精品可修改4.1.2模拟视频1.电视的基本原理2.电视制式2021/4/269精品可修改4.1.2模拟视频1.电视的基本原理电视的基本工作原理为顺序扫描和传输图像信号，然后在接收端同步再现。主要有逐行扫描和隔行扫描两种扫描方式。逐行扫描有图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，以及改善视频压缩效率等优点。相对隔行扫描而言，逐行扫描主要有码率高，行扫描频率高和硬件复杂度增大等缺点。2021/4/2610精品可修改9、人的价值，在招收诱惑的一瞬间被决定。2023/2/32023/2/3Friday,February3,202310、低头要有勇气，抬头要有低气。2023/2/32023/2/32023/2/32/3/20234:29:11PM11、人总是珍惜为得到。2023/2/32023/2/32023/2/3Feb-2303-Feb-2312、人乱于心，不宽余请。2023/2/32023/2/32023/2/3Friday,February3,202313、生气是拿别人做错的事来惩罚自己。2023/2/32023/2/32023/2/32023/2/32/3/202314、抱最大的希望，作最大的努力。03二月20232023/2/32023/2/32023/2/315、一个人炫耀什么，说明他内心缺少什么。。二月232023/2/32023/2/32023/2/32/3/202316、业余生活要有意义，不要越轨。2023/2/32023/2/303February202317、一个人即使已登上顶峰，也仍要自强不息。2023/2/32023/2/32023/2/32023/2/34.1.2模拟视频1.电视的基本原理电视系统大都采用隔行扫描，因为隔行扫描能节省频带，且硬件实现简单。隔行扫描的行集合为场，一帧由两个场组成。一帧电视信号称为一个全电视信号，由奇数场行信号、偶数场行信号及同步信号顺序构成，见图4-2。

2021/4/2612精品可修改4.1.2模拟视频1.电视的基本原理图4-2隔行扫描一帧信号的合成过程2021/4/2613精品可修改4.1.2模拟视频2.电视制式电视制式就是用来实现电视图像信号和伴音信号或其他信号传输的方法，电视图像的显示格式，以及这种方法和电视图像显示格式所采用的技术标准。对于模拟电视，有黑白电视制式、彩色电视制式及伴音制式等；对于数字电视，有图像信号、音频信号压缩编码格式（信源编码）、TS流（TransportStream）编码格式（信道编码）、数字信号调制格式及图像显示格式等制式。

2021/4/2614精品可修改4.1.2模拟视频2.电视制式为了实现黑白和彩色信号的兼容，色度编码对副载波的调制有三种不同方法，形成了三种彩色电视制式：NTSC制式、PAL制式和SECAM制式。2021/4/2615精品可修改4.1.2模拟视频2.电视制式1）NTSC制式即正交平衡调幅制式，1953年由美国全国电视标准委员会（NationalTelevisionSystemCommittee）制定，分为NTST-M、NTSC-N等，主要使用国家包括美国、加拿大、日本、韩国、菲律宾等。2021/4/2616精品可修改4.1.2模拟视频2.电视制式2）PAL制式即正交平衡调幅逐行倒相制式。1967年由西德创立，主要使用国家包括中国、德国、英国、意大利、荷兰等。分为PAL-B、PAL-I、PAL-M、PAL-N和PAL-D等，中国的电视播放制式为PAL-D。2021/4/2617精品可修改4.1.2模拟视频2.电视制式3）SECAM制式即顺序传送与存储彩色电视系统。1966年由法国研制成功，分为SECAM-D/K等。主要使用国家包括俄罗斯、前苏联和东欧国家及部分非洲国家。2021/4/2618精品可修改4.1.3数字视频1.数字视频的特点2.数字视频的发展史3.数字视频的常用格式2021/4/2619精品可修改4.1.3数字视频1.数字视频的特点数字视频是模拟视频数字化的结果。相对模拟视频，数字视频有如下特点：适合网络应用再现性好便于编辑处理2021/4/2620精品可修改4.1.3数字视频2.数字视频的发展史自20世纪40年代计算机诞生以来，从计算机所能处理的信息类型这个角度来看，计算机大约经历了以下三个发展阶段。

1）数值计算阶段2）数据处理阶段3）多媒体阶段2021/4/2621精品可修改4.1.3数字视频2.数字视频的发展史初级阶段，其主要特点就是在台式计算机上增加简单的视频功能。主流阶段，数字视频在计算机中得到广泛应用，成为主流。高级阶段，普通个人计算机进入了成熟的多媒体计算机时代。2021/4/2622精品可修改4.1.3数字视频3.数字视频的常用格式视频格式可以分为适合本地播放的本地影像视频和适合在网络中播放的网络流媒体影像视频两大类。网络流媒体影像视频的广泛传播性使之正被广泛应用于视频点播、网络演示、远程教育、网络视频广告等因特网信息服务领域。2021/4/2623精品可修改4.1.3数字视频3.数字视频的常用格式AVI英文全称为AudioVideoInterleaved，即音频/视频交错格式。顾名思义，是将语音和影像同步组合在一起的文件格式。RM（RealMedia）格式是RealNetworks公司开发的一种新型流式视频文件格式。RMVB格式是一种由RM视频格式升级延伸出的新视频格式，它的先进之处在于RMVB视频格式打破了原先RM格式那种平均压缩采样的方式。2021/4/2624精品可修改4.1.3数字视频3.数字视频的常用格式MOV即QuickTime影片格式，它是Apple公司开发的一种音频、视频文件格式，用于存储常用数字媒体类型。ASF是微软公司WindowsMedia的核心。这是一种包含音频、视频、图像以及控制命令脚本的数据格式。WMV的英文全称为WindowsMediaVideo，也是微软推出的一种采用独立编码方式，并且可以直接在网上实时观看视频节目的文件压缩格式。2021/4/2625精品可修改第四章视频处理技术4.2常用视频压缩标准4.2.1视频压缩原理4.2.2MPEG4.2.3H.26X2021/4/2626精品可修改视频压缩标准有H.26X和MPEG。比较而言，H.26X仅仅是视频编码的标准，而MPEG既包括视频编码标准，也包括音频编码标准和视音同步标准。2021/4/2627精品可修改4.2.1视频压缩原理视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。

1.基本概念2.压缩策略2021/4/2628精品可修改4.2.1视频压缩原理1.基本概念（1）有损和无损压缩

无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。

（2）帧内和帧间压缩

帧内（Intraframe）压缩一般采用有损压缩算法，帧内压缩一般达不到很高的压缩。帧间（Interframe）压缩通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。

2021/4/2629精品可修改4.2.1视频压缩原理1.基本概念（3）对称和不对称编码

对称性（symmetric）是压缩编码的一个关键特征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频。不对称（asymmetric）编码，不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。（4）位速率

位速率是指在一个数据流中每秒钟能通过的信息量。2021/4/2630精品可修改4.2.1视频压缩原理2.压缩策略（1）去掉相关性视频图像数据有很强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域冗余信息和时域冗余信息。使用帧间编码技术可去掉时域冗余信息，包括以下三部分：运动补偿运动表示运动估计使用帧间编码技术和熵编码技术可以去掉空域冗余信息，主要的编码方法有：变换编码量化编码熵编码2021/4/2631精品可修改4.2.1视频压缩原理2.压缩策略（2）心理声学音频压缩

心理声学指“人脑解释声音的方式”。压缩音频的所有形式都是用功能强大的算法将听不到的音频信息去掉。

（3）心理视觉视频压缩

心理视觉视频压缩与和其对等的音频压缩相似。心理视觉模型去掉的不是听不到的音频数据，而是去掉眼睛不需要的视频数据。

2021/4/2632精品可修改4.2.2MPEGMPEG的全称应该是MovingPicturesExpertsGroup（即动态图像专家组），由ISO与IEC于1988年联合成立，致力于运动图像（MPEG视频）及其伴音编码（MPEG音频）标准化工作。这个专家组开发的标准称为MPEG标准，到目前为止，MPEG的主要标准有五个：2021/4/2633精品可修改4.2.2MPEG1.MPEG-1（数字电视标准）2.MPEG-2（数字电视标准）3.MPEG-4（多媒体应用标准）4.MPEG-7（多媒体内容描述接口标准）5.MPEG-21（多媒体框架标准）2021/4/2634精品可修改4.2.2MPEG1.MPEG-1（数字电视标准）MPEG-1标准（ISO/IEC11172）制定于1992年，是针对1.5Mbps以下数据传输率的数字存储媒体运动图像及其伴音编码设计的国际标准。2021/4/2635精品可修改4.2.2MPEG1.MPEG-1（数字电视标准）MPEG-1标准体系共分为以下5个部分:系统（System）：规定视频数据、声音数据及其他相关数据的同步；视频（Video）：规定视频数据的编码和解码；音频（Audio）：规定声音数据的编码和解码；一致性测试（ConformanceTesting）：详细说明如何测试比特数据流（Bitstreams）和解码器是否满足MPEG-1前三个部分中所规定的要求，编码器制造商和客户均可以使用这些方法来测试编码器产生的码流是否正确；软件仿真（SoftwareSimulation）：从技术角度来说，这部分不能算是标准，只是一种技术报告，描述了MPEG-1标准的前三个部分的软件实现，但源代码是不公开的。

2021/4/2636精品可修改4.2.2MPEG2.MPEG-2（数字电视标准）MPEG-2标准（ISO/IEC13818）制定于1994年，是针对3～10Mbps的数据传输率制定的运动图像及其伴音编码的国际标准。MPEG-2的编码图像被分为三类，分别称为I帧，P帧和B帧。为更好地表示编码数据，MPEG-2用句法规定了一个层次性结构。它分为六层，自上到下分别是：图像序列层、图像组、图像、宏块条、宏块、块。

2021/4/2637精品可修改4.2.2MPEG2.MPEG-2（数字电视标准）MPEG-2标准体系共分为以下9个部分：1）系统（System）2）视频（Video）3）音频（Audio）4）一致性测试（ConformanceTesting）5）软件仿真（SoftwareSimulation）6）数字存储媒体命令和控制扩展协议（DigitalStorageMediaCommandandControl，DSM-CC）7）高级音频编码（AdvancedAudioCoding，AAC）8）原计划用于采样精度为10位的音频编码，但由于工业界对此兴趣不大，现已停止；9）规定了传送码流的实时接口。

2021/4/2638精品可修改4.2.2MPEG3.MPEG-4（多媒体应用标准）MPEG-4于1998年11月公布，是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。为此，MPEG-4引入了AV对象（Audio-VideoObjects），使得更多的交互操作成为可能。2021/4/2639精品可修改4.2.2MPEG3.MPEG-4（多媒体应用标准）MPEG-4对AV对象的操作主要有以下五种：1）采用AV对象来表示听觉、视觉或者视听组合内容；2）组合已有的AV对象来生成复合的AV对象，并由此生成

AV场景；3）对AV对象的数据灵活地多路合成与同步，以便选择合适

的网络来传输这些AV对象数据；4）允许接收端的用户在AV场景中对AV对象进行交互操作等；5）MPEG-4支持AV对象知识产权与保护。2021/4/2640精品可修改4.2.2MPEG3.MPEG-4（多媒体应用标准）MPEG-4标准则由以下6个主要部分构成：1）系统（System）2）视频（Video）3）音频（Audio）4）一致性测试（ConformanceTesting）5）参考软件（ReferenceSoftware）6）多媒体传送整体框架（DeliveriesMultimediaIntegration

Framework，DMIF）2021/4/2641精品可修改4.2.2MPEG4.MPEG-7（多媒体内容描述接口标准）MPEG-7的工作于1996年启动，名称叫做多媒体内容描述接口（MultimediaContentDescriptionInterface，MCDI），目的是制定一套描述符标准，用来描述各种类型的多媒体信息及它们之间的关系，以便更快更有效地检索信息。2021/4/2642精品可修改4.2.2MPEG4.MPEG-7（多媒体内容描述接口标准）MPEG-7的处理链：特征抽取内容描述检索工具MPEG-7的处理范围图4-3MPEG-7的范围2021/4/2643精品可修改4.2.2MPEG4.MPEG-7（多媒体内容描述接口标准）MPEG-7的目标如下：①支持多种音频和视觉的描述。②根据信息的抽象层次，提供一种描述多媒体材料的方法以便表示不同层次上的用户对信息的需求。③支持数据管理的灵活性、数据资源的全球化和互操作性。2021/4/2644精品可修改4.2.2MPEG4.MPEG-7（多媒体内容描述接口标准）MPEG-7由以下几部分组成：1）系统（System）2）描述定义语言（DescriptionDefinitionLanguage，DDL）3）视频（Video）4）音频（Audio）5）多媒体描述方案（MultimediaDescriptionSchemes，MMDS）6）参考软件（ReferenceSoftware）7）一致性测试（ConformanceTesting）2021/4/2645精品可修改4.2.2MPEG5.MPEG-21（多媒体框架标准）制定MPEG-21标准的目的是：1）将不同的协议、标准、技术等有机地融合在一起。2）制定新的标准。3）将这些不同的标准集成在一起。2021/4/2646精品可修改4.2.2MPEG5.MPEG-21（多媒体框架标准）MPEG-21的基本框架要素包括：数字项目说明多媒体内容表示数字项目的识别和描述内容管理与使用知识产权管理和保护终端和网络事件报告2021/4/2647精品可修改4.2.3H.26XH.26X是ITU-T研究和制定的一系列视频编码的国际标准。其中应用最为广泛的是H.261、H.262、H.263和H.264。2021/4/2648精品可修改4.2.3H.26X1.H.2612.H.2623.H.2634.H.2642021/4/2649精品可修改4.2.3H.26X1.H.261H.261标准也称p×64，是视频编码的先驱者。H.261标准的出发点是为了实现在综合业务数字网（IntegratedServicesDigitalNetwork，ISDN）上进行电视电话和电视会议，主要针对实时编码和解码而设计的。2021/4/2650精品可修改4.2.3H.26X1.H.261与H.261有关的国际标准：H.320：窄带可视电话系统和终端设备H.221：视听电信业务中64～1920Kb/s信道的帧结构H.230：视听系统的帧同步控制和指示信号H.242：不超过2Mb/s数字信道的视听终端的通信标准

2021/4/2651精品可修改4.2.3H.26X2.H.262ITU-T于1990年成立了“ATM视频编码专家组”，负责制定适用于B-ISDN（BroadbandIntegratedServiceDigitalNetwork，宽带综合业务数字网）信道ATM编码传输标准。该专家组于1993年11月与ISO的MPEG专家组联合提出了H.262建设草案，这一草案终于发展成为H.262标准，它也就是MPEG-2的视频部分。H.262标准是用于数字存储介质和数字视频通信中图像信息的编码表示和解码规定。2021/4/2652精品可修改4.2.3H.26X3.H.263H.263是在1995年提出的更低比特率的视频编码方案。它一方面以H.261为基础，以混合编码为核心，其基本原理和H.261十分相似，原始数据和码流组织也相似；另一方面，H.263也吸收了MPEG等其它一些国际标准中有效、合理的部分。

2021/4/2653精品可修改4.2.3H.26X3.H.263与H.263有关的国际标准：H.324：甚低码率多媒体通信终端设备H.223：甚低码率多媒体通信复合协议H.245：多媒体通信控制协议G.723.1.1：传输速率为5.3Kb/s和6.3Kb/s的语音编码器2021/4/2654精品可修改4.2.3H.26X4.H.264在ITU-T增强型多媒体通信标准H.26L基础上，在2003年5月份推出了H.264压缩标准推出的能够为ITU-T与ISO/IEC共同使用的单一的下一代视频编码标准，并且在技术上同MPEG标准形成体系。在实际使用中，它比MPEG-4压缩率更高，更加适合在有限带宽的环境下传输视频数据，而且画面质量与MPEG-4基本相同。2021/4/2655精品可修改4.2.3H.26X4.H.264其标准可分为三档：1）基本档次：其简单版本，应用面广。2）主要档次：采用了多项提高图像质量和增加压缩比的技术措施，可用于SDTV（StandardDefinitionTelevision，标准清晰度电视）、HDTV（HighDefinitionTelevision，高清晰度电视）和DVD（DigitalVideoDisk，数字视频光盘）等。3）扩展档次：可用于各种网络的视频流传输。2021/4/2656精品可修改9、人的价值，在招收诱惑的一瞬间被决定。Feb-23Feb-23Friday,February3,202310、低头要有勇气，抬头要有低气。16:29:1116:29:1116:292/3/20234:29:11PM11、人总是珍惜为得到。Feb-2316:29:1116:29Feb-2303-Feb-2312、人乱于心，不宽余请。16:29:1116:29:1116:29Friday,February3,202313、生气是拿别人做错的事来惩罚自己。Feb-23Feb-2316:29:1116:29:1103February202314、抱最大的希望，作最大的努力。2/3/20234:29:11PM16:29:11Feb-2315、一个人炫耀什么，说明他内心缺少什么。。February234:29PMFeb-2316:2903February202316、业余生活要有意义，不要越轨。2/3/